以下文章來(lái)源于FPGA算法工程師，作者18線工程師

前言

前面我們介紹了匹配濾波器，本文將介紹維納濾波器。首先我們回顧了維納濾波的主人公Norbert Wiener，然后描述了維納濾波的基本原理和推導(dǎo)，最后給出一個(gè)簡(jiǎn)單的維納濾波應(yīng)用。

1. 維納生平

維納濾波的主人公便是Norbert Wiener，美國(guó)應(yīng)用數(shù)學(xué)家，控制論的創(chuàng)始人。

1894年11月26日，諾伯特·維納（Norbert Wiener）出生在美國(guó)密蘇里州哥倫比亞市的一個(gè)猶太人家庭。維納成名后出版過(guò)兩部自傳，第一本是1953年的《昔日神童》，記述了自己一些童年往事；第二本是1956年的《我是一個(gè)數(shù)學(xué)家》，主要說(shuō)的是他后半生的事情。

1913年是青年維納學(xué)術(shù)成績(jī)燦爛斐然的一年。他以一篇哲學(xué)論文贏得哈佛大學(xué)授予Bowdoin獎(jiǎng)，并申請(qǐng)取劍橋大學(xué)留學(xué)，師從邏輯哲學(xué)大師羅素（Bertrand Russell），維納接收老師的建議，接收數(shù)學(xué)方面的訓(xùn)練，選讀了許多數(shù)學(xué)課程，接受了哈代（G.H. Hardy）等順序額大師的直接指導(dǎo)。

維納原計(jì)劃在劍橋訪學(xué)一年，但第二學(xué)期羅素要去哈佛講學(xué)，便建議他到德國(guó)哥廷根大學(xué)去修讀希爾伯特（David Hilbert）和朗道（Edmund Landau）的課程。

在哥廷根大學(xué)，維納修完了朗道的一門(mén)代數(shù)群論課，并在希爾伯特指導(dǎo)下研究微分方程。在哥廷根所受的教育使維納受益非淺。

事實(shí)上，正是劍橋和哥廷根讓神童維納轉(zhuǎn)變成一名青年數(shù)學(xué)家。維納在其后五十多年的科學(xué)生涯中，先后涉足哲學(xué)、數(shù)學(xué)、物理學(xué)、工程學(xué)和生物學(xué)，在各個(gè)領(lǐng)域中都取得了豐碩成果，成為學(xué)識(shí)淵博、多才多藝的科學(xué)巨匠?；厥淄聲r(shí)，他常常感激羅素并十分懷念劍橋與哥廷根。

第一次世界大戰(zhàn)爆發(fā)后他從德國(guó)返回美國(guó)，于1919年到麻省理工學(xué)院（MIT）任職講師，從此開(kāi)始了他的學(xué)術(shù)生涯，并在那里工作和生活直至去世。

1920年，維納將法國(guó)數(shù)學(xué)家Fréchet關(guān)于極限和微分的廣義理論推廣到矢量空間（維納稱之為“Differential Space”），并給出了一套完整的公理集合，后來(lái)被稱為維納空間理論。維納的研究成果為馮·諾依曼（John von Neumann）在1927年提出希爾伯特空間中的算子公理方法打下了基礎(chǔ)。

維納是第一個(gè)從數(shù)學(xué)上嚴(yán)格而深刻地研究隨機(jī)布朗運(yùn)動(dòng)的數(shù)學(xué)家。1921年，他發(fā)表了一篇關(guān)于布朗運(yùn)動(dòng)的重要論文，出發(fā)點(diǎn)是函數(shù)空間中的測(cè)度論。1923年，他第一次給出了隨機(jī)函數(shù)的嚴(yán)格定義，并指出它是布朗運(yùn)動(dòng)的理論模型。其后，數(shù)學(xué)文獻(xiàn)上把定義在連續(xù)函數(shù)空間中的一種描述布朗運(yùn)動(dòng)的測(cè)度稱為維納測(cè)度，相應(yīng)的隨機(jī)過(guò)程稱為維納過(guò)程，在這個(gè)測(cè)度上的積分稱為維納積分。

1923-1925年間，維納對(duì)數(shù)學(xué)上的位勢(shì)理論作出了重要貢獻(xiàn)。1926年，維納再次訪學(xué)來(lái)到德國(guó)哥廷根和英國(guó)劍橋。隨后幾年間，他在調(diào)和分析的研究上有了重大突破。維納從物理學(xué)借來(lái)各種函數(shù)作為調(diào)和分析的工具，把它們寫(xiě)成Fourier變換的形式，然后把它們同通訊理論聯(lián)系起來(lái)，并獲得了現(xiàn)代光譜分布。

1929年，維納還指導(dǎo)當(dāng)時(shí)在貝爾電話公司實(shí)習(xí)的MIT博士生李郁榮（Yuk-Wing Lee）研制了“Lee—Wiener網(wǎng)絡(luò)”并獲得一項(xiàng)專利。

1932年，維納與天文學(xué)家霍普夫（Eberhard Hopf）合作，把霍普夫關(guān)于輻射平衡態(tài)的研究推廣到一類給定在半無(wú)窮區(qū)間上帶差核的奇異積分方程。此類方程后來(lái)被稱為維納—霍普夫方程。

1935-1936年間，維納接受了已學(xué)成回國(guó)在清華大學(xué)電機(jī)系任職的李郁榮的建議和推薦，并獲得了北京清華大學(xué)校長(zhǎng)梅貽琦以及數(shù)學(xué)系主任熊慶來(lái)的邀請(qǐng)，來(lái)到了北京，在清華大學(xué)同時(shí)出任數(shù)學(xué)系和電機(jī)系客座教授。期間，他在數(shù)學(xué)系和李郁榮合作研究Fourier變換數(shù)學(xué)濾波器，于是后來(lái)有了維納濾波器，這項(xiàng)研究還讓他獲得了一項(xiàng)發(fā)明專利。維納濾波器是當(dāng)時(shí)線性濾波和預(yù)測(cè)理論中最為重要的科學(xué)成果，成為后來(lái)通信理論及其工程應(yīng)用發(fā)展的關(guān)鍵。他又和李郁榮一道與工學(xué)院院長(zhǎng)、另一名MIT博士海歸顧毓琇（Yu-Hsiu Ku）合作，研究模擬計(jì)算機(jī)的數(shù)字化。

1940年，基于在清華與李郁榮和顧毓琇的合作研究成果，維納給羅斯?？偨y(tǒng)的科學(xué)顧問(wèn)范內(nèi)瓦·布什（Vannevar Bush）寫(xiě)了一封長(zhǎng)信，提出了設(shè)計(jì)新型電子計(jì)算機(jī)的幾條原則：不采用模擬程式而利用數(shù)字程式；使用電子元件而非機(jī)械部件；采用二進(jìn)制而不是十進(jìn)制；在機(jī)內(nèi)存放數(shù)據(jù)和計(jì)算表格，等等。布什當(dāng)年在MIT任職，是李郁榮的博士導(dǎo)師。1944年，布什撰寫(xiě)了美國(guó)科學(xué)政策的報(bào)告：《科學(xué)：無(wú)盡的前沿》。

第二次世界大戰(zhàn)期間，維納和俄羅斯數(shù)學(xué)家柯?tīng)柲缏宸颍ˋ. N. Kolmogorov）同時(shí)獨(dú)立地發(fā)展了平穩(wěn)時(shí)間序列估計(jì)理論。1959年，在維納的倡導(dǎo)下MIT建立了世界上第一個(gè)人工智能研究小組和實(shí)驗(yàn)室，開(kāi)始了早期智能機(jī)器人的研究。

1960年，維納應(yīng)邀參加了IFAC（International Federation of Automatic Control）在莫斯科舉行的第一屆國(guó)際會(huì)議，以新興科學(xué)控制論創(chuàng)始人的姿態(tài)參會(huì)。而在1954年，錢(qián)學(xué)森的《工程控制論》英文版于1954年由美國(guó)麥格勞-希爾集團(tuán)出版，中文版1958年由科學(xué)出版社發(fā)行，該書(shū)將控制論應(yīng)用于工程技術(shù)領(lǐng)域，建立受控工程系統(tǒng)分析、設(shè)計(jì)與運(yùn)行的理論體系，提出系統(tǒng)辨識(shí)、最優(yōu)控制、容錯(cuò)系統(tǒng)等核心理論。

維納一生發(fā)表論文240多篇，著作14本，內(nèi)容涵蓋數(shù)學(xué)、物理、工程、生物和哲學(xué)等多個(gè)領(lǐng)域。

1964年1月，維納榮獲由美國(guó)總統(tǒng)約翰遜頒發(fā)的國(guó)家科學(xué)勛章，表彰他“在純粹數(shù)學(xué)和應(yīng)用數(shù)學(xué)方面并且勇于深入到工程和生物科學(xué)中去的多種令人驚異的貢獻(xiàn)以及在這些領(lǐng)域中具有深遠(yuǎn)意義的開(kāi)創(chuàng)性工作”。同年3月18日，維納在瑞典斯德哥爾摩訪問(wèn)時(shí)不幸病世，享年70歲。

維納一生發(fā)表論文240多篇，著作14本，內(nèi)容涵蓋數(shù)學(xué)、物理、工程、生物和哲學(xué)等多個(gè)領(lǐng)域。維納參與了香農(nóng)（Claude Shannon）信息論的開(kāi)創(chuàng)工作。維納從直流電路出發(fā)來(lái)理解和詮釋信息論，把消息看作可測(cè)事件的時(shí)間序列并用統(tǒng)計(jì)方法來(lái)處理通信問(wèn)題，在數(shù)學(xué)上采取平穩(wěn)隨機(jī)過(guò)程理論及各種變換技術(shù)進(jìn)行研究。他在信息論方面與香農(nóng)并行工作時(shí)亦有合作。可是，與香農(nóng)相反，在信息論的研究中維納堅(jiān)持走模擬而非數(shù)字路線，即使用連續(xù)而非離散的數(shù)學(xué)理論和工具，最后沒(méi)有成功。

維納闡明了現(xiàn)代系統(tǒng)控制思想和反饋調(diào)節(jié)原理。第二次世界大戰(zhàn)開(kāi)始后，維納參與了火炮控制研究，進(jìn)而建立了Cybernetics理論。

2 維納濾波基本原理

維納發(fā)表的《控制論》和《平穩(wěn)時(shí)間序列的外推、內(nèi)插和平滑問(wèn)題》,建立了維納濾波理論。維納濾波器的求解，要求知道隨機(jī)信號(hào)的統(tǒng)計(jì)分布規(guī)律(自相關(guān)函數(shù)或功率譜密度),得到的結(jié)果是封閉公式。采用譜分解的方法求解,簡(jiǎn)單易行，具有一定的工程實(shí)用價(jià)值,并且物理概念清楚，但不能實(shí)時(shí)處理，維納濾波的最大缺點(diǎn)是僅適用于一維平穩(wěn)隨機(jī)信號(hào)。

現(xiàn)在考慮使用濾波器h(t)對(duì)接收/觀測(cè)信號(hào)y(t)=x(t)+n(t)對(duì)原信號(hào)x(t)進(jìn)行估計(jì)：

由于估計(jì)誤差e(t)=x(t)-x(t)是隨機(jī)變量，不適合作為估計(jì)器的性能評(píng)價(jià)標(biāo)準(zhǔn)，考慮采用均方誤差作為測(cè)度，衡量濾波器的性能。

均方誤差可表示為：

當(dāng)均方誤差J最小時(shí)，即為最小均方誤差MMSE準(zhǔn)則。于是，線性最優(yōu)濾波器的沖激響應(yīng)為：

為了真正實(shí)現(xiàn)維納濾波，需要滿足系統(tǒng)是線性的，并且是離散時(shí)間（便于數(shù)字系統(tǒng)實(shí)現(xiàn)）的因果系統(tǒng)。

考慮線性離散系統(tǒng)：

線性離散時(shí)間濾波器

輸入信號(hào)序列x(n)，濾波器沖激響應(yīng)序列w(n)，期望信號(hào)序列d(n)，y(n)為濾波器輸出的估計(jì)值，估計(jì)誤差e(n)。估計(jì)誤差表示為e(n)=d(n)一y(n)。

要設(shè)計(jì)出最優(yōu)濾波器，信號(hào)處理領(lǐng)域的前輩門(mén)總結(jié)出MMSE統(tǒng)計(jì)優(yōu)化準(zhǔn)則：使估計(jì)誤差均方值最小化的統(tǒng)計(jì)優(yōu)化準(zhǔn)則。

那么怎么去量化這一統(tǒng)計(jì)準(zhǔn)則，需要滿足什么條件？

考慮上圖所示的濾波器輸出，有：

估計(jì)誤差：e(n)=d(n)一y(n)。

采用MMSE準(zhǔn)則設(shè)計(jì)最有濾波器，定義代價(jià)函數(shù)為均方誤差：

在通信系統(tǒng)中，調(diào)制波形一般是IQ復(fù)數(shù)信號(hào)，濾波器抽頭系數(shù)wk一般也是復(fù)數(shù)。這里我們將抽頭系數(shù)wk定義實(shí)部+虛部的形式：

為了求解代價(jià)函數(shù)j(n)的最小值，需要用到微分計(jì)算方法，求導(dǎo)。

定義梯度算符：

于是，對(duì)代價(jià)函數(shù)j(n)計(jì)算共軛梯度，有：

我們知道，某個(gè)曲線函數(shù)在斜率為0時(shí)，可取得極值。為了使得代價(jià)函數(shù)j(n)最小，我們需要

于是，得到：

求出偏導(dǎo)數(shù)：

于是我們可以得到

令eopt(n)表示濾波器在最有條件下的估計(jì)誤差，于是

我們可以看到，代價(jià)函數(shù)最小化的充要條件是估計(jì)誤差eopt(n)與輸入信號(hào)x(n)正交，這便是著名的正交性原理。

但到這一步，我們依然沒(méi)有解出濾波器的系數(shù)w(n)。

進(jìn)一步，我們可以得到：

令yopt(n)是在最小均方誤差下濾波器的輸出，則正交性原理等價(jià)為：

這便是正交性原理引理。

再根據(jù)正交性原理，我們可以得到：

w(opt,i)表示最優(yōu)濾波器響應(yīng)的第i個(gè)系數(shù)，進(jìn)一步展開(kāi)得到：

上式中，數(shù)學(xué)期望項(xiàng)E{x(n一k)x*(n-i)}代表輸入信號(hào)在滯后i-k的自相關(guān)函數(shù)，記為：

數(shù)學(xué)期望項(xiàng)E{x(n一k)x*(n-i)}代表輸入信號(hào)x(n一k)與期望信號(hào)d(n)在滯后-k的互相關(guān)函數(shù)，記為：

于是我們可以得到著名的Wiener-Hopf方程：

觀察上式，要求解濾波器系數(shù)w(opt,i)，無(wú)窮多個(gè)方程求解，是不可能實(shí)現(xiàn)的。

于是，工程師們從設(shè)計(jì)實(shí)現(xiàn)的角度出發(fā)，假設(shè)濾波器系數(shù)為有限的M個(gè)，則濾波器的輸出可表示為：

這時(shí)候，Wiener-Hopf方程可以簡(jiǎn)化為M個(gè)齊次方程。

定義輸入信號(hào)的自相關(guān)矩陣為：

輸入信號(hào)與期望信號(hào)的互相關(guān)向量：

于是，Wiener-Hopf方程的矩陣表達(dá)式可以寫(xiě)為：

Wopt即為M階的維納濾波器抽頭系數(shù)。

到此刻，我們雖然得到了維納濾波器系數(shù)的表達(dá)式，可是在實(shí)際情況下，我們可能無(wú)法提前得到期望信號(hào)d(n)。

進(jìn)一步，我們根據(jù)正交性原理的引理，得到：

利用Z變換，得到

考慮輸入信號(hào)與噪聲不相關(guān)，可以得到

在平穩(wěn)條件下，我們可以轉(zhuǎn)換到頻域進(jìn)行計(jì)算。

3 維納濾波的應(yīng)用

雖然理論上，維納濾波的推導(dǎo)得到了最優(yōu)線性濾波器的解，但由于信號(hào)的隨機(jī)性和信號(hào)譜分解困難，實(shí)際應(yīng)用中比較困難。一些比較簡(jiǎn)單的應(yīng)用，如圖像去噪，通信中對(duì)于非高速移動(dòng)場(chǎng)景的信道估計(jì)可用于濾波去噪和抑制干擾。

下面舉例，在頻域通過(guò)維納濾波對(duì)正弦信號(hào)進(jìn)行去噪。

%Frequency domain Wiener filtering
% sine signal + noise
fx=1; %signal frequencyinHz
wx=2*pi*fx; %signal frequencyinrad/s
fs=60; %sampling frequencyinHz
tiv=1/fs; %time interval between samples;
t=0(3-tiv); %time intervalsset
x=sin(wx*t); %signal dataset
Nx=length(x);
v=randn(1,Nx); %normal noise
y=x+v; %sine+noise
%Wiener computations
X=fft(x); %Fourier transform of x
Sxx=abs(X).^2; %Sxx
V=fft(v); %Fourier transform of v
Svv=abs(V).^2; %Svv
WH=Sxx./(Sxx+Svv); %Fourier transform of the Wiener filter
Y=fft(y); %Fourier transform of y
fly=real(ifft(Y.*WH)); %apply the Wiener filter
%display---------------------------
figure(1)
plot(t,y,'k'); %plots figure
axis([0 3 -3.5 3.5]);
xlabel('seconds'); title('sine+noise signal');
figure(2)
plot(t,fly,'k'); %plots figure
axis([0 3 -3.5 3.5]);
xlabel('seconds'); title('filtered signal');

加噪正弦信號(hào)

維納濾波后的信號(hào)

關(guān)于維納濾波，就介紹到這里，下一篇，我們將介紹更為實(shí)用的Kalman濾波。