信號檢測與估計課程教學討論之最小二乘估計問題

劉兆霆　吳端坡

摘 要 詳細介紹最小二乘方法的優缺點，并提出一種魯棒性信號參數估計方法，這有助于學生對最小二乘方法的更全面理解，同時拓展學生對信號參數估計方法學習的視野。

關鍵詞 信號檢測與估計；最小二乘；魯棒性

中圖分類號：G642.3 文獻標識碼：B

文章編號：1671-489X（2017）04-0115-03

Abstract This paper intends to describe the merits and demerits of least squares method in detail， and to put forward a robust signal parameter estimation method， which hopefully helps students with a

more thorough understanding on least squares method and broa-dening their view on signal parameter estimation study.

Key words signal detection and estimation； least squares； robustness

1 前言

信號的檢測與估計[1-3]是信號處理的兩個最基本的任務。以通信信號處理為例，在接收端對收到的受干擾的信號利用信號概率和噪聲功率等信息按照一定的準則判定信號的存在，稱為信號檢測；在接收端利用收到的受干擾的發送信號序列盡可能精確地估計該發送信號的某些參數值（如振幅、頻率、相位、時延和波形等），稱為信號估計或參數估計。

繼本科階段的隨機信號分析后，研究生階段開設的另一門隨機信號統計處理的基礎課程為信號檢測與估計，該課程更加系統地介紹了噪聲背景中信號檢測與參數估計的理論和方法。該課程有關信號參數估計的內容，主要介紹了Bayes[4]、最大似然、線性最小均方誤差、最小二乘等方法。在這些方法中，最簡單且最普遍采用的方法是最小二乘估計方法，它在經濟、統計、工程等領域有著廣泛應用。然而，最小二乘估計方法有時并非是一種最優的估計方法。另外，最小二乘也是一種非魯棒性估計方法。最小二乘法的這些特點在信號檢測與估計課程并未提及，使得學生并未全面和深入掌握最小二乘估計的理論和方法。從幾屆畢業論文中也可以發現，許多學生對最小二乘法存在認識上的偏差。本文旨在探討這方面的問題，并提出一種魯棒最小二乘估計方法。

2 最小二乘法

基于最小二乘的信號估計方法，是通過最小化誤差的平方和尋找數據的最佳函數匹配，利用它可以簡便地求得未知的數據，并使得這些求得的數據與實際數據之間誤差的平方和為最小。以一個線性回歸模型為例，說明最小二乘的信號估計的基本理論和方法。假設該線性回歸模型具有如下形式：

其中，ui=[ui，1，ui，2，...，ui，M]T是模型或系統的輸入矢量，yi是系統輸出，vi是信號的噪聲或測量誤差，w0=[w0，1，w0，2，...，w0，M]T是信號的待估計參數。最小二乘方法利用一段時間獲得的數據{yi，ui，i=1，2，...，n}構造下列代價函數：

并通過來獲得w0的估計。

3 最小二乘方法與最大似然法的關系

針對最小二乘法，學生自然會產生一個疑問：為什么最小二乘法對誤差的估計要用平方，而不是絕對值或是四次方？要回答學生這個問題，需要讓學生明白最小二乘法與最大似然法的關系。簡而言之，這個關系是：在高斯測量噪聲的前提下，取二次方的時候，對參數的估計是當前樣本下的最大似然估計，因此，估計是最優的，且估計值是無偏的。可以給出以下證明：

假設測量噪聲是高斯的，均值為0，方差為σ2，即vi～N

（0，σ2）。這時，輸出yi是也滿足高斯分布，且均值為，

方差為σ2，即yi～N（，σ2），那么可以建立對數似然函數：

最大似然函數的方法通過解決對數似然函數L（w）的最大化問題獲得w0的估計，即。根據似然函數L（w）的定義，可以獲得：

由此可以看出，最小二乘法與最大似然法是等價的。

但是需要讓學生明白的是，并非最小二乘估計與最大似然估計始終是等價的，如果是這樣，那就沒有必要給這兩種等價的方法賦予不同的名稱了。實際上，最小二乘法與最大似然法等價是有前提條件的，這個前提就是測量噪聲應為高斯分布；否則，最小二乘法與最大似然法不等價，即等式（4）不成立，此時的最小二乘估計也不是最優的。

4 最小二乘方法的非魯棒性

最小二乘法代價函數采用的是誤差的平方，這使得它對某些異常值非常敏感，是一種非魯棒性的估計方法。具體來說，對于脈沖噪聲環境下，在獲得的測量數據{yi，ui，i=1，

2，...，n}中，某些值yj可能會大大偏離正常值，這將導致最小二乘估計出現極大的偏差和不準確。那么，有沒有辦法解決最小二乘法的非魯棒性問題呢？答案是肯定的，下面給出一種基于稀疏概念的魯棒最小二乘估計方法。

在實際情況下，對于一個時間段的測量，偏離正常值數據的出現具有偶然性，根據此特點，可以建立以下的信號模型：

y=Uw0+v+s （5）

其中，y=[y1，y2，...，yn]T是由1～n時刻的輸出測量構成的n×1維矢量，U=[u1，u2，...，un]T是由1～n時刻的輸入矢量構成的矩陣，v=[v1，v2，...，vn]T是由1～n時刻對應的測量噪聲；而s表示的是異常值矢量，若在某時刻j （1≤j≤n）出現異常值，那么矢量s的第j個元素的絕對值非常大，否則為零。由于異常值數據的出現是偶然性的，因此，矢量s的元素只有少部分非零，其余大部分為零，這也就是說s是一個稀疏矢量。根據信號模型（5），可以考慮下列最小二乘問題：

其中γ為大于零的參數，可以根據一些先驗信息來確定它的值。上面的最小化問題實際上是一種關于正則化稀疏模型的優化問題[5]，它一般可以通過循環迭代的方法來獲得解決。具體地，依次解決下列兩個最小化子問題：

其中第一個最小化子問題（7-1）等價于：

并且

而第二個子問題（7-2）即為普通的最小二乘問題，可采用類似（4）的方法（如梯度下降）來獲得估計值。

下面通過仿真實驗對比普通最小二乘法和魯棒最小二乘法。假設待估計的參數矢量為w0=[0.6，0.8，-0.52]T，測量噪聲為vi～N（0，0.3），輸入矢量ui也為高斯分布的隨機矢量，協方差矩陣為單位陣。獲得100對測量數據（n=100），并假設在第10、30、60、90個測量時刻，數據出現異常值（令其等于80），等價于s是一個100×1的矢量，并且其中第10、30、60、90個元素等于80，而其余元素為零，另外系數γ選擇1.2。采用梯度下降的方法來解決最小二乘估計問題，并且步長設置為0.0001。

圖1中，左邊子圖比較了在出現異常測量值和未出現異常測量值兩種情況下，利用最小二乘估計方法得到的估計誤差對比；右邊子圖是在出現異常測量值的情況下，分布利用最小二乘估計方法與魯棒最小二乘估計方法得到的估計誤差的對比。從這一實驗結果可以看出，當測量數據未出現異常測量值時，最小二乘法是可以獲得較好的估計結果的，估計值有較低的估計誤差；但是，當測量數據出現異常測量值時，最小二乘法的估計性能非常不理想，相比之下，當測量數據出現異常測量值時，魯棒最小二乘卻能夠獲得很好的估計性能。

5 小結

最小二乘估計方法是一種最簡單的參數估計方法，有著廣泛的應用，但其許多本質問題在研究生或本科生的信號檢測與估計課程中并未提及，使得許多學生不能全面了解該方法。本文對該課程中的最小二乘法的內容進行補充和拓展，有利于學生更加全面和深入地理解最小二乘法，同時也能激發他們學習信號估計理論和方法的興趣。

參考文獻

[1]向敬成，王意青，毛自燦，等.信號檢測與估計[M].北京：電子工業出版社，1994.

[2]趙樹杰，趙建勛.信號檢測與估計理論[M].北京：清華大學出版社，2006.

[3]景小榮，李強，陳前斌，等.基于Matlab的《信號檢測與估計》課程教學改革[J].實驗科學與技術，2012，10（2）：

55-57.

[4]王雪飛，王昌盛，尚朝軒，等.Bayes檢測與估計的教學探索[J].電氣電子教學學報，2016，38（2）：109-111.

[5]劉建偉，崔立鵬，劉澤宇，等.正則化稀疏模型[J].計算機學報，2015（7）：1307-1325.