加權lp 范數LMS 算法的稀疏系統辨識

劉遵雄，秦 賓，王樹成

華東交通大學 信息工程學院，南昌330013

1 引言

自適應濾波器廣泛應用于回波消除、噪聲對消、系統辨識、自適應信道均衡等諸多領域中[1-5]。根據對輸入信號和參考信號的不同定義，自適應濾波器應用分為四種類型[6-7]：系統辨識、逆模型、預測和干擾消除。

自適應濾波算法是自適應濾波器設計的核心。常用的自適應算法主要包括最小均方算法（LMS）、遞歸最小二乘方法（RLS）、神經網絡算法[8-10]等，其中基于維納濾波器理論的LMS 算法由于其結構簡單，計算復雜度度低，性能穩定，易于實現等特點，仍是目前自適應濾波理論中應用最為廣泛的算法。但是在實際應用中，許多待辨識的系統具有稀疏性，即沖擊響應在時間域具有少量的非零值。對于稀疏系統辨識問題，LMS 算法無法很好解決，因為LMS算法沒有充分運用沖激響應稀疏這一先驗知識。隨著LASSO[11]、壓縮感知（Compressive Sensing，CS）等稀疏理論技術研究的不斷深入和發展，在稀疏系統辨識方面相繼提出零吸引最小均方算法算法（ZA-LMS）[12]、加權零吸引最小均方算法（RZA-LMS）[13]、l0范數懲罰的LMS 算法[14]。文獻[15]首次提出加權l1范數懲罰求解最小化問題可以增強系統稀疏性。本文借鑒上述思想，提出了加權的lp(0 ＜p ≤1)范數懲罰的LMS 算法，并用于稀疏系統辨識，仿真結果驗證了該算法的有效性。

2 系統辨識模型

系統辨識在信號處理、通信和控制等領域里都有重要應用，其實質上是根據系統的輸入和輸出信號來估計或確定系統的特性以及系統的單位沖激響應或傳遞函數。圖1是一個系統辨識問題的框圖。

圖1 系統辨識模型圖

一輸入信號x(t) 經過一個未知系統h ，得到信號y′(t) ，由于疊加了環境噪聲v(t) ，實際可測量的信號d(t)=y′(t)+v(t)作為自適應濾波器的參考信號，又稱為濾波器的期望信號。

定義輸入信號向量為：

則濾波器w 的輸出可寫為：

誤差信號定義為期望信號與濾波器輸出之間的差：

自適應濾波器w 使用輸入信號x(t)和期望信號d(t)，用迭代的方法對未知系統h 進行辨識，當算法收斂之后，w就是一個h 的估計。

3 算法描述

3.1 lp(0 ＜p ≤1)范數懲罰LMS 算法

針對一般稀疏系統的基于lp范數(0 ≤p ≤1)約束的自適應算法核心思想，是根據未知系統的沖激響應稀疏的特點，在更新濾波器抽頭權重的代價函數中施加稀疏性約束[12-14]。

研究表明，RZA-LMS 算法總體性能比ZA-LMS 算法有明顯優勢，這是因為RZA-LMS 算法懲罰函數更接近l0范數懲罰。如果p 取值接近0 時，lp范數懲罰函數近似l0范數懲罰，有代價函數如下：

其中，||?||lp表示p 范數，λlp＞0 為控制lp范數影響大小的平衡因子。和RZA-LMS 代價函數相似，當0 ＜p ＜1 時，代價函數具有共同的特性：非凸性、全局收斂性，以及相應的運算法則。但是lp(0 ＜p ＜1)范數懲罰的最小均方算法表現出更好的性能。式（4）求梯度，根據最速下降法得到相應權系數更新等式：

當p=1 時，文獻[12]提出的零吸引最小均方算法（ZA-LMS）。系數向量更新等式為：

當0 ＜p ＜1 時，為了防止當輸入信號向量為零或很小時算法不穩定，通常在上式中的分母上加上一個小的正常數ξlp，稱為正則參數。于是得到lp(0 ＜p ＜1) 范數懲罰的LMS 算法的系數向量更新等式為：

3.2 加權lp(0 ＜p ≤1)范數懲罰LMS 算法

解決最小化問題時，在代價函數中引入加權的l1范數懲罰可以得到很好的稀疏作用，這一方法在稀疏的信號恢復得到實際應用。考慮到通常沖擊響應稀疏的特性，如果lp(0 ＜p ≤1)范數懲罰的LMS 算法中加入一個更新權值，那么在稀疏系統辨識中會得到較好的仿真效果。相應的代價函數如下：

其中，λrlp＞0 為控制加權lp范數影響大小的平衡因子，更新權值：

ζrlp為設置的一個正則參數。

當p=1時，加權l1范數懲罰LMS算法的系數更行等式：

加權l1范數懲罰LMS 算法代價函數和RZA-LMS 算法、lp范數懲罰的LMS 算法不同的是其具有凸函數性質，保證在一定的范圍內收斂于最小值。

當0 ＜p ＜1，由最速下降法導出加權lp范數懲罰LMS算法系數向量更新方程：

其中，γrlp=μλrlp，ξrlp設定為正則參數。式（4）和（8）中，λlp、λrlp的值選擇影響懲罰LMS算法仿真實驗的結果，它們的選擇可以參考文獻[13]。加權lp范數懲罰LMS算法過程，如圖2。為了研究提出的稀疏懲罰LMS 算法，和已有的LMS、ZA-LMS 算法性能進行比較，通過仿真實驗得到結果。

圖2 加權lp 范數懲罰LMS 算法偽代碼

4 實驗分析

為了檢驗改進算法在系統辨識應用中的收斂速度和穩態誤差兩方面性能，本文設置了以下3 個仿真實驗。

實驗1 假設有限脈沖響應長度N=16，輸入信號和觀測噪聲信號均為高斯白噪聲，方差分別為σx=1 ，σv=1E-3。情況一：設置第8 個抽頭權值為1，其他均為0，稀疏度1/16；情況二：情況一迭代200 次以后，隨機設置8 個抽頭權值非零，其他均為零，稀疏度8/16。5 個濾波器（LMS、ZA-LMS、lp(0 ＜p ＜1)范數懲罰LMS、加權l1范數懲罰LMS、加權lp(0 ＜p ＜1)范數懲罰LMS）各自運行200 次，其 中 lp范 數 中 p=1/2 ，其 他 參 數 設 置 μ=0.05 ，γZA=γlp=γrl1=γrlp=7.4E-4，ξlp=ζrlp=ζrl1=ξrlp=1。仿真實驗結果如圖3，從均方偏差MSD 結果可以看出，當系統稀疏時（前200 次迭代），加權的lp(0 ＜p ≤1)懲罰LMS 算法要比經典LMS 算法和lp(0 ＜p ≤1)懲罰的LMS 算法有較快的收斂速度和較小的均方偏差，并且p=1/2 時，加權的lp范數懲罰LMS 算法比加權l1范數懲罰性能更好。但是當系統非稀疏時，盡管加權lp范數懲罰的LMS 算法有較快的收斂速度，但是均方偏差MSD 比一般LMS 算法有所不足。

圖3 白信號下算法收斂曲線

實驗2 當p 接近于0 時，lp范數接近l0范數，越接近l0范數懲罰的函數，對于稀疏系統自適應濾波器的性能表現越好。如圖4，p 分別取1/2 和3/4。當系統稀疏時（前200次迭代），加權l1/2范數懲罰LMS 算法收斂速度和穩態誤差都有相對優勢，但是當稀疏度有所提高時（后200 次迭代），加權l3/4范數懲罰LMS 算法和l3/4范數懲罰LMS 算法較其相對應的算法表現出較小均方偏差MSD和較慢的收斂速度。

圖4 白信號下不同p 值的lp 懲罰LMS 算法收斂曲線

實驗3 已知有限脈沖響應如圖5，長度N=256，5 個濾波器分別迭代2 000 次，個別參數設置μ=0.005 ，γZA=γlp=γrl1=γrlp=1E-6，其他條件設置如實驗1，仿真實驗結果如圖6。當p 的取值不同時，得到仿真結果如圖7。從圖中可以看出，加權的lp(p=1/2) 范數懲罰的LMS 算法相比較已有的稀疏LMS 算法在收斂速度和穩態誤差方面都有較好的表現，并且p 在一定范圍內取值越小表現的更為突出。

圖5 稀疏系統的沖擊響應

圖6 稀疏系統和白信號條件下算法收斂曲線

圖7 稀疏系統和白信號條件下不同p 值的lp-LMS算法收斂曲線

5 結論

針對稀疏的系統辨識問題，本文提出了一種改進的稀疏系統辨識方法——加權的lp(0 ＜p ≤1)范數懲罰LMS 算法。仿真實驗結果表明：對于稀疏的系統，改進算法的收斂性和穩態性有明顯提高；在[1/2，1]范圍內p 取值越小，自適應濾波器的性能也就相對較好。 p 在（0，1/2）區間內步長參數的選擇，將是下一階段的重點研究問題。

[1] Bershad N J，Bermudez J C M，Toumere J Y.Stochastic analysis of the LMS algorithm for system identification with subspace input[J].IEEE Transation on Signal processing，2008，56（3）：1018-1027.

[2] 劉艷玲，邱丙益，樊長江.基于LMS 算法的衛星通信回波抵消方法[J].船舶電子工程，2007，27（6）：100-102.

[3] 孫永國.稀疏路徑回波對消自適應并法的研究[D].成都：四川大學，2006.

[4] 陳立峰.自適應聲回波抵消算法的研究與實現[D].廈門：廈門大學，2006.

[5] 趙亮，朱維慶，朱敏.一種用于水聲相干通信系統的自適應均衡算法[J].電子與信息報，2008，30（3）：648-651.

[6] Haykin S.Adaptive filter theory[M].4th ed.Upper Saddle River，NJ：Prentice Hall，2002.

[7] Diniz P S R.自適應濾波算法與實現[M].2版.劉郁林，景曉軍，譚剛兵，譯.北京：北京電子工業出版社，2004.

[8] Widrow B，Hoff M E.Adaptive switching circuits[C]//Proceedings of the IRE WESCON Conference，1960：96-104.

[9] 孫錦華，金力軍.幾種改進型RLS 算法在自適應濾波系統中的應用[J].重慶郵電學院學報，2003，15（3）：14-15.

[10] 翁玉麟，鄧長虹.自適應神經網絡模糊推理系統最優參數的研究[J].計算機仿真，2005，22（8）：140-243.

[11] Fu W.Penalized regressions：the bridge versus the lasso[J].Journal of Computational and Graphical Statistics，1998，7（3）：397-416.

[12] 金堅，谷源濤，梅順良.用于稀疏系統辨識的零吸引最小均方算法[J].清華大學學報：自然科學版，2010，50（9）：1312-1315.

[13] Chen Y，Gu Y，Hero A O.Sparse LMS for system identification[C]//Proc of IEEE ICASSP，Taipei，Taiwan，China，Apr，2009：3125-3128.

[14] Gu Y，Jin J，Mei S.l0norm constraint LMS algorithm for sparse system identification[J].IEEE Signal Processing Letters，2009，16（9）：774-777.

[15] Candes E J，Wakin M B，Boyd S P.Enhancing sparsity by reweighted l1minimization[J].Journal of Fourier Analysis and Applications，2008，14（5）：877-905.