迭代變步長LMS算法及性能分析

劉建成 趙宏志 全厚德 唐友喜

1 引言

隨著信息化和現代數字技術的發展，諸多領域對信號特征提取和噪聲等干擾消除的要求日趨強烈，需要能夠對信號實時自適應處理。LMS（Least Mean Square）算法是在維納-霍夫方程基礎上提出的一種自適應信號處理算法，能夠實現濾波、平滑和預測等處理[1]。由于LMS算法計算簡單、易于實現，已被廣泛應用于通信噪聲控制[2]、信道均衡[3]和有源干擾對消[4]、語音回聲抵消[5]以及雷達信號中的雜波消除等方面。

不過，常規的LMS算法中步長因子恒定，即定步長 LMS（Fixed Step-Size LMS, FXSSLMS）算法，不能夠同時滿足快速收斂和小穩態失調誤差的要求。克服LMS算法的這一缺點需要步長因子在算法初始階段具有較大值，能夠加速收斂，而當算法趨于收斂時具有較小值，以降低穩態失調誤差，即采用 變 步 長 因 子 LMS（Variable Step-Size LMS,VSSLMS）算法。為此，針對如何實時改變步長因子大小，研究者們從上世紀90年代開始陸續進行了大量的研究。文獻[6]提出了利用算法輸出誤差均方值迭代更新步長因子的方法，不過該方法受噪聲干擾影響較大。文獻[7]針對文獻[6]的不足，提出利用當前與前一時刻輸出誤差的相關改變步長因子的方法，該方法具有快的收斂速度和小的穩態失調誤差，較好地解決了白噪聲干擾的問題。文獻[8]在Sigmoid函數（又稱Logistic函數）基礎上，建立了步長因子與誤差信號之間一種新的非線性函數關系，該方法克服了S函數變步長LMS算法在收斂狀態下步長因子較大的缺陷，文獻[9]利用雙曲正切函數建立了步長因子與誤差信號間的非線性關系，文獻[10]提出了基于最小加權系數均方誤差的變步長方法，不過這 3種方法都存在易受噪聲干擾影響的問題。文獻[11]針對歸一化LMS算法（Normalized LMS, NLMS）提出了一種變步長方法，不過該方法增加了計算復雜度，不易實現。文獻[12]在分析文獻[10]的基礎上，將其中的變步長方法應用于選擇部分更新濾波加權系數的LMS算法，既達到了快速收斂的目的，又減小了算法的計算量。文獻[13]從理論上總結了已有幾種VSSLMS算法，并分析了這些算法在不同噪聲干擾背景下的穩態性能，文獻[14]分析了LMS算法在循環平穩高斯白噪聲輸入下的性能。

綜上所述，已有VSSLMS算法均是基于算法輸出誤差調整步長因子的大小，易受噪聲等因素的干擾。針對該問題，本文提出了迭代變步長LMS算法（Iterated Variable Step-Size LMS, IVSSLMS），該方法建立了步長因子與算法迭代次數（即迭代時間）之間的非線性關系，使得算法在初始階段具有大步長因子，在趨于收斂時步長因子小。該方法不同于現有方法由輸出誤差控制，所以受噪聲干擾影響較小，與已有變步長LMS算法相比，既能夠保證收斂速度不低于已有方法，又可使穩態失調誤差減小 7 dB以上。

本文后續內容安排如下：第 2節首先敘述了FXSSLMS算法的基本原理，給出了其收斂性和穩態失調誤差的現有分析結論；第3節建立步長因子與收斂時間的改進Logistic函數非線性關系，提出了IVSSLMS算法；第4節從理論上推導分析了所提方法的收斂性能、穩態失調誤差和計算復雜度；第5節通過與已有幾種變步長方法進行仿真對比，驗證了本文方法的正確性；最后對論文內容進行了總結展望。

2 定步長LMS算法基本原理及其性能分析

2.1 LMS算法基本原理

LMS算法計算簡單、易于實現，在自適應濾波、參數估計和干擾消除等方面都有廣泛應用，其模型如圖1所示，數學表示為[1]

圖1 LMS算法模型

2.2 LMS算法的收斂性和穩態失調誤差

由于LMS算法是遞推求解的過程[1]，故分析其穩態失調誤差及收斂性能是必不可少的，是改進算法的基礎。根據式（3）所示的加權系數計算過程，可知輸入參考信號向量x（n），估計誤差e（n）均具隨機性，而步長因子μ由算法本身設定，是影響LMS算法收斂速度和穩態失調誤差的關鍵。

文獻[1]中對 LMS算法的性能進行了詳細的理論分析。由于輸入信號自相關矩陣的特征值λi，未知濾波系數w︿i和算法加權濾波系數 wi（ 0） 為定值（0 ≤ i ≤ N - 1 ） ，算法的均方誤差只與步長因子 μ 和迭代次數n相關。推導得出LMS算法收斂的充分條件是：

在μ一定的情況下，LMS算法收斂所需迭代次數為

其中，minλ是所有特征值中的最小值，γ為設定的收斂門限值，滿足1γ?。

另外，若LMS算法收斂，則在n→∞時，算法的均方誤差（即最小均方誤差，MSE）為

由式（4）-式（7）可知，LMS 算法在滿足收斂條件γ時所需的迭代次數nγ隨步長因子μ的增大（滿足收斂條件）而減少，但在n→∞時的穩態失調誤差ξ會隨μ的增大而增大。所以，在輸入信號向量x（n）和噪聲信號ε（ n）確定情況下，μ是提高LMS算法收斂速度和降低其穩態失調誤差的關鍵。

3 迭代變步長LMS算法

在上一節對LMS算法特點描述的基礎上，本節提出步長因子隨迭代時間非線性改變的 IVSSLMS算法，既可提高算法收斂速度，又能夠降低穩態失調誤差。

為解決第2節分析的收斂速度與穩態失調誤差相互制約的問題，文獻[6-12]提出了多種 VSSLMS算法，使得μ在算法初始階段具有較大值，隨著算法輸出誤差的減小而逐漸變小，以降低穩態失調誤差。

不過，已有的變步長方法容易受外界噪聲等干擾的影響。為彌補該不足，本文提出了 IVSSLMS算法，算法中的μ隨迭代時間（可等價于迭代次數）增大而逐漸減小，從而避免噪聲等干擾的影響。為使步長因子取值滿足式（4）所示的收斂條件，且在收斂時具有小的穩態失調誤差，對步長因子取值加以限定。再依據改進 Logistic函數建立與迭代次數 n間的非線性關系，如式（9）所示。

其中，μmin是依據式（7）設定的步長因子最小值，μmax是由式（4）和式（5）設定的步長因子最大值，κ是需根據不同情況設定的調整參數，控制了μ（n）隨n變換的快慢，m是步長因子改變對應的起始時刻，初始值為0。由式（9）可知μ（n）隨n單調遞減，變換趨勢如圖2所示。

VSSLMS算法的濾波加權系數向量遞推計算由式（3）變為

圖2 步長因子μ（n）變換曲線

為了使本文 IVSSLMS算法具有應對未知濾波器系數︿w突變的能力，步長因子隨迭代次數改變的同時，通過對前后時刻輸出誤差進行功率檢測，判斷︿w是否發生突變。算法模型如圖3所示，基本流程如下：

（1）算法初始，由加權系數向量w（n）的維數N，輸入信號功率，噪聲功率及設定的最大穩態失調比η，計算參數minμ,maxμ和κ，起始時刻m=0，即迭代次數n由0起始；

（2）由設定參數實時計算每次迭代時的步長因子（）nμ，之后執行LMS算法其余部分；

（3）估計當前時刻誤差e（n）的功率大小，與前一時刻誤差信號（1）e n-比較，若大于設定的門限值χ，則執行步驟（4），小于則直接返回執行步驟（2）；

（4）將當前時刻的迭代次數n賦值給m，由當前時刻的信號x（n）的功率估值更新參數minμ,maxμ和κ，返回執行步驟（2）。

其中對不同時刻誤差信號的功率估計，計算如式（11）（輸入信號同此）：

圖3 迭代變步長LMS算法原理圖

4 算法性能分析

本節將在上一節介紹原理基礎上，推導本文算法的收斂速度和穩態失調誤差，分析該算法的計算復雜度，并與FXSSLMS和已有VSSLMS算法進行對比分析，同時給出了算法中參數minμ,maxμ和κ的取值準則。為簡便起見，本節的分析均以實信號為例，矩陣的共軛轉置與轉置等價。

4.1 收斂性和穩態失調誤差分析

算法的輸入信號向量x（n）和估計誤差e（n）均具隨機性，假設參考信號 x（n）是均值為 0，功率為 P的隨機信號，?y（ n）是x（n）濾波后與噪聲ε（n） 的疊加信號，即 ?y （ n ） =x（n ） + ε（n） 。其中， ε（n） 是均值為0、方差為的高斯白噪聲，為未知的濾波器系數，=…]T。由式（2）可得：

則誤差信號的均方值可表示為

由于（）nε為高斯白噪聲，與信號向量x（n）統計獨立，利用直接平均法[1]得

式中， R = E{ x （ n ） xT（n）}是輸入信號向量x（n）的統計平均自相關矩陣，為共軛對稱矩陣。根據共軛對稱矩陣性質，可通過酉矩陣U將R對角化，對角矩陣元素λj為R的特征值，如式（16）所示。

再令 C （n ） = UTc（ n） ，則根據式（10）和式（13）可得

由式（16）可得 R =UΛ UT，又因c（ n ） =UC （ n），將二者代入式（15），可得

由于輸入信號向量x（n）與白噪聲（）nε統計獨立，式（18）可展開為

這里tr（）?表示求矩陣的跡。以此類推，有

其中

由于酉矩陣不改變矩陣的跡，整理得

可等價于

可見式（24）收斂條件為，對于任意的i和j均有1 - μ （ i ）λj＜ 1，與式（4）給出的 LMS算法收斂條件相符。下面根據式（24）-式（26），與 FXSSLMS 算法對比分析本文方法性能。

由上述的分析可知，算法的收斂性取決于式（25）中累積乘積取值的變化趨勢，對于FXSSLMS算法μ（ i）為恒定值，即本文算法和FXSSLMS算法的收斂因子[1]分別為ρIVSS（n）和ρFXSS（n）：

設最大特征 λmax= 1 , FXSSLMS算法的步長因子為 μ =0.1/λmax，本文算法中 μmax=8μ, μmin= 0 .5 μ，則兩種算法的理論收斂曲線如圖4所示。對于一般信噪比情況，當 ρ （n）＜ 1 0-20時均可近似為0，由圖可見本文算法的收斂速度明顯快于FXSSLMS算法。

圖4 不同參數對應的收斂因子變化曲線

由迭代變步長因子式（9）可知，μ （ ∞） ≈ μmin，與FXSSLMS算法失調誤差式（7）的推導相同[1]，本文算法在n→∞時的穩態失調誤差為

由參考信號 x（n）功率和階數 N 可估計出 x（n）自相關矩陣的特征值，進而設定 μmax=0.8/λmax，結合式（29）可得 μmin。根據對信號?y（ n）的信噪比估計，設定式（5）中的收斂門限值γ，其值應遠小于噪信比。為了同時兼顧收斂速度和穩態失調誤差，本文算法的參數κ取值應使得收斂因子需小于收斂門限值γ，且步長因子應處于圖3中變化速度最快的區域。

4.2 計算復雜度分析

除算法收斂速度和穩態失調誤差外，計算復雜度也是影響其應用的重要因素。分析本文IVSSLMS算法的計算復雜度，并與FXSSLMS和文獻[7,9-11]中的 VSSLMS算法進行對比。式（9）中指數運算一般采用查表法，可暫等價于1次乘法運算，故本文算法每次計算步長因子需要4次加法，4次乘法和2次除法。由于本文算法除計算步長因子外的遞推步驟與FXSSLMS算法相同，若假設算法的濾波器階數為 N，則由式（1），式（2）和式（10）可得本文算法的其余遞推運算共需2N次加法和2N+2次乘法。同理可得 FXSSLMS算法和文獻[7,9-11]中 VSSLMS算法一次遞推所需的運算量，如表1所示。由表可知，本文算法的運算量略高于FXSSLMS算法，與文獻[7]中的 VSSLMS算法相當，小于其他幾種VSSLMS算法。可見，本文算法具有低的計算復雜度，便于硬件實現。

表1 不同算法一次遞推所需的運算量

5 仿真驗證

本節將分別在白噪聲和有色噪聲干擾下進行仿真，相應結果取 200次獨立仿真的平均值，與FXSSLMS算法和文獻[7,9-11]中的 4種 VSSLMS算法對比，以驗證所提方法的性能。參考文獻[7,9-11]，仿真時4種VSSLMS算法的相關參數設置如表2所示，其中文獻[10]和文獻[11]另有調整參數δ和ζ。

5.1 白噪聲干擾

白噪聲干擾仿真條件設置為：未知濾波階數N= 5 ， 系數[15]w︿ =[0.227, 0.460, 0.688, 0.460,0.227]T，在第 2000個數據濾波系數變為w︿ =[- 0.298, 0.225, 0.849, 0.225,- 0 .298]T；輸入信號x（n）為零均值高斯白噪聲，方差= 1，即 x（n）平均功率為1；干擾ε（n）為零均值高斯白噪聲，其方差為= 0 .0001和= 0 .05 ，即信噪比SNR為40 dB 和 13 dB兩種情況。兩種信噪比對應的本文算法（IVSSLMS）參數分別為 κ1=85, χ1=和κ2=55, χ2=。由于參考信號不變，所以算法的步長因子取值范圍在兩種信噪比下相同。為避免步長因子取臨界值導致不收斂，令 μmax=0.8/N）=0.16，為減小穩態失調誤差令μmin=0.005（/ N ）= 0 .001。為使穩態失調比小于0.1，兩種信噪比下 FXSSLMS算法的步長因子均為== 0 .04。另外，表2中4種VSSLMS 算法的步長因子取值上下限與本文算法相同，所有算法的濾波加權系數向量初值 w （ 0）=0。兩種信噪比對應的仿真結果分別如圖5和圖6所示。

表2 不同算法對應參數

圖5 SNR=40 dB白噪聲仿真結果

圖6 SNR=13 dB白噪聲仿真結果

由圖5可見，在高SNR（40 dB）的白噪聲背景下文獻中4種VSSLMS算法收斂速度和穩態失調誤差性能均優于FXSSLMS算法，不過文獻[10]和文獻[11]中的兩種算法跟蹤調節能力較弱，這是因為二者的步長因子不能隨誤差信號的突然增大而迅速變大。文獻[9]中算法的性能比較平穩，不過其穩態失調誤差與文獻[7]相比較大。通過對比可見，本文IVSSLMS算法的收斂速度和穩態失調誤差性能均優于已有的4種方法，且具有良好的跟蹤能力。由圖 6可見，在SNR3 dB較低情況下，幾種VSSLMS算法與FXSSLMS算法相比，收斂速度優勢不再明顯，文獻[9,10]中的兩種算法收斂速度略慢于FXSSLMS算法，但VSSLMS算法的穩態失調誤差均小于FXSSLMS算法。本文IVSSLMS算法在該信噪比下，能夠達到的最小穩態失調誤差比已有VSSLMS算法降低了3 dB以上。

圖7 SNR=40 dB有色噪聲仿真結果

5.2 有色噪聲干擾

在 5.1節仿真條件基礎上，將白色噪聲干擾改為有色噪聲。有色噪聲ε（n）產生是白噪聲通過一個一階系統使前后序列具有相關性[15]，1 - 0 .9z-1。同樣以信噪比為40 dB和13 dB兩種情況進行仿真，其余所有仿真條件和算法參數設置同5.1節。有色噪聲下，兩種信噪比對應的仿真結果分別如圖7和圖8所示。

圖8 SNR=13 dB有色噪聲仿真結果

由圖7可見，有色噪聲高SNR下，文獻[10]的VSSLMS算法性能急劇下降，這是因為具有相關性的噪聲對該算法其步長變化影響較大。其余幾種VSSLMS算法性能與白噪聲下相近。由圖8知，當有色噪聲條件下SNR減小為13 dB時，文獻[7]的算法受影響最大。此時，本文 IVSSLMS算法體現出了更為優越的性能，在保證收斂速度和跟蹤能力不低于已有VSSLMS算法前提下，穩態失調誤差降低了7 dB以上。

由本節的仿真及分析可知，本文 IVSSLMS算法在不同噪聲背景下，均具有快的收斂速度、低的穩態失調誤差和良好的跟蹤能力，抗干擾能力，尤其是相關噪聲干擾，明顯優于已有VSSLMS算法。

6 總結

本文在分析了 FXSSLMS算法性能和已有VSSLMS算法特點基礎上，提出了迭代變步長LMS算法（IVSSLMS），對其收斂性和穩態失調誤差進行了理論分析。該算法通過建立迭代次數與步長因子間的改進 Logistic函數非線性關系，使得算法初始階段步長因子值較大變化慢，在收斂階段趨于恒定的最小值，從而獲得快的收斂速度和低的穩態失調誤差，且不易受噪聲等干擾因素的影響。仿真表明，在白噪聲條件下，本文 IVSSLMS算法的收斂速度和穩態失調誤差性能略優于已有的4種VSSLMS算法，有色噪聲下穩態失調誤差降低了7 dB。所以，本文所提的迭代變步長 LMS算法具有快的收斂速度，低的穩態失調誤差和更強的抗干擾的能力，且變步長方法易于數字硬件實現，具有較高的實際應用價值。

[1] Simon H著. 鄭寶玉譯. 自適應濾波器原理[M]. 第4版, 北京:電子工業出版社, 2010: 206-212.

[2] Huang Bo-yan, Xiao Ye-gui, Sun Jin-wei, et al.. A variable step-size FXLMS algorithm for narrowband active noise control[J]. IEEE Transactions on Audio, Speech and Language Processing, 2013, 21（2）: 301-312.

[3] Xu Ding-jie, Yin Bo, Wang Wei, et al.. Variable tap-length LMS algorithm based on adaptive parameters for TDL structure adaption[J]. IEEE Signal Processing Letters, 2014,21（7）: 809-813.

[4] Choi Y S and Hooman S M. Simultaneous transmission and reception: algorithm, design and system level performance[J].IEEE Transactions on Wireless Communications, 2013,12（12）: 5992-6010.

[5] Harsha I K R and Behrouz F B. Fast LMS/Newton algorithms for stereophonic acoustic echo cancelation[J].IEEE Transactions on Signal Processing, 2009, 57（8）:2919-2930.

[6] Kwong R H and Johnston E W. A variable step size LMS algorithm[J]. IEEE Transactions on Signal Processing, 1992,40（7）: 1633-1642.

[7] Aboulnasr T and Mayyas K. A robust variable step-size LMS-type algorithm: analysis and simulations[J]. IEEE Transactions on Signal Processing, 1997, 45（3）: 631-639.

[8] 羅小東, 賈振紅, 王強. 一種新的變步長LMS 自適應濾波算法[J]. 電子學報, 2006, 34（6）: 1123-1126.Luo Xiao-dong, Jia Zhen-hong, and Wang Qiang. A new variable step size LMS adaptive filtering algorithm[J]. Acta Electronica Sinica, 2006, 34（6）: 1123-1126.

[9] 田福慶, 羅榮, 李克玉, 等. 基于改進的雙曲正切函數變步長LMS算法[J]. 系統工程與電子技術, 2012, 34（9）: 1758-1763.Tian Fu-qing, Luo Rong, Li Ke-yu, et al.. New variable step-size LMS algorithm based on modified hyperbolic tangent function[J]. Systems Engineering and Electronics,2012, 34（9）: 1758-1763.

[10] Mayyas K and Momani F. An LMS adaptive algorithm with a new step-size control equation[J]. Journal of the Frankin Institute, 2011, 348（4）: 589-605.

[11] Huang Hsu-chang and Lee Jung-hsi. A new variable step-size NLMS algorithm and its performance analysis[J]. IEEE Transactions on Signal Processing, 2012, 60（4）: 2055-2060.

[12] Mayyas K. A variable step-size selective partial update LMS algorithm[J]. Digital Signal Processing, 2013, 23（1）: 75-85.

[13] Zhang Sheng and Zhang Jia-shu. New steady-state analysis results of variable step-size LMS algorithm with different noise distributions[J]. IEEE Signal Processing Letters, 2014,21（6）: 653-657.

[14] Bershad N J, Eweda E, and Bermudez José C M. Stochastic analysis of the LMS and NLMS algorithms for cyclostationary white gaussian inputs[J]. IEEE Transactions on Signal Processing, 2014, 62（9）: 2238-2249.

[15] Hwang Jeng-kuang and Li Yuan-ping. Variable step-size LMS algorithm with a gradient-based weighted average[J].IEEE Signal Processing Letters, 2009, 16（12）: 1043-1046.