推廣的最小二乘法辨識及比較

華國邑*

（重慶交通大學 數學與統計學院，重慶）

引言

系統的辨識方法有很多種，一般可以分為兩類，一種是非參數模型辨識方法，另一種是參數模型辨識方法。其中參數模型辨識方法是通過假設模型的結構，然后極小化模型與系統之間的誤差準則函數，估計出模型的參數[1]。如果無法提前確定模型結構，則需要先識別模型結構參數，然后對模型參數進行估計。現代辨識方法按基本原理可分為3 類: 最小二乘辨識法、梯度修正辨識法和概率密度逼近辨識法[2]。本研究將重點研究最小二乘辨識的經典辨識方法，通過假設系統結構已知，只討論參數估計問題。首先從基本最小二乘法參數估計入手，進行推廣、仿真，最后從仿真結果對基本最小二乘法、增廣最小二乘法和相關最小二乘法進行比較，說明各種算法的優點和應用條件。

1 最小二乘原理及解

在系統辨識的研究中，將待辨識系統視為個黑箱，只考慮系統的輸入輸出特性，不強調系統的內部機理[3]。現在用SISO 系統研究識別問題, 對于SISO離散系統，其描述方程為

2 兩類推廣的最小二乘法辨識

2.1 增廣最小二乘辨識

根據增廣最小二乘法的遞推算法，增廣最小二乘法辨識程序運行曲線見圖1。

圖1 相關最小二乘辨識仿真

2.2 相關最小二乘辨識

相關最小二乘法是一種用兩步法估計出參數模型的參數值辨識方法，先用相關分析法辨識系統的脈沖響應函數，確定出被識系統的非參數模型，然后再應用最小二乘法將非參數模型擬合成參數模型[1,4]。考慮如下模型

該算法與輔助變量算法式是一致的，且該算法結構與遞推最小二乘法相同，不過需要先求k 時刻的相關函數，然后依相關函數時間間隔l 實現遞推計算。

例2 本例仿真模型和實驗條件與例1 相同，圖2是仿真結果。

圖2 相關最小二乘辨識仿真

3 三類最小二乘辨識的比較

從模型精度、收斂性、存儲容量、計算時間等方面對基本最小二乘法、增廣最小二乘法、相關最小二乘法進行比較，說明各種算法的優勢及應用條件。

3.1 基本最小二乘法模型結構

（1） 對于白噪聲參數，參數估計是一種無偏一致的最小方差估計；（2） 對于有色噪聲，參數估計有偏但收斂；（3） 對于高階系統，該算法優于其他算法；（4） 一次完成算法精度高，但逆矩陣計算量大，不適合在線識別；（5） 數據越多，占用的存儲空間和時間越多。

3.2 增廣最小二乘法模型結構

（1） 大多數情況下收斂，但有時不收斂；（2） 計算量大；（3） 性質類似于遞推最小二乘法。

3.3 相關最小二乘法模型結構

（1） 輸入信號與噪聲序列統計獨立時，可以得到一致的估計；（2） 算法具有較高估計精度和信噪比；（3） 可用于離線或在線辨識，初始狀態值對遞歸估計影響小；（4） 計算時間短，但在有色噪聲的情況下，計算量大。

最小二乘法是最基本、最常用的系統辨識方法，它能在觀測數據最小平方差時實現最佳擬合。基本最小二乘算法更適合理論研究[5-6]，但編程中占用較大的存儲空間，計算量大，因此常用于離線系統辨識。增廣最小二乘法擴展了最小二乘法的參數向量和數據向量，還考慮噪聲模型的辨識。相關最小二乘法是一種兩步估計參數模型參數值的方法。除上述辨識方法外，還有許多最小二乘參數辨識方法，可以根據不同模型進行選擇[1,3,6]。