傳遞函數(shù)辨識(21):線性回歸系統(tǒng)的遞階遞推參數(shù)估計

丁 鋒 ,劉喜梅

(1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122;2.青島科技大學(xué) 自動化與電子工程學(xué)院,山東 青島 266061)

辨識方法包括遞推辨識和迭代辨識兩類。因此結(jié)合遞階辨識原理,遞階辨識方法可分為遞階遞推辨識方法和遞階迭代辨識方法兩類。

遞推辨識方法包括基本的隨機梯度辨識方法、遞推梯度辨識方法、遞推最小二乘辨識方法、牛頓遞推辨識方法等,所以結(jié)合遞階辨識原理,派生出遞階隨機梯度辨識方法、遞階遞推梯度辨識方法、遞階遞推最小二乘辨識方法、遞階牛頓遞推辨識方法等。有時省略“遞推”二字,將“遞階遞推辨識方法”簡稱為“遞階辨識方法”。

迭代辨識方法包括基本的梯度迭代辨識方法、最小二乘迭代辨識方法、牛頓迭代辨識方法等,所以結(jié)合遞階辨識原理,派生出遞階梯度迭代辨識方法、遞階最小二乘迭代辨識方法、遞階牛頓迭代辨識方法等。

將遞階辨識原理與輔助模型辨識思想相結(jié)合,誕生出的遞推辨識算法包括輔助模型遞階隨機梯度辨識方法、輔助模型遞階遞推梯度辨識方法、輔助模型遞階遞推最小二乘辨識方法、輔助模型遞階牛頓遞推辨識方法等;誕生出的迭代辨識算法包括輔助模型遞階梯度迭代辨識方法、輔助模型遞階最小二乘迭代辨識方法、輔助模型遞階牛頓迭代辨識方法等。

將遞階辨識原理與多新息辨識理論相結(jié)合,誕生出的遞推辨識算法包括遞階多新息隨機梯度辨識方法、遞階多新息遞推梯度辨識方法、遞階多新息遞推最小二乘辨識方法、遞階多新息牛頓遞推辨識方法等;誕生出的迭代辨識算法包括遞階多新息梯度迭代辨識方法、遞階多新息最小二乘迭代辨識方法、遞階多新息牛頓迭代辨識方法等。有時省略“遞推”二字,將“多新息遞推辨識方法”簡稱為“多新息辨識方法”。

將遞階辨識原理與輔助模型辨識思想、多新息辨識理論相結(jié)合,誕生出的遞推辨識算法包括輔助模型遞階多新息隨機梯度辨識方法、輔助模型遞階多新息遞推梯度辨識方法、輔助模型遞階多新息遞推最小二乘辨識方法、輔助模型遞階多新息牛頓遞推辨識方法等;誕生出的迭代辨識算法包括輔助模型遞階多新息梯度迭代辨識方法、輔助模型遞階多新息最小二乘迭代辨識方法、輔助模型遞階多新息牛頓迭代辨識方法。

在連載論文中,使用多新息辨識理論、遞階辨識原理、耦合辨識概念[1-6],先后研究了信號模型、傳遞函數(shù)的參數(shù)估計[7-15]。遞階辨識是一種基于分解的辨識。一些兩階段辨識方法、三階段辨識方法、多階段辨識方法也可稱為遞階辨識方法,如《系統(tǒng)辨識——輔助模型辨識思想與方法》第3、4、5章中的基于分解的辨識方法[4],《系統(tǒng)辨識——多新息辨識理論與方法》第2、3、4、5章中的基于分解的辨識方法、兩階段辨識方法和三階段辨識方法[6]。本工作首先介紹線性回歸系統(tǒng)(即白噪聲干擾下的線性參數(shù)系統(tǒng))的遞階遞推最小二乘辨識方法,參見《自動化學(xué)報》1999年第5期上的原始論文“大系統(tǒng)的遞階辨識”[16]。在此基礎(chǔ)上,結(jié)合多新息辨識理論,研究線性回歸系統(tǒng)的遞階梯度辨識方法和遞階最小二乘辨識方法等。文中提出的遞階辨識方法可以推廣用于其他線性和非線性隨機系統(tǒng),以及信號模型的參數(shù)辨識[17-26]。

1 遞階最小二乘辨識方法

考慮下列線性回歸系統(tǒng),

其中y(t)∈?是系統(tǒng)輸出變量,υ(t)∈?是零均值隨機白噪聲,θ∈?n為待辨識的參數(shù)向量,φ(t)∈?n是由時刻t以前的輸出y(t)和時刻t 及以前的輸入u(t)等變量構(gòu)成的回歸信息向量。假設(shè)維數(shù)n已知。不特別申明,設(shè)t≤0時,各變量的初值為零,這里意味著y(t)＝0,φ(t)＝0,υ(t)＝0。

辨識的目的是利用觀測信息{y(t),φ(t)}和某種優(yōu)化算法估計系統(tǒng)的未知參數(shù)向量θ。盡管遞推最小二乘算法能夠估計參數(shù)向量θ,但由于大系統(tǒng)維數(shù)高、變量和待估計的參數(shù)數(shù)目多,使得算法的計算量和存儲量急劇增加,以致在算法的實現(xiàn)上造成極大的困難,這就是所謂的“維數(shù)災(zāi)”。在這種情況下,研究基于分解的大系統(tǒng)遞階辨識算法,提出計算量小的辨識算法已成為必然。

為了說明遞階辨識算法能大幅度減小計算,下面先簡單介紹辨識線性回歸系統(tǒng)(1)的遞推最小二乘辨識算法作為比較,隨后推導(dǎo)遞階最小二乘辨識算法。

1.1 遞推最小二乘辨識方法

1.1.1 遞推最小二乘辨識算法

對于線性回歸系統(tǒng)(1),定義隨時間t 遞增的準則函數(shù)為

極小化準則函數(shù)J1(θ),可以得到估計參數(shù)向量θ 的遞推最小二乘算法(recursive least squares algorithm,RLS算法):

1.1.2 加權(quán)遞推最小二乘辨識算法

在RLS算法(2)～(5)中引入加權(quán)因子wt,便得到估計參數(shù)向量θ 的加權(quán)遞推最小二乘算法(weighted recursive least squares algorithm,WRLS算法):

1.1.3 遺忘因子遞推最小二乘辨識算法

在RLS算法(2)～(5)中引入遺忘因子λ,便得到估計參數(shù)向量θ 的遺忘因子遞推最小二乘算法(forgetting factor recursive least squares algorithm,FF-RLS算法):

1.1.4 加權(quán)遺忘因子遞推最小二乘辨識算法

在RLS算法(2)～(5)中引入加權(quán)因子wt和遺忘因子λ,便得到估計參數(shù)向量θ 的加權(quán)遺忘因子遞推最小二乘算法(weighted forgetting factor recursive least squares algorithm,W-FF-RLS算法):

1.2 遞階最小二乘辨識算法

遞階辨識原理與辨識方法是筆者1996年給清華大學(xué)碩士生、博士生講授《大系統(tǒng)理論及應(yīng)用》課程時,受大系統(tǒng)遞階控制的“分解—協(xié)調(diào)原理”的啟發(fā)提出的,把“分解”的思想引入辨識中,從而提出了遞階辨識原理,開辟了遞階辨識研究領(lǐng)域。

遞階辨識原理分3步。

第1步:辨識模型分解為一些子辨識模型。

第2步:采用最小二乘原理或梯度搜索原理等分別辨識這些子模型。

第3步:協(xié)調(diào)處理各子辨識算法間的關(guān)聯(lián)項。

遞階辨識原理不僅能夠解決大規(guī)模多變量系統(tǒng)辨識方法計算量大的問題,而且能解決結(jié)構(gòu)復(fù)雜非線性系統(tǒng)的辨識問題。遞階辨識最初用于解決維數(shù)高、參數(shù)數(shù)目多的線性回歸系統(tǒng)辨識算法計算量大的問題。首篇代表性論文“大系統(tǒng)的遞階辨識”發(fā)表在《自動化學(xué)報》1999年第5期上,隨后遞階辨識原理發(fā)展用于類多變量受控自回歸系統(tǒng)的辨識,代表性論文“多變量離散時間系統(tǒng)傳遞函數(shù)陣參數(shù)的遞階梯度迭代辨識方法與遞階隨機梯度辨識方法”發(fā)表在國際期刊Automatica 2005年第2期上,“多變量系統(tǒng)傳遞函數(shù)模型的遞階最小二乘迭代辨識方法與遞階最小二乘辨識方法”發(fā)表在國際期刊IEEE Transactions on Automatic Control 2005年第3期上。以下介紹大系統(tǒng)(1)的遞階最小二乘辨識方法[2-3]。

將大系統(tǒng)(1)的信息向量和參數(shù)向量分解為N個維數(shù)為ni的子信息向量(sub-information vector)φi(t)和子參數(shù)向量(sub-parameter vector)θi如下:

于是,可以把系統(tǒng)(1)分解為N 個虛擬子系統(tǒng)(fictitious subsystem),即子辨識模型(sub-identification model,Sub-ID 模型),也稱為遞階辨識模型(hierarchical identification model,H-ID模型):

極小化準則函數(shù)J2i(θi),利用遞階辨識原理,我們能夠獲得估計子參數(shù)向量θi的遞階最小二乘算法(hierarchical least squares algorithm,HLS 算法)[2,16]:

1.3 加權(quán)遞階最小二乘辨識算法

在遞階最小二乘算法(20)～(24)中引入加權(quán)因子wt≥0,便得到估計系統(tǒng)(1)參數(shù)向量θ 的加權(quán)遞階最小二乘算法(weighted hierarchical least squares algorithm,W-HLS算法):

加權(quán)最小二乘算法對不同時刻的觀測數(shù)據(jù)給予不同的權(quán)重,數(shù)據(jù)可信度大的給予的權(quán)值就大。如果某一時刻的權(quán)值取為零(wt＝0),說明此數(shù)據(jù)不可信,參數(shù)估計不進行刷新,而保持上一時刻的估計值,這可從此時刻的增益向量Li(t)為零看出。

1.4 遺忘因子遞階最小二乘算法

在遞階最小二乘算法(20)～(24)中引入遺忘因子0＜λ≤1,便得到估計系統(tǒng)(1)參數(shù)向量θ 的遺忘因子遞階最小二乘算法(forgetting factor hierarchical least squares algorithm,FF-HLS算法):

1.5 加權(quán)遺忘因子遞階最小二乘算法

在遞階最小二乘算法(20)～(24)中引入加權(quán)因子wt≥0和遺忘因子0＜λ≤1,便得到估計系統(tǒng)(1)參數(shù)向量θ 的加權(quán)遺忘因子遞階最小二乘算法(weighted FF-HLS algorithm,W-FF-HLS算法)或遺忘因子加權(quán)遞階最小二乘算法(forgetting factor W-HLS algorithm,FF-W-HLS算法):

2 遞階多新息最小二乘辨識方法

2.1 遞階多新息最小二乘算法

設(shè)整數(shù)p≥1為新息長度。借助多新息辨識理論[6],基于遞階最小二乘算法(20)～(24),定義堆積輸出向量(stacked output vector)Y(p,t),堆積信息矩陣(stacked information matrix)Φ(p,t)和堆積子信息矩陣Φi(p,t)如下:

式(44)～(46)和(40)～(42)構(gòu)成了辨識系統(tǒng)(1)參數(shù)向量θ 的遞階多新息最小二乘算法(hierarchical multi-innovation least squares algorithm,HMILS算法):

當(dāng)新息長度p＝1時,HMILS算法(47)～(55)退化為HLS算法(20)～(24)。當(dāng)子系統(tǒng)數(shù)目N ＝1時,HMILS算法退化為多新息最小二乘(MILS)算法[6]。當(dāng)新息長度p＝1,子系統(tǒng)數(shù)目N ＝1時,HMILS算法退化為RLS算法(2)～(5)。

2.2 加權(quán)遞階多新息最小二乘算法

在HMILS算法(47)～(55)中引入加權(quán)因子wt,便得到辨識系統(tǒng)(1)參數(shù)向量θ 的加權(quán)遞階多新息最小二乘算法(weighted hierarchical multi-innovation least squares algorithm,W-HMILS算法):

2.3 遺忘因子遞階多新息最小二乘算法

在HMILS算法(47)～(55)中引入遺忘因子λ,便得到辨識系統(tǒng)(1)參數(shù)向量θ 的遺忘因子遞階多新息最小二乘算法(forgetting factor hierarchical multi-innovation least squares algorithm,FFHMILS算法):

2.4 加權(quán)遺忘因子遞階多新息最小二乘算法

在HMILS算法(47)～(55)中引入加權(quán)因子wt和遺忘因子λ,便得到辨識系統(tǒng)(1)參數(shù)向量θ的加權(quán)遺忘因子遞階多新息最小二乘算法(weighted forgetting factor hierarchical multi-innovation least squares algorithm,W-FF-HMILS算法):

在W-FF-HMILS算法(74)～(82)中取遺忘因子λ＝1,就得到加權(quán)遞階多新息最小二乘(WHMILS)算法;取加權(quán)因子wt＝1,就得到遺忘因子遞階多新息最小二乘(FF-HMILS)算法。

3 遞階隨機梯度辨識方法

考慮下列線性回歸系統(tǒng),

其中各變量的定義同上。將參數(shù)向量θ 分解為N 個維數(shù)為ni的子參數(shù)向量θi,將信息向量φ(t)分解為N 個維數(shù)為ni的子信息向量φi(t)如下:

于是,可以把系統(tǒng)(83)分解為N 個虛擬子系統(tǒng),即遞階辨識模型(H-ID模型):

yi(t)∈?是虛擬子系統(tǒng)的輸出,αi(t)∈?稱為各子系統(tǒng)間的關(guān)聯(lián)項(associate item),它是通過參數(shù)θj(j≠i)耦合的。

3.1 隨機梯度辨識方法

3.1.1 隨機梯度辨識算法

對于線性回歸辨識模型(83),定義梯度準則函數(shù)

極小化準則函數(shù)J3(θ),可以得到辨識線性回歸系統(tǒng)(83)參數(shù)向量θ 的隨機梯度算法(stochastic gradient algorithm,SG 算法)[5]:

3.1.2 加權(quán)隨機梯度辨識算法

在SG 算法(87)～(89)中引入加權(quán)因子wt,可以得到辨識線性回歸系統(tǒng)(83)參數(shù)向量θ 的加權(quán)隨機梯度算法(weighted stochastic gradient algorithm,W-SG 算法):

3.1.3 遺忘因子隨機梯度辨識算法

在SG 算法(87)～(89)中引入遺忘因子λ,就可以得到辨識線性回歸系統(tǒng)(83)參數(shù)向量θ 的遺忘因子隨機梯度算法(forgetting factor stochastic gradient algorithm,FFSG 算法):

3.1.4 加權(quán)遺忘因子隨機梯度辨識算法

在SG 算法(87)～(89)中引入加權(quán)因子wt和遺忘因子λ,可以得到辨識線性回歸系統(tǒng)(83)參數(shù)向量θ 的加權(quán)遺忘因子隨機梯度算法(weighted forgetting factor stochastic gradient algorithm,WFFSG 算法):

3.2 多新息隨機梯度算法

為了改善SG 算法的收斂速度,利用多新息辨識理論[6],基于SG 辨識算法(87)～(89),引入新息長度p,將觀測輸出y(t)和信息向量φ(t)擴展為堆積輸出向量Y(p,t)和堆積信息矩陣Φ(p,t):

將式(87)中標量新息(scalar innovation)e(t)∈?擴展為新息向量(innovation vector),即多新息

可以得到辨識線性回歸系統(tǒng)(83)參數(shù)向量θ的多新息隨機梯度算法(multi-innovation stochastic gradient algorithm,MISG 算法):

當(dāng)新息長度p＝1 時,MISG 辨識算法退化為SG 辨識算法(87)～(89)。

3.3 遞階隨機梯度辨識算法

對于遞階辨識模型(84),定義關(guān)于子參數(shù)向量θi的梯度準則函數(shù)

極小化準則函數(shù)J4i(θi),可以獲得估計參數(shù)向量θi的梯度遞推關(guān)系:

因為只有y(t)和φ(t)及其分量φi(t)是已知的,而虛擬子系統(tǒng)的輸出yi(t)是未知的,故將式(85)中yi(t)代入式(105)得到

上式右邊包含了其它子系統(tǒng)的未知子參數(shù)向量θj(j≠i),所以算法(106)～(107)無法實現(xiàn)。為了實現(xiàn)參數(shù)估計的遞推計算,根據(jù)遞階辨識原理進行關(guān)聯(lián)項的協(xié)調(diào),式(107)中未知的θj用它在前一時刻(t－1)的估計(t－1)代替,可得

式(108)和式(106)構(gòu)成了估計系統(tǒng)(83)參數(shù)向量θ 的遞階隨機梯度算法(hierarchical stochastic gradient algorithm,HSG 算法):

如果式(109)中ri(t)用式(89)中的r(t)代替,那么HSG 算法(109)～(112)完全等同于隨機梯度算法(87)～(89)。線性回歸系統(tǒng)的遞階隨機梯度類算法與隨機梯度類算法的計算量沒有大的差別,同樣,線性回歸系統(tǒng)的遞階梯度類算法與遞推梯度類算法的計算量也沒有大的差別。遞階辨識的優(yōu)點主要體現(xiàn)在遞階最小二乘算法的計算效率上。

基于HSG 算法(109)～(112),在式(109)中引入收斂指數(shù)(convergence index,即

就得到修正遞階隨機梯度算法(modified HSG algorithm,M-HSG 算法)。

基于HSG 算法(109)～(112),在式(110)中引入遺忘因子(forgetting factor)λ,即

就得到遺忘因子遞階隨機梯度算法(forgetting factor HSG algorithm,FF-HSG 算法)。

基于HSG 算法(109)～(112),在式(109)中引入收斂指數(shù)(convergence index)ε,在式(110)中引入遺忘因子(forgetting factor)λ,即就得到遺忘因子修正遞階隨機梯度算法(FF-MHSG 算法)。

4 遞階多新息隨機梯度算法

眾所周知,盡管隨機梯度辨識算法的計算量小,但是收斂速度慢。為了提高隨機梯度算法參數(shù)估計的收斂速度,本書作者首次提出了能提高參數(shù)估計精度的多新息辨識理論[6]。這里基于HSG 算法(109)～(112),引入新息長度(innovation length),將式(109)中標量新息(innovation)e(t)＝y(tǒng)(t)－擴展為新息向量(innovation vector)

整數(shù)p≥1 為新息長度。定義堆積輸出向量(stacked output vector)Y(p,t),堆積信息矩陣(stacked information matrix)Φ(p,t)和堆積子信息矩陣Φi(p,t)如下:

聯(lián)立式(117)～(121)和(110)～(112),就得到辨識線性回歸系統(tǒng)(83)參數(shù)向量θ 的遞階多新息隨機梯度算法(hierarchical multi-innovation stochastic gradient algorithm,HMISG 算法):

當(dāng)新息長度p＝1時,HMISG算法退化為HSG 算法(109)～(112)。

基于HMISG 算法(122)～(130),在式(122)中引入收斂指數(shù)ε,即

就得到修正遞階多新息隨機梯度算法(modified HMISG algorithm,M-HMISG 算法)。

基于HMISG 算法(122)～(130),在式(124)中引入遺忘因子λ,即

就得到遺忘因子遞階多新息隨機梯度算法(forgetting factor HMISG algorithm,FF-HMISG 算法)。

基于HMISG 算法(122)～(130),在式(122)中引入收斂指數(shù)ε,在式(124)中引入遺忘因子λ,即

就得到遺忘因子修正遞階多新息隨機梯度算法(FFM-HMISG 算法)。

5 遞階遞推梯度辨識方法

5.1 遞推梯度辨識算法

對于辨識模型(83),定義隨時間t 遞增的準則函數(shù)為

定義堆積輸出信息向量Y(t)和堆積信息矩陣Φ(t)如下:

定義遞推關(guān)系:

讀者可以寫出引入收斂指數(shù)、加權(quán)因子、遺忘因子后的修正遞推梯度算法(M-RG 算法)、加權(quán)遞推梯度算法(W-RG 算法)、遺忘因子遞推梯度算法(FF-RG 算法)、加權(quán)修正遞推梯度算法(W-M-RG算法)、遺忘因子修正遞推梯度算法(FF-M-RG 算法)、加權(quán)遺忘因子修正遞推梯度算法(W-FF-M-RG算法)。

5.2 多新息遞推梯度算法

多新息辨識方法是考慮從t－p＋1到t的動態(tài)數(shù)據(jù)窗里的p 組數(shù)據(jù)作為一個整體推導(dǎo)出的辨識算法。對于辨識模型(83),定義堆積輸出向量Y(p,t)和堆積信息矩陣Φ(p,t)如下:

多新息梯度算法采用的隨時間t遞增的準則函數(shù)為

定義堆積輸出信息向量Zt和堆積信息矩陣Ωt如下:

則準則函數(shù)J6(θ)可以寫為

求準則函數(shù)J6(θ)對參數(shù)向量θ 的一階偏導(dǎo)數(shù),可以得到準則函數(shù)J6(θ)的梯度向量

在多新息梯度辨識算法(145)～(151)中引入收斂指數(shù)、加權(quán)因子、遺忘因子,便得到修正多新息梯度(M-MIG)算法、加權(quán)多新息梯度(W-MIG)算法、遺忘因子多新息梯度(FF-MIG)算法、加權(quán)修正多新息梯度(W-M-MIG)算法、遺忘因子修正多新息梯度(FF-M-MIG)算法、加權(quán)遺忘因子修正多新息梯度(W-FF-M-MIG)算法等。

多新息遞推梯度類辨識方法是我們首次提出的。它可以發(fā)展為CARMA 模型的多新息增廣梯度算法、CARAR 模型的多新息廣義梯度算法、CARARMA 模型的多新息廣義增廣梯度算法,以及輸出誤差模型的輔助模型多新息梯度算法、OEMA模型的輔助模型多新息增廣梯度算法、OEAR 模型的輔助模型多新息廣義梯度算法、OEARMA 模型的輔助模型多新息廣義增廣梯度算法等。

5.3 遞階遞推梯度辨識算法

這里介紹遞階遞推梯度辨識方法,簡稱遞階梯度辨識方法。基于遞階辨識模型(84),定義N 個隨時間t遞增的準則函數(shù):

定義堆積輸出信息向量Y(t)和Yi(t),以及堆積信息矩陣Φ(t)和子信息矩陣Φi(t)如下:

使用負梯度搜索,極小化準則函數(shù)J7i(θi),仿照RG 辨識算法的推導(dǎo),可得到基于梯度的遞推關(guān)系:

由于式(156)右邊包含了未知關(guān)聯(lián)參數(shù)θj(j≠i),所以這個算法無法實現(xiàn)。為了解決這個問題,應(yīng)用遞階辨識原理,用它們前一時刻的估計代替,得到式(160),聯(lián)立式(154)～(155)和(157),便得到辨識系統(tǒng)(83)參數(shù)向量θ 的遞階遞推梯度算法,簡稱遞階梯度算法(hierarchical gradient algorithm,HG 算法):

讀者可以寫出引入收斂指數(shù)、加權(quán)因子、遺忘因子后的修正遞階梯度(M-HG)算法、加權(quán)遞階梯度(W-HG)算法、遺忘因子遞階梯度(FF-HG)算法、加權(quán)修正遞階梯度(W-M-HG)算法、遺忘因子修正遞階梯度(FF-M-HG)算法、加權(quán)遺忘因子修正遞階梯度(W-FF-M-HG)算法。

6 遞階多新息梯度辨識算法

為簡化,遞階遞推辨識方法和多新息遞推辨識方法中一般都省略“遞推”二字,分別簡稱遞階辨識方法和多新息辨識方法,所以這里遞階多新息遞推梯度辨識方法簡稱遞階多新息梯度辨識方法。

多新息辨識方法是考慮從t－p＋1到t的動態(tài)數(shù)據(jù)窗里的p 組數(shù)據(jù)作為一個整體推導(dǎo)出的辨識算法。對于遞階辨識模型(84),定義堆積輸出向量Y(p,t)和Yi(p,t),堆積信息矩陣Φ(p,t)和子信息矩陣Φi(p,t)如下:

設(shè)μi(t)≥0為收斂因子。根據(jù)負梯度搜索,極小化準則函數(shù)J8i(θi),可得到下列梯度遞推關(guān)系:

由于特征值計算很復(fù)雜,故收斂因子也可簡單取為

由于式(167)右邊包含了未知關(guān)聯(lián)參數(shù)θj(j≠i),應(yīng)用遞階辨識原理,用它們前一時刻的估計代替,得到

取μi(t)＝1/ri(t),ri(t)＝tr[Ri(t)]＝ri(t－1)＋‖φi(t)‖2,ri(0)＝1或ri(0)＝0時,聯(lián)立式(169),(172),(168),(164)～(166),便得到辨識系統(tǒng)(83)參數(shù)向量θ 的遞階多新息遞推梯度算法(hierarchical multi-innovation recursive gradient algorithm,HMIRG 算法):

讀者可寫出引入收斂指數(shù)、加權(quán)因子(加權(quán)矩陣)、遺忘因子后的修正遞階多新息梯度(MHMIG)算法、加權(quán)遞階多新息梯度(W-HMIG)算法、遺忘因子遞階多新息梯度(FF-HMIG)算法、加權(quán)修正遞階多新息梯度(W-M-HMIG)算法、遺忘因子修正遞階多新息梯度(FF-M-HMIG)算法、加權(quán)遺忘因子修正遞階多新息梯度(W-FF-M-HMIG)算法。

7 結(jié) 語

針對線性回歸模型,利用系統(tǒng)的觀測輸入輸出數(shù)據(jù),基于遞階辨識原理,對辨識模型進行分解,得到系統(tǒng)的遞階辨識模型,推導(dǎo)出遞階(多新息)隨機梯度算法、遞階(多新息)梯度算法、遞階(多新息)最小二乘算法等。遞階辨識原理能夠用于參數(shù)多的大規(guī)模系統(tǒng)、結(jié)構(gòu)復(fù)雜的非線性系統(tǒng)的辨識,目的是簡化辨識方法和減小計算量。提出的分解辨識思想可以推廣到大規(guī)模線性隨機系統(tǒng)和復(fù)雜非線性隨機系統(tǒng)的辨識,其干擾可以是有色噪聲。