基于ＢＰ算法的系統(tǒng)辨識(shí)

摘要：討論BP算法用于系統(tǒng)辨識(shí)時(shí)樣本數(shù)的選取對(duì)訓(xùn)練速率的影響，確立一種選取每一時(shí)刻學(xué)習(xí)樣本數(shù)的標(biāo)準(zhǔn)，在此標(biāo)準(zhǔn)下，既能保證訓(xùn)練網(wǎng)絡(luò)的相對(duì)性，又能大大加快其收斂速度。

關(guān)鍵詞：BP算法；系統(tǒng)辨識(shí)；樣本

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044(2008)11-20313-02

三層BP網(wǎng)絡(luò)能逼近任意的非線性函數(shù)，并已成功地應(yīng)用于非線性系統(tǒng)的辨識(shí)[1]。由于在進(jìn)行非線性系統(tǒng)辨識(shí)時(shí)的在線學(xué)習(xí)算法是在每一時(shí)刻采集一個(gè)樣本進(jìn)行訓(xùn)練，因此，若訓(xùn)練速率小，則訓(xùn)練過(guò)程相對(duì)穩(wěn)定，但耗時(shí)長(zhǎng)；若訓(xùn)練速率大，則會(huì)引起學(xué)習(xí)模型的振蕩，即碰到極小點(diǎn)也可能會(huì)很快跳出，特別是當(dāng)噪聲存在時(shí)，就振蕩得更劇烈，往往達(dá)不到必要的精度，并影響辨識(shí)的速度。

本文從線性系統(tǒng)辨識(shí)和BP神經(jīng)網(wǎng)絡(luò)[2]的特點(diǎn)出發(fā)，討論在進(jìn)行非線性動(dòng)態(tài)系統(tǒng)辨識(shí)時(shí)選取每一時(shí)刻的訓(xùn)練樣本數(shù)對(duì)訓(xùn)練速率的影響，從而確立一種選取每一時(shí)刻學(xué)習(xí)樣本數(shù)的標(biāo)準(zhǔn)，在此標(biāo)準(zhǔn)下，既能保證訓(xùn)練網(wǎng)絡(luò)的相對(duì)穩(wěn)定性，又能大大加快其收斂速度。

1 問(wèn)題的陳述

系統(tǒng)辨識(shí)就是利用觀測(cè)到的輸入輸出數(shù)據(jù)確定動(dòng)力學(xué)系統(tǒng)模型的過(guò)程。就控制而言，其目的是為了設(shè)計(jì)控制策略[3]。

BP網(wǎng)絡(luò)就有逼近非線性函數(shù)的功能。對(duì)于一組學(xué)習(xí)樣本{xi，yi}，(i=1，2，…，k)，可以認(rèn)為存在一映射G，使得yi=G(xi)。網(wǎng)絡(luò)對(duì)此樣本集的學(xué)習(xí)，實(shí)際上就是自動(dòng)尋找一種內(nèi)部表達(dá)，它實(shí)現(xiàn)映射F，使得在某種指標(biāo)下，F(xiàn)足夠逼近G。對(duì)BP網(wǎng)絡(luò)，只要有足夠多的隱節(jié)點(diǎn)，網(wǎng)絡(luò)就能實(shí)現(xiàn)輸入到輸出的映射。

上述性質(zhì)使得BP網(wǎng)絡(luò)在靜態(tài)模型辨識(shí)中的應(yīng)用成為可能。若在靜態(tài)BP網(wǎng)絡(luò)中引入反饋和時(shí)間延遲，則靜態(tài)模型變成動(dòng)態(tài)模型。動(dòng)態(tài)BP網(wǎng)絡(luò)如圖[4]所示：

動(dòng)態(tài)BP網(wǎng)絡(luò)可用來(lái)作離散動(dòng)態(tài)系統(tǒng)的辨識(shí)，學(xué)習(xí)算法采用BP算法。文中采用的系統(tǒng)辨識(shí)模型為串并聯(lián)模型，如圖2所示。

圖中：

2BP算法用于系統(tǒng)辨識(shí)的研究

2.1 線性系統(tǒng)的辨識(shí)

2.1.1 理論分析

考慮如下線性系統(tǒng)的辨識(shí)的參數(shù)辨識(shí)問(wèn)題:

交流\\2008學(xué)術(shù)交流第二卷第二期\\第2批 42\\5 人工智能及識(shí)別技術(shù)\\a3.jpg>

（1）用傳統(tǒng)的方法如最小二乘法辨識(shí)上述線性系統(tǒng)模型，實(shí)質(zhì)上就是解一個(gè)線性方程的問(wèn)題，也就是確定參數(shù)a1，a2，…，an，b1，b2，…，bn的過(guò)程。

在每一時(shí)刻在線學(xué)習(xí)一個(gè)樣本，就相當(dāng)于通過(guò)一個(gè)樣本解一個(gè)不定方程。因有n+m+1個(gè)參數(shù)需要確定，所以至少需要n+m+1個(gè)樣本才能辨識(shí)出上述線性系統(tǒng)模型，也就是說(shuō)，至少需要n+m+1個(gè)樣本才能較好地反映系統(tǒng)的特性。一般情況下，考慮有噪聲的影響，樣本數(shù)需遠(yuǎn)大于n+m+1。

（2）用BP網(wǎng)絡(luò)作為學(xué)校模型辨識(shí)上述線性系統(tǒng)模型，實(shí)質(zhì)上就是用BP網(wǎng)絡(luò)逼近上述系統(tǒng)函數(shù)的過(guò)程，也就是將控制對(duì)象看作一黑箱，以實(shí)測(cè)的輸入輸出數(shù)據(jù)為樣本，將其送入BP網(wǎng)絡(luò)學(xué)習(xí)，確定其內(nèi)部表達(dá)的過(guò)程。對(duì)一個(gè)三層BP網(wǎng)絡(luò)，假設(shè)輸入層、隱層、輸出層的節(jié)點(diǎn)數(shù)分別為n1，n2，n3個(gè)，用BP網(wǎng)絡(luò)辨識(shí)上述系統(tǒng)的過(guò)程就是通過(guò)每一時(shí)刻采集到的樣本去確定各節(jié)點(diǎn)的權(quán)值和閾值（共n1×n2+n2×n3+n2+n3個(gè)參數(shù)）的過(guò)程。

既然用n+m+1個(gè)樣本可以辨識(shí)具有n+m+1個(gè)未知參數(shù)的線性模型，也就是說(shuō)，n+m+1個(gè)樣本可以較好地反映具有n+m+1個(gè)未知參數(shù)的系統(tǒng)的特性，那么n1×n2+n2×n3+n2+n3個(gè)樣本可以較好地反映一個(gè)具有n1×n2+n2×n3+n2+n3個(gè)參數(shù)的神經(jīng)網(wǎng)絡(luò)的特性。所以，如果在每一時(shí)刻，用這一時(shí)刻及其前面時(shí)刻采集到的共n1×n2+n2×n3+n2+n3個(gè)樣本對(duì)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，那么，在同一訓(xùn)練速率下，會(huì)大大提高學(xué)習(xí)網(wǎng)絡(luò)的平穩(wěn)性，并能在更少的時(shí)間內(nèi)收斂。

下面具體說(shuō)明改進(jìn)的BP算法：

設(shè)第p個(gè)樣本第l層第i個(gè)神經(jīng)元節(jié)點(diǎn)輸出為ypil；第p個(gè)樣本第l+1層第j個(gè)神經(jīng)元節(jié)點(diǎn)輸出為xpjl+1；第p個(gè)樣本第l層第i個(gè)神經(jīng)元節(jié)點(diǎn)到第j個(gè)神經(jīng)元節(jié)點(diǎn)之間的權(quán)重為Wijl，則有如下關(guān)系：

其中： 。

誤差函數(shù)定義為：。

為減小J，根據(jù)梯度下降法有：

由圖3中可以看出當(dāng)每一時(shí)刻的訓(xùn)練樣本數(shù)p從1到40增加時(shí)，用于辨識(shí)的采樣時(shí)刻數(shù)值明顯減少，即辨識(shí)的速度明顯提高；當(dāng)p大于40并繼續(xù)增加時(shí)，辨識(shí)的速度不再明顯提高。而網(wǎng)絡(luò)需要確定的參數(shù)共有4×6+6×1+6+1=37個(gè)?？梢?jiàn)，仿真結(jié)果與理論分析是一致的。

p=40時(shí)，如果η適當(dāng)增大，可以達(dá)到既平穩(wěn)又快速的辨識(shí)效果。當(dāng)然如果η太大，則仍會(huì)引起振蕩。辨識(shí)效果如圖4所示。

2.2 非線性系統(tǒng)辨識(shí)及仿真結(jié)果

考慮如下非線性系統(tǒng):

3 結(jié)論

本文從線性系統(tǒng)辨識(shí)和BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)出發(fā)，討論了在進(jìn)行非線性動(dòng)態(tài)系統(tǒng)辨識(shí)時(shí)所選取每一時(shí)刻的訓(xùn)練樣本數(shù)對(duì)訓(xùn)練速率的影響，確立了每一時(shí)刻學(xué)習(xí)的樣本數(shù)對(duì)訓(xùn)練速率的影響，確立了每一時(shí)刻學(xué)習(xí)的樣本數(shù)的標(biāo)準(zhǔn)，即每一時(shí)刻學(xué)習(xí)的樣本數(shù)應(yīng)等于或稍大于所要訓(xùn)練的網(wǎng)絡(luò)的權(quán)值數(shù)。在此標(biāo)準(zhǔn)下，既能保證訓(xùn)練網(wǎng)絡(luò)的相對(duì)穩(wěn)定性，又能大大加快其收斂速度。

參考文獻(xiàn)：

[1] Chen S， et al. Nonlinear System Identification Using Neural Networks [J].Int. J. Control， 1990， 51(6):1191-1214.

[2] 張承福，神經(jīng)網(wǎng)絡(luò)系統(tǒng)[J].力學(xué)進(jìn)展，1988，18(2):145-160.

[3] Antsaklis P J. Neural Networks in Control System: Special Section on Neural Networks for Systems and Control [J].IEEE Control Systems Magazine， April， 1990. 3-5.

[4] 田明， 戴汝為.基于動(dòng)態(tài)BP神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí)方法[J].自動(dòng)化學(xué)報(bào)，1993，19(4):450-453.

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文