基于改進(jìn)微粒群算法的Elman網(wǎng)絡(luò)在非線性動態(tài)系統(tǒng)辨識中的應(yīng)用

摘要:針對反向傳播算法優(yōu)化ELMAN神經(jīng)網(wǎng)絡(luò)權(quán)值時存在的收斂速度慢，求解精度低等問題，提出了改進(jìn)微粒群算法修正網(wǎng)絡(luò)權(quán)值的學(xué)習(xí)算法.仿真結(jié)果驗證了基于改進(jìn)微粒群算法的Elman神經(jīng)網(wǎng)絡(luò)在非線性系統(tǒng)中進(jìn)行辨識的可行性。

關(guān)鍵詞:反向傳播算法;Elman;系統(tǒng)辨識

中圖分類號:TP18文獻(xiàn)標(biāo)識碼:A文章編號:1009-3044(2009)27-7741-02

動態(tài)Elman回歸型網(wǎng)絡(luò)具有自反饋，收斂速度快，無需存儲所有輸入信息便能反映出系統(tǒng)歷史信息對當(dāng)前系統(tǒng)響應(yīng)影響等優(yōu)點。它克服了靜態(tài)多層前饋網(wǎng)絡(luò)對動態(tài)系統(tǒng)進(jìn)行建模需先驗假定系統(tǒng)NARMA模型類，以及網(wǎng)絡(luò)結(jié)構(gòu)隨系統(tǒng)階次增加時迅速膨脹等缺點。常被應(yīng)用于神經(jīng)網(wǎng)絡(luò)建模與辨識中。普通Elman網(wǎng)絡(luò)通常采用標(biāo)準(zhǔn)BP算法或動態(tài)反向傳播等學(xué)習(xí)算法訓(xùn)練權(quán)值，但這些方法逼近精度低，收斂時間長，容易陷入局部極小且結(jié)果對初始向量異常敏感。PSO算法魯棒性好，具有并行處理特征，是一種較好的優(yōu)化工具。但其在優(yōu)化過程中存在早熟收斂和后期搜索速度緩慢等問題。

針對上述問題，本文基于動態(tài)Elman回歸型網(wǎng)絡(luò)結(jié)構(gòu)，提出帶有自適應(yīng)高斯變異算子的微粒群算法。基于改進(jìn)PSO算法修正網(wǎng)絡(luò)權(quán)值，對非線性系統(tǒng)進(jìn)行建模.仿真結(jié)果表明，該學(xué)習(xí)算法兼有神經(jīng)網(wǎng)絡(luò)的廣泛搜索和智能仿生算法的快速、全局收斂以及啟發(fā)等特點，具有良好的尋優(yōu)能力，效果優(yōu)于二者。

1 PSO算法的改進(jìn)

1.1 自適應(yīng)變異概率

帶有高斯變異的微粒群算法， 以預(yù)定的概率選擇變異個體。算法初期進(jìn)行大范圍搜索， 中后階段逐漸減少高斯變異率。如果預(yù)定的變異概率取值太小， 變異算子對整個微粒群幾乎不產(chǎn)生影響;如果變異概率過大， 則有可能破壞群體的優(yōu)良性， 使算法收斂速度變慢甚至不收斂. 本文根據(jù)群體和變異微粒的適應(yīng)度值以及群體最優(yōu)位置和微粒最優(yōu)位置出現(xiàn)的次數(shù)動態(tài)調(diào)整變異算子，改進(jìn)算法可有效避免上述問題， 達(dá)到了調(diào)整次優(yōu)質(zhì)微粒的效果。

記Ngk， Nipk分別為k時刻整個微粒群和微粒i上次出現(xiàn)最優(yōu)位置至當(dāng)前時刻未出現(xiàn)更優(yōu)位置的次數(shù)， 則Ngk≤max[N1pk，N2pk，…，Nipk];fave/f=μ， fave為此刻微粒群中所有微粒的平均適應(yīng)值， f是判斷是否變異微粒的適應(yīng)值。假設(shè)， k時刻微粒i的pbest發(fā)生變化， 即此刻微粒 出現(xiàn)了該微粒的歷史最優(yōu)位置， 則Nip=1， 而gbest變化不確定， 相應(yīng)的Ng也有兩種變化。下面對兩種情況分別進(jìn)行分析。

1)gbest發(fā)生變化， 則Ng=1， 此時又有兩種情況:

pbest成為最優(yōu)， 取代了原來的gbest。

pbest沒有調(diào)整到最優(yōu)位置， gbest被其他微粒的當(dāng)前pbest取代。

2)gbest不發(fā)生變化時， 即微粒i還沒有調(diào)整到最優(yōu)， 此時Ng+1。

針對上述兩種情況， 為了同時保持k時刻的最優(yōu)性和確保下時刻微粒的多樣性， 此刻微粒群中微粒的變異概率規(guī)律應(yīng)該如下:

1)最優(yōu)微粒的變異概率為盡可能小。

2)μ>1的微粒變異概率要大于μ≤1的微粒的變異概率。

3)μ>1的微粒， 當(dāng)Nip同時發(fā)生跳變時， μ較大的微粒的變異概率要大于μ較小的微粒的變異概率。

4)無論是μ>1還是μ≤1的微粒， Nip發(fā)生跳變的微粒的變異概率要小于Nip維持不變的微粒的變異概率。

根據(jù)上述規(guī)律， 我們?nèi)∽儺惛怕首兓缦?

式中fmax為種群最優(yōu)微粒所對應(yīng)的適應(yīng)值， γ為變異率提高系數(shù)。

1.2 變異操作

通常帶高斯變異的微粒群算法是在變異微粒原來位置的基礎(chǔ)上進(jìn)行高斯變異[2]。那么如果變異微粒原本位置不佳， 這樣便有可能使微粒變異后位置依然得不到改善， 使變異達(dá)不到預(yù)期效果， 于是本文讓變異微粒變異到以最優(yōu)位置進(jìn)行高斯變異的位置上， 即

這樣群體中的劣質(zhì)微粒就可以變異到較好的位置上， 而且還有可能出現(xiàn)更優(yōu)的位置， 保持了種群的多樣性， 使進(jìn)化持續(xù)進(jìn)行。

2 基于改進(jìn)微粒群算法的Elman網(wǎng)絡(luò)

將上述改進(jìn)微粒群算法用于Elman神經(jīng)網(wǎng)絡(luò)的權(quán)值優(yōu)化，主要步驟如下:

1)設(shè)置初始參數(shù)， 如種群規(guī)模M、 慣性權(quán)值w、加速度常數(shù)c1，c2、微粒長度(由Elman網(wǎng)絡(luò)待修正的權(quán)值決定)等。

2)在允許范圍內(nèi)隨機設(shè)置微粒的初始位置和速度， 每個微粒的pbest設(shè)為其初始位置， pbest中的最優(yōu)值設(shè)為gbest。

3)利用每個微粒所選權(quán)值計算神經(jīng)網(wǎng)絡(luò)的輸出和誤差， 根據(jù)ffitness=1/(1+Err(i))計算其適應(yīng)度值. 其中為網(wǎng)絡(luò)輸出與期望輸出的均方差， L為訓(xùn)練樣本數(shù)據(jù)的個數(shù)。

4)對每個微粒， 將其適應(yīng)度值與歷史最優(yōu)位置pbest相比較， 如果當(dāng)前適應(yīng)度值更優(yōu)， 則用當(dāng)前適應(yīng)度更新pbest。

5)將每個微粒的適應(yīng)度值與群體經(jīng)歷過的歷史最優(yōu)位置gbest相比較， 如果當(dāng)前群體中最優(yōu)的適應(yīng)度值較好， 則更新其值為新的gbest。

6)根據(jù)式(1)、(2)更新每個微粒的位置和速度。

7)對(6)產(chǎn)生的種群，對應(yīng)每一個微粒產(chǎn)生一個(0，1)之間的隨機數(shù)，如果此數(shù)小于該粒子的預(yù)定變異率，則對該微粒按式(4)進(jìn)行變異，

8)由7)產(chǎn)生的種群， 若滿足收斂條件， 則進(jìn)化過程成功結(jié)束， 返回全局最優(yōu)解;若不滿足則返回到3)

3 仿真試驗

分別用梯度法， 標(biāo)準(zhǔn)PSO算法以及本文改進(jìn)PSO算法對Elman神經(jīng)網(wǎng)絡(luò)權(quán)值進(jìn)行訓(xùn)練，逼近非線性函數(shù)y(k+1)=0.8*sin(y(k))+1.2u(k)。取輸入樣本區(qū)間為 [-1，1]， Elman神經(jīng)網(wǎng)絡(luò)自反饋增益系數(shù)為0.6， 隱層神經(jīng)元個數(shù)為10， PSO算法慣性權(quán)值w=0.729， 加速度常數(shù)c1=c2=2， 微粒個數(shù)N=20. 神經(jīng)網(wǎng)絡(luò)權(quán)值為[-1，1]之間的隨機數(shù)。經(jīng)過2000次訓(xùn)練， 訓(xùn)練過程中均方差的變化如表1所示。用帶自適應(yīng)變異算子的PSO訓(xùn)練權(quán)值的辨識結(jié)果如圖1所示。

4 結(jié)論

以Elman為基本網(wǎng)絡(luò)結(jié)構(gòu)，提出了基于Elman網(wǎng)絡(luò)結(jié)構(gòu)，采用改進(jìn)PSO算法修正網(wǎng)絡(luò)權(quán)值的非線性系統(tǒng)建模的方法。通過分析仿真結(jié)果，可以得到結(jié)論，Elmen網(wǎng)絡(luò)若采用改進(jìn)PSO算法對權(quán)值進(jìn)行修正，可以有效的辨識非線性系統(tǒng)，而且逼近效果非常理想。

參考文獻(xiàn):

[1] Juang C F. A hybrid of genetic algorithm and particle swarm optimization for recurrent network design[J].IEEE Transactions on System，2004，34(2):997-1006.

[2] Ge H Y， Liang Y C. Identification for Non-Linear Systems Based on Particle Swarm Optimization and Recurrent Neural Network[J].Proceedings of the IEEE International Conference on Communications， Circuits and Systems[C]，Piscataway:IEEE，2005: 27-30.

[3] Natsuki Higashi and Hitashi lba. Particle Swarm Optimization with Gaussian Mutation[J].IEEE Proceedings of the Swarm Intelligence Symposium，Indianapolis[C]， Piscataway:IEEE， 2003:72-79.