基于動態RPROP算法的對角遞歸神經網絡

王曉燕，楊富龍

（1.蘭州城市學院 培黎機械工程學院，甘肅 蘭州730070；2.蘭州理工大學 電子與信息工程學院，甘肅 蘭州730050）

對于參數易變的非線性復雜系統，對角遞歸神經網絡利用其自身的時間特性可以處理時變輸入信息，對非線性時變系統進行控制[1]。很多學者就訓練神經網絡的算法進行了深入研究，并分別應用于不同領域。Guo B等[2]將利用DRNN實現的PID控制器應用于永磁同步電機伺服系統的控制。LI Bo等[3]將DRNN用于挖掘機伺服系統的參數辨識。S.-I.HAN等[4]提出的一種基于遞歸神經網絡的模糊控制器對非線性系統具有良好的跟蹤性能。WANG L等[5]為了提高系統的收斂速度，提出了一種混沌DRNN控制器模型。SHUANG F等[6]提出了一種基于DRNN的渦流測功機輸入輸出特性辨識模型。PENG Jin-zhu等[7]提出了一種結合對角遞歸神經網絡和非線性H_∞方法的控制方法，用于改善非完整約束的兩輪移動機器人系統中存在建模誤差及外擾的情形。LIU Tong等[8]針對大功率連續微波加熱系統的復雜性和非線性，提出了一種基于對角遞歸神經網絡的辨識方法。LI Xiao-fei等[9]利用DRNN近似漿體壓力和隧道參數之間的復雜關系，提出了一種施工過程中漿液壓力平衡的模型預測控制系統。QIU Zhi-cheng等[10]將DRNN作為抑制機械臂振動的控制器。

從上述文獻中可以發現最常用來訓練神經網絡的算法是梯度下降算法，該算法存在網絡權值的學習過程易發生振蕩、收斂速度慢、辨識精度不夠理想的問題，因此本文提出一種動態RPROP算法，可以使上次的網絡連接權值改變量對本次權值改變量產生影響，以得到更好的收斂速度和辨識精度。

1 對角遞歸神經網絡模型

對角遞歸神經網絡[11-12]是一種動態網絡，在未知系統結構和階次的情況下，僅選取上一個歷史時刻的參數作為輸入向量，即可通過內部遞歸神經元的權值調整實現非線性系統的動態映射，同時網絡權值調節的計算量很小。在DRNN的遞歸層中存在自回歸神經元，使其能夠捕捉被控非線性對象的動態行為[13]。對角遞歸神經網絡的結構[14]如圖1所示，它的遞歸層中每一個神經元都是帶有一步自反饋的遞歸元（圖1中帶陰影的神經元）。

DRNN網絡的數學模型為：遞歸層的輸入為：

遞歸層的輸出為：

圖1 對角遞歸神經網絡結構

輸出層的輸出為：

f（·）取為雙極型Sigmoid激勵函數：

其中，設Ii（k）為第k時刻第i個輸入，Sj（k）為遞歸層第j個遞歸元的輸入之和，Xj（k）為第j個遞歸元的輸出；O（k）為網絡的輸出；WI、WD、WO分別為輸入層、遞歸層和輸出層的權值陣，設有P個輸入，Q個遞歸元，R個輸出。

2 動態RPROP算法

動態RPROP學習算法調整網絡各連接權值的方法如下：

遞歸層自反饋權值調整為：

遞歸層與輸入層間的權值調整為：

式中動量因子α∈[0，1]；η-和η+分別為減小因子和增加因子，且0<η-<1<η+；?ij為網絡連接權值的更新值，

其中E（k）為權值調整時采用的性能指標函數，即

式中y（k）為系統的輸出（即期望輸出），ym（k）為網絡的實際輸出。

3 仿真研究

為了驗證動態RPROP算法的有效性，分別將基于該算法和RPROP算法的DRNN用于非線性時變系統的辨識效果進行比較。

（1）設被辨識非線性時變系統（對象1）的數學模型為：

輸入信號為：

DRNN網絡結構為2-8-1，即輸入層節點數為2，遞歸層節點數為8，輸出層節點數為1，訓練1000步。權值更新值的初始值?0=0.1，增大因子η+=1.2，減小因子η-=0.5，動量因子取為α=0.1。

仿真比較結果如圖2、3所示。

圖2 動態RPROP與RPROP算法辨識誤差比較（對象1）

圖3 動態RPROP與RPROP算法均方誤差比較（對象1）

（2）為了測試動態RPROP算法的有效性，再將基于該算法的DRNN網絡用于辨識另一個非線性時變系統，記為對象2：

其中N為迭代步數。輸入信號為：

DRNN網絡采用2-10-1的結構，迭代步數為1000。動態RPROP算法中參數的選取為：權值更新值的初始值?0=0.1，增大因子η+=1.2，減小因子η-=0.5，動量因子取為α=0.5。仿真比較結果如圖4、5所示。

圖4 動態RPROP與RPROP算法辨識誤差比較（對象2）

圖5 動態RPROP與RPROP算法均方誤差比較（對象2）

4 結束語

在利用學習算法訓練DRNN時，為了避免網絡權值的學習過程發生振蕩、收斂速度慢，得到更好的收斂速度和辨識精度，本文提出一種動態RPROP算法，介紹了動態RPROP學習算法調整網絡各連接權值的方法；同時，為了驗證動態RPROP算法的有效性，分別采用RPROP算法、動態RPROP算法訓練DRNN，并對兩個非線性時變系統進行辨識，仿真結果表明基于動態RPROP算法的DRNN辨識器的輸出能更好地逼近被辨識系統的實際輸出，網絡的收斂速度、辨識精度也有較大的提高。