偏魯棒M回歸回聲狀態(tài)網(wǎng)絡(luò)*

麻風(fēng)梅,王改堂

(1 電子與信息工程學(xué)院安康學(xué)院,陜西安康 725000；2 西安現(xiàn)代控制技術(shù)研究所,西安 710065)

0 引言

回聲狀態(tài)網(wǎng)絡(luò)(echo state networks,ESN)是近年來(lái)提出的一種新型的遞歸神經(jīng)網(wǎng)絡(luò),與傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)相比,該算法具有的最大優(yōu)點(diǎn)在于學(xué)習(xí)速度快和泛化性能好等[1-2],因此,ESN在時(shí)間序列預(yù)測(cè)[3]、異常檢測(cè)[4]、語(yǔ)音識(shí)別[5]等領(lǐng)域取得了良好的效果。同時(shí),為了提高算法的性能,提出了各種各樣的算法[6-10]。ESN算法的核心是儲(chǔ)備池核函數(shù)(即激活函數(shù)),在訓(xùn)練過(guò)程中,網(wǎng)絡(luò)的輸入連接權(quán)值、輸出反饋連接權(quán)值和儲(chǔ)備池內(nèi)部連接權(quán)值是隨機(jī)產(chǎn)生的,ESN只需要訓(xùn)練動(dòng)態(tài)儲(chǔ)備池與輸出神經(jīng)元之間的連接權(quán)值。通常情況下,ESN使用了線(xiàn)性回歸算法求解輸出權(quán)值。然而,在處理實(shí)際問(wèn)題時(shí),使用線(xiàn)性回歸算法求解輸出權(quán)值時(shí)易導(dǎo)致病態(tài)解問(wèn)題,為了解決這一問(wèn)題,史志偉等提出了ESN 嶺回歸學(xué)習(xí)算法[11-12]。

鑒于此,文中將偏魯棒M回歸應(yīng)用于回聲狀態(tài)網(wǎng)絡(luò)中,提出了偏魯棒M回歸回聲狀態(tài)網(wǎng)絡(luò)(partial robust m-regression echo state network,PRM-ESN),實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的可行性、有效性。

1 回聲狀態(tài)網(wǎng)絡(luò)

1.1 算法原理

回聲狀態(tài)網(wǎng)絡(luò)是基于儲(chǔ)備池計(jì)算的一種新型遞歸神經(jīng)網(wǎng)絡(luò),其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖1所示。

圖1 ESN網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

假如儲(chǔ)備池的狀態(tài)向量為x(k),輸入向量為u(k),輸出向量為y(k),f(·)為儲(chǔ)備池節(jié)點(diǎn)的激活函數(shù),Win為輸入連接權(quán)值,Wback為輸出反饋連接權(quán)值,W為儲(chǔ)備池內(nèi)部連接的權(quán)值,Wout為輸出權(quán)值,則ESN網(wǎng)絡(luò)的基本方程可描述為：

x(k+1)=f(Winu(k+1)+Wx(k)+Wbacky(k))

(1)

y(k+1)=fout(Wout(u(k+1),x(k+1),y(k)))

(2)

式中：fout(·)為輸出層函數(shù),一般為線(xiàn)性函數(shù)。

ESN網(wǎng)絡(luò)算法的訓(xùn)練過(guò)程如下：

對(duì)于給定的n個(gè)訓(xùn)練樣本(xi,yi),激活函數(shù)f(x)以及儲(chǔ)備池節(jié)點(diǎn)數(shù)N,則：

1)隨機(jī)產(chǎn)生初始化權(quán)值Win、W和Wback,使其均勻分布在 [-1,1]之間；

2)計(jì)算儲(chǔ)備池輸出矩陣M,輸出向量為Y；

3)計(jì)算輸出權(quán)值Wout。

1.2 權(quán)值計(jì)算方法

回聲狀態(tài)網(wǎng)絡(luò)輸出權(quán)值的計(jì)算方法主要有以下兩種方法：

最小二乘法或MP廣義逆最小二乘方法[1-2]：

Wout=M?Y或Wout=(MTM)-1MTY

(3)

式中:M?為儲(chǔ)備池輸出矩陣M的MP廣義逆。

嶺回歸方法[6]:

Wout=(MTM+λI)-1MTY

(4)

式中:λ為嶺參數(shù)。

2 偏魯棒M回歸回聲狀態(tài)網(wǎng)絡(luò)

2.1 改進(jìn)算法實(shí)現(xiàn)原理

該算法的基本原理是利用回聲狀態(tài)網(wǎng)絡(luò)算法隨機(jī)產(chǎn)生初始化權(quán)值,計(jì)算儲(chǔ)備池激活函數(shù)的輸出矩陣M,并將輸出矩陣M作為偏魯棒M回歸(partial robust m-regression,PRM)算法的輸入樣本數(shù)據(jù),輸出向量Y作為其輸出樣本數(shù)據(jù),采用PRM算法建立加權(quán)后輸入樣本與輸出樣本數(shù)據(jù)之間的回歸模型,并計(jì)算PRM回歸系數(shù),也就是ESN網(wǎng)絡(luò)的輸出權(quán)值。

假如儲(chǔ)備池激活函數(shù)的輸出矩陣為Mn×m,輸出向量為Yn×1,前k個(gè)得分向量組成的得分矩陣為T(mén)n×k,則單因變量PLS模型可以描述為：

M=TPT+E

(5)

Y=TQ+F=MWout+F

(6)

式中:P為載荷矩陣,Q為得分向量回歸系數(shù),E為殘差矩陣,F為殘差向量,Wout是單因變量PLS模型的回歸系數(shù)向量。

2.2 偏魯棒M回歸權(quán)值計(jì)算

(7)

式中：

(8)

(9)

(10)

(11)

式中:‖·‖表示為歐氏距離,median表示中位值,medL1表示得分向量{t1,t2,…,tn}的L1中位值,ti為T(mén)的第i行,通常情況下c為4。

2.3 算法步驟

算法步驟如下：

步驟1：利用ESN算法步驟1)隨機(jī)產(chǎn)生初始化權(quán)值Win、W和Wback；

步驟2：利用ESN算法步驟2) 計(jì)算儲(chǔ)備池輸出矩陣M,輸出向量為Y；

步驟3：將輸出矩陣M作為PRM算法的輸入樣本數(shù)據(jù),輸出向量Y作為其輸出樣本數(shù)據(jù)；

步驟4：利用式(7)、式(8)和式(9)初始化權(quán)值wi,并設(shè)定得分向量回歸系數(shù)相對(duì)差的閾值；

步驟5：對(duì)輸入輸出樣本數(shù)據(jù)進(jìn)行加權(quán)處理,并對(duì)加權(quán)后的樣本數(shù)據(jù)建立單因變量PLS模型,并更新得分向量；

步驟6：計(jì)算每個(gè)樣本數(shù)據(jù)的預(yù)測(cè)值與實(shí)際值之間的殘差ri,并利用式(7)更新權(quán)值wi；

步驟7：判斷得分向量回歸系數(shù)的相對(duì)差是否小于給定的閾值,如果小于給定的閾值,則執(zhí)行步驟8,否則執(zhí)行步驟5。

步驟8：獲取最終的PRM回歸系數(shù),即ESN網(wǎng)絡(luò)的輸出權(quán)值Wout。

3 仿真研究

為驗(yàn)證提出算法的有效性、可行性,實(shí)驗(yàn)使用Sinc函數(shù)和MacKay機(jī)械手回歸函數(shù)對(duì)其進(jìn)行驗(yàn)證。Sinc函數(shù)分別具有5 000組訓(xùn)練樣本和5 000組測(cè)試樣本數(shù)據(jù),MacKay機(jī)械手回歸函數(shù)分別采用200組訓(xùn)練樣本和200組測(cè)試樣本。

在實(shí)驗(yàn)中,性能指標(biāo)使用均方根誤差(RMSE)：

(12)

對(duì)于Sinc函數(shù),儲(chǔ)備池核函數(shù)采用徑向基函數(shù),當(dāng)ESN算法的節(jié)點(diǎn)數(shù)為80,PRM-ESN算法的節(jié)點(diǎn)數(shù)為20時(shí),ESN算法和PRM-ESN算法的仿真結(jié)果分別見(jiàn)圖2、圖3以及表1所示。

圖2 ESN算法的預(yù)測(cè)結(jié)果與誤差

圖3 PRM-ESN算法的預(yù)測(cè)結(jié)果與誤差

表1 ESN和PRM-ESN算法的性能比較

對(duì)于MacKay機(jī)械手回歸函數(shù),在實(shí)驗(yàn)訓(xùn)練過(guò)程中,儲(chǔ)備池核函數(shù)同樣采用徑向基函數(shù)作為核函數(shù),當(dāng)儲(chǔ)備池節(jié)點(diǎn)個(gè)數(shù)為50時(shí),ESN算法的運(yùn)行結(jié)果最優(yōu),如圖4所示。當(dāng)儲(chǔ)備池節(jié)點(diǎn)個(gè)數(shù)為40時(shí),改進(jìn)算法的運(yùn)行結(jié)果優(yōu)于原算法,如圖5所示。在運(yùn)行時(shí)間和精度上,表2給出了具體的運(yùn)行結(jié)果。

表2 ESN和改進(jìn)算法的運(yùn)行結(jié)果比較

從運(yùn)行結(jié)果來(lái)看,提出的算法雖然在運(yùn)行時(shí)間上作出了犧牲,但測(cè)試精度卻大大得到了提高,而且儲(chǔ)備池的節(jié)點(diǎn)數(shù)比ESN算法的節(jié)點(diǎn)數(shù)少。由此可見(jiàn),文中提出的算法是有效的、可行的。

4 結(jié)語(yǔ)

文中是在回聲狀態(tài)網(wǎng)絡(luò)的基礎(chǔ)上,提出了一種新型的偏魯棒M回歸回聲狀態(tài)網(wǎng)絡(luò),該算法利用PRM回歸算法計(jì)算其網(wǎng)絡(luò)的輸出權(quán)值。為驗(yàn)證該算法的可行性和有效性,通過(guò)sinc函數(shù)和MacKay機(jī)械手回歸函數(shù)對(duì)其進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果表明,與回聲狀態(tài)網(wǎng)絡(luò)相比,該算法雖然具有較高的測(cè)試精度和良好的泛化能力,但是還存在不足之處,如儲(chǔ)備池節(jié)點(diǎn)個(gè)數(shù)的選擇問(wèn)題。