基于互信息和Just-in-Time優(yōu)化的回聲狀態(tài)網(wǎng)絡(luò)

張 衡， 王河山

(鄭州大學(xué) 電氣工程學(xué)院，河南 鄭州 450001)

基于互信息和Just-in-Time優(yōu)化的回聲狀態(tài)網(wǎng)絡(luò)

張 衡， 王河山

(鄭州大學(xué) 電氣工程學(xué)院，河南 鄭州 450001)

為了提高回聲狀態(tài)網(wǎng)絡(luò)(ESN)的適應(yīng)性，提出基于互信息(MI)和Just-in-Time(JIT)的優(yōu)化方法，對(duì)ESN的輸入伸縮參數(shù)以及輸出層進(jìn)行優(yōu)化，所得網(wǎng)絡(luò)稱(chēng)為MI-JIT-ESN.ESN的優(yōu)化方法分為兩部分：一是基于網(wǎng)絡(luò)輸入與輸出之間的互信息，對(duì)網(wǎng)絡(luò)的多個(gè)輸入伸縮參數(shù)進(jìn)行調(diào)整；二是基于JIT優(yōu)化的局部輸出層，對(duì)ESN的隱層輸出數(shù)據(jù)進(jìn)行局部重新建模，從而提升ESN輸出層的回歸擬合精度.將MI-JIT-ESN應(yīng)用于青霉素補(bǔ)料分批發(fā)酵過(guò)程建模.結(jié)果顯示,MI-JIT優(yōu)化方法能提高模型的適應(yīng)性，并優(yōu)于其他比較方法.

回聲狀態(tài)網(wǎng)絡(luò)；互信息；Just-in-Time；優(yōu)化；建模；青霉素發(fā)酵

0 引言

發(fā)酵過(guò)程廣泛應(yīng)用于化工、制藥、食品、環(huán)境科學(xué)等行業(yè)，補(bǔ)料分批發(fā)酵是發(fā)酵工業(yè)代表性的操作方法[1].發(fā)酵過(guò)程機(jī)理復(fù)雜，又具有極強(qiáng)的非線性、時(shí)變性以及非確定性，同時(shí)缺少關(guān)鍵生物參數(shù)實(shí)時(shí)測(cè)量?jī)x器.發(fā)酵過(guò)程的優(yōu)化與控制需要對(duì)營(yíng)養(yǎng)物和產(chǎn)物等重要參數(shù)進(jìn)行精確預(yù)測(cè).因此，數(shù)據(jù)驅(qū)動(dòng)的建模方法廣泛地應(yīng)用于補(bǔ)料分批發(fā)酵過(guò)程，并取得了一定的成果.常見(jiàn)的數(shù)據(jù)驅(qū)動(dòng)方法包括偏最小二乘法[2-3]、支持向量回歸[4-5]、神經(jīng)網(wǎng)絡(luò)等[6-7].遞歸神經(jīng)網(wǎng)絡(luò)(RNN)能記憶歷史信息并能體現(xiàn)出動(dòng)態(tài)特性，非常適用于發(fā)酵過(guò)程建模.

作為一種新型遞歸神經(jīng)網(wǎng)絡(luò)—回聲狀態(tài)網(wǎng)絡(luò)(echo state network, ESN)[8]利用“動(dòng)態(tài)儲(chǔ)備池”代替?zhèn)鹘y(tǒng)神經(jīng)網(wǎng)絡(luò)的隱層，提取輸入的……