基于Elman神經(jīng)網(wǎng)絡(luò)的化工過程軟測量建模方法

Soft Sensing Modeling Method Based on Elman Neural Network for Chemical Process

桑樺李軍(蘭州交通大學(xué)自動(dòng)化與電氣工程學(xué)院，甘肅蘭州　730070)

?

基于Elman神經(jīng)網(wǎng)絡(luò)的化工過程軟測量建模方法

Expanded Kalman filter algorithmChemical processes

國家自然科學(xué)基金資助項(xiàng)目(編號(hào):51467008)。

修改稿收到日期:2015－06－02。

第一作者桑樺(1991－)，男，現(xiàn)為蘭州交通大學(xué)自動(dòng)化與電氣工程學(xué)院在讀碩士研究生;主要從事軟測量建模、計(jì)算智能方面的研究。

0　引言

在化工生產(chǎn)過程中，許多重要的質(zhì)量變量難以實(shí)時(shí)測量。軟測量技術(shù)通過構(gòu)建某種數(shù)學(xué)模型，描述可測、易測的輔助變量與難以直接測量的待測主導(dǎo)變量間的函數(shù)關(guān)系。根據(jù)最優(yōu)準(zhǔn)則，軟測量技術(shù)能夠?qū)崿F(xiàn)對(duì)待測變量的測量或估計(jì)［1－2］。

近年來，人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)、支持向量機(jī)(support vector machine，SVM)等方法被廣泛地應(yīng)用于軟測量建模［1－6］。文獻(xiàn)［1］提出了基于多層感知器神經(jīng)網(wǎng)絡(luò)的軟測量建模方法，并將其應(yīng)用于脫丁烷塔的軟測量建模;文獻(xiàn)［2］提出了一種基于SVR的軟測量建模方法，并把它用于乙烯裂解產(chǎn)物收率的測量中。關(guān)于軟測量建模的研究大部分都采用靜態(tài)結(jié)構(gòu)。Elman神經(jīng)網(wǎng)絡(luò)是一種遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)，能夠?qū)㈦[層狀態(tài)變量反饋到輸入端，反饋中包含時(shí)間延時(shí)，因此具有動(dòng)態(tài)記憶特性，可以有效提高模型的估計(jì)精度。傳統(tǒng)的RNN訓(xùn)練算法，如沿著時(shí)間反向傳播(back－propagation through time，BPTT)算法［7］、實(shí)時(shí)遞歸(real－time recurrent learning，RTRL)算法［8］，遵循誤差梯度最小化的準(zhǔn)則，存在收斂速度慢、易陷入局部最優(yōu)等問題。擴(kuò)展卡爾曼濾波［8－10］(expanded Kalman filter，EKF)作為卡爾曼算法的一種非線性擴(kuò)展形式，屬于最優(yōu)狀態(tài)估計(jì)算法，用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，可以提高收斂速度，滿足軟測量建模實(shí)時(shí)性的需求。

1　理論基礎(chǔ)

1.1 Elman神經(jīng)網(wǎng)絡(luò)

Elman網(wǎng)絡(luò)是1990年由Elman提出的一種RNN［7］。它是在基本前饋多層感知器結(jié)構(gòu)的基礎(chǔ)上，增加一個(gè)反饋層，作為一步延時(shí)算子，使其具備動(dòng)態(tài)記憶特性;能直接反映動(dòng)態(tài)過程系統(tǒng)的特性，可用于構(gòu)建具有時(shí)空特性動(dòng)態(tài)軟測量模型。Elman神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖1所示。

Elman網(wǎng)絡(luò)主要由四部分組成，分別為輸入層U、隱含層X、承接層C及輸出層Y。輸入層、隱含層、輸出層的連接類似于前饋式神經(jīng)網(wǎng)絡(luò)，輸入層單元起信號(hào)傳輸作用，輸出層單元起線性加權(quán)作用，隱含層單元的傳遞函數(shù)可選擇線性或者非線性函數(shù)，承接層用來記憶隱含層單元前一時(shí)刻的輸出值并返回給網(wǎng)絡(luò)的輸入。設(shè)外部輸入U(xiǎn) (t)=［(μ1(t)，…，μj(t)，…，μm(t)］，承接層輸入X(t)=［x1(t)，…，xj(t)，…，xt(t)］，輸入層至隱含層、隱含層與承接層及隱含層至輸出層的連接權(quán)值矩陣分別為: WRI、WRC及WOR，則網(wǎng)絡(luò)隱含層的輸入x～(t)和輸出x(t)可以表示為:

輸出層的輸入y～(t)和輸出y(t)可表示為:

式中: f1(·)和f2(·)為神經(jīng)元之間的傳遞函數(shù)，通常用Sigmoid函數(shù)。

圖1　Elman神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖Fig.1 Topological structure of Elman neural network

與其他RNN一樣，Elman神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法主要有基于梯度下降的BPTT算法和RTRL算法。

1.2 BPTT算法

BPTT算法是由前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練中經(jīng)常使用的反向傳播算法(back propagation，BP)發(fā)展而來。傳統(tǒng)的BP算法只能應(yīng)用于沒有動(dòng)態(tài)特性的前饋神經(jīng)網(wǎng)絡(luò)，不適用于訓(xùn)練Elman神經(jīng)網(wǎng)絡(luò)。BPTT算法把輸出誤差梯度儲(chǔ)存于每一個(gè)時(shí)間步，將網(wǎng)絡(luò)沿著時(shí)間展開，使動(dòng)態(tài)網(wǎng)絡(luò)轉(zhuǎn)化為靜態(tài)網(wǎng)絡(luò)。

對(duì)于時(shí)間層之前的層，對(duì)輸出層和隱含層神經(jīng)元有:

設(shè)學(xué)習(xí)率為α，則權(quán)值的修正形式可表示為:

BPTT算法是一種離線算法，其存在的主要問題是收斂速度慢、容易陷入局部最小，需要耗費(fèi)較長的時(shí)間才能得到滿意的效果。

1.3 RTRL算法

RTRL算法是1989年由Williams和Zipser提出的一種前向梯度下降算法，它能夠在每次迭代時(shí)直接計(jì)算每個(gè)節(jié)點(diǎn)的誤差梯度，并且能夠獲得每一個(gè)時(shí)間步的精確誤差梯度解。網(wǎng)絡(luò)的訓(xùn)練目的是通過調(diào)整權(quán)值使均方誤差和最小，輸出層至隱含層連接權(quán)值的修正形式可表示為:

式中: d(t)=［d1(t)，…，dn(t)］為網(wǎng)絡(luò)輸出的期望值;α為學(xué)習(xí)率。

隱含層至輸入層連接權(quán)值的修正可表示為:

同樣的方法，隱含層至承接層連接權(quán)值的修正可表示為:

式中:當(dāng)h =1時(shí)，δkhrjon=1;否則δkhrjon=0。

RTRL算法可以得到誤差梯度的精確解，但是與BPTT算法一樣，同樣存在收斂速度較慢和容易陷入局部最優(yōu)的缺陷;而且，RTRL算法計(jì)算復(fù)雜度較高，比較適用于小型網(wǎng)絡(luò)。

1.4 EKF算法

EKF學(xué)習(xí)算法是適用于非線性系統(tǒng)的一種狀態(tài)估計(jì)技術(shù)，在神經(jīng)網(wǎng)絡(luò)建模中的應(yīng)用十分廣泛。其基本思路是把網(wǎng)絡(luò)的連接權(quán)值作為Kalman濾波器的待估狀態(tài)，把網(wǎng)絡(luò)的輸出作為Kalman濾波器的觀察輸出，這樣就可以把神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問題轉(zhuǎn)化為非線性濾波問題，改善了用簡單的梯度下降算法訓(xùn)練RNN時(shí)所產(chǎn)生的收斂速度慢、容易陷入局部最優(yōu)等問題。EKF的網(wǎng)絡(luò)訓(xùn)練過程可簡單表示為:

式中: W為狀態(tài)矩陣，可由長度為nw的網(wǎng)絡(luò)權(quán)值向量(包括WRI、WRC和WOR)表示; H為nw×ny的雅克比矩陣，通常采用BPTT算法或RTRL算法對(duì)其進(jìn)行求解; P為nw×nw的誤差協(xié)方差矩陣，它包含了對(duì)應(yīng)于每一組網(wǎng)絡(luò)權(quán)值的誤差協(xié)方差; K為nw×nw的Kalman增益矩陣，可以根據(jù)期望輸出向量和實(shí)際輸出向量的差值來更新權(quán)值矩陣W; N為ny×ny的測量噪聲矩陣，與BPTT或RTRL算法中的學(xué)習(xí)率相似，用來控制網(wǎng)絡(luò)的訓(xùn)練速度，ny為輸出單元的個(gè)數(shù); Q為nw×nw的過程噪聲協(xié)方差矩陣，nw為網(wǎng)絡(luò)權(quán)值的個(gè)數(shù)。非零的過程噪聲可以提高濾波器的收斂速率。

對(duì)于強(qiáng)非線性系統(tǒng)，EKF算法進(jìn)行狀態(tài)估計(jì)時(shí)可以很快地實(shí)現(xiàn)對(duì)真值的逼近，而且能夠避免BPTT算法和RTRL算法容易陷入局部最小的缺點(diǎn)，因此更適用于化工過程軟測量建模。

2　仿真實(shí)驗(yàn)

為了驗(yàn)證本文所用方法的有效性，進(jìn)行了2個(gè)仿真實(shí)驗(yàn)，具體包括脫丁烷塔塔底的戊烷油組分中丁烷組分含量的估計(jì)和SRU中H2S和SO2氣體濃度的預(yù)測。模型性能的評(píng)價(jià)指標(biāo)如下。

(1)均方誤差。

式中: yd(i)和y(i)分別為不同時(shí)刻的實(shí)測值和估計(jì)

式中: cov(.)為協(xié)方差矩陣。

相關(guān)系數(shù)表示兩個(gè)變量之間的緊密程度，R越大表明變量之間的線性相關(guān)程度越高。

2.1脫丁烷塔底軟測量建模

脫丁烷塔是煉油廠煉油過程中脫硫和石腦油分離裝置的必要組成部分，其目的主要是降低脫丁烷塔底部丁烷的濃度。由于丁烷濃度是在異戊烷塔頂產(chǎn)物儲(chǔ)存處進(jìn)行監(jiān)測，利用在線測量儀表監(jiān)測丁烷濃度，需要的周期較長，因此建立動(dòng)態(tài)軟測量模型［11－12］，對(duì)丁烷濃度進(jìn)行實(shí)時(shí)監(jiān)測是十分必要的。

該過程共有2 394組數(shù)據(jù)，7個(gè)輔助變量和1個(gè)主導(dǎo)變量，采樣周期為12 min。本文選取數(shù)據(jù)的前50%作為訓(xùn)練樣本，后50%作為測試樣本，采用式(22)所示的具有外部輸入的非線性自回歸模型結(jié)構(gòu)(nonlinear auto regressive with exogenous inputs，NARX)［1］:值; T0為起始時(shí)刻; T為終止時(shí)刻。

(2)相關(guān)系數(shù)。

式中: y(k)為丁烷在k時(shí)刻的濃度; f為Elman神經(jīng)網(wǎng)絡(luò)。

在該過程中，采用隱層神經(jīng)元個(gè)數(shù)為6的Elman神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的權(quán)值和初始狀態(tài)分別在(－0.5，0.5)和(0.0，1.0)之間隨機(jī)給定。采用BPTT和RTRL算法，學(xué)習(xí)率取0.5，對(duì)主導(dǎo)變量進(jìn)行估計(jì)，然后用EKF對(duì)BPTT和RTRL兩種算法進(jìn)行改進(jìn)。令其狀態(tài)誤差協(xié)方差矩陣P的對(duì)角元素值為P1，非對(duì)角元素值為P2，測量噪聲協(xié)方差矩陣和輸出噪聲協(xié)方差矩陣對(duì)角元素值分別為R和Q，采用交叉驗(yàn)證法，當(dāng)P1= 10 000、P2=1 000、R =100、Q =0.001時(shí)可得到較好的實(shí)驗(yàn)結(jié)果。

圖2和圖3分別給出了基于EKF－BPTT和EKF－RTRL算法對(duì)C4組分進(jìn)行預(yù)測時(shí)，在測試集上模型的預(yù)測值與實(shí)際值的對(duì)比圖;表1給出了基于不同算法估計(jì)C4濃度時(shí)，測試集上的相關(guān)系數(shù)以及均方誤差的性能指標(biāo)比較。由表1可知，采用EKF算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，提高了網(wǎng)絡(luò)的預(yù)測精度。同時(shí)，本文還與相關(guān)文獻(xiàn)的結(jié)果進(jìn)行了比較。文獻(xiàn)［3］在與本文完全相同的條件下，選取數(shù)據(jù)的前50%作為訓(xùn)練樣本，后50%作為測試樣本，采用式(22)所示的NARX模型，利用16－12－1的多層感知器(multilayer perceptron，MLP)方法，得到相關(guān)系數(shù)為0.985。文獻(xiàn)［14］運(yùn)用貝葉斯網(wǎng)絡(luò)建立軟測量模型，獲得值為0.995的相關(guān)系數(shù)。經(jīng)對(duì)比可知，本文采用的方法均優(yōu)于文獻(xiàn)［2］和［3］中所使用的方法。

圖2　EKF－BPTT對(duì)丁烷濃度預(yù)測圖Fig.2 C4prediction using EKF－BPTT

圖3　EKF－RTRL對(duì)丁烷濃度預(yù)測圖Fig.3 C4prediction using EKF－RTRL

表1　在測試集上C4組分預(yù)測性能評(píng)價(jià)指標(biāo)對(duì)比結(jié)果Tab.1 Contrast results of performance evaluation indexes of C4in test set

2.2 SRU軟測量建模

硫回收裝置(sulfur recovery unit，SRU)是煉油廠不可或缺的一個(gè)裝置，其主要作用是在把酸性氣體流排放到空氣之前，移除其中的環(huán)境污染物，如SO2、H2S，最終將硫元素作為一種副產(chǎn)品被SRU回收。由于測量濃度的儀表容易受到酸性氣體的腐蝕，當(dāng)儀表進(jìn)行維護(hù)時(shí)，可以用軟傳感器暫時(shí)替代。

根據(jù)專家經(jīng)驗(yàn)，選取5個(gè)輔助變量作為SRU模型的輸入，2個(gè)主導(dǎo)變量(分別是H2S和SO2的濃度)作為輸出，采樣周期為1 min。考慮到SRU是一個(gè)MIMO非線性動(dòng)態(tài)模型，本文采用式(23)和式(24)所示的非線性滑動(dòng)平均(nonlinear moving average，NMA )結(jié)構(gòu)［1］:

式中: y1(k)為H2S在k時(shí)刻的濃度輸出; y2(k)為SO2在k時(shí)刻的濃度輸出; f1及f2為Elman神經(jīng)網(wǎng)絡(luò)。

該化工過程共收集了10 081組數(shù)據(jù)，本文選取其中的前4/5作為訓(xùn)練樣本，其余的作為測試樣本，采用隱層神經(jīng)元個(gè)數(shù)為8的Elman神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的權(quán)值和初始狀態(tài)分別在(－0.5，0.5)和(0.0，1.0)之間隨機(jī)給定。采用BPTT和RTRL算法，學(xué)習(xí)率取0.5，對(duì)主導(dǎo)變量進(jìn)行估計(jì)，然后用EKF對(duì)BPTT和RTRL兩種算法進(jìn)行改進(jìn)，令其狀態(tài)誤差協(xié)方差矩陣P的對(duì)角元素值為P1，非對(duì)角元素值為P2，測量噪聲協(xié)方差矩陣和輸出噪聲協(xié)方差矩陣對(duì)角元素值分別為R和Q，通過交叉驗(yàn)證，當(dāng)P1=10 000、P2=1 000、R =100、Q = 0.001時(shí)可得到較好的實(shí)驗(yàn)結(jié)果。

表2和表3分別給出了基于不同算法估計(jì)H2S和SO2的濃度時(shí)，測試集上的相關(guān)系數(shù)以及均方誤差的性能指標(biāo)比較。由表2和表3可以看出，對(duì)具有強(qiáng)非線性的SRU化工過程，EKF算法使Elman神經(jīng)網(wǎng)絡(luò)的預(yù)測精度得到明顯提高。同時(shí)，本文還對(duì)相關(guān)文獻(xiàn)的結(jié)果進(jìn)行了比較。文獻(xiàn)［3］中，分別基于MLP、RBF神經(jīng)網(wǎng)絡(luò)、自適應(yīng)神經(jīng)模糊系統(tǒng)和非線性最小二乘4種方法，對(duì)H2S和SO2的濃度進(jìn)行估計(jì)，在數(shù)據(jù)集中分別隨機(jī)選取1 000組數(shù)據(jù)作為訓(xùn)練樣本和測試樣本，非線性最小二乘的預(yù)測精度最高，其H2S的預(yù)測指標(biāo)MSE為8×10－4，相關(guān)系數(shù)為0.848;對(duì)SO2的預(yù)測指標(biāo)MSE為4×10－4，相關(guān)系數(shù)為0.905。經(jīng)對(duì)比可知，本文采用的方法均優(yōu)于文獻(xiàn)［2］和［3］中所使用的方法。

表2　在測試集上H2S性能評(píng)價(jià)指標(biāo)對(duì)比結(jié)果Tab.2 Contrast results of performance evaluation indexes of H2S in test set

表3　在測試集上SO2性能評(píng)價(jià)指標(biāo)對(duì)比結(jié)果Tab.3 Contrast results of performance indexes of SO2in test set

3　結(jié)束語

軟測量建模構(gòu)成的“軟傳感器”具有較強(qiáng)的適用性，可與硬件傳感器同時(shí)工作，當(dāng)系統(tǒng)參數(shù)發(fā)生變化時(shí)能夠被重置，而且能夠克服硬件傳感器的延時(shí)問題，為需要監(jiān)控的過程主導(dǎo)變量提供了一種廉價(jià)、快速的實(shí)時(shí)估計(jì)手段，有效提高了控制系統(tǒng)的性能。本文對(duì)傳統(tǒng)RNN的訓(xùn)練算法進(jìn)行了說明，并引入了EKF算法，用于化工過程軟測量建模。與傳統(tǒng)訓(xùn)練算法以及相關(guān)文獻(xiàn)的研究成果進(jìn)行比較，實(shí)驗(yàn)結(jié)果表明基于EKF算法的Elman神經(jīng)網(wǎng)絡(luò)收斂速度快，收斂精度高，而且具有較好的魯棒性，是一種有效的軟測量建模方法。

參考文獻(xiàn)

［1］Fortuna L，Graziani S，Xibilia M G.Soft sensors for product quality monitoring in debutanizer distillation columns［J］.Control Engineering Practice，2005，13(4): 499－508.

［2］吳文元，熊智華，呂寧.支持向量回歸在乙烯裂解產(chǎn)物收率軟測量中的應(yīng)用［J］.化工學(xué)報(bào)，2010，61(8):2046－2050.

［3］Fortuna L，Graziani S，Rizzo A，et al.Soft sensors for monitoring and control of industrial processes［M］.Berlin: Springer，2007.

［4］Kadlec P，Grbi R，Gabrys B.Review of adaptation mechanisms for data－driven soft sensors［J］.Computers＆Chemical Engineering，2011，35(1): 1－24.

［5］Graziani S，Napoli G，Xibilia M G.Soft sensor design for a sulfur recovery unit using a clustering based approach［C］/ / InstrumentationandMeasurementTechnologyConference Proceedings，IEEE，2008: 1162－1167.

［6］曹鵬飛，羅雄麟.化工過程軟測量建模方法研究進(jìn)展［J］.化工學(xué)報(bào)，2013，64(3):788－800.

［7］Mazumdar J，Harley R G.Recurrent neural networks trained with backpropagation through time algorithm to estimate nonlinear load harmonic currents［J］.Industrial Electronics，IEEE Transactions on，2008，55(9): 3484－3491.

［8］Erňansky M，Makula M，Beňuková L.Organization of the state space of a simple recurrent network before and after training on recursive linguistic structures［J］.Neural Networks，2007，20(2): 236－244.

［9］陳巍.遞歸神經(jīng)網(wǎng)絡(luò)的卡爾曼濾波及分層學(xué)習(xí)算法［J］.華南理工大學(xué)學(xué)報(bào):自然科學(xué)版，1998，26(4): 44－48.

［10］仲衛(wèi)進(jìn)，艾芊.擴(kuò)展卡爾曼濾波在動(dòng)態(tài)負(fù)荷參數(shù)辨識(shí)中應(yīng)用［J］.電力自動(dòng)化設(shè)備，2007，27(2): 47－50.

［11］Souza F，Araújo R.Online mixture of univariate linear regression models for adaptive soft sensors［J］.IEEE Transactions on Industrial Informatics，2013，10(2):937－945.

［12］Naha A，Deb A K.Soft－sensor approach for measuring pulverised coal flow［J］.Science，Measurement＆Technology，IET，2014，8(4):220－227.

［13］唐志杰，唐朝暉，朱紅求.一種基于多模型融合軟測量建模方法［J］.化工學(xué)報(bào)，2011，62(8): 2248－2252.

［14］李雅芹，周開武，楊慧中.基于貝葉斯網(wǎng)絡(luò)的軟測量建模方法［J］.計(jì)算機(jī)與應(yīng)用化學(xué)，2010(10):25.

Soft Sensing Modeling Method Based on Elman Neural Network for Chemical Process

桑樺李軍
(蘭州交通大學(xué)自動(dòng)化與電氣工程學(xué)院，甘肅蘭州730070)

摘要:針對(duì)軟測量建模問題，提出了一種基于Elman神經(jīng)網(wǎng)絡(luò)的軟測量建模方法。將該方法應(yīng)用于脫丁烷塔底部丁烷組分含量以及硫回收裝置尾氣中SO2和H2S含量的軟測量建模，分別采用BPTT算法、RTRL算法和EKF算法對(duì)Elman網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在同等條件下，通過與傳統(tǒng)的梯度下降算法以及其他軟測量建模方法對(duì)比表明，EKF算法能夠獲得較好的離線估計(jì)結(jié)果，具有較好的魯棒性和較快的收斂速度。

關(guān)鍵詞:Elman神經(jīng)網(wǎng)絡(luò)軟測量時(shí)間反向傳播(BPTT)算法實(shí)時(shí)遞歸(RTRL)算法擴(kuò)展卡爾曼濾波(EKF)算法化工過程

Abstract:For soft sensing modeling，the method based on Elman neural network is proposed，and applied in soft sensing modeling for butane component content of the bottom of the debutanizer，and the contents of SO2and H2S in tail gas of sulfur recovery unit; and the Elman neural network is trained by using BPTT algorithm，RTRL algorithm and EKF algorithm respectively.Comparison with other soft sensing modeling methods and traditional gradient descent algorithm，better off line estimation result，robustness and faster convergence speed are obtained by EKF algorithm.

Keywords:Elman neural networkSoft sensingBack－propagation through time algorithmReal－time recurrent learning algorithm

中圖分類號(hào):TH－39; TP274

文獻(xiàn)標(biāo)志碼:A

DOI:10.16086/j.cnki.issn1000－0380.201603017