基于回聲狀態網絡的結構逼近式灰箱建模

雷曉義

摘 ?要：針對化工生產過程中反應機理大致清楚，而參數及結構部分未知這樣一大類對象，提出了一種基于回聲狀態網絡（ESN）和反應基元相結合的結構逼近式灰箱建模方法。首先，根據對象的先驗知識及反應機理，選擇反應基元代替結構未知部分。其次，將反應基元與先驗知識作為回聲狀態網絡狀態池內的神經元，賦予網絡節點實際的物理意義建立結構逼近式模型。最后，通過帶遺忘因子的遞推最小二乘算法訓練所建模型，進而建立起表示系統結構的灰箱模型。該建模方法不但可以充分利用對象的先驗知識，而且可以更好的從結構上逼近對象模型，可更好地解釋和描述系統各變量間的關系。通過對石化工業中廣泛應用的連續攪拌釜式反應器（CSTR）的仿真，實驗結果證明了所提方法的有效性。

關鍵詞：結構逼近式灰箱建模;回聲狀態網絡;迭代線性化

1、引言（Introduction）

隨著工業規模朝復雜化方向發展，建立準確的過程模型是設計性能優良控制系統的前提。當今對于過程的建模方法主要有以下三種方式：一是利用機理的方法建立“白箱”模型[1]。由于過程對象嚴重的非線性以及眾多不可在線測量信息等因素的制，該建模方法在實際應用中實施難度較大。二是利用神經網絡擬合的方法建立黑箱模型，如Cao Liulin等人應用串聯、并聯神經網絡和混合神經網絡[2-3]等多種方法實現了化工過程建模。該建模方法雖然易于實現，但是沒有充分利用先驗知識。三是被廣泛研究并應用的灰箱建模方法，如Zahedi等人用灰箱建模方法實現了環氧乙烷反應器的建模[4]。CHEN Jindong等將發酵動力學模型和RBF神經網絡相結合建立了灰箱模型[5]。灰箱建模方法由于充分利用了“白箱”建模方法和“黑箱”建模方法的優點，因此得到了越來越多的研究和被廣泛的應用。

在工業生產中反應器的種類頗多并且有其各自不同的特點，在眾多的反應器中連續攪拌釜式反應器（CSTR）由于運行投資少，熱交換能力強和產品質量穩定[6]等優點，被廣泛地應用到化工工業過程中[7]，并且取得了顯著的發展。因此，本文在考慮化工反應過程中如CSTR這樣的一大類對象（模型結構基本清楚，但是部分結構和參數未知且因對象而異）和第二類、第三類建模方法以及深入、細致分析對象特征的基礎之上，提出了基于回聲狀態網絡和反應基元的結構逼近式灰箱建模方法，試圖最大可能的逼近系統模型，并通過實驗證明了方法的可行性。

2、回聲狀態網絡（Echo State Network）

經典的回聲狀態網絡是由Jaeger [8]提出的一種離散型神經網絡，并在非線性時間序列預測等領域取得了成功應用。與通常的遞歸神經網絡不同，回聲狀態網絡狀態池內的狀態可任意連接，并且狀態之間的連接權值可隨機產生，而輸入至輸出的映射關系僅需訓練輸入、狀態與輸出變量之間的連接權值即可實現。考慮到回聲狀態網絡狀態池內狀態可任意連接，且其內部線性、非線性元素可靈活組合的特點。因此，本文將其與反應基元相結合構成結構逼近式灰箱模型，進而提高所建模型的泛化能力。回聲狀態網絡的結構如圖1所示，其狀態更新方程和輸出方程分別如公式（1），（2）所示。

，分別表示k時刻的輸入向量，k時刻的狀態向量，k時刻的輸出向量。取值矩陣 ， ， 分別表示輸入連接權矩陣，狀態池內部連接權矩陣，反饋連接權矩陣，這些權值在初始化時隨機生成并且固定不變。

表示輸出連接權矩陣，需要訓練得到。 表示狀態池內神經元激活函數，一般選為sigmoid函數。 為輸出神經元函數，根據問題的不同可以選為線性函數或非線性函數。

3、灰箱建模方法（Hybird modeling method）

3.1 建模方法介紹（Introducing modeling method）

實際化工過程中存在一大類反應機理基本清楚，但部分結構和參數等未知且因對象而異的非線性對象。而非線性因素 是系統狀態變量的非線性函數，可使用非線性代數方程進行描述，此外其還具有穩態可分離特性。因此可用線性狀態空間描述方法描述這類對象模型如式（3）所示。

其中，X、U、Y分別表示對象的狀態向量，輸入向量和輸出向量。R非代表非線性部分輸出， 、 、 分別為線性函數， 為非線性函數， 、 、 、 分別代表狀態轉移矩陣。在此把非線性部分帶入到狀態方程中得到對象模型如式（4）。

由于回聲狀態網絡的狀態池是稀疏鏈接的并且狀態池內神經元函數和輸出神經元函數可以為線性或非線性函數。因此為了實現結構逼近式灰箱建模需要將公式（1）（2）轉化為公式（5）所示的形式。

其中： ， ， ， ， 代表狀態池內神經元為線性函數的個數。

通過對比公式（4）與（5）后，可以清楚的看到回聲狀態網絡方程和對象的狀態空間方程具有相似的結構。這樣將對象已知的部分和用反應基元代替的未知部分同時融入到回聲狀態網絡的狀態池內，賦予神經元實際的物理意義，并按照已知的結構進行連接，進而從結構上逼近對象模型。將對象部分先驗知識作為回聲狀態網絡的輸入權值或狀態池內權值固定下來。通常回聲狀態網絡通過訓練輸出權值Wout來滿足建模要求，而本文為了真正的實現結構上逼近原系統，對于Wout按照實際需要進行固定，而對于狀態池內未知的參數作為訓練的權值通過采用帶遺忘因子的遞推最小二乘算法進行訓練求得。因此，將上述建模方法稱為結構逼近式灰箱建模方法，其結構如圖2所示。對于上述建模方法而言，如何合理的選取系統的反應基元以及如何進行權值訓練進而實現反應基元間的關聯是實現結構逼近式灰箱建模方法的關鍵和難點。

3.2 反應基元的選取（Choosing fundmental genes）

如今化工過程中的很多模型存在3.1節所述的特點，即其可以被分解成非線性靜態和線性動態兩部分，而反應器的非線性因素主要體現在反應速率方程中[9]，但是實際過程中反應速率方程又由于反應級數以及反應速率常數等不同致使有很大的不同。通過化學知識可知反應速率方程是一個冪指形式的表達式并且反應速率常數、反應級數和活化能等往往未知如公式（6）所示。

其中 代表反應速率常數、 和 代表反應級數、 代表活化能與溫度的商， 和 代表反應物的濃度，H代表反應速率方程的個數。

通過前文可知為了能夠實現結構逼近式灰箱建模，需要選擇合適的反應基元，而通過公式（6）建立準確的模型，又需要準確的求得上述未知參數。針對反應基元的選取問題，可以通過對化工過程的機理分析，獲取系統的某些先驗知識作為反映基元，然后再進一步通過優化算法進行優化選取。這種方法雖然可行，但是該方法存在以下問題：（1）先驗知識常常無法適合系統建模的具體表達。（2）采用先進的優化算法對眾多的反應基元進行優化選擇，不但工作量大而且可靠性也不容易保證。針對參數估計問題，通過辨識的方法可以得到參數值，但是對于上述非線性嚴重的冪指形式表達式以及數量級相差懸殊的速率常數和反應級數同時辨識的準確性難以保證。

考慮到上述問題本文首先將（6）變換為公式（7）所示的形式解決了后續訓練中因參數數量級相差懸殊造成的不準確問題。然后在考慮上述反應基元選取的缺點以及通常泰勒級數展開的一階項可以很好的近似非線性函數等因素后，將公式（7）進行一階泰勒級數展開并舍棄二階及二階以上的高階項如公式（8）所示。而將公式（8）中除未知參數以外的已知項與已知的機理部分當作反應基元，作為狀態池內的神經元進行連接，實現結構上逼近系統模型。

其中 ， ， 為未知參數，而 ， ， 為穩態工作點。

3.3 網絡的訓練（Training network）

針對3.1節中提到的參數估計這個關鍵點和難點以及3.2節中初始時刻在隨意點進行泰勒級數展開進行線性化而造成的誤差等問題，本文采用迭代線性化和帶遺忘因子的遞推最小二乘算法相結合將參數估計轉變為狀態池內的權值訓練。其基本思想為：首先對于3.2節中線性化后的公式（8）應用帶遺忘因子的遞推最小二乘算法得到一組新的權值。其次將非線性函數在新的權值附近線性化，對新線性化的模型再應用帶遺忘因子的遞推最小二乘算法，又得到一組新的權值。重復此過程，直到權值收斂為止。

為了使用簡便、有效的帶遺忘因子的遞推最小二乘算法實現權值的訓練，得到所需要的參數值進而建立對象模型，需將公式（8）轉換為公式（9）所示的形式。

4、仿真及分析（simulating and analysising）

為了驗證本文所提方法的有效性，本文選取一類典型的CSTR為建模對象。通過對反應過程、實際情況以及所提結構逼近式灰箱建模方法的分析，將反應過程的動態方程及反應速率方程轉變為狀態方程（10）和（11）所示的形式，有關對象參數的理論值見表1所示。

建模時將反應物A的進料濃度CAf，反應物B的進料濃度CBf，進料溫度Tf，冷卻劑溫度Tcf及進料流量q作為作為模型的輸入變量（操縱變量和擾動變量）即 ，將反應物A濃度，反應物B濃度，生成物C濃度和溫度T作為狀態變量（含輸出變量）， 。

根據3.1-3.3節可將基于回聲狀態網絡和反應基元的結構逼近式灰箱建模步驟概括如下：

（1）使模型的輸入信號在取值域內隨即變化，生成模型的訓練樣本集。為了模擬生產實際，在輸入變量中加入白噪聲信號。

（2）將公式（11）按照公式（9）所示的形式展開，并將公式（10）按照3.1節所述建立結構逼近模型，考慮到濃度C方程受反應速率方程的影響更大，因此另外加入CC作為一個反應基元并與濃度C相連接。

（3）根據濃度A方程、濃度C方程、溫度方程利用帶遺忘因子最小二乘對Q、D、S、反應基元CC的權值、 、 進行遞推訓練。

（4）將訓練好的權值帶入到模型結構中，即得到結構逼近式灰箱模型。

為了驗證所提方法的有效性，本文將所提方法與傳統回聲狀態網絡的黑箱建模方法作比較。為了定量的說明所提方法的有效性，在此引入式（12）所述的平均相對誤差。

其中 為樣本個數， 、 為理論值、預測值。

為了能夠更直觀的說明所提方法的有效性，本文給出了灰箱建模情況下部分參數估計值如圖（3）-（6）以及黑箱建模方法和基于回聲狀態網絡和反應基元的結構逼近式灰箱建模方法濃度C的泛化相對誤差曲線、泛化相對誤差分布情況如圖（7）-（10）。

5、結論（Conclusion）

本文所提的基于回聲狀態網絡和反應基元相結合的結構逼近式灰箱建模方法，不但充分利用了已知對象的結構信息、參數信息和特點，而且將結構未知且非線性嚴重的部分合理線性化，并用反應基元代替。進而將已知信息與反應基元按照對象結構實現狀態池內狀態的合理連接。此外，利用遺忘因子的遞推最小二乘對權值進行訓練建立了結構逼近式網絡，從而提高了所建模型的泛化精度和可靠性。仿真結果也證明了該方法的有效性。

參考文獻

[1] Gentric G，Pla R，Corriou J P.Experimental study of the nonliner geometric control of a batch emulsion polymerization reactor.Computers Chem.Engng.1997，12（suppl.）：1043-1048

[2] Li X G.Research and Application on Hybird Modeling Approach for Chemical Processes[D].BeiJing University of Chemical Technology，2008.

[3] Liulin Cao，Dazi Li，Chunyu Zhang，et al.Control and modeling of temperature distribution in a tubular polymerization process[J].Computers &，Chemical Engineering，2007，31（11）：1516-1524

[4] Zahedi G，Lohi A，Mahdi K A.Hybird modeling of ethylene to ethylene oxide heterogeneous reactor[J].Fuel Processing Technology，2011，92（9）：1725-1732

[5] CHEN JINGdong（陳進東），Pan Feng（潘豐）.Hybird modeling for penicillin fermentation process[J].Journal of Chemical Industry and Engineering.2010，61（8）：2092-2096.

[6] MacGreor JF，Penlidis A，Hamielec A E.Control of polymerization reactors：a review，5th IFAC PRP Conf..Antwerp，1983

[7] DU Jingjing，SONG Chunyue，LI Ping.Modeling and control of a continuous stirred tank reactor based on a mixed logical dynamical model[J]，Chinese Journal of Chemical Engineering 2007，15（4）：533-538

[8] Jaeger H.The “echo state”approach to analyzing and training recurrent neural network[R].Bremen：GMD Report 148，GMD-German National Reasearch Institute for Computer Science，2001

[9] CAO Liulin（曹柳林），LI Xiaoguang（李曉光），Wang Jing（王晶）.Modeling of batch reactor based on structure ? ?approaching hybird neural networks approach[J].Journal of Daizhan Cheng，R.Ortega，E.Panteley，On port controlled Hamiltonian systems，in Advanced Robust and Adaptive Control –Theory and Applications，（D.Cheng，Y.Sun，T.Shen，H.Ohmori eds），3-16，，2005.Chemical Industry and Engineering.2008，59（4）：958-96