基于證據合成的高斯過程回歸多模型軟測量方法

梅從立，楊銘，劉國海

（江蘇大學電氣信息工程學院，江蘇 鎮江 212013）

基于證據合成的高斯過程回歸多模型軟測量方法

梅從立，楊銘，劉國海

（江蘇大學電氣信息工程學院，江蘇 鎮江 212013）

針對生物發酵過程，提出了一種基于證據理論的高斯過程回歸多模型軟測量方法，其中多模型融合策略同時考慮了數據聚類特性和軟測量子模型統計特性。首先，對聚類后的各子類建立高斯過程回歸子模型；然后，基于聚類隸屬度函數和高斯過程回歸子模型后驗概率分別設計子模型權值，并利用證據合成規則將兩類權值進行證據合成得到融合權值；最后，將該融合權值作為加權因子對子模型進行融合。通過青霉素發酵過程仿真數據和紅霉素發酵過程工業數據研究表明, 相比單一模型和傳統多模型高斯過程回歸軟測量方法，本文所提方法具有較高的預測精度和較小的預測不確定度。

軟測量；多模型；高斯過程回歸；證據理論；儀表；發酵；算法

多模型軟測量模型建模方法一般為：首先，基于訓練數據集各聚類子集建立子模型；然后，通過計算樣本點對聚類中心的隸屬度來獲得各子模型的權值；最后，基于所設計權值融合子模型，從而得到加權形式的多模型軟測量模型[4-10]。故就多模型軟測量建模而言，關鍵問題在于如何設計子模型加權函數。為了進一步優化權值函數，文獻[11-12]提出了基于證據合成規則融合隸屬度函數并獲得優化權值的多模型軟測量方法。文獻[13-14]首先參數化權值函數，然后通過迭代優化方法對權函數參數進行優化辨識，以提高多模型軟測量模型性能。上述方法在建模時均充分考慮了模型對數據的擬合性能，但是均沒有充分利用子模型的統計特性。

此外，根據測量原理，測量過程不僅應該得到測量結果，而且應給出相應的精度參數[15]，即測量不確定度。傳統軟測量建模采用支持向量機回歸、神經網絡回歸等方法[4-7]。這類方法無法確定軟測量預測值的精度或者不確定區間，限制了軟測量模型在實際過程中的應用。高斯過程回歸(Gaussian process regression, GPR)模型是一種相對新的軟測量建模方法[15-18]，具有能夠集成先驗概率、超參數較少，輸出具有概率意義等優點。如何在保持其優勢的前提下，把其推廣到多模型建模領域，以解決多工況復雜過程建模問題，還有待進一步研究。

針對上述問題，本文提出一種基于證據理論(Dempster-Shafer theory，DS)的GPR多模型軟測量方法。該方法在設計子模型權值時不僅考慮了樣本點對數據集聚類中心的隸屬度，也充分考慮了各軟測量子模型的統計性質，且輸出結果保持了單模型高斯過程回歸軟測量模型所具有的概率特性，即輸出預測均值的同時輸出預測不確定度。最后，分別采用青霉素發酵過程仿真數據和紅霉素發酵過程工業數據驗證所提方法的有效性。

1　基于聚類隸屬度函數的權值設計

使用模糊C均值（fuzzy C-means，FCM）聚類算法對訓練樣本集進行聚類處理。考慮樣本集

將此集合依據一定的準則用FCM方法劃分為c個模糊子集。該準則一般是用來表征聚類性能指標的優化目標函數。FCM聚類算法的目標函數是

對隸屬度函數做如下處理

2　基于子模型后驗概率的權值設計

2.1高斯過程回歸

定義一個高斯過程 (GP)[19]來描述輸入和輸出間的映射關系。GP是任意有限個隨機變量均具有聯合高斯分布的集合, 其性質完全由均值和協方差確定，即

其中，K為對稱正定的協方差矩陣，x、y分別為訓練集的輸入輸出變量，?x為測試輸入變量，分別為測試點與訓練集的輸入的協方差以及測試點自身的協方差，分別是高斯過程預測輸出和預測輸出的均值，為了計算方便，通常在數據預處理時使其均值為 0。考慮如下回歸問題

其中，x為輸入向量，輸入樣本點的總數為n，f為函數值，y為收到噪聲干擾的觀測值，ε是均值為0、標準差為nσ的白噪聲。進一步可以得到y的先驗分布為

觀測值y和預測值f?的聯合先驗分布為

其中

GPR模型的建立首先要進行模型的選擇，即確定協方差函數。所選協方差函數要保證對于任一輸入都能夠產生一個對稱半正定的協方差矩陣，同時希望相鄰的輸入產生相鄰的輸出。考慮到對協方差函數連續性和可導性的要求, 通常選擇徑向基函數作為協方差函數

其中，0v表示先驗知識的總體度量，1v表示服從高斯分布的噪聲的方差，ijδ是Kronecker算子。協方差函數的超參數采用極大似然法來獲得其最優值。對于上述給定的協方差函數，其關于超參數的對數似然函數為

對超參數求偏導

2.2基于后驗概率的權值設計

假設同等條件下同一被測變量的l次測量結果對應的不確定度分別為。若對這l次測量也做一個加權組合來得到最后的測量結果，那么它們各自所占的權重[20]應該滿足

在多模型軟測量方法中，通過聚類分析將樣本劃分成若干個子類，使得同類樣本之間的相似度盡可能高而不同類樣本之間的相似度盡可能小[9]。聚類算法將過程數據進行了劃分，可以看作是對過程工況的劃分，不同工況可以看作是相互獨立的。所以各子數據集之間（或各子模型之間）可以看作是相互獨立的。多模型軟測量結果，可以看作是由 c個獨立子模型軟測量后經過加權組合后所得的結果，那么這c個子模型的權值應該滿足

式中，第 j個子模型的不確定度函數可據式（12）求得，即。對于某個樣本點，各子模型的權值應滿足

3　基于證據理論的權值融合

4　多模型合成機制

采用加權策略對各子模型進行合成。GPR多模型軟測量模型合成規則為

代入式（20）可得

基于DS證據合成規則的GPR多模型軟測量算法具體步驟如下：

（1）數據預處理，將輸入樣本集進行歸一化處理并用變量選擇方法選出輔助變量, 再將所有樣本數據分為訓練樣本集和測試樣本集；

（2）使用FCM聚類方法將訓練樣本集X聚類為c個子集，并獲得聚類中心V；

（3）用c個訓練樣本子集建立c個GPR子模型。

（4）確定各GPR子模型的權值，針對測試樣本點，將兩種權值設計方法所設計權值作為證據，依據式(18)對兩類證據進行融合獲得各子模型融合權值；

（5）多模型融合，根據式(20)得到 GPR的多模型軟測量的預測輸出值，并根據式(21)得到該軟測量結果的不確定度。

圖1　青霉素發酵過程軟測量結果對比Fig.1　Results of different soft sensors for penicillin fermentation process

5　仿真研究

青霉素發酵過程是一個典型的微生物發酵反應過程。本文首先基于青霉素發酵過程仿真軟件（Pensim[24]）模擬產生過程數據，開展軟測量模型研究工作。許多研究工作表明了該仿真平臺具有重要的研究價值[25-27]。

在Pensim正常工況初始條件范圍內，隨機產生30組初始設定值；然后，運行Pensim軟件產生30批青霉素發酵過程數據。發酵過程周期設定為400 h，采樣時間間隔為1 h。任取3批數據作為測試數據集，剩下的27批數據作為訓練數據集用于軟測量建模。為了說明所提方法的優越性，將其性能與單一模型高斯過程回歸軟測量方法[15]（SGPR）、基于聚類算法的多模型GPR方法[17-18]（FCM-MGPR）、基于證據理論和聚類算法多模型[11-12]GPR 方法（DS-FCM-MGPR）進行了比較分析。同時，采用均方根誤差（RMSE）和95%置信區間（2倍預測方差）的平均值[MCI，如式（22）]分別來定量評估軟測量模型的預測精度和不確定度。RMSE通常用來從全局的角度評估預測值對真實值的接近程度，MCI可以用來評估預測值的可靠性。

其中，n為樣本個數，Ui和Li分別為第i個樣本點預測值95%置信區間上限和下限。

圖1為上述3種軟測量方法以及本文所提方法對第1個批次測試數據的預測結果。由圖1可以看出，本文所提軟測量模型預測值更逼近真實值。表1給出了不同軟測量方法對3個批次測試數據軟測量結果的性能指標統計結果。從表1可以看出，本文所提方法RMSE和MCI值均優于SGPR以及其他多模型GPR建模方法。

6　工業應用

本文工業數據來源于江蘇鎮江某制藥公司紅霉素發酵生產過程，其發酵反應流程如圖2所示。總共采集10批發酵過程數據。

每批實驗通過在線傳感器采集 15個狀態變量作為輸入變量，包括時間、溶解氧、pH、糊精流量、豆油流量、丙醇流量、水流量、糊精體積、豆油體積、丙醇體積、水體積、溫度、相對氣壓、攪拌馬達轉速和空氣流量，另外，每批實驗通過離線分析方式采集生物量濃度作為輸出變量。利用主元分析對 15個輸入變量進行輔助變量選擇[28]，獲得溶解氧、pH、糊精流量、糊精體積、水體積5個變量作為軟測量模型的輸入輔助變量。在軟測量建模之前，首先將樣本數據分為兩類：訓練數據集和測試數據集。將 1～7批發酵數據作為訓練數據集，另外 3批作為測試數據集。

圖2　紅霉素發酵過程Fig.2　Schematic diagram of erythromycin fermentation process

分別采用本文所提方法和第5節提到的3種方法對紅霉素發酵過程工業數據進行軟測量模型建模研究。測試數據集預測結果見圖3。從圖3可以直觀看出，本文所提方法預測值與真實值更為接近，且95%置信區間較小。為了進一步從細節說明4種方法預測值與真實值的逼近程度，圖4給出了各批次數據動態預測標準差。從圖4可以看出，本文所提方法標準差小于其他3種方法。

表 2 給出了測試集數據的軟測量結果統計指標。表2中RMSE指標定量分析各種方法預測值與真實值的逼近程度，可以看出本文所提方法RMSE值小于其他3種方法。從表2中MCI指標看出，對于各批次測試數據，本文所提方法MCI指標均小于其他3種方法。說明本文預測方法的預測值具有更小的不確定性，可以理解為軟測量結果具有更高的可靠性。

表1　青霉素發酵過程不同軟測量方法性能比較Table 1　Comparisons of different soft sensors for penicillin fermentation process

本文方法之所以優于其他3種方法，是因為：單模型建模時考慮的樣本數過多，模型過于復雜，使得預測精度和預測不確定度都不夠理想；傳統的多模型方法建模時僅依據聚類結果確定子模型的權值，并沒有考慮到子模型本身的統計特性。本文所提方法從子模型本身的統計性質和數據聚類特性兩個方面著手，充分利用高斯過程回歸方法給出預測不確定度的優點，將子模型的后驗概率和聚類子集的隸屬度作為子模型權值分配兩類證據，再用 DS合成規則進行融合優化各子模型權值，顯著改善了軟測量模型的預測精度，大大降低了預測不確定度。紅霉素發酵過程工業數據的軟測量建模驗證了本文所提方法的有效性。

7　結　論

提出了一種基于DS證據理論的GPR多模型軟測量方法。該方法綜合考慮了測試樣本的聚類特性和軟測量子模型的統計特性，將聚類隸屬度函數和GPR子模型輸出后驗概率作為證據，利用DS合成規則進行融合獲得各子模型融合權值，以提高軟測量模型的預測精度并降低預測不確定度。將所提方法應用于生物發酵過程軟測量，研究結果表明本文所提方法相比較于其他方法具有預測精度高和不確定度小的優點，具有一定的應用潛力。

圖3　紅霉素發酵過程不同軟測量方法對比Fig.3　Comparisons of different soft sensors for erythromycin fermentation process

表2　紅霉素發酵過程不同方法性能比較Table 2　Comparisons of different soft sensors of erythromycin fermentation process

圖4　不同軟測量方法預測標準差Fig.4　Comparisons of predictive standard deviations of different soft sensors

References

[1] Dai X, Wang W, Ding Y, Sun Z. “Assumed inherent sensor” inversion based ANN dynamic soft-sensing method and its application in erythromycin fermentation process [J]. Computers & Chemical Engineering, 2006, 30: 1203-1225.

[2] Liu G, Zhou D, Xu H, Mei C. Model optimization of SVM for a fermentation soft sensor [J]. Expert Systems with Applications, 2010, 37 (4): 2708-2713.

[3] Wang Bo (王博), Sun Yukun (孫玉坤), Ji Xiaofu (嵇小輔), Huang Yonghong (黃永紅), Huang Li (黃麗). Soft-sensor modeling for lysine fermentation processes based on PSO-SVM inversion [J]. CIESC Journal (化工學報), 2012, 63 (9): 3000-3007.

[4]Li Lijuan (李麗娟), Song Kun (宋坤), Zhao Yingkai (趙英凱). Modeling of ARA fermentation based on affinity propagation clustering [J]. CIESC Journal (化工學報), 2011, 62 (8): 2116-2121.

[5]Xu Haixia (徐海霞), Liu Guohai (劉國海), Zhou Dawei (周大為), Mei Congli (梅從立). Soft sensor modeling based on modified kernel fuzzy clustering algorithm [J]. Chinese Journal of Scientific Instrument(儀器儀表學報), 2009, 30 (10): 2226-2231.

[6]Sang Haifeng (桑海峰), Wang Fuli (王福利), He Dakuo (何大闊), Zhang Dapeng (張大鵬), He Jianyong (何建勇). Soft sensors of biomass concentration in nosiheptied fermentation process based on multiple support vector machines [J]. Journal of System Simulation(系統仿真學報), 2006, 18 (7): 1983-1986.

[7]Zhong Weimin (鐘偉民), Li Jie (李杰), Cheng Hui (程輝), Kong Xiangdong (孔祥東), Qian Feng (錢鋒). A soft sensor multi-modeling for furnace temperature of gasifier based FCM clustering [J]. CIESC Journal (化工學報), 2013, 63 (12): 3951-3955.

[8]Cong Qiumei (叢秋梅), Yuan Mingzhe (苑明哲), Chai Tianyou (柴天佑), Wang Hong (王宏). Online modeling for multi-model by adjusting the centers of operating ranges [J]. Control Theory & Applications (控制理論與應用), 2013, 30 (6): 773-780.

[9]Suo Xingyi (索幸儀), Shi Hongbo (侍洪波). Soft sensor modeling of sewage disposal process based on multi-model fuzzy kernel clustering method [J]. Journal of East China University of Science and Technology: Natural Science Edition (華東理工大學學報: 自然科學版), 2010, 36 (5): 732-736.

[10] Jin X, Wang S, Huang B, Forbes F.Multiple model based LPV soft sensor development with irregular/missing process output measurement [J]. Control Engineering Practice, 2012, 20 (2): 165-172.

[11]Wang Zhenlei (王振雷), Tang Ku (唐苦), Wang Xin (王昕). A multi-model soft sensing method based on D-S and ARIMA model [J]. Control and Decision (控制與決策), 2014, 29 (7): 1160-1166.

[12]Tang Ku (唐苦), Wang Xin (王昕), Wang Zhenlei (王振雷). Multi-model soft sensor based on Dempster-Shafer rule [J]. Control Theory & Applications (控制理論與應用), 2014, 31 (5): 632-637.

[13] Domlan E, Huang B, Xu F, Espejo A. A decoupled multiple model approach for soft sensors design [J]. Control Engineering Practice, 2011, 19 (2): 126-134.

[14] Khatibisepehr S, Huang B, Xu F, Espejo A. A Bayesian approach to design of adaptive multi-model inferential sensors with application in oil sand industry [J]. Journal of Process Control, 2012, 22 (10): 1913-1929.

[15]Wang Huazhong (王華忠). Gaussian process and its application to soft-sensor modeling [J]. Journal of Chemical Industry and Engineering (China) (化工學報), 2007, 58 (11): 2840-2845.

[16]He Zhikun (何志昆), Liu Guangbin (劉光斌), Zhao Xijing (趙曦晶), Wang Minghao (王明昊). Overview of Gaussian process regression [J]. Control and Decision (控制與決策), 2013, 28 (8): 1121-1129.

[17]Lei Yu (雷瑜), Yang Huizhong (楊慧中). Combination model soft sensor based on Gaussian process and Bayesian committee machine [J]. CIESC Journal (化工學報), 2013, 64 (12): 4434-4438.

[18]Li X, Su H, Chu J. Multiple model soft sensor based on affinity propagation, Gaussian process and Bayesian committee machine [J]. Chinese Journal of Chemical Engineering, 2009, 17 (1): 95-99.

[19]Rasmussen C E. Gaussian Processes for Machine Learning [M]. Cambridge: The MIT Press, 2006:16-18.

[20]Sha Dingguo (沙定國). Error Analysis and Measurement Uncertainty Assessment (誤差分析與測量誤差評定) [M]. Beijing: China Metrology Press, 2003:218.

[21] Murphy C K. Combining belief functions when evidence conflicts [J]. Decision Support Systems, 2000, 29 (1): 1-9.

[22] Li X, Dezert J, Smarandache F, Huang X. Evidence supporting measure of similarity for reducing the complexity in information fusion [J]. Information Sciences, 2011, 181 (10): 1818-1835.

[23] Su Z, Wang P, Shen J, Yu X, Lv Z, Lu L. Multi-model strategy based evidential soft sensor model for predicting evaluation of variables with uncertainty [J]. Applied Soft Computing, 2011, 11 (2): 2595-2610.

[24]Birol G, ündey C, Cinar A. A modular simulation package for fed-batch fermentation: penicillin production [J]. Computers & Chemical Engineering, 2002, 26 (11): 1553-1565.

[25]Xiong Weili (熊偉麗), Wang Xiao (王肖), Chen Minfang (陳敏芳), Xu Baoguo (徐保國). Modeling for penicillin fermentation process based on weighted LS-SVM [J]. CIESC Journal (化工學報), 2012, 63 (9): 2913-2919.

[26]He Xiaoran (賀曉冉), Chen Chen (陳宸), Kim Kwang Sok (金光石), Xiong Zhihua (熊智華). Model simulation of fed-batch penicillin fermentation and optimization of substrate federate [J]. CIESC Journal (化工學報), 2012, 63 (9): 2831-2835.

[27]Yang Xiaomei (楊小梅), Liu Wenqi (劉文琦), Yang Jun (楊俊). LSSVM modeling for fermentation process based on dividing stages [J]. CIESC Journal (化工學報), 2013, 64 (9): 3262-3269.

[28]Li Xi (李喜). Research and soft sensing applications of partial least-squares regression [D]. Dalian: Dalian University of Technology, 2007.

A multi-model based soft sensor using evidence theory and Gaussian process regression

MEI Congli, YANG Ming, LIU Guohai
(School of Electrical and Information Engineering, Jiangsu University, Zhenjiang 212013, Jiangsu, China)

In this paper, a multi-model soft sensor method based on Dempster-Shafer theory (DS) and Gaussian process regression (GPR) was proposed. Firstly, GPR was used to build the sub-models of the proposed soft sensor after clustering training dataset. Secondly, the initial weightings were designed based on membership functions and output posteriori probabilities of GPR based sub-models, respectively. And the initial weightings were fused using the combination rule of DS. Finally, the weighted sum of sub-models with the fused weightings was used to output predictive means and uncertainty. The proposed method was validated on simulation data of a penicillin fermentation process and industrial data of an erythromycin fermentation process. For comparisons, single model-based soft sensor and traditional multi-model soft sensor were also studied. Simulations showed that the proposed method had better predictive accuracy and lower predictive uncertainty.

soft sensor; multi-model; Gaussian process regression; Dempster-Shafer theory; instrumentation；fermentation; algorithm

引　言

生物量濃度等發酵過程關鍵變量軟測量技術是生物發酵過程測控領域研究熱點之一[1-6]。生物發酵過程是一個非線性、多工況的復雜過程，一般可以分為若干個階段，如微生物生長緩慢的生長初期、生長迅速的指數生長期、生長變化較小的生長穩定期以及由于抑制劑原因導致的速率較低的生長末期。發酵過程關鍵變量單一模型軟測量模型往往會出現模型訓練復雜、預測精度低等缺點。多模型軟測量建模方法是解決這一問題的有效策略之一。文獻[4-6]分別利用多模型軟測量方法對發酵過程建立軟測量模型，均獲得了比單一模型更好的建模效果。

date: 2015-04-17.

MEI Congli, clmei@ujs.edu.cn

supported by the Natural Science Foundation of Jiangsu Province (BK20130531) and the Project Funded by the Priority Academic Program Development of Jiangsu Higher Education Institutions (PAPD).

10.11949/j.issn.0438-1157.20150492

TP 13

A

0438—1157（2015）11—4555—10

2015-04-17收到初稿，2015-07-30收到修改稿。

聯系人及第一作者：梅從立（1978—），男，博士，副教授。

江蘇省自然科學基金項目（BK20130531）；江蘇高校優勢學科建設工程資助項目（PAPD）。