基于多準則和高斯過程回歸的動態軟測量建模方法

劉國海 蘇 勇 楊 銘 梅從立

(江蘇大學電氣信息工程學院，鎮江212013)

經過多年的發展，在軟測量領域已提出了一些相對成熟的建模方法.但許多模型是基于測量過程處于穩態工況的假設，故模型大多為靜態軟測量模型［1］.由于生產過程中工藝改變、本身特性變化以及環境等因素的影響使得生產過程通常處于動態工況，因此僅考慮對象為靜態特性是不夠的，有必要對動態軟測量建模方法進行深入研究［2-4］.

高斯過程回歸(Gaussian process regression，GPR)是近年來基于嚴格的統計學理論發展起來的一種全新的機器學習方法［5］，并開始應用于軟測量建模.GPR 軟測量模型是一種非參數概率模型，不僅能對未知輸入做輸出預測，同時給出該預測的精度參數(即估計方差).GPR 軟測量模型可以以先驗概率的形式表示過程的先驗知識，從而提高模型性能.與神經網絡［6］、支持向量機［7］等方法相比，高斯過程回歸模型參數明顯減少，因而參數優化相對容易，且更易收斂.基于上述優點，可以將高斯過程回歸用于復雜非線性動態系統建模［8］.王華忠［9］將高斯過程回歸建模方法在工業萘初餾塔關鍵質量指標估計問題中進行了應用.Li 等［10］提出了高斯過程回歸和貝葉斯理論相結合的多模型軟測量方法，實現了在加氫裂化分餾過程中對質量指標輕石腦油的監控.李雅芹等［11］將高斯過程回歸的集成算法應用于谷氨酸發酵過程中，實現對其濃度的預測.于濤等［12］根據青霉素發酵過程的階段性，建立了基于高斯過程回歸的分階段軟測量模型.Grbic 等［13］提出了一種基于混合高斯過程自適應的軟測量模型.但上述文獻所建模型都是靜態軟測量模型，模型預測精度還有待進一步提高.

本文考慮到工業過程的動態特性，提出了一種基于高斯過程回歸的動態軟測量建模方法，并以紅霉素發酵過程為對象，建立生物量濃度軟測量模型.首先，綜合考慮多種準則，提出了一種模型階數優化策略，進而建立基于高斯過程回歸的動態軟測量模型，以實現對發酵過程生物量濃度的估計.研究結果表明，所提建模方法很好地實現了發酵過程生物量濃度的估計.

1 動態GPR 軟測量模型

設給定訓練樣本D={(xi，yi)}，i=1，2，…，l，其中，xi∈Rm，yi∈R，l 為訓練樣本數，m 為輸入向量維數.

對于新的測試樣本x*，高斯模型的預測值(即均值函數)為

計算預測值的方差為

考慮到模型選擇中對協方差函數連續性和可導性的要求，徑向基函數是最常用的一類協方差函數，即

式中，v0為函數的先驗協方差;v1為服從高斯分布的噪聲的方差;δij為Kronecker 算子;wt(t=1，2，…，m)為每一個輸入的距離測度權重，對于不相關的輸入，其相應的測度權值會很小，在模型中的作用也就很小，這一點與自動相關測定的思想一致.在確定協方差函數類型的情況下，再對模型參數進行優化.優化模型參數常用的方法是最大似然法.對于上述高斯過程，其超參數對數似然函數為

式中，協方差函數的超參數Θ= {w1，…，wm，v0，表示K 的行列式.

在模型參數的優化過程中，要計算對數似然函數L 對各個參數的導數，即

式中，α=K－1y.

獲得最優超參數后，建立高斯過程回歸模型，利用式(1)和(2)便可得到測試點的預測值y*及其方差σ2(x*).

在軟測量領域，高斯過程回歸一般多應用在靜態軟測量建模方面.但通常生產過程都是動態的，這就使得很多軟測量軟件在生產企業中無法長期正常運行.針對此問題，有學者提出了動態高斯過程回歸軟測量模型結構，如圖1所示［14］.但是如何確定該動態模型的階數還有待進一步研究.

The same steps conducted on the WC,and the keyword list is as follows.

圖1 動態GPR 軟測量模型結構

2 動態軟測量模型階數確定

為了獲得動態軟測量模型最佳預測精度，首先必須確定動態模型的階數.通常模型定階準則有AIC［15］，BIC［16-17］，FPE［18］等，本文采用多準則方法來確定模型階數p.

1)針對發酵過程采集的數據，計算每階高斯過程回歸模型對應的AIC，BIC，FPE 準則值.計算公式如下:

2)確定最優階數.針對每個準測，選擇各個準則計算數值最小值所對應的階數.由于AIC，BIC，FPE 準則確定的模型階數存在差異，因此可以根據其重要程度賦予相應非負權λj，且則構建整體目標函數為

由熵值法［19］來求取權重λj(j=1，2，3).熵值法是一種根據各項目標函數觀測值所提供的信息量大小確定目標函數權重的方法.對于給定目標函數，觀測值的差異越大，該項指標包含的傳輸信息就越多，權重越大;觀測值的差異越小，該項指標包含的傳輸信息越少，權重也越小.熵值法確定權值，體現了目標函數對信息量大的準則較為敏感.熵值法計算權重步驟如下.

①對各模型相應的準則函數值構成如下矩陣:

式中，Ti1=AIC(pi)，Ti2=BIC(pi)，Ti3=FPE(pi);i=1，2，…，n.

③計算信息效用值yj=1 －Xj，yj越大，越應該重視該項指標的作用.

⑤求出使式(11)最小的階數p，即求得最優階數.

3 動態高斯過程回歸軟測量建模

動態高斯過程回歸軟測量建模方法步驟如下:

①對數據樣本進行歸一化處理，用主元分析(PCA)對數據進行變量篩選［20］.

②用本文提出的多準則方法來確定動態高斯過程回歸模型最優階數p.

③用動態高斯過程回歸軟測量模型對訓練數據塊{u(t)，y(t－1)，y(t－2)，…，y(t－p)}進行建模.

④用得到的動態高斯過程回歸模型對測試數據塊{u*(t)，y*(t－1)，y*(t －2)，…，y*(t －p)}進行預測，得到預測值.

4 工業應用

采用某制藥公司紅霉素發酵過程的報批數據作為建模所用的原始數據.共采集9 批發酵過程數據(每批178 組數據)，每批數據包含15 個輔助變量(時間、pH 值、溶解氧、糊精流量、丙醇流量、豆油流量、水流量、空氣流量、豆油體積、丙醇體積、糊精體積、水體積、溫度、轉速、相對氣壓).首先將樣本數據分為訓練數據和測試數據.將1 ～8 批發酵采集數據作為訓練樣本集，另外1 批作為測試樣本集.在建模前，首先將實驗數據進行歸一化處理，再利用PCA［20］對變量進行選擇，將獲得的溫度、pH值、轉速、相對氣壓、溶解氧5 個主要變量作為軟測量模型輔助變量.將生物量濃度作為軟測量建模主導變量.本文對生物量濃度離線測量值進行了曲線擬合，以解決其與輔助變量時間粒度不一致的問題.

根據上述階數確定方法，首先計算靜態高斯過程回歸模型和各階動態高斯過程回歸模型的各個準則值，結果如表1所示.進而利用熵值法計算各準則權重，得到λ1=0.325 6，λ2=0.343 2，λ3=0.331 4;最后將權重代入式(11)，計算多準則函數的相應數值，結果如表2所示.

由表2可以確定的模型階數為3.為了驗證p=3 是模型的最優階數.本文對靜態和動態高斯過程回歸軟測量模型進行仿真對比，結果如圖2所示.由圖可以明顯看出，與靜態高斯過程回歸軟測量模型相比，本文所提出的動態軟測量模型預測精度更高，預測95%置信度區間更小［21］.

表1 3 種準則不同階數下的準則值

表2 不同階數多準則目標函數計算值

高斯過程回歸軟測量模型預測結果采用均方根誤差(RMSE)和平均置信度區間(MCI)進行評估，即

式中，ui和li分別為第i 個預測值置信區間的上限和下限值.計算結果如表3所示.

表3 均方根誤差和平均置信度區間

通過表3可以看出，動態軟測量預測模型的RMSE 值比靜態軟測量模型小，即動態軟測量模型擬合性能優于靜態軟測量模型.階數p=3 時有最小RMSE 值和最小MCI 值，驗證了本文所提多準則方法確定模型階數的正確性.所以，當單個準則確定的模型階數存在差異時，多準則方法可以很好地解決模型階數確定問題.

5 結語

本文提出了基于高斯過程回歸的動態軟測量建模方法.該方法綜合考慮多種模型定階準則，提出了多準則策略確定動態模型階數，進而將所定階數應用到動態高斯過程回歸軟測量模型建模中.將該模型應用到紅霉素發酵過程生物量濃度預測中.研究結果表明，所提多準則階數確定策略合理，且依據此階數建立動態高斯過程回歸軟測量模型不僅預測精度高，而且具有較小的預測均值置信度區間，具有一定的應用價值.

References)

［1］ 曹鵬飛，羅雄麟.化工過程軟測量建模方法研究進展［J］.化工學報，2013，64(3):788-800.Cao Pengfei，Luo Xionglin.Modeling of soft sensor for chemical process［J］.CIESC Journal，2013，64(3):788-800.(in Chinese)

［2］ 馬勇，黃德先，金以慧.動態軟測量建模方法初探［J］.化工學報，2006，56(8):1516-1519.Ma Yong，Huang Dexian，Jin Yihui.Discussion about dynamic soft sensing modeling［J］.CIESC Journal，2006，56(8):1516-1519.(in Chinese)

［3］ Chao S，Gao X Q，Yang F，et al.Novel Bayesian framework for dynamic soft sensor based on support vector machine with finite impulse response［J］.IEEE Transactions on Control Systems Technology，2014，22(4):1550-1557.

［4］ di Sciascio F，Amicarelli A N.Biomass estimation in batch biotechnological processes by Bayesian Gaussian process regression［J］.Computers ＆ Chemical Engineering，2008，32(12):3264-3273.

［5］ 何志昆，劉光斌，趙曦晶，等.高斯過程回歸方法綜述［J］.控制與決策，2013，28(8):1121-1129.He Zhikun，Liu Guangbin，Zhao Xijing，et al.Overview of Gaussian process regression［J］.Control and Decision，2013，28(8):1121-1129.(in Chinese)

［6］ Rogina A，Sisko I，Mohler I，et al.Soft sensor for continuous product quality estimation (in crude distillation unit)［J］.Chemical Engineering Research and Design，2011，89(10):2070-2077.

［7］ 李桂香，王磊，李繼定，等.基于PCA-LSSVM 的氫回收膜分離過程建模?［J］.高校化學工程學報，2013，27(5):877-883.Li Guixiang，Wang Lei，Li Jiding，et al.Modeling of Hydrogen Recovery Membrane Separation Process Based on PCA-LSSVM ［J］.Journal of Chemical Engineering of Chinese Universities，2013，27(5):877-883.(in Chinese)

［8］ 熊志化，張繼承，邵惠鶴.基于高斯過程的軟測量建模［J］.系統仿真學報，2005，17(4):793-794，800.Xiong Zhihua，Zhang Jicheng，Shao Huihe.GP-based soft sensor modeling［J］.Journal of System Simulation，2005，17(4):793-794，800.(in Chinese)

［9］ 王華忠.高斯過程及其在軟測量建模中的應用［J］.化工學報，2007，58(11):2840-2845.Wang Huazhong.Gaussian process and its application to soft-sensor modeling［J］.CIESC Journal，2007，58(11):2840-2845.(in Chinese)

［10］ Li X L，Su H Y，Chu J.Multiple model soft sensor based on affinity propagation，gaussian process and bayesian committee machine［J］.Chinese Journal of Chemical Engineering，2009，17(1):95-99.

［11］ 李雅芹，楊慧中.一種基于Bagging 算法的高斯過程集成建模方法［J］.東南大學學報:自然科學版，2011，41(S1):93-96.Li Yaqin，Yang Huizhong.Ensemble modeling method based on Bagging algorithm and Gaussian process［J］.Journal of Southeast University:Natural Science Edition，2011，41(S1):93-96.(in Chinese)

［12］ 于濤，王建林，何坤，等.基于MPCA-GP 的發酵過程分階段軟測量建模方法［J］.儀器儀表學報，2013，34(12):2703-2708.Yu Tao，Wang Jianlin，He Kun，et al.Staged soft-sensor modeling method for fermentation process based on MPCA-GP［J］.Chinese Journal of Scientific Instrument，2013，34(12):2703-2708.(in Chinese)

［13］ Grbic R，Sliskovic D，Kadlec P.Adaptive soft sensor for online prediction and process monitoring based on a mixture of Gaussian process models［J］.Computers ＆Chemical Engineering，2013，58(22):84-97.

［14］ 傅永峰.一種動態軟測量建模方法及其工業應用［J］.自動化儀表，2011，32(9):67-70.Fu Yongfeng.Dynamic soft-sensing modeling method and its application in industrial process［J］.Process Automation Instrumentation，2011，32(9):67-70.(in Chinese)

［15］ 邢銘宗，趙飛，姜歌東，等.一種確定自回歸滑動平均模型最小階次的新方法［J］.西安交通大學學報，2011，45(12):99-103.Xing Mingzong，Zhao Fei，Jiang Gedong，et al.Novel minimum order method for autoregressive moving average models［J］.Journal of Xi'an Jiaotong University，2011，45(12):99-103.(in Chinese)

［16］ 劉偉峰，楊愛蘭.基于BIC 準則和Gibbs 采樣的有限混合模型無監督學習算法［J］.電子學報，2011，39(3A):134-139.Liu Weifeng，Yang Ailan.Unsupervised learning for finite mixture models based on BIC criterion and Gibbs sampling［J］.Acta Electronica Sinica，2011，39(3A):134-139.(in Chinese)

［17］ Burnham K P，Anderson D R.Multimodel inference understanding AIC and BIC in model selection［J］.Sociological Methods ＆Research，2004，33(2):261-304.

［18］ 尉詢楷，李應紅，王碩，等.基于支持向量機的航空發動機滑油監控分析［J］.航空動力學報，2004，19(3):392-397.Wei Xunkai，Li Yinghong，Wang Shuo，et al.Aeroengine lubrication monitoring analysis via support vector machines［J］.Journal of Aerospace Power，2004，19(3):392-397.(in Chinese)

［19］ 趙麗，朱永明，付梅臣，等.主成分分析法和熵值法在農村居民點集約利用評價中的比較［J］.農業工程學報，2012，28(7):235-242.Zhao Li，Zhu Yongming，Fu Meichen，et al.Comparative study on intensive use of rural residential land based on principal component analysis and entropy［J］.Transactions of the Chinese Society of Agricultural Engineering，2012，28(7):235-242.(in Chinese)

［20］ King J R，Jackson D A.Variable selection in large environmental data sets using principal components analysis［J］.Environmetrics，1999，10(1):67-77.

［21］ Foody G M.Classification accuracy comparison:hypothesis tests and the use of confidence intervals in evaluations of difference，equivalence and non-inferiority［J］.Remote Sensing of Environment，2009，113(8):1658-1663.