優(yōu)化的混合核函數(shù)相關向量機在發(fā)酵過程建模中的應用

余榮榮，周家旺

(1.安徽師范大學 數(shù)學計算機科學學院，安徽 蕪湖 241000；2.武漢理工大學 機電工程學院，湖北 武漢 430070)

微生物發(fā)酵過程復雜，一些重要的參數(shù)如產(chǎn)物濃度、菌體濃度不能實時測量得到.近年來，通過軟測量技術，發(fā)酵過程模型的預測精度越來越高.劉毅等[1]利用最小二乘支持向量機(LSSVM)與Pensim仿真平臺建立了青霉素產(chǎn)物濃度等重要過程變量的在線預測模型.相關向量機(RVM)是基于支持向量機的概率模型，采用概率式的預測結(jié)果，在貝葉斯框架下用于數(shù)據(jù)分類與預測[2].支持向量機在解決高維、非線性和小樣本問題時具有良好性能[3]，而相關向量機與支持向量機相比，具有更稀疏的結(jié)構(gòu)和更少的相關向量,且核函數(shù)選擇不局限于Mercer條件等優(yōu)點[4].

本文將高斯核函數(shù)與Sigmoid函數(shù)采用加權的方式形成混合核函數(shù)應用于RVM，并采用差分進化算法對混合核函數(shù)相關向量機的參數(shù)進行優(yōu)化.對青霉素發(fā)酵過程產(chǎn)物濃度進行預測，并與2種單一核函數(shù)的相關向量機建模結(jié)果進行比較，仿真表明該混合核函數(shù)模型具有較高的預測精度.

1 相關向量機

ti=y(xi,ω)+εi.

(1)

與SVM類似，RVM將回歸函數(shù)表示成核函數(shù)K(x,xi)的線性組合形式，即

(2)

其中ω=[ω0,ω1,…,ωN]T是模型的權值向量，ω0為回歸函數(shù)的偏置.

(3)

基于訓練數(shù)據(jù)的獨立性，引入超參數(shù)β=1/σ2，整個訓練數(shù)據(jù)集的似然函數(shù)為

(4)

其中t=[t1,t2,…,tN]T，φ是核函數(shù)對輸入xi的響應：

(5)

式(3)中α=[α0,α1,…,αN]T，每個獨立的超參數(shù)αi只與其對應的權值ωi相關，根據(jù)先驗分布和似然函數(shù)，利用貝葉斯公式計算權值的后驗分布，即

(6)

式(6)中，p(ω|α)和p(t|ω,β)均滿足高斯分布，因此其乘積p(ω|α)p(t|ω,β)也滿足高斯分布，而p(t|α,β)不含參數(shù)ω，可看作歸一化參數(shù)，所以權值的ω后驗分布可表示為：

p(ω|t,α,β)=N(μ,Σ) .

(7)

上式中，協(xié)方差Σ=(βφTφ+A)-1，均值μ=βΣφTt，其中A為對角陣，A=diag{α0,α1,…,αN}.

為獲取ω的最大后驗分布，最大化邊緣似然函數(shù)p(ω|t,α,β)取負對數(shù)得到目標函數(shù)，最后令目標函數(shù)分別對超參數(shù)αi和β求偏導得到優(yōu)化的超參數(shù)：

(8)

(9)

式中，μi為權值后驗均值向量μ的第i個元素，Σi,i為協(xié)方差陣Σ的第i個對角元素，γi=1-αiΣi,i.在RVM訓練中，式(8)和(9)需要依次迭代，直到參數(shù)αi和β收斂.將迭代后的最終參數(shù)代入式(2)中得到訓練數(shù)據(jù)的回歸模型.

2 多核相關向量機及參數(shù)優(yōu)化

對于相關向量機，其核函數(shù)的構(gòu)造和選擇對于模型預測精度影響很大.相關向量機只使用單核函數(shù)會造成性能單一且局限性較強.Gauss核函數(shù)是典型的局部核函數(shù)，Sigmoid核函數(shù)是具有全局特性的全局核函數(shù)，結(jié)合二者可以同時提升學習能力和泛化能力.

采取下面的混合方式組成新的混合和函數(shù)：

(10)

其中，m是調(diào)節(jié)系數(shù)，且0

差分進化(DE)算法[7-8]是一種生物啟發(fā)式全局搜索算法，和遺傳算法類似，每代迭代過程中保留最優(yōu)解.采用DE算法進行參數(shù)尋優(yōu)，其具體步驟包括：首先根據(jù)待優(yōu)化參數(shù)的維數(shù)種群大小NP，隨機生成參數(shù)向量作為初始種群：

(11)

(12)

3 發(fā)酵過程建模

青霉素發(fā)酵中具有時變性、高度非線性等特征，系統(tǒng)采集的數(shù)據(jù)有噪聲干擾，有損建模精度，需要選取合適的建模方法，才能有效提高模型的預測精度[9].Pensim仿真平臺基于發(fā)酵的機理模型，考慮了關鍵變量對發(fā)酵過程產(chǎn)生的影響，能模擬包括青霉素產(chǎn)量、溫度、溶解氧量等關鍵變量[10].

基于Pensim仿真平臺進行某些初始條件的設定，并在正常情況下產(chǎn)生數(shù)據(jù).在這些數(shù)據(jù)中選取100組作為RVM的訓練樣本，同時也選定用于預測的數(shù)據(jù).將混合核函數(shù)用于RVM建模過程，提高模型擬合精度，同時采用差分進化優(yōu)化算法對建模過程參數(shù)進行優(yōu)化，找到全局最優(yōu)解.具體建模過程如圖1所示.

圖2顯示了利用所得數(shù)據(jù)建立的發(fā)酵過程模型，圖3為模型的預測結(jié)果，其表明混合核函數(shù)相關向量機能較高精度地預測青霉素濃度，可用于發(fā)酵過程實時控制.為比較混合核函數(shù)的優(yōu)越性，分別給出了Gauss核函數(shù)和Sigmoid核函數(shù)分別用于RVM的建模結(jié)果，如圖4、5所示.對比圖3～5和性能指標(表1)，可以看出，混合核函數(shù)模型比單一核函數(shù)模型具有更高的預測性能與泛化能力.

表1 青霉素濃度預測誤差比較

4 結(jié)語

本文采用Gauss核函數(shù)和sigmoid核函數(shù)結(jié)合形成的混合核函數(shù)應用于相關向量機的建模，并基于差分進化算法對其參數(shù)進行優(yōu)化，建立青霉素發(fā)酵過程模型，仿真實驗表明了該算法用于青霉素發(fā)酵過程建模的有效性.本文進一步比較了混合核函數(shù)模型與單一核函數(shù)模型的預測誤差結(jié)果，表明混合核函數(shù)相關向量機有強抗擾能力和令人滿意的預測精度.在線優(yōu)化建模參數(shù)并將混合核函數(shù)相關向量機應用于具體樣機是下一步需要研究的內(nèi)容.

參考文獻:

[1] 劉毅，王海清.采用最小二乘支持向量機的青霉素發(fā)酵過程建模研究[J].生物工程學報, 2006,22 (1):144-149.

[2] TIPPING M E.Sparse Bayesian learning and the relevance vector machine[J].The Journal of Machine Learning Research, 2001(1):211-244.

[3] 谷雨.基于支持向量機與移動 Agent 的入侵檢測系統(tǒng)模型[J].云南民族大學學報:自然科學版, 2008, 17(1): 68-71.

[4] 李剛，邢書寶，薛惠鋒.基于RBF核的SVM及RVM模式分析性能比較[J].計算機應用研究,2009,26(5): 1782-1784.

[5] 朱世增，黨選舉.基于相關向量機的非線性動態(tài)系統(tǒng)辨識[J].計算機仿真, 2008, 25(6)：103-107.

[6] 朱永利, 尹金良.組合核相關向量機在電力變壓器故障診斷中的應用研究[J].中國電機工程學報, 2013, 33(22): 68-74.

[7] 熊偉麗, 許文強, 趙兢兢, 等.運用ADE算法進行Wiener模型辨識[J].系統(tǒng)仿真學報, 2013, 25(005): 969-974.

[8] 姜立強, 劉光斌, 郭錚.基于差分進化算法的 PID 參數(shù)整定[J].計算機仿真, 2009 (6): 204-206.

[9] HONG Jeong-jin，ZHANG Jie.Quality prediction for a fed-batch fermentation process using multi-block PLS[J].Springer Proceeding in Physics, 2010, 135:155-162.

[10] 熊偉麗, 王肖, 陳敏芳, 等.基于加權 LS-SVM 的青霉素發(fā)酵過程建模[J].化工學報, 2012, 63(9): 2913-2919.