基于Fast-RVM的在線軟測量預測模型

許玉格，劉莉，曹濤

（華南理工大學自動化科學與工程學院，廣東 廣州 510640）

基于Fast-RVM的在線軟測量預測模型

許玉格，劉莉，曹濤

（華南理工大學自動化科學與工程學院，廣東 廣州 510640）

生化需氧量（biochemical oxygen demand，BOD）是評價水質好壞和污水處理效果的關鍵指標之一。由于污水生化處理過程復雜，在線儀表維護困難，生化需氧量無法得到快速精確地測量。針對這一問題，提出了一種基于Fast-RVM的在線軟測量回歸模型來實時在線預測出水指標BOD。該模型采用基于貝葉斯框架的相關向量機來在線預測輸出指標，并且引入快速邊際似然算法來加快模型的更新速度。通過污水數據的仿真實驗，結果表明該在線模型的預測精度高于離線模型，泛化能力強，模型在線更新的快速性尤為突出，能較好地實現污水處理中出水水質的實時在線預測。

Fast-RVM算法；在線建模；軟測量；預測；污水處理

由于污水處理過程復雜，往往存在著參數時變、多變量耦合、強非線性、大滯后等特點，面對這些特點，傳統傳感器無法得到有效應用，以致重要變量無法得到快速精確測量。國際水質協會（International Association on Water Quality，IAWQ）推出ASMs和ADM1等機理模型，但實際的污水處理現場條件太多，很難建立精確的機理模型。為了達到對污水處理這個非線性、大時滯對象的測量和控制效果，國內外專家提出了多種非機理軟測量方法[3]。文獻[4-5]中采用神經網絡預測污水出水水質，文獻[6-7]采用最小二乘支持向量機建立污水軟測量模型，上述軟測量方法在污水出水水質測量上都取得一定的成果。但神經網絡預測過程占用大量資源，訓練時間過長，且存在局部極小、過擬合、權值不易在線調整等缺陷[2,8]，支持向量機隨著訓練樣本的增加，訓練時間會變長，且自適應能力差，魯棒性不強[9-10]。這些缺陷一方面限制了模型在污水預測上的廣泛應用，一方面影響了污水出水水質在線測量的實時性。

針對污水出水指標預測誤差大、難以準確在線測量的問題，本文提出了一種基于快速相關向量機的污水水質BOD在線預測的軟測量回歸模型。該方法通過相關向量機來建立預測模型，利用快速邊際似然法提高模型的學習速度，并且對模型進行在線更新。

1　軟測量預測模型的建立

1.1快速相關向量機的基本模型

相關向量機是一種在貝葉斯框架下的稀疏概率模型[11]，給定污水數據集N是樣本數。根據概率論觀點，目標值可以表示為

與支持向量機類似，函數 y( x)定義為

根據先驗概率分布和似然估計分布，可得權重的后驗概率分布

其后驗協方差和均值分別為

為了使超參數快速達到穩定值從而獲取權值，本文引入快速邊際似然算法[12]。該算法對訓練樣本的超參數進行快速估計，去除訓練樣本的非相關向量，保證模型的稀疏性，從而減少訓練時間。對 L(α)進行變換得

L （α-i）表示當αi=∞時，相應的基本向量φi被移除后所對應的邊界似然函數的對數，而l （αi）表示邊界似然的對數函數中只與αi有關的獨立部分，其中。對L(α)關于超參數αi求一階和二階偏導可得唯一極大值點

在經過大量的污水數據學習后，大部分超參數會趨近于無窮大，而與其對應的權值為 0，從而使RVM 具有較高的稀疏性。給定一個測試點x?，相應的污水出水水質預測值t?的預測分布為，預測值為，x?是輸入值。

綜上所述，快速相關向量機回歸基本算法步驟如下：

（1）初始化σ2；

（3）計算Σ、μ并對所有M個基函數φm初始化sm和qm(m=1,2,…,M)；

（4）從所有M個基函數 φm集合中選擇候選的基函數 φi；

（6）若θi＞0且αi＜ ∞（基函數φi在模型中），重新估計αi；

（7）若θi＞ 0 且αi=∞（基函數 φi不在模型中），添加φi到模型中并重新估計αi；

（8）若θi≤0且αi＜ ∞，刪除φi并設置αi=∞；

（10）重新計算協方差矩陣Σ，權重矩陣μ以及相應迭代過程中的ms和mq；

（11）若超參數收斂(超參數值不再變化)或者達到最大迭代次數，則保存權重值和偏差值并終止程序；否則轉步驟（4）。

最大邊緣似然估計超參數過程中，超參數更新需要計算后驗權值的協方差矩陣，矩陣求逆需要計算復雜度O(M3)和存儲空間O(M2)，其中M為基函數的個數。

快速相關向量機算法中基函數個數從1開始不斷增加直至獲取相關向量，而且Σ與Φ只包含當前模型中存在的基函數，后面的矩陣求逆所需要的時間較少，因此該方法計算速度要快得多。

1.2基于快速相關向量機的污水出水水質預測軟測量在線模型

由于污水處理過程中進水水質、水量、操作條件等的變化，導致BOD軟測量模型不能適應新的工況，因此在實際應用中必須對軟測量模型進行在線矯正。將精選后的輔助變量與BOD歷史輸出數據構成快速相關向量機的訓練樣本集，然后根據新的觀測數據預測輸出，并且更新訓練樣本，重新學習模型。假設最新的污水輸入屬性為 xnew，實際的出水BOD值為 ynew，則出水BOD的在線更新算法步驟如下：

（1）根據歷史數據使用1.1節所述快速相關向量機回歸算法建立初始模型；

（2）如果來了新數據，則對新來的污水數據xnew進行預測；否則轉到步驟（8）；

（3）添加一個新樣本（ xnew， ynew）到模型中并初始化權重w為0，αnew初始化為1，并刪除模型中最前面的一個歷史數據，保持模型中訓練數據的個數不變，由T來表示；

（4）For i=1:T

If (θi＞0且αi＜ ∞)，重新估計αi，計算公式為

Else if (θi＞ 0且αi=∞)，添加 φi到模型中并需要重新估計αi；

Else if (θi≤0且αi＜ ∞)，把φi從基向量矩陣中刪除并設置αi=∞；

End if

End for

（6）重新計算Σ、μ以及相應迭代過程中的 sm和 qm；

（7）若收斂或者達到最大迭代次數，則保存權重值和偏差，轉步驟（2）用更新后的模型對新數據進行預測；否則轉步驟（4）；

（8）程序結束。

2　仿真實驗與結果分析

2.1實驗輔助變量

軟測量的基本思想是對于一些難以測量或暫時不能測量的重要變量，選擇另外一些容易測量且與其相關的變量，通過構造某種以輔助變量為輸入、主導變量為輸出的數學模型，用計算機軟件實現主導變量的估計[13]。本實驗采用加州大學數據庫（UCI）提供的污水數據，該污水數據是由城市污水處理廠在將近兩年時間里所測得的數據，數據涵蓋一年四季不同情況，采樣間隔不等，最大間隔2 d，最小間隔0 d，共528組，38維。對數據進行聚類填補，去粗大值預處理，并提取與BOD預測相關的屬性數據，最后得到400組，共20維數據，其中輸入輔助屬性為19維，輸出屬性BOD為1維。輸入輔助屬性變量如表1所示。

表1　實驗輸入輔助變量列表Table 1　Auxiliary list of experiment

2.2出水水質預測的離線仿真實驗

預測出水水質，目的是對水體進行監測，使廢水處理廠能及時處理異常情況，加強對污水處理的運行控制。仿真實驗采用的計算機環境為： Intel Pentium 處理器，主頻為 2.1 GHz，4 GB內存，320 G硬盤。選取處理后的400組數據，其中200組用于訓練模型，200組用作測試數據測試模型精度。分別建立支持向量機SVM[14]、相關向量機RVM[15]、快速相關向量機Fast-RVM的離線模型來預測出水水質BOD。相關向量機和快速相關向量機初始核寬都設為3，支持向量機用GA尋優算法來初始化兩個參數，得到懲罰參數c為118.5625，徑向基函數參數g為0.129。預測結果如表2所示，圖1～圖3 是3種模型預測輸出歸一化后所繪制的圖。表2中MSE是均方根誤差，Training time是模型訓練時間，Vector是相關向量的個數。3種模型使用相同的污水數據和計算機環境。RVM與Fast-RVM迭代終止的條件是迭代次數達到或者超參數值不再變化，達到穩定，SVM的迭代終止條件是達到預先設置的迭代次數。SVM、RVM和Fast-RVM算法的預設迭代次數分別是200、1200和500。其中SVM算法在迭代次數超過200次之后，訓練時間會更長，而MSE幾乎不變。

表2　3種離線預測方法性能的對比Table 2　Comparison of performance of different off-line model

圖1　支持向量機離線預測Fig.1　Off-line predictor of support vector machine (SVM)

圖2　相關向量機離線預測Fig.2　Off-line predictor of relevance vector machine (RVM)

從表2可以看出，在高度復雜、非線性、強干擾的污水處理系統中，快速相關向量機擬合能力更強，提高了預測精度。在 3種模型中，RVM和Fast-RVM的訓練時間相對SVM要短很多，這是因為 RVM只有一個核寬度參數需要尋優[16-17]，可以采用點搜索，而SVM有兩個參數，無論是用網格搜索還是用遺傳等優化算法尋優都是非常耗費時間的[18]。從相關(支持)向量個數來看，RVM訓練出來的模型包含的向量個數少，模型更稀疏。而Fast-RVM比普通的RVM更加稀疏，相關向量個數從60個減少到了16個，Fast-RVM通過快速似然估計算法，可以更快得到稀疏性更好的超參數，減少模型的計算復雜度，提高了模型的訓練效率。

圖3　快速相關向量機離線預測Fig.3　Off-line predictor of Fast-RVM

從圖1～圖3可以看出，3種模型在采樣最初和最后，其預測更貼近實際值，而中間時段的采樣預測效果并不理想，反映出3種離線模型并不能一直有效預測并且適應BOD的變化。為了對水體進行實時監測，使廢水處理廠能及時處理異常情況，加強對污水處理的運行控制，本文采用基于快速相關向量機的在線預測模型。

表3　3種模型在線測試結果Table 3　Comparison of performance of different on-line model

圖4　支持向量機在線預測Fig.4　On-line predictor of support vector machine(SVM)

圖5　相關向量機在線預測Fig.5　On-line predictor of relevance vector machine (RVM)

圖6　快速相關向量機在線預測Fig.6　On-line predictor of Fast-RVM

2.3出水水質預測的在線仿真實驗

UCI數據庫采集的數據記錄了污水廠每天的出水BOD濃度，進行在線仿真實驗時，需要對每一組新的數據加入模型進行更新[19]。訓練數據通過采取限定記憶的方式來保持其容量。限定記憶[13]是指訓練數據始終是有限組，每增加一組最新的觀測數據，就隨即丟棄一組最早的觀測數據，從而保證模型中都包含新數據的信息，避免歷史所含數據信息淹沒新數據所包含的信息。根據第1節所述快速相關向量機建模的步驟，先用200組歷史數據建立初始模型，剩下200組數據用作測試數據。當模型有最新輸入時，預測出水水質BOD濃度的最新輸出，然后將這一新輸入和輸出數據加入到訓練樣本中，對訓練樣本進行更新，為了保持訓練樣本的容量，將訓練樣本中最早的樣本丟棄，然后按照快速相關向量機在線建模的步驟建立快速相關向量機在線預測模型，并且與支持向量機、相關向量機對 BOD濃度在線預測效果進行對比，結果如表3所示，圖4～圖6是3種模型的預測輸出歸一化后所繪制的圖。表 3中的仿真時間是指模型的在線運行時間,包括了對200個新數據的模型更新時間。

對比表2和表3可知，3種在線模型的預測精度都得到了顯著的提高，由圖4～圖6可知在每個采樣點的預測值都更貼近實際值，表明3種在線模型更能有效適應出水指標 BOD的變化。雖然Fast-RVM的預測精度在3種模型中不是最高的，預測誤差為0.0329，但遠小于離線模型中預測誤差最小的Fast-RVM的0.0813，因此是可接受的預測效果。從模型更新速度方面對比，Fast-RVM在線模型的訓練更新速度比RVM和SVM的在線測量模型要快很多，這個指標對于在線模型更加重要。出于實時預測的考慮，軟測量模型對快速性要求更高，在滿足預測精度的前提下，能快速更新的模型才更加適合BOD的在線預測，因此本文所提的快速相關向量機在線模型能更好地滿足實時預測的要求。

3　結　論

針對污水生化處理過程復雜，在線儀表維護困難，導致重要出水指標預測誤差大，難以建立準確在線測量這一問題，本文提出了一種基于Fast-RVM的在線軟測量回歸模型來實時在線預測出水指標BOD。通過與支持向量機和相關向量機在離線和在線情況下的預測效果和模型更新速度對比，結果表明本文提出的模型預測輸出精度高，模型更稀疏，模型訓練更新速度更快，能較好地實時跟蹤出水BOD的濃度變化。

References

[1]Huang Daoping (黃道平), Liu Yiqi (劉乙奇), Li Yan (李艷). Research and application of soft measurement in the sewage treatment process [J]. CIESC Journal (化工學報), 2011,62 (1): 56-64.

[2]Guo Nan (郭楠), Qiao Junfei (喬俊飛). Research of BOD soft measuring instrument based on neural network [D]. Beijing: Beijing University of Technology, 2014.

[3]Chen Zhaobo (陳兆波), Ren Yueming (任月明). Sewage Treatment Plant Measurement, Automatic Control and Fault Diagnosis (污水處理廠測量、自動控制與故障診斷) [M]. Beijing: Chemical Industry Press, 2009, 16-18.

[4]Tian Yi (田奕), Qiao Junfei (喬俊飛). Neural network soft measurement of BOD based on genetic algorithm [J]. Computer Technology and Development (計算機技術與發展), 2009, 19 (3): 127-133.

[5]Li Guihong (李貴宏), Zheng Hua (鄭華). Application of artificial neural net work in wastewater treatment//Second International Conference on Information Science and Engineering, ICISE 2010 [C]. Hangzhou, 2010: 4373-4375.

[6]Chen Zhiming (陳志明). Wastewater treatment prediction based on chao GA optimization LS-SVM//Proceedings of the 2011 Chinese Control and Decision Conference, CCDC 2011 [C]. Guizhou, 2011: 4013-4016.

[7]Yang Baolei (楊鮑蕾). Prediction system of sewage outflow COD based on LS-SVM//Proceedings of the Second International Conference on Intelligent Control and Information Processing, ICICIP 2011 [C]. Hangzhou, 2011: 399-402.

[8]Ran Weili (冉維麗), Qiao Junfei (喬俊飛). BOD soft-measuring approach based on PCA time-delay neural network [J]. Transaction of China Electrotechnical Society (電工技術學報), 2004, 19 (12): 78-82.

[9]Su Shuhui (蘇書惠), Zhang Shaode (張紹德), Tan Jinghui (譚敬輝). Research of waste water soft-measuring approach based on support vector machine [J]. Automation & Instrumentation (自動化與儀表), 2009, (6): 6-9.

[10]Pani A K, Mohanta H K. Application of support vector regression, fuzzy inference and adaptive neuro fuzzy inference techniques for online monitoring of cement fitness. [J]. Powder Technology, 2014, 264: 484-497.

[11]Tipping M E. Sparse Bayesian learning and the relevance vector machine [J]. Journal of Machine Learning Research, 2001, 1 (3): 211-244.

[12]Michael E Tipping, Anita Faul. Fast marginal likelihood maximization for sparse Bayesian models//Proceedings of the Ninth International Workshop on Artificial Intelligence and Statistics [C]. Key West, 2003.

[13]Xu Jiping (許繼平), Chen Chen (陳晨), Liu Zaiwen (劉載文), Wang Xiaoyi (王小藝). Research on BOD online detection instrument based on the theory of soft instrument [J]. Control Engineering of China (控制工程), 2010, 17: 101-108.

[14]Zhang Xiuju (張秀菊), An Huan (安煥), Zhao Wenrong (趙文榮), Zhang Qinling (張琴玲). Application of waste water prediction based on support vector machine [J]. Chinese Rural Water Conservancy and Hydroelectric Power (中國農村水利水電), 2015, (1): 85-89.

[15]Xu Yuge (許玉格), Cao Tao (曹濤), Luo Fei (羅飛). The prediction of effluent quality of waste water treatment based on relevance vector machine [J]. Journal of South China University of Technology: Natural Science Edition (華南理工大學學報: 自然科學版), 2014, 42 (5): 111-117.

[16]Wang Huazhong (王華忠), Yu Jinshou (俞金壽). Research on kernel function and its application in soft measurement modeling [J]. Automation & Instrumentation (自動化與儀表), 2004, 25 (10): 22-25.

[17]Masuda Kazuaki. Global optimization of point search by equilibrium search of gradient dynamical system [J]. Electronic and Communication in Japan, 2008, 91 (1): 19-31.

[18]Su Jieqiong, Wang Xuan, Liang Yong. GA-based support vector machine model for the predictor for the monthly reservoir storage [J]. Journal of Hydrologic Engineering, 2014, 19: 1430-1437.

[19]Thomas Buchgraber, Dmitriy Shutin, Vincent Poor H. A sliding-window online fast variable sparse Bayesian learning algorithm//2011 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) [C]. 2011: 2128-2133.

On-line soft measuring model based on Fast-RVM

XU Yuge, LIU Li, CAO Tao
(School of Automation Science and Engineering, South China University of Technology, Guanzhou 510640, Guangdong, China)

Biochemical oxygen demand (BOD) is a significant indicator to evaluate the effluent quality in wastewater treatment process. Complex wastewater treatment process and high requirement for instrument maintenance make it very difficult to obtain BOD quickly and accurately. In order to solve this problem, a novel BOD on-line soft measuring model based on fast variable relevance vector machine (Fast-RVM) is proposed in this paper. Relevance vector machine algorithm with Bayesian framework is used to build up predictive model and fast marginal likelihood algorithm is applied to accelerate updating speed of the model. Simulation experiments show that the real-time on-line prediction performance and generalization ability are better by using the proposed model than those of off-line model. The online updating speed is particularly outstanding. These experimental results verify that the proposed method is very suitable for real-time on-line prediction of effluent quality in the wastewater treatment process.

Fast-RVM algorithm; on-line modeling; soft measurement; prediction; wastewater treatment process

引　言

隨著工業化進程的不斷加快，我國的水污染情況也在不斷加劇。在污水處理過程中，BOD是反映污水中生物可降解有機物含量的參數，是表征水體有機污染程度的綜合指標，廣泛用于水體監測和廢水處理廠的運行控制[1]。能否對BOD進行實時監測已成為提高治污質量的關鍵。目前污水處理廠多采用大滯后的離線分析法：BOD5離線分析測定周期為5 d，不能及時反映污水處理實際情況，不能實現對BOD在線測量[2]。

date: 2015-05-06.

XU Yuge, xuyuge@scut.edu.cn

supported by the National Natural Science Foundation of China (61473121).

10.11949/j.issn.0438-1157.20150566

TP 273

A

0438—1157（2015）11—4540—06

2015-05-06收到初稿，2015-07-20收到修改稿。

聯系人及第一作者：許玉格（1978—），女，博士，副教授。

國家自然科學基金項目（61473121）；廣州市珠江科技新星項目（2011J2200084）；華南理工大學中央高校基本科研業務費專項基金項目（2014ZZ0027）。