基于MIC的支持向量回歸及其在化工過程中的應(yīng)用

顧俊發(fā)，許明陽，馬方圓，林治宇，紀(jì)成，王璟德，孫巍

（1 北京化工大學(xué)化學(xué)工程學(xué)院，北京100029； 2 中化泉州石化有限公司，福建泉州362103）

引 言

在化工生產(chǎn)中，某些關(guān)鍵變量可以直接或間接地反映過程的運行狀態(tài)，對于操作人員判斷裝置的運行情況十分重要。但受測量手段或儀表故障等因素的影響，這些關(guān)鍵變量可能出現(xiàn)無法實時獲取或讀數(shù)異常的問題。此時，軟測量技術(shù)可以通過提取歷史數(shù)據(jù)中關(guān)鍵變量與其他變量間的關(guān)系，建立回歸模型，實現(xiàn)對關(guān)鍵變量的預(yù)測[1]。在建立軟測量模型時，輔助變量和回歸方法的選取會直接影響到模型的預(yù)測效果[2]。化工過程中變量眾多，如果將所有相關(guān)變量全部作為輸入建立軟測量模型，不僅會導(dǎo)致數(shù)據(jù)的冗余，增加模型運算量，也會造成模型的預(yù)測準(zhǔn)確率降低[3]。目前常利用Person 系數(shù)等線性相關(guān)度量準(zhǔn)則分析過程變量與軟測量目標(biāo)變量間的關(guān)系，選擇合適的輔助變量[4]，然后利用線性回歸模型提取變量間關(guān)系，建立軟測量模型，實現(xiàn)對關(guān)鍵變量的實時預(yù)測。常見的線性回歸方法有嶺回歸、偏最小二乘法等[5]，其優(yōu)點在于計算簡單且可解釋性強，對穩(wěn)態(tài)過程具有較強的適用性[6]。但在實際化工生產(chǎn)中，裝置并非一直處于穩(wěn)態(tài)過程，而且絕大多數(shù)變量間的關(guān)系十分復(fù)雜，為非線性關(guān)系。相比于利用線性相關(guān)度量選擇變量建立線性模型，如果能夠在綜合考慮變量間線性和非線性關(guān)系的基礎(chǔ)上建立軟測量模型，則應(yīng)能夠?qū)崿F(xiàn)對目標(biāo)變量更好的預(yù)測。

最大信息系數(shù)(maximal information coefficient，MIC)是一種基于信息論的度量標(biāo)準(zhǔn)，利用互信息和網(wǎng)格劃分的方法來計算變量間的相關(guān)度，同時考慮了變量間的線性和非線性關(guān)系，具有適用性廣、計算簡單等優(yōu)點，適用于非線性回歸模型的變量選取。同時，支持向量回歸(support vector regression,SVR)方法是一種常用的非線性回歸方法，在結(jié)構(gòu)風(fēng)險最小化原則基礎(chǔ)之上發(fā)展起來，能夠根據(jù)數(shù)據(jù)信息在模型學(xué)習(xí)能力和復(fù)雜度之間尋求最優(yōu)性能，以獲得良好的推廣能力，有較強的泛化能力，能夠?qū)δ繕?biāo)變量做出較為準(zhǔn)確的預(yù)測[7]。

基于此，本文提出了一種基于MIC 的支持向量回歸軟測量方法，利用最大信息系數(shù)度量過程變量與軟測量目標(biāo)變量間的相似度，選擇合適的輔助變量，避免了全部變量作為輸入所造成的數(shù)據(jù)冗余。在此基礎(chǔ)上，利用支持向量回歸方法提取輔助變量與軟測量目標(biāo)變量間的關(guān)系，建立軟測量模型，實現(xiàn)對軟測量目標(biāo)的預(yù)測。該方法被應(yīng)用于存在儀表故障的某催化重整裝置進料換熱器熱端壓降的軟測量中，結(jié)果表明該方法可以有效地實現(xiàn)對壓降的預(yù)測，實現(xiàn)對儀表故障時的數(shù)據(jù)校正。

1 方法原理

1.1 最大信息系數(shù)

最大信息系數(shù)是Reshef 等[8]于2011 年首次提出的一種基于互信息理論的最大信息系數(shù)，它可以有效監(jiān)測變量間的線性或非線性關(guān)系，是較好的衡量變量間相關(guān)性的指標(biāo)。

1.1.1 常見相關(guān)性度量方法對比 常見的相關(guān)性度量方法及其特點如表1所示，從表中不難看出，與其他常見的相關(guān)性度量方法相比，MIC 方法具有適用范圍廣、魯棒性強、計算復(fù)雜度低等優(yōu)點[9-11]。

表1 相關(guān)性度量方法Table 1 Correlation measurement algorithm

1.1.2 MIC 原理 MIC 利用互信息和網(wǎng)格劃分的方法來進行計算，其中互信息可以看作是一個變量中包含的關(guān)于另一個變量的信息量，互信息計算公式如式(1)所示：

其中，p(x,y)為x,y之間的聯(lián)合概率。給定一個有限的有序數(shù)據(jù)集，如式(2)所示：

將集合D 中x,y 構(gòu)成的散點圖進行(a,b)的網(wǎng)格劃分，然后查看當(dāng)前的散點在各個方格的落入情況，分別計算每個網(wǎng)格中的互信息，網(wǎng)格的劃分方式還有很多種，選取不同方式下互信息的最大值,得到最終的MIC，計算公式如式(3)所示：

其中，a, b 是在x, y 方向上劃分格子的個數(shù)，B為網(wǎng)格劃分的上限值。

1.2 支持向量回歸

支持向量回歸是一種基于統(tǒng)計學(xué)理論的機器學(xué)習(xí)方法，在解決非線性問題上有很好的效果，被廣泛應(yīng)用于工業(yè)界各個領(lǐng)域[12]。

1.2.1 常見軟測量方法比較 基于數(shù)據(jù)驅(qū)動的軟測量方法主要包括線性方法與非線性方法兩大類。常見的線性方法包括偏最小二乘法(PLS)、嶺回歸方法(Ridge)，其優(yōu)點是計算簡單，可解釋性強，適用于穩(wěn)態(tài)過程[13-17]。常見的非線性方法包括支持向量回歸(SVR)、神經(jīng)元網(wǎng)絡(luò)等，其優(yōu)點在于能夠適用于復(fù)雜的非線性過程[18-20]。常見的軟測量回歸方法及其優(yōu)缺點如表2 所示，化工過程中經(jīng)常伴隨著狀態(tài)調(diào)整，為非穩(wěn)態(tài)過程，存在著線性與非線性關(guān)系。支持向量回歸具有非線性優(yōu)勢，且有較強的泛化能力，優(yōu)勢明顯。

1.2.2 SVR 原理 對于如式(4)所示給定訓(xùn)練集樣本M，希望得到一個回歸模型使得f(x)與y 盡可能接近，w、b是待確定的回歸參數(shù)，假設(shè)能容忍f(x)與y之間最多有ε 的偏差，SVR 問題可以轉(zhuǎn)化為如式(5)所示:

其中C 是正則化參數(shù)，le是不敏感損失函數(shù)，如式(6)所示。

引入松弛變量ξi和ξ*i后，式(5)可重寫如式(7)所示。

引入拉格朗日乘子μi后，將其轉(zhuǎn)化為對偶問題。

令L 對w, b,ξ,ξ*的偏導(dǎo)數(shù)為0，即可對w 和b 進行確定[21]。得到最終的SVR解形式如式(9)所示：

1.2.3 核函數(shù)引入 上述情況是線性可分的，對于線性不可分情況，可以將樣本從原始空間映射到一個更高維的特征空間，使得樣本在這個空間線性可分，但是特征空間維數(shù)可能很高甚至是無窮維的，直接計算是十分困難的，為了避免這個障礙，引入了核函數(shù)[22-23]

通過核函數(shù)就可以用原始空間數(shù)據(jù)的計算結(jié)果來計算特征空間上的內(nèi)積，避免了上述的障礙。這樣SVR解形式就可以改寫為式(11)所示形式。

1.3 基于最大信息系數(shù)的支持向量回歸方法

基于最大信息系數(shù)的支持向量回歸（MICSVR）算法框圖如圖1 所示，首先通過對原始數(shù)據(jù)各變量間MIC 值的計算，確定與目標(biāo)變量相關(guān)性較強的輔助變量。在確定輔助變量之后將數(shù)據(jù)歸一化劃分為訓(xùn)練集與測試集，接著對模型進行訓(xùn)練優(yōu)化模型參數(shù)，得到最終模型并對測試集進行測試。

表2 常見軟測量方法Table 2 Soft measurement method

圖1 MIC-SVR算法框圖Fig.1 The diagram of MIC-SVR algorithm

1.4 性能指標(biāo)

1.4.1 決定系數(shù)（coefficient of determination，R2） 在回歸模型中用于評估預(yù)測值和實際值的符合程度, R2越接近于1，符合程度越高[24]，計算公式如式(12)所示：

其中，f(x)是預(yù)測值，y 是實際值，y*是實際值的平均值，RSS是殘差平方和，TSS是總平方和。

1.4.2 均方根誤差（root mean square error，RMSE） 用來衡量觀測值同真值之間的絕對偏差[25]，計算公式如式(13)所示：

1.4.3 相對誤差率（relative error rate，S） 用于衡量觀測值與真實值之間的相對偏差[26]，計算公式如式(14)所示：

其中，f(x)是預(yù)測值，y 是實際值，y*是實際值的平均值。

2 實例研究

國內(nèi)某大型石化公司的催化重整裝置，重整進料換熱器的熱端壓降可以間接地反映出換熱器內(nèi)部的結(jié)垢情況，當(dāng)換熱器內(nèi)部的結(jié)垢多時則需要進行在線沖洗，如果不能夠及時在線沖洗，輕則會影響換熱效率，增加企業(yè)的運行成本，嚴(yán)重時可能會導(dǎo)致生產(chǎn)安全事故的發(fā)生[27-28]。但在實際生產(chǎn)中，測量儀表可能存在儀表錯誤的情況，這會導(dǎo)致操作人員無法判斷換熱器的運行狀態(tài)，因此對于換熱器壓降的實時預(yù)測以及及時的數(shù)據(jù)校正顯得尤其重要。因此考慮對熱端壓降進行MIC-SVR 軟測量模型的建立。

2.1 輔助變量的選取

首先根據(jù)實際工業(yè)過程選取了27 個與換熱器熱端壓降相關(guān)的變量，計算各個變量與重整進料換熱器熱端壓降的MIC值，如表3所示。

表3 最大信息系數(shù)計算結(jié)果Table 3 The result of MIC

取各個計算結(jié)果的均值，將MIC 值大于均值的變量篩選出來，共得到12個變量，如表4所示。

2.2 模型的建立

2.2.1 模型參數(shù) 模型參數(shù)主要包括兩部分：一個是核函數(shù)參數(shù)；二是超參數(shù)懲罰因子C 和不敏感損失系數(shù)ε[29-30]。

2.2.2 參數(shù)的確定 首先將所選數(shù)據(jù)集進行歸一化，將歸一化的數(shù)據(jù)按照7∶3 的比例劃分為訓(xùn)練集和測試集。

本次所選用的核函數(shù)是高斯核函數(shù),如式(15)

表4 輔助變量表Table 4 Auxiliary variable table

所示：

其本身參數(shù)只有一個δ，構(gòu)造一個從0.01～10 的長度為20 的等比數(shù)列，探究δ 值在哪個范圍內(nèi)測試集效果較好，結(jié)果發(fā)現(xiàn)δ 在0.1～1 之間效果最好，再構(gòu)造一個從0.1～1的長度為20的等差數(shù)列進行更為精準(zhǔn)的參數(shù)確定，得到最終的δ=0.24。

接著對模型的超參數(shù)進行確定，將懲罰因子C和不敏感損失系數(shù)ε進行排列組合確定最佳的超參數(shù)組合，最終確定C=6.952,ε = 0.015。由此熱端壓降的MIC-SVR軟測量模型建立完畢。

2.3 模型預(yù)測結(jié)果與討論

將測試集數(shù)據(jù)代入建立好的軟測量模型，對壓降進行預(yù)測，得到預(yù)測值與真實值情況如圖2所示，R2=0.8569,RMSE=0.2770,S=0.25%,擬合效果較好。

圖2 測試集預(yù)測結(jié)果Fig.2 The prediction of test data

采用相同的數(shù)據(jù)集，不同的建模方法對比結(jié)果如表5 所示，從表中可以看出SVR 預(yù)測結(jié)果要好于傳統(tǒng)的PLS 方法,在采用了MIC 方法選取輔助變量之后PLS和SVR預(yù)測結(jié)果均有顯著提升。

在實際生產(chǎn)過程當(dāng)中，熱端壓降出現(xiàn)儀表異常的情況，但儀表讀數(shù)的準(zhǔn)確性對于整個生產(chǎn)過程顯得尤為重要，現(xiàn)對儀表異常情況進行軟測量并進行數(shù)據(jù)校正，保證生產(chǎn)過程數(shù)據(jù)的準(zhǔn)確性。如圖3 所示為儀表發(fā)生超量程異常的情況，此預(yù)測結(jié)果可以實現(xiàn)對儀表數(shù)據(jù)的校正。

表5 不同算法預(yù)測結(jié)果Table 5 The prediction of different algorithms

圖3 儀表異常情況預(yù)測結(jié)果Fig.3 The prediction of faulty sensor

3 結(jié) 論

本文針對實際過程當(dāng)中，由于儀表故障而無法實時獲取數(shù)據(jù)的問題。提出了MIC-SVR 軟測量方法，并與線性方法PLS進行比較，結(jié)果表明非線性的SVR 更適合于復(fù)雜的工業(yè)過程。另外與未經(jīng)變量選擇的模型也進行了對比，結(jié)果表明經(jīng)過變量選擇的模型優(yōu)于未經(jīng)變量選擇的模型，說明在建模過程中進行變量選擇可以提高模型的泛化能力和降低模型的復(fù)雜度。最后將MIC-SVR 應(yīng)用于存在儀表故障的某催化重整裝置進料換熱器熱端壓降的軟測量中，實現(xiàn)了對異常儀表的數(shù)據(jù)校正。

符 號 說 明

b——閾值

C——懲罰因子

f(x)——預(yù)測值

I——互信息

MIC——最大信息系數(shù)

m——觀測值數(shù)量

p(x,y)——x,y之間的聯(lián)合概率

R2——決定系數(shù)

RMSE——均方根誤差

RSS——殘差平方和

S——相對誤差率

SVR——支持向量機回歸

TSS——總平方和

w——權(quán)重向量

y——真實值

α,μ——拉格朗日乘子

ε——不敏感損失系數(shù)

ξ——松弛向量