變壓器油中氣體的多核核主元回歸預測模型

唐勇波， 桂衛華， 彭濤

(1．中南大學信息科學與工程學院，湖南長沙 410083;2．宜春學院物理科學與工程技術學院，江西宜春 336000)

電力變壓器是電力系統中最重要的設備之一，油中溶解氣體分析(dissolved gas analysis，DGA)是電力系統診斷充油電氣設備早期潛伏性故障的重要方法。油中氣體濃度預測是對用氣相色譜法定期檢測氣體濃度的十分重要且必要的補充，能夠提供全面的、重要的、及時的DGA信息，應用這些信息可以保持變壓器運行的可靠性［1－3］。

目前，變壓器的油中氣體濃度預測主要采用灰色模型(grey model，GM)及其改進形式［1－4］。GM在建模時只考慮某種氣體的發展變化，缺乏對多種氣體的統一考慮，進行預測時難以取得滿意的擬合效果。灰色多變量模型(multivariable grey model，MGM)同時考慮了各特征氣體的發展變化，取得較好的效果。然而，灰色模型的預測精度一般隨數列自身規律的變化而變化，在數列有確定性趨勢時預測效果較好，否則預測效果較差［5］。支持向量機(support vector machine，SVM)［6－7］對數據序列分布沒有要求，克服了灰色模型的不足，它建立在統計學習理論和結構風險最小化原理基礎上，通過結構風險最小化原理來提高泛化能力，不易發生過擬合現象，但SVM的訓練需要求解二次規劃問題，影響了計算速度。最小二乘支持向量機(least squares support vector machine，LSSVM)［8－9］利用最小二乘法的方法將SVM的學習轉化為求解線性方程組問題，提高了學習速度。但是，LSSVM的建模精度過于依賴核函數及其參數的選擇。在不同的應用場合，核函數的性能表現差別很大，且核函數的構造或選擇至今沒有完善的理論依據［10］。文獻［11］提出了多核學習的思想，為解決核函數及其參數選擇問題提供了可能。文獻［12－13］將多核學習的思想應用于研究SVM的回歸建模問題，提高了預測建模的精度。

核主元分析方法(kernel principal component analysis，KPCA)是一種非線性特征提取方法，它通過非線性函數將輸人映射到高維特征空間，并在高維特征空間中計算主元成分，進行有效地特征提取［14－17］。核主元回歸(kernel principal component regression，KPCR)是在核主元分析基礎上實現的，通過KPCA方法進行降維處理，把獲得的新變量作為多元回歸的自變量，進行回歸計算與分析［18－19］。到目前為止，尚未見核主元回歸方法在變壓器油中溶解氣體預測中應用的相關文獻。

因此，本文將核主元回歸引入到變壓器油中溶解氣體預測中，提出了多核核主元回歸(multiplekernel kernel principal component regression，MK －KPCR)的變壓器油中溶解氣體預測建模方法，通過不同類型核函數的線性加權組合構造新的等價核，采用窗式移動的學習方式，對變壓器油中溶解氣體進行預測建模，并與灰色多變量模型，主元回歸［20］(principal component regression，PCR)及KPCR方法進行比較。

1 核主元回歸

1.1 核主元分析

核主元分析的主要思想是通過引入非線性映射Φ將輸入空間Xn×m(n為樣本數，m為變量數)映射到一個高維特征空間F，然后在高維特征空間計算主元成分，在高維特征空間中得到的線性主元實質就是原始輸入空間的非線性主元。設原始數據xi在特征空間F的像為Φ(xi)，則映射數據Φ(xi)的協方差矩陣可以表示為

解決在特征空間的特征值問題

由于特征值λ對應的特征向量v是由特征空間Φ(x1)，Φ(x2)，…，Φ(xn)中的向量所張成，所以存在系數 ai(i=1，2，…，n)滿足

通過計算映射數據在特征矢量vr上的投影來計算主元，即

這里＜x，z＞表示x與z的點積，r為主元數。為避免直接計算非線性映射，在特征空間定義核函數矩陣

核主元分析的詳細求解過程參見文獻［15］。

對于核函數的選擇，可選高斯徑向基核函數

指數核函數

多項式核函數

式(6)～式(8)中，σ為高斯徑向基核參數，c，d為多項式核參數。

1.2 核主元回歸

核主元回歸(KPCR)是在核主元分析基礎上實現的，通過KPCA方法提取非線性主元，把獲得的新變量作為多元自回歸的自變量，進行回歸計算與分析。核主元回歸模型可表示為［18－19］

其中:ε為回歸殘差;w為回歸系數矩陣;B為n×m維轉換數據陣，轉換數據陣B的詳細推導求解參考文獻［19］;V為m×m維特征向量矩陣，其第r列對應著特征向量vr。回歸系數的最小二乘估計的計算式為

2 變壓器油中氣體預測MK-KPCR模型

本文提出的MK－KPCR方法是將多個不同類型的核函數進行線性加權組合，得到新的等價核，用于構建預測模型。在權衡建模精度與計算復雜度的基礎上，選擇兩個核函數，以多項式核及高斯徑向基核用于構建新的等價核。等價核函數可以表示為

其中:μj為權值，且μ1+μ2=1，0≤μj≤1，j=1，2。

為降低等價核對單個核函數參數的依賴性，提高預測建模精度，μj的選擇以每個核函數預測建模的均方根誤差(root mean squared error，RMSE)作為評測標準，依靠計算樣本預測值和真實值之間的均方誤差。對于多核問題，認為一個核函數，如果其產生小的均方誤差，則它應更多地貢獻合成核［10］。

RMSE定義為

權值μj的選擇方法為

為了解決訓練樣本集大而出現的核矩陣計算問題，本文采用在線學習的方式，訓練樣本隨采樣時間的推移而窗式移動，即t+1時刻采集一個新樣本的同時，剔除t時刻最早采集的一個舊樣本，保持訓練樣本總數不變。選擇窗口長度為n，訓練樣本集可以表示為

其中，x(t)=［x1(t)，x2(t)，x3(t)，x4(t)，x5(t)］為t時刻DGA 采樣樣本;xi(t)，i=1，2，…，5依次為氫氣(H2)、甲烷(CH4)、乙烷(C2H6)、乙烯(C2H4)、總烴在t時刻氣體濃度采樣值;p為預測步長。由于乙炔(C2H2)有時出現長連零現象，用總烴代替乙炔進行建模，總烴為甲烷，乙烷，乙烯，乙炔濃度之和。

基于MK－KPCR的建模和預測算法的步驟為

Step1:采用在線學習的方式訓練采樣樣本，在一個新樣本加入的同時，丟棄最早采集的樣本，保證窗口長度n不變;

Step2:樣本集Xn×m標準化處理，分別選擇高斯徑向基核函數和多項式核函數，按式(5)計算相應的核矩陣 K，并對核矩陣 K按式(16)作均值化處理;

式中，ln是元素為1/n的n×n常數矩陣;

Step3:解決nλa=Ka的特征值問題，并標準化ar，使λ＜ ar，ar＞ =1;

Step4:按式(10)計算轉換矩陣 B，并利用式(11)計算回歸系數矩陣;

Step5:利用式(17)計算訓練樣本的預測值;

Step6:按式(13)計算徑向基核和多項式核訓練樣本集的均方根誤差，按式(14)計算權值μj;

Step7:按式(12)構造新的等價核，按式(5)計算其相應的核矩陣K，并對核矩陣K按式(16)作均值化處理;

Step8:解決nλa=Ka的特征值問題，并標準化ar，使λ＜ ar，ar＞ =1;

Step9:按式(10)計算轉換矩陣 B，并利用式(11)計算回歸系數矩陣;至此，建模過程結束。

Step10:輸入當前時刻檢測的一個樣本x(t)，標準化處理后得到的數據x(t)∈Rm，按式(18)計算對應的核矩陣kt，有

其中，xj為訓練樣本;

Step11:按式(19)對核矩陣kt作均值化處理;

其中，lt是元素為1/n的1×n常數矩陣;

Step12:利用式(20)計算檢測樣本的轉換矩陣Bt;

Step13:按式(21)計算當前檢測樣本的預測值;

Step14:令t=t+1，返回至Step1。

3 預測實例研究

本文分別采用 MGM［3］，PCR［20］，KPCR［19］和MK－KPCR算法對變壓器油中溶解氣體DGA樣本進行一步預測和多步預測研究，即以氫氣(H2)、甲烷(CH4)、乙烷(C2H6)、乙烯(C2H4)、總烴這5種特征氣體建模，并同時預測這5種特征氣體。選取初始訓練樣本數50，測試10個樣本的預測值。為了驗證核參數的變化對KPCR和MK－KPCR建模精度的影響，KPCR中的高斯徑向基核參數先后取為σ=1，σ=5和σ=10。MK－KPCR中的高斯徑向基核參數與KPCR保持一致，多項式核中，核參數d=2，c在［50，100］區間內隨機取值。實驗數據來自2011年某變壓器檢測數據。

3.1 一步預測實驗(p=1)

表1為MGM，PCR，KPCR和MK－KPCR模型對10個測試樣本的一步預測結果，限于篇幅，表1僅給出σ=5時，KPCR和MK－KPCR模型的預測結果;一步預測誤差對比結果如表2和圖1所示，表2給出了測試樣本集的均方根誤差和各變量的均方根誤差，圖1給出了各樣本的均方根誤差。

表1 變壓器油中氣體濃度預測結果Table 1 Prediction of dissolved gases in transformer oil

表2 變壓器油中氣體濃度一步預測均方根誤差對比Table 2 One step prediction RMSE of dissolved gases in transformer oil

圖1 各樣本的一步預測誤差對比Fig．1 One step prediction RMSE of samples

由表2可見，當高斯徑向基核參數選擇不恰當時，例如σ=1，KPCR對測試樣本集的預測誤差最大，為0.240 7，大于MGM和PCR;而核參數選擇比較合適，如σ=5或σ=10，KPCR對樣本集的預測誤差分別為0.162 8和0.152 5，均優于 MGM和PCR，稍高于MK－KPCR;對于各樣本的均方根誤差，見圖1，高斯徑向基核參數選擇不恰當時，如σ=1，KPCR模型的預測誤差起伏較大，且樣本有最大預測誤差;而核參數選擇比較合適，如σ=5或σ=10，KPCR模型的預測誤差總體稍差于MKKPCR而優于MGM和PCR;無論σ=1，σ=5或σ=10，MK－KPCR模型的預測誤差變化不大，比較穩定;由此可見，KPCR模型的預測結果依賴于核函數及參數的選擇。而對比KPCR和MK－KPCR，當σ依次選為 1，5，10時，KPCR的預測誤差分別為0.240 7，0.162 8，0.152 5，MK － KPCR 的預測誤差分別為0.156 7，0.157 9，0.152 2，可見，高斯徑向基核參數發生變化時，對KPCR算法的建模精度有較大的影響，而高斯徑向基核參數的變化對MKKPCR的建模精度影響較小;無論σ=1，σ=5或σ=10，MK－KPCR方法對測試樣本集的一步預測精度均優于KPCR方法，也均優于MGM和PCR。

對于樣本中各變量的均方根誤差，見表2，當σ=1時，KPCR對氫氣的預測誤差為0.237 3，遠高于MGM，PCR和MK－KPCR，進而導致樣本的均方誤差也變差;當高斯徑向基核參數選擇較為恰當時，KPCR相比于PCR，對各變量的預測效果較好;對比KPCR和MK－KPCR，高斯徑向基核參數發生變化時，KPCR算法對氫氣的預測誤差有較大的變化，而MK－KPCR對各變量的預測誤差變化均較小，說明高斯徑向基核參數σ對MK－KPCR的預測效果影響不大;相比于PCR，KPCR和MK－KPCR灰色預測MGM模型對乙烷的預測效果和其它方法相差不大，對甲烷和總烴的預測效果較好，對氫氣和乙烯的預測效果較差，主要因為氫氣和乙烯的變化趨勢起伏不定，甲烷和總烴總體上呈現上升增長的趨勢(見表1)，這也驗證了文獻［5］指出的，灰色模型的預測精度一般隨數列自身規律的變化而變化，在數列有確定性趨勢時預測效果較好，否則預測效果較差。

3.2 多步預測實驗(p=5)

提出的MK－KPCR方法對DGA樣本進行多步預測(p=5)，表3給出了10個測試樣本進行多步預測(p=5)樣本的均方根誤差和各變量的均方根誤差，圖2為各樣本的均方根誤差。

由圖2和表3可以看出，當σ=1時，KPCR對樣本的預測誤差為0.260 6，明顯高于MGM，PCR和MK－KPCR;當高斯徑向基核參數選擇恰當，如σ=5或σ=10，KPCR的預測誤差分別為0.161 6和0.157 4，低于MGM的0.182 3預測誤差和PCR的0.1950預測誤差;當σ依次選為1，5，10時，MKKPCR 的預測誤差分別為0.164 9，0.159 3，0.156 7，均優于相應KPCR的預測誤差，也優于 MGM和PCR;與KPCR相比，σ參數的變化對MK－KPCR的多步預測精度影響較小，采用MK－KPCR，對各樣本的預測誤差較為平穩，起伏不大。

表3 變壓器油中氣體濃度多步預測均方根誤差對比Table 3 Multiple steps prediction RMSE of dissolved gases in transformer oil

圖2 各樣本的多步預測誤差對比Fig．2 Multiple steps prediction RMSE of samples

4 結語

提出了基于多核核主元回歸MK－KPCR的變壓器油中溶解氣體的預測方法。采用多核學習方法，將徑向基核函數和多項式核函數進行線性加權構造新的等價核，并利用窗式移動的學習方式，同時對變壓器油中溶解氣體進行了一步和多步預測。該方法可以看作是KPCR在多核空間中的推廣。預測實驗結果表明，與KPCR相比，MK－KPCR對單一核函數及其參數的依賴性較小;與灰色多變量預測模型MGM，主元回歸PCR及核主元回歸KPCR相比，MK－KPCR具有較高的建模精度和泛化能力。

［1］羅運柏，于萍，宋斌，等．用灰色模型預測變壓器油中溶解氣體的含量［J］．中國電機工程學報，2001，21(3):65 －69．

LUO Yunbai，YU Ping，SONG Bin，et al．Prediction of the gas dissolved in power transformer oil by the grey model［J］．Proceedings of the CSEE，2001，21(3):65 －69．

［2］WANG M H．Grey-extension method for incipient fault forecasting of oil-immersed power transformer［J］．Electric Power Components and Systems，2004，32(10):959 －975．

［3］肖燕彩，朱衡君，陳秀海．用灰色多變量模型預測變壓器油中溶解的氣體濃度［J］．電力系統自動化，2006，30(13):64 －67．

XIAO Yancai，ZHU Henjun，CHEN Xiuhai．Concentration prediction of dissolved gas－in－oil of a power transformer with the multivariable grey model［J］．Automation of Electric Power Systems，2006，30(13):64 －67．

［4］肖燕彩，朱衡君，陳秀海．用改進的灰色多變量模型預測變壓器油中溶解氣體的濃度［J］．電網技術，2006，30(10):86 －89．

XIAO Yancai，ZHU Henjun，CHEN Xiuhai．Prediction of gas dissolved in power transformer oil by improved multivariable grey model［J］．Power System Technology，2006，30(10):86 －89．

［5］劉思峰，郭天榜，黨耀國．灰色系統理論及其應用［M］．2版．北京:科學出版社，1999．

［6］費勝巍，孫宇．用SVRM預測變壓器油中溶解氣體量［J］．高電壓技術，2007，33(8):81 －84．

FEI Shengwei，SUN Yu．Prediction of dissolved gases content in power transformer oil by support vector regression machine ［J］．High Voltage Engineering，2007，33(8):81－84．

［7］趙石磊，張迎春．SVM回歸估計方法在衛星故障診斷中的應用［J］．電機與控制學報，2008，12(4):483 －486．

ZHAO Shilei，ZHANG Yingchun．Application of SVM regression to fault diagnosis for satellite［J］．Electric Machines and Control，2008，12(4):483 －486．

［8］肖燕彩，陳秀海，朱衡君．基于最小二乘支持向量機的變壓器油中氣體濃度預測［J］．電網技術，2006，30(11):91－94．

XIAO Yancai，CHEN Xiuhai，ZHU Henjun．Forecasting of gas concentration in power transformer oil based on least square support vector machine［J］．Power System Technology，2006，30(11):91－94．

［9］馮磊華，桂衛華，楊鋒．改進LS－SVM的直吹式制粉出力軟測量建模［J］．電機與控制學報，2011，15(11):79－83．

FENG Leihua，GUI Weihua，YANG Feng．Soft sensor modeling for mill output of direct fired system based on improved least squares support vector machines［J］．Electric Machines and Control，2011，15(11):79 －83．

［10］汪洪橋，蔡艷寧，孫富春，等．多尺度核方法的自適應序列學習及應用［J］．模式識別與人工智能，2011，24(1):72－81．

WANG Hongqiao，CAI Yanning，SUN Fuchu，et al．Adaptive sequence learning and applications for multi－scale kernel method［J］．PR ＆ AI，2011，24(1):72 －81．

［11］ZIEN A，ONG C S．Multiclass multiple kernel learning［C］//Proceedings of the 24th International Conference on Machine Learning．June 20 － 24，2007，New York，USA．2007:1191－1198．

［12］張軍峰，胡壽松．多重核學習非線性時間序列故障預報［J］．控制理論與應用，2008，25(6):1142 －1144．

ZHANG Junfeng，HU Shousong．Nonlinear time series fault prediction by multiple kernel－learning［J］．Control Theory＆ Applications，2008，25(6):1142 －1144．

［13］陳強，任雪梅．基于多核最小二乘支持向量機的永磁同步電機混沌建模及其實時在線預測［J］．物理學報，2010，59(4):2310－2318．

CHEN Qiang，REN Xuemei．Chaos modeling and real－ time online prediction of permanent magnet synchronous motor based on multiple kernel least squares support vector machine［J］．Acta Physica Sinica，2010，59(4):2310－2318．

［14］許潔，胡壽松．基于KPCA和MKL－SVM的非線性過程監控與故障診斷［J］．儀器儀表學報，2010，31(11):2428 －2433．

XU Jie，HU Shouson．Nonlinear process monitoring and fault diagnosis based on KPCA and MKL － SVM［J］．Chinese Journal of Scientific Instrument，2010，31(11):2428 －2433．

［15］LEE J M，YOO C，CHOI S W，et al．Non－linear process monitoring using kernel principal component analysis［J］．Chemical Engineering Science，2004，59(1):223 －234．

［16］齊詠生，王普，高學金，等．改進MKPCA方法及其在發酵過程監控中的應用［J］．儀器儀表學報，2009，30(12):2530－2538．

QI Yongsheng，WANG Pu，GAO Xuejin，et al．Application of an improved multi－way kernel principal component analysis method in fermentation process monitoring［J］．Chinese Journal of Scientific Instrument，2009，30(12):2530 －2538．

［17］CHOI S W，LEE C，LEE J M，et al．Fault detection and identification of nonlinear processes based on kernel PCA［J］．Chemometrics and Intelligent Laboratory Systems，2005，75(1):55－67．

［18］張曦，陳世和，朱亞清，等．基于KPCR的發電機組參數預測與估計［J］．電力自動化設備，2010，30(10):54 －57．

ZHANG Xi，CHEN Shihe，ZHU Yaqing，et al．Parameter prediction and estimation for turbine generator based on KPCR［J］．Electric Power Automation Equipment，2010，30(10):54 －57．

［19］ZHANG Xi，MA Sile，YAN Weiwu，et al．A novel systematic method of quality monitoring and prediction based on FDA and kernel regression［J］．Chinese Journal of Chemical Engineering，2009，17(3):427 －436．

［20］賀湘宇，何清華，郭勇，等．基于主元回歸模型的挖掘機液壓系統故障診斷［J］．江蘇大學學報:自然科學版，2008，29(2):106－109．

HE Xiangyu，HE Qinghua，GUO Yong，et al．Fault diagnosis for excavator’s hydraulic system based on principal component regression mode［J］．Journal of Jiangsu University:Natural Science Edition，2010，30(10):54－57．