運用多分類多核參數SVM的變壓器故障診斷算法

張慶磊，王寶華，陳祥睿（.南京理工大學自動化院，南京0094；.南京供電公司，南京0000）

運用多分類多核參數SVM的變壓器故障診斷算法

張慶磊1，王寶華1，陳祥睿2
（1.南京理工大學自動化院，南京210094；2.南京供電公司，南京210000）

針對變壓器故障診斷中支持向量機（SVM）的核參數選擇和特征值權重問題，對多分類多核參數SVM算法做了改進。該方法研究了核參數對多分類SVM分類器分類性能的影響，采用多核參數表示輸入特征分量的權重，通過最優化分類間隔來獲得核參數的最優值，使SVM的分類性能達到最優。實驗表明此算法擁有最優的分類性能，可以提高變壓器診斷的精度和效率，擁有良好的應用前景。

多分類；多核參數；支持向量機（SVM）；變壓器；故障診斷

變壓器是電力系統重要設備，其運行狀態直接影響電力系統的安全與穩定。變壓器油中溶解氣體分析DGA（dissolved gasanalysis）方法，由于其直觀簡單的特點，已得到了廣泛研究和運用。但變壓器結構復雜，故障原因多變，故障表現和故障原理之間存在模糊性和復雜性，使得故障診斷存在許多困難。近年來，大量智能算法被運用于變壓器故障診斷中，而支持向量機算法SVM（support vectormachines）因為其訓練樣本數目要求小，診斷準確率高，魯棒性好，得到了廣泛的運用。但變壓器故障診斷由于本身的一些特點和技術要求，傳統的SVM難以獲得理想的診斷效果。

變壓器故障診斷屬于多分類問題，并需要考慮多個特征量，想要獲得較好的分類效果，則需要使用多個核參數。傳統的多分類SVM方法如“一對一”和“一對多”[1]有著算法復雜、計算耗時久的缺點，而整體優化方法[2-3]在一個目標函數中同時考慮所有子分類器的優化參數，降低了優化算法的復雜程度，改善了SVM性能。文獻[4-7]采用多個核函數，提出了多分類多核學習的SVM算法，在傳統單核SVM基礎上再增加了一層線性節點，將單核的分類結果線性疊加得到多核的運算結果。

在SVM的運用中，核參數的選擇是一個關鍵。文獻[8]采用高斯函數作為核函數，并定義同類的幾何中心為該類的類中心，非同類的類中心之間的間距定義為類間距，研究了高斯核的寬對類間距的影響，并且證明了類間距全局收斂且存在極值，進而通過求極值點達到最優化核參數的目的。其他選擇核參數的方法如考慮核相似性最大[9]、核空間聚類[10]等，都得到了研究和運用。DGA算法通常使用變壓器油中H2、CH4、C2H2、C2H4、C2H65種溶解氣體的含量作為樣本輸入特征量。若要得到性能更好的SVM分類器，則必須研究這些特征量對分類器性能的影響。文獻[11]通過測量類間距來篩選樣本輸入的特征量，能夠準確、快速地選擇特征量并確定核參數。該文獻僅去除了對影響分類性能無關或影響較小的特征量，沒有考慮余下的有效特征量的權重問題。

針對這些問題，本文重新定義了多分類樣本的類間距，采用高斯函數作為核函數，分析高斯核的寬度在類間距最優化過程中的作用，提出考慮核參數選擇的優化方法。并且將高斯函數變形，把單核參數推廣到考慮特征分量權重的多核參數分類方法，提出了基于多分類多核參數的支持向量機MMP_SVM（multiclassmultiple parameters supportvectormachine）方法。實驗表明，該方法分類性能高于一般SVM，有較好的應用前景。

1 多分類SVM

1.1 凸外形二分SVM

令S為m個訓練樣本的合集，S=（{xi，y）i；i= 1，2，…，m}，，其中xi∈Rn。定義I1和I2為類1和類2的樣本標簽集合。若i∈I1，則yi=-1；若i∈I2，則yi=1。傳統的二分SVM是找到最優超平面H= {x∈X：wTx-b=0}，將兩類樣本分開。在兩類樣本中，尋找一對穿過兩類樣本點的平行線，并通過最大化平行線的間隔來得到最優超平面，如圖1（a）所示。上述問題可以表示為

文獻[12]指出，該最優化過程可以用另一種形式表示。定義P1和P2為各自兩類樣本點的線性組合的集合，代表類各自所在的凸多邊形區域，如圖1（b）所示。最優化問題就變為尋找v1∈P1和v2∈P2，使得‖v1-v‖22最小。最優化得到兩點間隔就是類間距，兩點的垂直平分線就是分類間隔，而分類面可以表示為

式中：w=v1-v2；b=（v1+v2）T（v1-v2）/2。v1和v2可以看作各自類中元素的線性組合。

圖1 SVM分類超平面的選取Fig.1 Classification hyperplane selected by SVM

則最優化過程可以表示為

分類器還可以用另一種方式表示。定義c=（v1+v2）/2，c為v1和v2的中點，若測試樣本在I1中，則有

1.2 凸外形多分類SVM

二分SVM拓展到多分類，即有K個分類數目。定義訓練樣本集S={（xi，yi）；i=1，2，…，m}，xi∈Rn，yi∈{1，2，…，K}，則最優化的目標就成為最小化所有類凸多邊形的間隔之和，即

式（7）帶入樣本數據，可表示為

式中：Xl為由所有屬于l類的樣本x（ii∈I）l拼接成的矩陣；ul為對應的權值。

Kij=j表示屬于類i和類j的所有樣本之間的內積。

于是最優化過程可表示為

式（11）剛好對所有樣本輸入僅做一次內積（Kij與Kji是不同的兩次內積，盡管他們的值是相同的）。建立一個m×m的矩陣α，α=（αi）j，且當樣本i和樣本j屬于同一類時，αij=K-1；當樣本i和樣本j不屬于同一類時，αij=-1。則式（11）的目標函數以內積形式可表示為

上述所有推導都是在原空間進行的，但在樣本映射的Hilbert空間也同樣適用，用核函數取代內積，最優化過程可表示為

同樣，將內積以核函數代替，分類器最終可表示為

2 核參數的選擇

2.1 核參數對分類性能的影響

采用高斯函數作為核函數，研究核參數λ∈[0，∞）的變化對分類器性能的影響。核函數為

式（12）的目標函數的最小值W（u~），其物理意義表示在Hilbert空間中各類的類間距之和，那么類間距之和越大，樣本的可分性就越好。找到λ∈[0，∞）使得類間距達到最大，那么此時的λ就可以認為是最優的核參數。

式（12）引入λ作為變量，即目標函數擁有2個最優化對象，表示為W（，λ）。

考察代價函數，即

設Dij表示xi和xj在Hilbert空間的映射φ（和φ（x）j之間的距離，則核函數表示為

當λ=0時，Dij=0，此時所有的樣本輸入都被映射到一點，所以樣本映射的所有線性組合也是位于同一點，即有

從而退化為對角矩陣，此時對于所有屬于Ij的樣本i，對應的乘子都有

式中，W（λ）≥0且可導。根據拉格朗日中值定理，必存在ξ1∈（0，∞），使得）〉0

實際上，由于二次規劃迭代精度有限，當λ= ξ2足夠大時，ui就退化為式（20）的常數，此時

為了清楚地觀察W（λ）和λ的關系，利用加州大學UCI網站下載的公開實測特征數據庫Iris、Wine和Soybean對優化算法進行仿真驗證，并分別繪制了λ-W（λ）曲線，如圖2所示，橫坐標采用對數坐標。從圖中可以看出，W（λ）在λ=0為0，而在λ→∞時趨于某個正常數，這個常數和式計算的相吻合，并且W（λ）在某處存在極大值。設λ=λξ時W（λ）有極大值，那么λξ即為最優核參數。

圖2 三樣本集的λ-W（λ）曲線Fig.2λ-W（λ）curves for 3 kindsof datasets

2.2 核參數的求解

若|λ1-λ0|≤η，則迭代結束（η是人為取的某一較小值，表示最優化結束條件）；若|λ1-λ0|〉η，則更新λ0，轉步驟1。

步驟1使用二次規劃求解最優值，同一般SVM最優化算法相同，步驟2使用最速下降法求解最優值。

在λ0=1、λ0=50條件下，通過步驟1求解u~= argmin u后，描繪了W（u~）關于λ的變化曲線，如圖3所示。圖中虛線的最大值對應的橫坐標就是步驟2所要求解的λ1；對應的縱坐標表示λ= λ0條件下獲得的最優間隔。每個λ0都對應一個最優解λ1和最優間隔W（λ）|λ=λ1。圖3中實線表示最優間隔對于λ0的全局變化趨勢。從圖中可看出，實曲線擁有一個最大值，所在點的λ值就是全局最優點，即是最終要獲得的理想核參數。在λ0=1和λ0=50情況下，最大值和全局最優點總是在初值的同一邊，可以說步驟2的最優化過程總是趨向于最終目標的。

圖3 已知λ0條件下的λ-W（λ）曲線Fig.3λ-W（λ）curvesw ith knownλ0

3 考慮輸入特征分量的多核參數SVM

假設X和Z有S個特征分量，Xi與Zi是其中的第i個特征分量。

選取核函數為

式中，λi一方面構成了高斯函數的寬，另一方面也包含特征量之間的權重關系。若某一個λ值較小，則表示該特征量對于分類結果的影響較小；若值較大，則表示分類結果對這一特征量更為敏感。

采用第2.2節中的兩步迭代方法最優化多個核參數。但多維優化更加難以收斂，所以將核函數分解為賦初值βi=，n為樣本特征量數目，通過兩步迭代法求解λ，再通過約束條件下最優化方法來求解βi。

多分類多核參數SVM算法具體描述如下。

（1）定義樣本集S=（{xi，y）i；i=1，2，…，m}，xi∈Rn，yi∈{1，2，…，K}。I={1，2，…，m}為樣本標簽集合，Ik?I表示屬于k類樣本的標簽集合。

（2）選取核參數初值λ0=1，迭代次數s=0，設定結束條件η。

（3）令λ=λ0，s=s+1。選取核函數為

式中，ε0和τ均為用戶選擇的常數。若|λ0-λ1|≤η，繼續下一步；反之，更新λ0，即λ0=λ1。轉至步驟（3）。

（7）選取核函數為

4 診斷實例

搜集確定實際故障結果的84組變壓器油中氣體分析檢測記錄，其中28組作為訓練樣本，其余作為測試樣本。選擇變壓器油中H2、CH4、C2H2、C2H4、C2H6這5種溶解氣體的含量作為樣本輸入特征量，輸入量為xi=（xi1，xi2，xi3，xi4，xi5）T，溶解氣體含量差異較大，為提高診斷精度，對DGA數據做歸一化處理，即

考慮以下6種故障模式：低溫過熱T1、中溫過熱T2、高溫過熱T3、局部放電（PD）、低能放電D1和高能放電D2。使用三比值法、BP神經網絡（back prop-agation network）、一對多（one-versus-all，OVA）SVM和MMP_SVM模型對相同的樣本進行比較實驗。各方法的訓練時間、訓練經驗誤差、測試準確率如表1所示。表2列舉了樣本集的5種典型樣本的診斷實例。

表1 不同方法的診斷結果比較Tab.1 Comparison of faultdiagnosis resultsvia different methods

表2 變壓器故障診斷實例Tab.2 PracticalexaMplesof fault diagnosis for power transformer

實驗數據表明：

（1）在小樣本的情況下MMP_SVM算法仍然具有很好的泛化能力，診斷結果與實際診斷結果吻合得很好。相比樣本訓練數目要求較多的BP神經網絡，該算法擁有更高的診斷準確率。

（2）MMP_SVM準確率比OVA SVM稍高，但訓練時間卻大大減少。因為該算法最優化過程中需要求解的參數少，且同時計算最優化核參數；而OVA SVM必須重復計算多個分類機，并且通過交叉驗證法最優化核參數，另在診斷實驗中，OVA SVM僅考慮單一核參數的選擇，訓練時間是MMP_SVM的2倍。

5 結論

本文提出了基于凸外形的多分類、面向特征值權重的多核參數向量機模型，并將其運用于變壓器故障診斷。該模型具有如下優點。

（1）相比于傳統的SVM模型，該模型避免了中間運算，從輸入數據直接獲得輸出分類結果，且運算過程清晰、簡單，有效地避免混淆和差錯的可能性。

（2）選擇合適的核參數來考慮特征值的權值，樣本的不均衡性不會對分類精度產生太大影響，進一步加強模型的分類能力。核參數的選擇可以用單一的數學式表達，核參數的數量不再顯著地影響運算復雜程度。

（3）將模型分解為1個凸規劃問題和2個約束最優化問題，降低問題復雜度，加快了收斂速度。

實驗表明，該模型能保證較高的診斷準確性，有著良好的運用前景。

[1]Hsu Chih-Wei，Lin Chih-Jen．A comparison ofmethods for multiclasssupportvectormachines[J]．IEEETranson Neural Networks，2002，13（2）：415-425．

[2]Crammer K，Singer Y.On the algorithmic implementation ofmulticlass kernel-based vectormachines[J].Journal of Machine Learning Research，2002，2（2）：265-292.

[3]Crammer K，Singer Y．On the learnability and design of outputcodes formulticlassproblems[J]．Machine Learning，2002，47（2/3）：201-233.

[4]郭創新，朱乘治，張琳，等（Guo Chuangxin，Zhu Chengzhi，Zhang Lin，etal）．應用多分類多核學習支持向量機的變壓器故障診斷方法（A fault diagnosis method for power transformer based onmulticlassmultiple-kernel learning support vectormachine）[J]．中國電機工程學報（Proceedingsof the CSEE），2010，30（13）：128-134．

[5]KiMSeung-Jean，Magnani A，Boyd S．Optimal kernel selection in kernel fisher discriminantanalysis[C]//23rd InternationalConference on Machine Learning.Pitts-burgh，USA，2006：465-472．

[6]朱蘇航，呂干云（Zhu Suhang，LüGanyun）．利用遺傳支持向量機進行電壓暫降信號識別（Voltage sag signal identificationwith GA-SVM）[J]．電力系統及其自動化學報（Proceedingsof the CSU-EPSA），2012，24（1）：84-87．

[7]Lee Y，Wahba G，Ackerman SA.Cloud classification of satellite radiancedatabymulticategory supportvectormachines[J].Journal of Atmospheric and Oceanic Technology，2004，21（2）：159-169．

[8]宋小衫，蔣曉瑜，羅建華，等（Song Xiaoshan，Jiang Xiaoyu，Luo Jianhua，etal）．基于類間距的徑向基函數-支持向量機核參數評價方法分析（Analysis of the inter-class distance-based kernel parameter evaluating method for RBF-SVM）[J]．兵工學報（Acta Armamentarii），2012，33（2）：203-208．

[9]唐耀華，郭為民，高靜懷（Tang Yaohua，GuoWeimin，Gao Jinghuai）．基于核相似性差異最大化的支持向量機參數選擇算法（SVMparameter selection algorithMbased onmaximuMkernel similarity diversity）[J]．模式識別與人工智能（PR&AI），2010，23（2）：210-215．

[10]劉瓊蓀，范瑞雅（Liu Qiongsun，Fan Ruiya）．確定高斯核參數的聚類方法（Method ofdetermining Gaussian kernel parameter by clustering）[J]．計算機工程與應用（Computer Engineering and Applications），2011，47（3）：38-40，60.

[11]黃應清，趙鍇，蔣曉瑜（Huang Yingqing，Zhao Kai，Jiang Xiaoyu）．基于核空間類間平均距的徑向基函數—支持向量機特征選擇算法（RBF-SVMfeature selection arithmetic based on kernelspacemean inter-class distance）[J]．計算機應用研究（Application Research of Computers），2012，29（12）：4556-4559．

[12]Nanculef R，Concha C，Allende H，etal.A lightextension of SVMs for multicategory classification[J].International Journal of Hybrid Intelligent Systems，2009，6（2）：69-79.

Research of Transformer Fault Diagnosis Based on MulticlassMultiple ParametersSVM

ZHANGQinglei1，WANGBaohua1，CHENXiangrui2
（1.College of Automation，Nanjing University of Science and Technology，Nanjing 210094，China；2.Jiangsu Electric Power Company，Nanjing210000，China）

In order to tackle the problems of support vector machines（SVM）parameters selection and feature′s contribution for the application of transformer fault diagnosis，multiclass multiple parameters support vector machine（MMP_SVM）is improved in this paper.The effectof radial basis function（RBF）kernelparameterson the classification performance ofmulticlass SVMis analyzed，and every features′contribution is considered to obtain the bestperformance of SVM，this is carried outby tuningmultiple kernel parameters automatically through optimizing the interclass distance.The results of experiments indicate that the algorithMof this paper demonstrates the best performance and has high classification accuracy when applied for transformer fault diagnosis，which proves its effectiveness and usefulness.

multiclass；multiple parameters；supportvectormachine（SVM）；transformer；faultdiagnosis

TM855

A

1003-8930（2015）09-0097-06

10.3969/j.issn.1003-8930.2015.09.17

張慶磊（1989—），男，碩士研究生，研究方向為智能控制理論及其在電力系統中的運用。Email：czxqzql@126.com

2013-10-09；

2014-04-14

王寶華（1968—），男，博士，副教授，研究方向為電力系統分析、運行、控制與規劃。Email：13951845674@163.com

陳祥睿（1988—），男，碩士研究生，研究方向為電力系統。Email：291824318@qq.com