加權(quán)極限學(xué)習(xí)機(jī)在變壓器故障診斷中的應(yīng)用

遇炳杰，朱永利

（華北電力大學(xué) 控制與計(jì)算機(jī)工程學(xué)院，河北 保定071003）

0 引 言

電力變壓器是電力系統(tǒng)中重要的設(shè)備，它們的穩(wěn)定運(yùn)行直接關(guān)系到電網(wǎng)安全和用戶的正常用電。電力變壓器是一個(gè)及其復(fù)雜系統(tǒng)[1]，在長(zhǎng)期運(yùn)行過(guò)程中，由于受到內(nèi)部因素和外部因素的影響難免出現(xiàn)故障。通過(guò)對(duì)歷史數(shù)據(jù)進(jìn)行分析，對(duì)新產(chǎn)生的狀態(tài)進(jìn)行準(zhǔn)確的辨識(shí)，及早的發(fā)現(xiàn)潛在的故障與缺陷，將隱患消除在萌芽階段，有助于減少故障所帶來(lái)的損失。因此，變壓器的故障診斷技術(shù)是一個(gè)非常有價(jià)值的課題，有助于供電企業(yè)的變壓器維護(hù)人員在所轄設(shè)備中及時(shí)、準(zhǔn)確地發(fā)現(xiàn)存在潛伏性故障的變壓器[2]。

近年來(lái)國(guó)內(nèi)外學(xué)者將多種智能方法應(yīng)用于變壓器故障診斷中以代替?zhèn)鹘y(tǒng)的閾值檢測(cè)手段，如BP神經(jīng)網(wǎng)絡(luò)[3]，支持向量機(jī) （SVM）[4，5]等。然而，傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)存在著容易陷入局部值的缺點(diǎn)。而SVM對(duì)參數(shù)敏感，需要通過(guò)大量實(shí)驗(yàn)進(jìn)行測(cè)定，在實(shí)際應(yīng)用中效果欠佳。并且原始的BP和SVM算法基于樣本類分布均勻的假設(shè)，而在現(xiàn)實(shí)應(yīng)用中，種種原因?qū)е铝诉@種理想狀態(tài)很難被滿足[6，7]，訓(xùn)練所得的分類邊界變異，分類準(zhǔn)確率欠佳[8]。

極限學(xué)習(xí)機(jī) （extreme learning machine）是一種單隱藏層前向神經(jīng)網(wǎng)絡(luò) （single layer feedforward network）的訓(xùn)練算法，這種算法正在被應(yīng)用在一些回歸和分類任務(wù)中[9－11]。WELM繼承了ELM的快速訓(xùn)練和較好的泛化能力，參數(shù)設(shè)置簡(jiǎn)單，并且通過(guò)對(duì)不同數(shù)量的樣本類進(jìn)行加權(quán)恢復(fù)樣本類間的平衡性，提高對(duì)少數(shù)類樣本的辨識(shí)能力。本文將使用WELM算法進(jìn)行變壓器故障檢測(cè)，并結(jié)合交叉驗(yàn)證的方法研究WELM參數(shù)變化對(duì)算法性能的影響，從而選擇最優(yōu)參數(shù)，最后將通過(guò)實(shí)驗(yàn)驗(yàn)證這種診斷方法的可行性。

1 相關(guān)算法介紹

1.1 WELM 介紹

一個(gè)SLFN的輸出模型可表示如下

其中βi表示第i個(gè)隱藏層神經(jīng)元與輸出層的鏈接權(quán)重，G為隱藏層神經(jīng)元激活函數(shù)，ai表示輸入層神經(jīng)元與第i個(gè)隱藏層神經(jīng)元的輸入權(quán)值，bi表示第i個(gè)隱藏層神經(jīng)元的偏置，o為神經(jīng)網(wǎng)絡(luò)輸出向量，x為神經(jīng)網(wǎng)絡(luò)輸入。對(duì)于數(shù)量為N的樣本｛xi，ti｝ ，隱藏層前向神經(jīng)網(wǎng)絡(luò)能夠無(wú)誤差的對(duì)其進(jìn)行擬合，因此存在βi和 （ai，bi） 使得下式成立

可將上式表示為

其中H稱為SLFN隱藏層輸出矩陣。文獻(xiàn)中證明，當(dāng)激活函G數(shù)無(wú)限可微時(shí)，SLFN參數(shù)不需要全部進(jìn)行調(diào)整[12]，輸入鏈接權(quán)重ai和隱藏層偏置bi在網(wǎng)絡(luò)參數(shù)初始化的過(guò)程中隨機(jī)選定，并且在訓(xùn)練過(guò)程中保持不變，輸出鏈接權(quán)重可以通過(guò)求解這個(gè)線性系統(tǒng)的最小二乘解得到

其中，H為隱藏層神經(jīng)元輸出的 Moore－Penrose廣義逆矩陣。本文中使用相對(duì)于奇異值分解法 （SVD）更穩(wěn)定的正交投影解法求解β[13]，通過(guò)對(duì)各樣本進(jìn)行加權(quán)，使得屬于不同類的樣本獲得不同的權(quán)重，進(jìn)而得到更好的分類準(zhǔn)確率，WELM算法求解隱藏層輸出權(quán)重可表示為

其中矩陣W為一個(gè)對(duì)角矩陣，對(duì)角線上的每一個(gè)元素都代表對(duì)相應(yīng)樣本的加權(quán)。文獻(xiàn)[14]中證明，這種加權(quán)的求解方法更適合于不均衡數(shù)據(jù)集，可以提高學(xué)習(xí)機(jī)對(duì)少數(shù)類樣本的辨識(shí)能力。為了更加突出不均衡樣本中少數(shù)類的重要性并使樣本并恢復(fù)樣本的平衡性，少數(shù)類樣本應(yīng)該較多數(shù)類樣本有更大的權(quán)重，本實(shí)驗(yàn)中的加權(quán)策略選擇為

其中，Count（ti）為第i個(gè)訓(xùn)練樣本對(duì)應(yīng)所在類對(duì)應(yīng)的的樣本數(shù)量。

ELM訓(xùn)練算法流程為:

（1）設(shè)定參數(shù)L，λ，隨機(jī)生成參數(shù) （ai，bi） ；

（2）計(jì)算隱藏層輸出矩陣H；

（3）根據(jù)式 （5）計(jì)算隱藏層輸出層鏈接權(quán)重β。

1.2 交叉驗(yàn)證算法介紹

交叉驗(yàn)證是一種用來(lái)評(píng)估統(tǒng)計(jì)分析結(jié)果對(duì)獨(dú)立數(shù)據(jù)集泛化能力的技術(shù)，這種方法產(chǎn)生于20世紀(jì)30年代，現(xiàn)在已被廣泛應(yīng)用在數(shù)據(jù)挖掘和學(xué)習(xí)算法的評(píng)估中。交叉驗(yàn)證中，把整個(gè)數(shù)據(jù)集分為若干子集，其中一部分用來(lái)對(duì)分類器做訓(xùn)練，稱為訓(xùn)練集，另外一部分用來(lái)對(duì)分類模型做評(píng)估，稱為測(cè)試集；由于驗(yàn)證形式的不同，交叉驗(yàn)證可分為以下3種類型:①Holdout驗(yàn)證；②K折交叉驗(yàn)證；③留一驗(yàn)證。其中留一驗(yàn)證為K＝N的K折交叉驗(yàn)證，N為樣本容量。而Holout驗(yàn)證為固定訓(xùn)練集和驗(yàn)證集的交叉驗(yàn)證方式。

本實(shí)驗(yàn)中選擇K＝5交叉驗(yàn)證方式。交叉驗(yàn)證準(zhǔn)確率可用下式表達(dá)

2 基于WELM的變壓器故障診斷

2.1 特征量的選擇

本文選取IEC推薦的DGA數(shù)據(jù)中的 H2、CH4、C2H6、C2H4和C2H2五種氣體溶解量作為WELM的輸入量。DGA數(shù)據(jù)值分布區(qū)間很大，即使屬于同類型的數(shù)據(jù)之間也可能存在這較大的差異，為降低其相互之間由于量值差異造成的影響，在將特征量輸入分類器前首先要對(duì)數(shù)據(jù)按照式 （8）做歸一化處理

其中xnormalized歸一化后的氣體濃度數(shù)值；xmin為氣體含量最小值；xmax為氣體含量最大值；Up和Lo分別為歸一化上界與下屆，分別取值1和－1。

2.2 樣本的選擇

變壓器DGA數(shù)據(jù)中，故障樣本屬于少數(shù)類樣本，原始的數(shù)據(jù)中存在著兩種不均衡現(xiàn)象:正常狀態(tài)樣本與故障樣本間的不均衡現(xiàn)象和各種故障樣本間的不均衡現(xiàn)象。選取樣本時(shí)應(yīng)盡量保持樣本類間的平衡，但是由于故障樣本的類間不平衡和故障樣本的稀少性，對(duì)于故障樣本進(jìn)行刪減有可能會(huì)導(dǎo)致故障辨識(shí)的困難，所以本實(shí)驗(yàn)中故障樣本全部采用，只對(duì)正常狀態(tài)樣本進(jìn)行篩選，故障類間的不平衡現(xiàn)象通過(guò)對(duì)樣本進(jìn)行加權(quán)使之恢復(fù)平衡 ，篩選方式為選取與DL／T722－2000《導(dǎo)則》中給出的氣體注意值相近的樣本。各類樣本數(shù)量如表1所示。

表1 各類樣本數(shù)量

2.3 WELM算法的參數(shù)選擇方法

實(shí)驗(yàn)中使用的WELM算法需要人為的對(duì)L和λ進(jìn)行設(shè)置。L與λ對(duì)分類效果的影響見(jiàn)圖1，由圖1可見(jiàn)，影響WELM分類準(zhǔn)確率的主要因素是隱藏層神經(jīng)元數(shù)量L的變化，隨著隱藏層神經(jīng)元數(shù)量的增加，交叉驗(yàn)證的準(zhǔn)確率也在逐漸提升，但是收益在逐漸減??；而算法對(duì)λ的變化不敏感，見(jiàn)圖2，λ的變化導(dǎo)致的分類器性能的明顯波動(dòng)只出現(xiàn)在隱藏層神經(jīng)元數(shù)量較少的情況下。

圖1 參數(shù)變化對(duì)交叉驗(yàn)證準(zhǔn)確率的影響

圖2 參數(shù)λ的變化在不同L取值下對(duì)交叉驗(yàn)證準(zhǔn)確率的影響

根據(jù)這種特征，使用周期遞增的方式對(duì)隱藏層神經(jīng)元數(shù)量L和參數(shù)λ分別進(jìn)行設(shè)置，過(guò)程如下:

（1）首先設(shè)置隱藏層神經(jīng)元數(shù)量L＝50，參數(shù)λ＝0.1；

（2）通過(guò)式 （7）計(jì)算交叉驗(yàn)證準(zhǔn)確率acc1

（3）增加隱藏層神經(jīng)元數(shù)量L＝L＋50

（4）通過(guò)式 （7）計(jì)算交叉驗(yàn)證準(zhǔn)確率acc2并比較acc1與acc2，如果acc2≤acc1則過(guò)程結(jié)束，否則轉(zhuǎn)向（2）。

令起始值為λ＝0.1，步長(zhǎng)為0.05，參數(shù)λ可通過(guò)同樣的方式確定。

2.4 變壓器狀態(tài)編碼

變壓器故障診斷是一個(gè)多分類任務(wù)，WELM算法具有多分類能力，可采用一個(gè)分類器對(duì)正常、局部放電、低能放電、高能放電、中低溫過(guò)熱和高溫過(guò)熱6種狀態(tài)進(jìn)行辨識(shí)。WELM的輸出為一個(gè)分類向量，分類向量的維數(shù)為樣本中狀態(tài)類別的數(shù)量，在應(yīng)用中需要為每一類狀態(tài)進(jìn)行編碼，見(jiàn)表2。

表2 各類編碼

2.5 基于WELM的變壓器故障診斷的實(shí)現(xiàn)

基于WELM算法的變壓器故障診斷實(shí)現(xiàn)過(guò)程如下:（1）WELM的訓(xùn)練過(guò)程

1）選取特征量與樣本集合，按照式 （8）將樣本數(shù)據(jù)進(jìn)行歸一化；

2）按照1∶2的比例將樣本集合分割為測(cè)試集和訓(xùn)練集；

3）選取樣本加權(quán)策略，生成加權(quán)對(duì)角矩陣。采用如式（6）所示加權(quán)方式對(duì)樣本進(jìn)行加權(quán)并生成對(duì)角矩陣W；

4）在訓(xùn)練集上進(jìn)行WELM分類模型的訓(xùn)練，隱藏層神經(jīng)元激活函數(shù)選擇sigmoid函數(shù)，通過(guò)2.3節(jié)中所述方法對(duì)算法參數(shù)進(jìn)行選擇；

5）使用測(cè)試集對(duì)WELM算法進(jìn)行測(cè)試。

基于WELM的的變壓器故障診斷訓(xùn)練流程圖如圖3所示。

（2）WELM的測(cè)試與實(shí)際檢測(cè)過(guò)程

1）使用式 （8）對(duì)新到達(dá)的數(shù)據(jù)x進(jìn)行歸一化處理，公式中的參數(shù)xmin和xmax均使用訓(xùn)練集中的對(duì)應(yīng)值；

2）使用式 （1）獲得x對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)輸出向量o（x）＝｛on｝，n＝1，…，6；

3）通過(guò)式 （9）獲得對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)輸出向量的編碼向量T＝｛tn｝，n＝1，…，6

圖3 WELM故障診斷流程

4）對(duì)照表2獲得最終診斷結(jié)果。

3 實(shí)驗(yàn)分析

本文實(shí)驗(yàn)在Core i5－2410MCPU 2.30GHz、4.00GB系統(tǒng)內(nèi)存的硬件環(huán)境下，操作系統(tǒng)為Windows7 64bit，通過(guò)Eclipse編寫ELM算法java版本在Weka數(shù)據(jù)挖掘平臺(tái)中運(yùn)行。數(shù)據(jù)采用河北省衡水市和上海市電力局提供以及相關(guān)文獻(xiàn)收集的數(shù)據(jù)150組。

實(shí)驗(yàn)中，使用本文3.3中的方式對(duì)WELM、正交投影方法求解的ELM和SVD方法求解的ELM的參數(shù)進(jìn)行選擇，并與SVM進(jìn)行比較試驗(yàn)，SVM核函數(shù)選用RBF函數(shù)，參數(shù)通過(guò)網(wǎng)格搜索法進(jìn)行選擇，實(shí)驗(yàn)結(jié)果見(jiàn)表3。

可以看出WELM算法在準(zhǔn)確率方面較其他兩種解法的ELM和SVM都有提高，并且對(duì)于少數(shù)類樣本分類效果較好，表4為4種算法在訓(xùn)練樣本較少的局部放電樣故障類上的分類準(zhǔn)確率；訓(xùn)練時(shí)間明顯少于SVM算法和SVD求解的ELM，但是多于正交投影求解的ELM；測(cè)試時(shí)間均高于其他算法，但延長(zhǎng)時(shí)間較短，其量可忽略不計(jì)。

表3 各算法的比較

表4 局部放電分類準(zhǔn)確率比較

4 結(jié)束語(yǔ)

WELM使用加權(quán)的方式處理數(shù)據(jù)集，對(duì)于不均衡數(shù)據(jù)中存在的少數(shù)類樣本有更高的分類準(zhǔn)確率，算法執(zhí)行過(guò)程中僅對(duì)隱藏層輸出層鏈接權(quán)重進(jìn)行求解，因此有較高的訓(xùn)練速度。從實(shí)驗(yàn)結(jié)果可看出，影響分類準(zhǔn)確率的主要因素是參數(shù)L，次要因素是參數(shù)λ，可對(duì)這兩個(gè)參數(shù)按照主次順序依次遞增式確定，參數(shù)選擇過(guò)程簡(jiǎn)單且快速；在分別給定最優(yōu)參數(shù)的情況下，WELM對(duì)于不均衡數(shù)據(jù)的分類準(zhǔn)確率高于ELM和SVM，且訓(xùn)練速度明顯高于SVM；因此，將WELM應(yīng)用于變壓器故障診斷，對(duì)于不均衡數(shù)據(jù)集的分類效率更高，總體性能優(yōu)于ELM和SVM，具有實(shí)際的應(yīng)用價(jià)值。

[1]ZHENG Hanbo.Study on condition assessment and fault diagnosis approaches for power transformers[J].Chongqing University，2012（in Chinese）.[鄭含博.電力變壓器狀態(tài)評(píng)估及故障診斷方法研究[D].重慶大學(xué)，2012.]

[2]YUAN Na，GONG Zheng，WU Zhongli，et al.The Application of improved matter－element model in power transformers fault diagnosis[J].Journal of North China Electric Power University，2012，39 （3）:47－52（in Chinese）.[袁娜，宮政，武中利，等.一種改進(jìn)的物元模型在變壓器故障診斷中的應(yīng)用[J].華北電力大學(xué)學(xué)報(bào)，2012，39 （3）:47－52.]

[3]ZHU Lang，WANG Lei，PAN Feng.Fault diagnosis of transformer based on BP neural networks[J].Journal of Jiangnan University（Natural Science Edition），2012，11 （3）:262－266（in Chinese）.[朱浪，王蕾，潘豐.基于BP神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷[J].江南大學(xué)學(xué)報(bào) （自然科學(xué)版），2012，11（3）:262－266.]

[4]ZHAO Wenqing，ZHU Yongli，ZHANG Xiaoqi.Combination forcast for transformer faults based on support vector machine[J].Proceedings of the Chinese Society for Electrical Engineering，2008，28 （25）:14－19（in Chinese）.[趙文清，朱永利，張小奇.應(yīng)用支持向量機(jī)的變壓器故障組合預(yù)測(cè)[J].中國(guó)電機(jī)工程學(xué)報(bào)，2008，28 （25）:14－19.]

[5]YIN Jinliang，ZHU Yongli.Parameter optimization for support vector machine and its application to fault diagnosis of power transformers[J].Electrical Measurement ＆Instrumentaion，2012，49 （5）:11－16（in Chinese）.[尹金良，朱永利.支持向量機(jī)參數(shù)優(yōu)化及其在變壓器故障診斷中的應(yīng)用[J].電測(cè)與儀表，2012，49 （5）:11－16.]

[6]Mirowski P，LeCun Y.Statistical machine learning and dissolved gas analysis:A review[J].IEEE Transactions on Power Delivery，2012，27 （4）:1791－1799.

[7]Haibo He，Garcia E A.Learning from imbalanced data[J].IEEE Transactions on Knowledge and Data Engineering，2009，21 （9）:1263－1284.

[8]Tang Yuchun，Zhang Yanqing，Chawla N V.Krasser，Sven，SVMs modeling for highly imbalanced classification[J].IEEE Transactions on Systems，Man，and Cybernetics，Part B:Cybernetics，2009，39 （1）:281－288.

[9]CHEN Shengshuang.XML document classification based on extreme learning machine[J].Computer Engineering，2011，37 （19）:177－178（in Chinese）.[陳盛雙.基于極限學(xué)習(xí)機(jī)的XML文檔分類[J].計(jì)算機(jī)工程，2011，37 （19）:177－178.]

[10]CHANG Yuqing，LI Yuchao，WANG Fuli，et al.Soft sensing modeling based on extreme learning machine for biochemical processes[J].Journal of System Simulation，2007 （23）:5587－5590（in Chinese）.[常玉清，李玉朝，王福利，等.基于極限學(xué)習(xí)機(jī)的生化過(guò)程軟測(cè)量建模[J].系統(tǒng)仿真學(xué)報(bào)，2007（23）:5587－5590.]

[11]CAI Lei，CHENG Guojian，PAN Huanxian.Lithologic identification based on ELM[J].Computer Engineering and Design，2010，31 （9）:2010－2012（in Chinese）.[蔡磊，程國(guó)建，潘華賢.極限學(xué)習(xí)機(jī)在巖性識(shí)別中的應(yīng)用[J].計(jì)算機(jī)工程與設(shè)計(jì)，2010，31 （9）:2010－2012.]

[12]Huang Guangbin，Zhu Qinyu，Chee Kheong Siew.Extreme learning machine:Theory and applications[J].Neurocomputing，2006 （70）:489－501.

[13]Huang Guangbin，Wang Dianhui，Lan Yuan.Extreme learning machines:A survey[J].International Journal of Machine Learning and Cybernetics，2011 （2）:107－122.

[14]Zong Weiwei，Huang Guangbin，Chen Yiqiang.Weighted extreme learning machine for imbalance learning[J].Neurocomputing，2013 （101）:229－242.