基于LSTM-BP神經(jīng)網(wǎng)絡(luò)的變壓器氣體故障診斷方法

譚曜堃，丁 旭，黃 孔，馬騰飛，康志遠(yuǎn)

（1.五凌電力有限公司五強(qiáng)溪水電廠，湖南 沅陵 419600；2.湖南省水電智慧化工程技術(shù)研究中心，湖南 長(zhǎng)沙 410004）

1 引言

作為我國(guó)龐大電網(wǎng)中進(jìn)行能量轉(zhuǎn)換的重要設(shè)備之一，變壓器是保障電網(wǎng)運(yùn)行安全的重點(diǎn)關(guān)注設(shè)備[1，2]。特別是我國(guó)運(yùn)行年限超過15年的存量變壓器遍布電網(wǎng)各個(gè)節(jié)點(diǎn)，已經(jīng)逼近設(shè)備自身設(shè)計(jì)年限，不可避免的出現(xiàn)一些類似于零部件老化等各種設(shè)備隱患[3]，導(dǎo)致安全事故發(fā)生的可能性持續(xù)增長(zhǎng)。假若電網(wǎng)關(guān)鍵節(jié)點(diǎn)處的變壓器出現(xiàn)安全事故，不僅有可能導(dǎo)致工作現(xiàn)場(chǎng)人員傷亡與財(cái)產(chǎn)損失，甚至存在引起電網(wǎng)大面積停電、癱瘓的可能性，這勢(shì)必對(duì)我國(guó)蓬勃發(fā)展的經(jīng)濟(jì)造成嚴(yán)重而惡劣的影響[3-5]。所以變壓器的故障診斷有著不可忽略的必要性，以預(yù)防的手段降低其發(fā)生設(shè)備故障的概率，保障電網(wǎng)的安全運(yùn)行。

國(guó)際電工委員會(huì)(International Electrotec-hnical Commission)建議將油中溶解氣體分析(Dissolved Gas Analysis，DGA)作為評(píng)估變壓器健康狀態(tài)的一種手段[6]；而在國(guó)內(nèi)自主制定并發(fā)布的《電力設(shè)備預(yù)防性試驗(yàn)規(guī)程》中，同樣將DGA作為電力設(shè)備檢修試驗(yàn)標(biāo)準(zhǔn)流程中必不可少的一步。有充分的實(shí)際運(yùn)行證據(jù)、大量的實(shí)際檢測(cè)結(jié)果證明了[2-8]，DGA 技術(shù)能有效地在較早階段發(fā)現(xiàn)油浸電力變壓器內(nèi)部的潛伏期故障，是現(xiàn)今對(duì)油浸電力變壓器進(jìn)行故障分析應(yīng)用較為可靠的方法之一。

當(dāng)前計(jì)算機(jī)運(yùn)算能力隨著摩爾定律高速增長(zhǎng)，人工智能相關(guān)技術(shù)在越來越多的領(lǐng)域中驗(yàn)證了自己的實(shí)際應(yīng)用能力，人工神經(jīng)網(wǎng)絡(luò)[9-11]以及支持向量機(jī)(Support Vector Machine，SVM)[12-15]等方法為機(jī)械、石油、電力等傳統(tǒng)行業(yè)的故障分析問題提供了新思路。而在變壓器故障診斷這一具體問題上，反向傳播神經(jīng)網(wǎng)絡(luò)(Back Propagation Neur-al Network,BPNN)所具備的自我學(xué)習(xí)、自我成長(zhǎng)能力以及較為理想的泛化能力，對(duì)于油中溶解氣體分析等復(fù)雜非線性問題有著較為突出的良好表現(xiàn)。長(zhǎng)短期記憶(Long Short-Term Memory, LSTM)網(wǎng)絡(luò)所具備的較長(zhǎng)時(shí)間跨度的短期記憶能力，在處理變壓器氣體分布與故障之間的關(guān)系時(shí)同樣有著較為明顯的優(yōu)勢(shì)。

本文結(jié)合LSTM-BPNN神經(jīng)網(wǎng)絡(luò)，基于大量油中溶解氣體分析技術(shù)對(duì)變壓器故障進(jìn)行診斷。利用交叉驗(yàn)證(Cross Validation,CV)方法提升了變壓器氣體故障診斷模型的泛化性能，并在收集到的故障診斷實(shí)例中得到了驗(yàn)證。和IEC 三比值法、BP神經(jīng)網(wǎng)絡(luò)以及SVM 等其他變壓器氣體故障診斷方法相比，本模型獲得了較為理想的設(shè)計(jì)預(yù)期正確率。

2 神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)

2.1 神經(jīng)元

作為人工神經(jīng)網(wǎng)絡(luò)中最基本的組成結(jié)構(gòu)，神經(jīng)元是Mc-Culloch和Pitts[16]受生物神經(jīng)系統(tǒng)的啟發(fā)，將生物神經(jīng)系統(tǒng)中的神經(jīng)元抽象而成的數(shù)學(xué)模型。神經(jīng)元的基本工作流程如圖1所示，通過其它神經(jīng)元輸入xi后，增加權(quán)重系數(shù)wi，對(duì)所有加權(quán)后的輸入xi進(jìn)行求和，與偏置量b做差值計(jì)算，最終通過激活函數(shù)f得到此神經(jīng)元的輸出結(jié)果y。此神經(jīng)元內(nèi)部的整個(gè)正向傳播計(jì)算過程抽象為如下公式：

圖1 神經(jīng)元模型

2.2 BP神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)則同樣是受生物學(xué)中神經(jīng)系統(tǒng)的啟發(fā)，通過逐層組織，以一種非循環(huán)方式連接而成的結(jié)構(gòu)。在整個(gè)神經(jīng)網(wǎng)絡(luò)中，某些神經(jīng)元的輸出同樣可以作為其他神經(jīng)元的輸入，所有神經(jīng)元以層劃分功能——輸入層、隱藏層和輸出層，層與層間以全連接的形式進(jìn)行組織，并保證層內(nèi)所有神經(jīng)元互不連接，如圖2 所示。

圖2 具有一個(gè)隱藏層的BP神經(jīng)網(wǎng)絡(luò)

Rumelhart[17]等人在1984年基于神經(jīng)元的定義提出了一種神經(jīng)網(wǎng)絡(luò)模型，即誤差反向傳播神經(jīng)網(wǎng)絡(luò)。此模型基本結(jié)構(gòu)可以定義為以誤差逆向傳播算法訓(xùn)練的多層前饋網(wǎng)絡(luò)，模型在每輪迭代中會(huì)對(duì)權(quán)重系數(shù)wi和偏置量b進(jìn)行更新，在眾多分類問題中表現(xiàn)優(yōu)秀，但是在記憶能力這一領(lǐng)域存在欠缺。

2.3 LSTM神經(jīng)網(wǎng)絡(luò)

在認(rèn)識(shí)到BP神經(jīng)網(wǎng)絡(luò)在信息保存方面的欠缺后，如何找出一個(gè)適合于分析時(shí)間序列數(shù)據(jù)并保持?jǐn)?shù)據(jù)間的依賴關(guān)系的網(wǎng)絡(luò)模型就成為當(dāng)時(shí)學(xué)界關(guān)注的重點(diǎn)。在這種背景下，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurre-nt Neural Network, RNN)的出現(xiàn)讓研究者們十分驚喜。這種網(wǎng)絡(luò)模型最大的特點(diǎn)就是神經(jīng)元在某時(shí)間單位的輸出可以作為輸入再次輸入到神經(jīng)元，這種串聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)非常適合于時(shí)間序列數(shù)據(jù)，并且具有一定記憶能力[18]。但大量研究實(shí)踐表明，RNN在處理時(shí)間跨度較長(zhǎng)的數(shù)據(jù)時(shí)，要保持?jǐn)?shù)據(jù)間的依賴信息是十分困難的，Bengio[19]等認(rèn)為之所以出現(xiàn)這樣的情況是因?yàn)镽NN會(huì)在不斷迭代的過程中出現(xiàn)梯度消失和爆炸的問題，這也造成了其在實(shí)際應(yīng)用中不能達(dá)到理想的設(shè)計(jì)性能。

為解決迭代過程中出現(xiàn)的問題，在RNN的基礎(chǔ)上，Hochreiter等研究者[20]提出了長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term MemoryNeural Network, LSTM)，之后Graves和Schmidhuber[21]在此基礎(chǔ)上對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了優(yōu)化，最終變成了如今被廣泛使用的原型。如圖3 所示， LSTM單元（Ct）在每個(gè)時(shí)間序列單位的輸入不僅包含了當(dāng)前時(shí)間單位獲取到的特征向量，還包括了前一時(shí)間單位LSTM單元（Ct-1）整個(gè)特征向量矩陣、隱向量矩陣。整個(gè)正向傳播過程如下：

圖3 LSTM神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

根據(jù)上一時(shí)刻的輸出狀態(tài)ht-1和當(dāng)前時(shí)間單位輸入xt，經(jīng)過遺忘門遺忘掉一些隨機(jī)或是預(yù)設(shè)的信息，抽象為公式：

輸入門緊隨其后完成一些信息的添加，不僅要保留過去的信息，還需要添加一些當(dāng)前的信息，抽象為公式：

那么新信息表示為：

記憶單元根據(jù)上一時(shí)間單位狀態(tài)和產(chǎn)生的新信息對(duì)狀態(tài)進(jìn)行更新，表示為：

這樣就完成了記憶單元的更新。

經(jīng)過輸入門后，信息已經(jīng)可以進(jìn)行輸出，那么此時(shí)就需要將當(dāng)前記憶單元記憶的信息與上一時(shí)間單位的隱向量矩陣進(jìn)行合并計(jì)算，對(duì)當(dāng)前隱向量矩陣進(jìn)行更新，表示為：

那么當(dāng)前最終記憶單元的輸出表示為：

這樣就完成了隱狀態(tài)的更新，結(jié)束整個(gè)正向傳播過程。

通過以上過程，LSTM擁有了較之RNN時(shí)間跨度更長(zhǎng)的短期記憶能力，從而并避免了RNN在迭代過程中出現(xiàn)的梯度消失和爆炸問題。

3 數(shù)據(jù)預(yù)處理

電廠監(jiān)控系統(tǒng)采集的原始數(shù)據(jù)中通常因?yàn)椴豢杀苊獾膫鬏斨袛鄦栴}使得數(shù)據(jù)中會(huì)含有程序產(chǎn)生的補(bǔ)值和插值，這些異常數(shù)據(jù)不能精確反映當(dāng)時(shí)的設(shè)備情況，會(huì)導(dǎo)致模型在訓(xùn)練過程中產(chǎn)生較大的誤差并致使最后的判斷結(jié)果不夠準(zhǔn)確。因此合理的數(shù)據(jù)預(yù)處理操作對(duì)于神經(jīng)網(wǎng)絡(luò)模型或是其他機(jī)器學(xué)習(xí)模型的建立與訓(xùn)練是不可或缺的。合理而優(yōu)秀的數(shù)據(jù)預(yù)處理不僅能夠提升模型的可靠性、泛化能力、計(jì)算速度等各項(xiàng)指標(biāo)，在訓(xùn)練過程中還可以減輕計(jì)算機(jī)的非必要負(fù)載，加快模型的迭代速度。本文對(duì)原始DGA數(shù)據(jù)進(jìn)行了清洗、補(bǔ)全和歸一化等操作，在保證數(shù)據(jù)真實(shí)有效的基礎(chǔ)上建立了用于訓(xùn)練驗(yàn)證和測(cè)試模型的高質(zhì)量數(shù)據(jù)集。

3.1 數(shù)據(jù)清洗

為了保障電廠平穩(wěn)運(yùn)行，從整體上來說故障數(shù)據(jù)樣本容量較小，本文所使用的數(shù)據(jù)由收集到的雜志、論文、公開報(bào)告中所展示的數(shù)據(jù)綜合而成，利用Python專精于數(shù)據(jù)處理的第三方庫——Pandas對(duì)其進(jìn)行了異常值刪除、數(shù)據(jù)補(bǔ)全、隨機(jī)混淆等操作。基于三比值法對(duì)所有數(shù)據(jù)進(jìn)行專家診斷并添加標(biāo)簽，最終建立可用于訓(xùn)練的變壓器氣體故障診斷樣本數(shù)據(jù)集。

3.2 數(shù)據(jù)規(guī)范化處理

作為一種常用的數(shù)據(jù)預(yù)處理過程，數(shù)據(jù)規(guī)范化目的是使存在規(guī)模和量綱差異的數(shù)據(jù)集，能夠變幻至同一可用的數(shù)據(jù)區(qū)間內(nèi)，從而減少奇異值和冗余樣本對(duì)模型的訓(xùn)練造成不必要的影響。常用的數(shù)據(jù)規(guī)范化方法有小數(shù)定標(biāo)規(guī)范化、Max-Min和Z-Score等，考慮到變壓器氣體中各類烷烯烴含量等參數(shù)不符合正態(tài)分布，因此不符合Z-Score規(guī)范化的使用要求，所以本文采取Max-Min方法對(duì)清洗后的變壓器氣體故障診斷樣本數(shù)據(jù)集進(jìn)行歸一化處理。Max-Min方法的計(jì)算公式如下：

其中，Xi為原始數(shù)據(jù)集中第i個(gè)變量，為數(shù)據(jù)集中第i個(gè)變量采用Max-Min方法進(jìn)行歸一化后的結(jié)果。

4 模型評(píng)價(jià)指標(biāo)與診斷模型搭建

4.1 模型評(píng)價(jià)指標(biāo)

在機(jī)器學(xué)習(xí)這一領(lǐng)域中，對(duì)模型的表現(xiàn)性能的測(cè)量與評(píng)估同樣是至關(guān)重要且不可或缺的一個(gè)環(huán)節(jié)，只有找到了與問題有著良好相關(guān)性并且行之有效的評(píng)估方法，才能迅速而精準(zhǔn)的定位在模型構(gòu)建與訓(xùn)練過程中出現(xiàn)的問題，從而對(duì)模型進(jìn)行快速迭代提升其泛化能力。本文所研究的變壓器氣體故障診斷屬于分類問題，常用的評(píng)價(jià)指標(biāo)有分類錯(cuò)誤率(Classification Error)、均方誤差(Mean Squared Error, MSE)以及交叉熵?fù)p失函數(shù)(Cross Entropy Loss Function，CELF)。

分類錯(cuò)誤率(CE)為最直接的損失函數(shù)，其計(jì)算公式為：

均方誤差損失是一種被廣泛使用的損失函數(shù)，其計(jì)算公式為：

交叉熵函數(shù)更多的出現(xiàn)在分類問題中，在二分類的情況下，模型最后需要預(yù)測(cè)的結(jié)果只有兩種情況，對(duì)于每個(gè)類別預(yù)測(cè)得到的概率為p，和1-p，其計(jì)算公式為：

其中：

yi——表示樣本i的label，正反饋為1，負(fù)反饋為0。

pi—— 表示樣本i預(yù)測(cè)為正反饋的概率。

而在多分類的情況下，對(duì)二分類公式進(jìn)行推廣從而得到：

其中：

M——類別的數(shù)量

yic——符號(hào)函數(shù)（0或1），如果樣本i的真實(shí)類別等于c取1，否則取0；

pic——觀測(cè)樣本i屬于類別c的預(yù)測(cè)概率。

由此可見，錯(cuò)誤率在復(fù)雜分類問題下想要找出適合的訓(xùn)練模型是十分困難的。另外，在分類問題中，使用sigmoid/softmx得到概率，配合MSE損失函數(shù)，采用梯度下降法進(jìn)行模型訓(xùn)練時(shí)，會(huì)在前期訓(xùn)練階段出現(xiàn)所耗費(fèi)時(shí)間十分不理想的情況[22]。所以本文將選擇交叉熵函數(shù)作為本文的損失函數(shù)。

4.2 診斷模型搭建

變壓器中的氣體含量增長(zhǎng)過程屬于時(shí)序性過程，故采用LSTM神經(jīng)網(wǎng)絡(luò)來尋求氣體濃度數(shù)據(jù)中可能存在的序列性關(guān)系，以此為基礎(chǔ)，利用BP神經(jīng)網(wǎng)絡(luò)探明各氣體濃度與故障類型之間的非線性關(guān)系。所以，LSTM-BP串聯(lián)神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4 所示。

圖4 LSTM-BP 網(wǎng)絡(luò)結(jié)構(gòu)模型（T為輸入步長(zhǎng)，x為不同的輸入特征）

本文原始數(shù)據(jù)集中包含了在不同地域使用的、由不同廠家設(shè)計(jì)生產(chǎn)的、規(guī)格各不相同的、現(xiàn)地投產(chǎn)使用中的DGA數(shù)據(jù)。在經(jīng)過前面數(shù)據(jù)預(yù)處理過程后，最終形成的數(shù)據(jù)集包含了626 組DGA數(shù)據(jù)，有H2、CH4、C2H6、C2H4、C2H25種氣體含量和變壓器在實(shí)際運(yùn)行過程中會(huì)出現(xiàn)的5種狀態(tài)：中低溫過熱(thermal faultof low and medium temperature，LM-T)、高溫過熱(thermal fault of high temperature，HT)、低能放電(low-energy discharge，LE-D)、高能放電(highenergydischarge，HE-D)以及正常狀態(tài)(N)。本文將按照3:1的比例劃分?jǐn)?shù)據(jù)集，75%樣本容量的數(shù)據(jù)將作為模型的訓(xùn)練樣本，25%樣本容量的數(shù)據(jù)將作為模型的測(cè)試樣本，變壓器故障樣本統(tǒng)計(jì)如表1所示。

表1 變壓器故障診斷樣本統(tǒng)計(jì)

模型的優(yōu)化器將采用Adam算法，與傳統(tǒng)梯度下降算法相比，Adam吸收了Adagrad（自適應(yīng)學(xué)習(xí)率的梯度下降算法）和動(dòng)量梯度下降算法的優(yōu)點(diǎn)，既能適應(yīng)稀疏梯度（即自然語言和計(jì)算機(jī)視覺問題），又能緩解梯度震蕩的問題[23]。模型為了提升泛化能力并應(yīng)對(duì)過擬合的問題，將采用dropout方法使隱藏層神經(jīng)元以一定概率隨機(jī)失活。前期的預(yù)訓(xùn)練過程中發(fā)現(xiàn)，在30次獨(dú)立的預(yù)訓(xùn)練過程后，dropout參數(shù)設(shè)為0.2，構(gòu)建的模型能夠達(dá)到比較理想的設(shè)計(jì)預(yù)期。另在本文中，模型的BP神經(jīng)網(wǎng)絡(luò)部分隱藏層的層數(shù)參數(shù)設(shè)為2，并且此部分的神經(jīng)網(wǎng)絡(luò)激活函數(shù)選擇分別為Relu和Tangent-Sigmoid。在確定隱藏層的神經(jīng)元個(gè)數(shù)時(shí)，本文采用Levenberg-Marquardt 優(yōu)化確定了模型的目標(biāo)誤差，并在50 次獨(dú)立的預(yù)訓(xùn)練過程后確定模型的BP神經(jīng)網(wǎng)絡(luò)部分隱藏層的神經(jīng)元個(gè)數(shù)分別設(shè)為20 和4。

為便于比較，本文將基于相同的訓(xùn)練和測(cè)試樣本，分別采用本文提出的方法、IEC 三比值法、單純的BP神經(jīng)網(wǎng)絡(luò)以及支持向量機(jī)(Support Vector Machine, SVM)進(jìn)行變壓器的故障診斷。BP神經(jīng)網(wǎng)絡(luò)將同樣采用雙隱藏層的網(wǎng)絡(luò)結(jié)構(gòu)，隱藏層神經(jīng)元個(gè)數(shù)分別為24 和4，激活函數(shù)全部采用Relu。

在SVM的核函數(shù)選擇上，選擇了Gauss 徑向基核函數(shù)(GRBF)，同樣在50次獨(dú)立的預(yù)訓(xùn)練過程后確定了核參數(shù)和懲罰參數(shù)分別為：σ2=0.09，C=20。

表2比較了上述不同方法在測(cè)試集中的診斷準(zhǔn)確率，表3則是隨機(jī)選擇了數(shù)據(jù)集中10例具體故障診斷實(shí)例，更為詳細(xì)的展示了預(yù)測(cè)結(jié)果。從表2可以看出，采用最為傳統(tǒng)的IEC三比值法得到的診斷準(zhǔn)確率最低，訓(xùn)練和測(cè)試準(zhǔn)確率分別為50.476 8%和52%。原因在于IEC三比值法在實(shí)際應(yīng)用中，在IEC 推薦編碼中沒有的故障仍然是有一定概率出現(xiàn)的，如實(shí)例1和9。此外，變壓器故障類型的分類邊界在IEC編碼中仍然是存在模糊性的，所以在此類模糊區(qū)間內(nèi)發(fā)生的故障被誤判的可能性超出一般預(yù)期，如實(shí)例2和5。單純只采用了BP神經(jīng)網(wǎng)絡(luò)的故障診斷方法表現(xiàn)也不是十分理想，訓(xùn)練和測(cè)試準(zhǔn)確率徘徊在60%附近，這是由于神經(jīng)網(wǎng)絡(luò)的特性所決定的，所提供的樣本容量越大，經(jīng)過訓(xùn)練的模型才能獲得越為理想的診斷準(zhǔn)確率。支持向量機(jī)的訓(xùn)練和測(cè)試準(zhǔn)確率分別為73.647 4%和78%，象征著該方法的診斷準(zhǔn)確率已經(jīng)在一個(gè)可以接受的范疇內(nèi)。由表2和表3可知，與傳統(tǒng)方法相比，本文提出的基于LSTM-BP的變壓器氣體故障診斷方法的診斷準(zhǔn)確率更高。

表2 變壓器故障診斷準(zhǔn)確率

表3 變壓器故障診斷實(shí)例

5 結(jié)論

（1）分析了DGA數(shù)據(jù)與變壓器故障類型之間存在較為明顯的非線性關(guān)系，并在此基礎(chǔ)上構(gòu)建了LSTM-BP神經(jīng)網(wǎng)絡(luò)模型。模型通過LSTM神經(jīng)網(wǎng)絡(luò)部分獲取到了DGA數(shù)據(jù)中關(guān)鍵的序列性特征信息。并通過模型的BP神經(jīng)網(wǎng)絡(luò)部分來探尋DGA數(shù)據(jù)與變壓器故障類型之間的非線性映射關(guān)系。

（2）將構(gòu)建的LSTM-BP模型與傳統(tǒng)IEC三比值法、BP神經(jīng)網(wǎng)絡(luò)模型和SVM模型進(jìn)行對(duì)比，變壓器故障診斷實(shí)例分析結(jié)果佐證了本文構(gòu)建出來的LSTM-BP神經(jīng)網(wǎng)絡(luò)模型在變壓器氣體故障診斷問題上最終預(yù)測(cè)結(jié)果準(zhǔn)確性比較理想，存在實(shí)際應(yīng)用和推廣的可能性。