棧式降噪自編碼網(wǎng)絡(luò)在變壓器故障診斷中的應(yīng)用

許倩文，吉興全，張玉振，李軍，于永進(jìn)

(1.山東科技大學(xué) 電氣與自動(dòng)化工程學(xué)院，山東 青島 266590； 2.國網(wǎng)山東省電力公司威海供電公司，山東 威海264200)

0 引 言

變壓器是電力系統(tǒng)的核心設(shè)備，系統(tǒng)的安全性受其運(yùn)行狀態(tài)的直接影響，準(zhǔn)確診斷變壓器內(nèi)部潛伏性故障對于保障電網(wǎng)安全運(yùn)行具有十分重要的意義。變壓器狀態(tài)可通過其油中溶解氣體的含量與構(gòu)成獲得基本了解。故而，油中溶解氣體成為變壓器故障診斷中的可靠依據(jù)之一。以油中溶解氣體分析(Dissolved Gas Analysis，DGA)為基礎(chǔ)形成了三比值法[1]、Rogers法[2]等傳統(tǒng)方法，以及反向傳播(Back Propagation，BP)神經(jīng)網(wǎng)絡(luò)[3]、支持向量機(jī)(Support Vector Machine， SVM)[4-5]等人工智能方法。在實(shí)際運(yùn)用中，發(fā)現(xiàn)三比值法，Rogers法等傳統(tǒng)方法對故障診斷有一定效果，但也存在編碼不全、判斷標(biāo)準(zhǔn)過于絕對等問題，反而不利于故障診斷；而BP神經(jīng)網(wǎng)絡(luò)方法雖然特別適合于求解內(nèi)部機(jī)制復(fù)雜的問題，但存在已出現(xiàn)震蕩、收斂速度低等不足；基于本質(zhì)分析，SVM法為一類二分類算法。面對多分類問題，表現(xiàn)出分類效率低、不易構(gòu)造學(xué)習(xí)器等劣勢；同時(shí)，上述方法均屬于淺層機(jī)器學(xué)習(xí)方法，這些方法均需依賴于完備且準(zhǔn)確的樣本，方可獲得較為滿意的診斷結(jié)果，如此即不能充分借助變壓器油色譜實(shí)現(xiàn)對所得的眾多無標(biāo)簽樣本在線監(jiān)測目的。

提出的基于棧式降噪自編碼網(wǎng)絡(luò)(Stacked Denoise Auto-encoder，SDAE)的故障診斷方法，把深度學(xué)習(xí)應(yīng)用于設(shè)備故障診斷，由無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)兩個(gè)階段構(gòu)成，是一種半監(jiān)督式的機(jī)器學(xué)習(xí)方法，該方法學(xué)習(xí)能力強(qiáng)，能夠給出變壓器各種運(yùn)行狀態(tài)的概率。最后，通過工程實(shí)例來測試所構(gòu)建的方法，同時(shí)與常規(guī)BP神經(jīng)網(wǎng)絡(luò)方法進(jìn)行對比分析。

1 棧式降噪自編碼模型

1.1 降噪自編碼網(wǎng)絡(luò)

自編碼器(Auto-Encoder，AE)是一種無監(jiān)督學(xué)習(xí)的非線性特征提取模型。由編碼器和解碼器兩部分組成，結(jié)構(gòu)如圖1所示。嘗試學(xué)習(xí)一個(gè)恒等函數(shù)，使輸出值接近輸入值。

圖1 自編碼器結(jié)構(gòu)示意圖

降噪自編碼(Denoise Auto-Encoder， DAE)與自編碼的不同點(diǎn)體現(xiàn)在：前者原始輸入數(shù)據(jù)中增加了噪聲，接著以網(wǎng)絡(luò)輸入數(shù)據(jù)形式，對先前不含噪聲的輸出原始數(shù)據(jù)加以重構(gòu)。故而，DAE的損失函數(shù)為構(gòu)造網(wǎng)絡(luò)輸出和原始數(shù)據(jù)兩者的一個(gè)差異性度量。新增噪聲接著對原始數(shù)據(jù)加以訓(xùn)練恢復(fù)，能夠提升網(wǎng)絡(luò)抗噪能力，從而增強(qiáng)自編碼的魯棒性。假設(shè)x是無噪聲的原始輸入，DAE首先利用一個(gè)隨機(jī)映射x′～qDx′|x把原始輸入數(shù)據(jù)x腐蝕為含有噪聲的數(shù)據(jù)x′。

編碼函數(shù)fθ把x映射到隱含層得到隱含層特征矢量y，函數(shù)表達(dá)如下：

y=fθx′=sWx′+b

(1)

式中s是編碼網(wǎng)絡(luò)的非線性激活函數(shù)，通常采用sigmoid函數(shù)；θ=W,b為編碼參數(shù)集合；W是m×n維權(quán)重矩陣；b是m維偏置向量。

再利用解碼函數(shù)gθ重構(gòu)x得到z，函數(shù)表達(dá)式如下：

z=gθy=s′W′y+b′

(2)

式中s′是解碼網(wǎng)絡(luò)的激活函數(shù)；θ′=W′,b′為解碼參數(shù)集合；W′是n×m維解碼權(quán)重；b′是n維偏置向量。

最后通過不斷調(diào)整θ和θ′的值，去盡可能擬合為一個(gè)恒等函數(shù)，實(shí)現(xiàn)重構(gòu)誤差的最小化。

重構(gòu)誤差可表示為：

(3)

如圖2所示，DAE追求的是存在擾動(dòng)的情況下對真實(shí)信號(hào)的重構(gòu)能力，由此得到的特征表達(dá)具有更好的魯棒性和泛化能力。其中x表示原始輸入數(shù)據(jù)，x′表示加入噪聲的輸入數(shù)據(jù)，y為對x′進(jìn)行編碼得到新的特征z為對y進(jìn)行解碼后的輸出。

圖2 降噪自編碼器

1.2 棧式降噪自編碼網(wǎng)絡(luò)

棧式降噪自編碼網(wǎng)絡(luò)(Stacked Denoise Auto-Encoder，SDAE)是一個(gè)由多層DAE堆疊構(gòu)成的深層神經(jīng)網(wǎng)絡(luò)，其上一層DAE的輸出用于其下一層DAE的輸入，如圖3所示。棧式降噪自編碼神經(jīng)網(wǎng)絡(luò)分為無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)兩個(gè)階段。

圖3 SDAE模型

(1)無監(jiān)督預(yù)訓(xùn)練階段。

該階段是采用逐層貪婪訓(xùn)練法進(jìn)行訓(xùn)練。如圖3所示，每一個(gè)隱含層均與上一層構(gòu)成一個(gè)DAE編碼網(wǎng)絡(luò)。然后利用反向傳播優(yōu)化算法，求得每個(gè)DAE網(wǎng)絡(luò)代價(jià)函數(shù)取得最小值時(shí)的權(quán)重矩陣和偏置項(xiàng)，并通過不斷減小上述的代價(jià)函數(shù)值，當(dāng)達(dá)到指定的迭代次數(shù)或者代價(jià)函數(shù)下降到指定值時(shí)，得到最佳的權(quán)重矩陣以及偏置項(xiàng)。

(2)有監(jiān)督微調(diào)階段。

將預(yù)訓(xùn)練步驟得到的編碼網(wǎng)絡(luò)的最佳權(quán)重矩陣和偏置，利用反向傳播算法再次迭代和更新各個(gè)權(quán)重矩陣和偏置項(xiàng)，直到達(dá)到最大的迭代次數(shù),從而獲得每一層最終的最佳權(quán)重矩陣以及偏置項(xiàng)；在初步確定每個(gè)SDAE的隱含層數(shù)、每個(gè)隱含層的單元數(shù)以及學(xué)習(xí)率的情況下，將屬于同一種故障類型的訓(xùn)練樣本集作為輸入，通過預(yù)訓(xùn)練和微調(diào)來確定每個(gè)SDAE每一層最終的最佳權(quán)重矩陣和偏置項(xiàng)。

(3)分類輸出。

為實(shí)現(xiàn)變壓器故障的分類，微調(diào)時(shí)丟掉SDAE的“解碼”層，直接將Softmax分類器視為網(wǎng)絡(luò)的輸出層，把最后一個(gè)隱含層的輸出作為特征輸入到Softmax分類器進(jìn)行分類。

2 基于SDAE的變壓器故障診斷方法

2.1 輸入向量的確定

從上述討論中可知，SDAE具有較強(qiáng)的樣本特征提取能力，選取H2、CH4、C2H2、C2H4、C2H6這5種特征氣體的體積百分?jǐn)?shù)作為依據(jù)來判定變壓器的故障類型，將其作為網(wǎng)絡(luò)的輸入向量，由于這5種特征氣體含量值差別較大，為使網(wǎng)絡(luò)有良好的收斂性，將輸入數(shù)據(jù)進(jìn)行歸一化處理，將所有輸入向量的取值處理在0～1之間。

2.2 輸出向量的確定

網(wǎng)絡(luò)的輸出對應(yīng)變壓器的故障類型，將變壓器的狀態(tài)分為低溫過熱、中低溫過熱、中溫過熱，高溫過熱，低能放電，高能放電，以及正常這7類，狀態(tài)類型對應(yīng)的編碼詳見表1。

2.3 變壓器故障診斷的SDAE網(wǎng)絡(luò)模型

圖4所示為診斷變壓器故障的SDAE網(wǎng)絡(luò)模型。此模型的輸入H2、CH4、C2H2、C2H4、C2H6這5種經(jīng)歸一化分析的油內(nèi)所含溶解特征氣體值，將變壓器各運(yùn)行狀態(tài)相應(yīng)的概率當(dāng)做模型的輸出，其中故障診斷結(jié)果為具備最高概率值的狀態(tài)。

就變壓器故障診斷SDAE模型而言，其存在非監(jiān)督預(yù)訓(xùn)練、監(jiān)督式微調(diào)這兩個(gè)訓(xùn)練過程。前者主要通過大量預(yù)訓(xùn)練樣本實(shí)現(xiàn)網(wǎng)絡(luò)底部各層DAE參數(shù)的初始化操作；后者是借助丟掉SDAE的“解碼”層，直接把最后一個(gè)隱含層的輸出作為特征輸入到Softmax分類器進(jìn)行分類。

表1 變壓器狀態(tài)編碼

圖4 基于SDAE網(wǎng)絡(luò)的變壓器故障診斷模型

2.4 基于SDAE網(wǎng)絡(luò)變壓器故障診斷的步驟

(1)選取樣本數(shù)據(jù)和輸入向量；

(2)確定輸出向量，對變壓器狀態(tài)進(jìn)行編碼；

(3)建立變壓器故障診斷SDAE網(wǎng)絡(luò)模型；

(4)利用SDAE網(wǎng)絡(luò)模型，對網(wǎng)絡(luò)的每一層進(jìn)行參數(shù)初始化；

(5)采用逐層貪婪訓(xùn)練法使用樣本數(shù)據(jù)依次訓(xùn)練網(wǎng)絡(luò)每層的DAE，從而預(yù)訓(xùn)練整個(gè)神經(jīng)網(wǎng)絡(luò)；

(6)用完成分類標(biāo)簽處理的樣本數(shù)據(jù)，借助BP算法，監(jiān)督式訓(xùn)練整個(gè)分類器，促進(jìn)微調(diào)的進(jìn)一步實(shí)現(xiàn)；

(7)丟掉SDAE的“解碼”層，直接把最后一個(gè)隱含層的輸出作為特征輸入到Softmax分類器實(shí)施分類；

(8)對已完成訓(xùn)練的網(wǎng)絡(luò)加以保存，同時(shí)通過測試集樣本來測試網(wǎng)絡(luò)診斷性能。

3 算例分析

為驗(yàn)證基于SDAE實(shí)現(xiàn)的深度神經(jīng)網(wǎng)絡(luò)對變壓器故障診斷的效果，選用某供電公司提供的已確定實(shí)際故障結(jié)果的變壓器DGA數(shù)據(jù)，總共2 000組檢測記錄作為樣本，其中1 200組作為訓(xùn)練數(shù)據(jù)，800組作為測試數(shù)據(jù)。其對應(yīng)的7種故障類型如表2所示。文中SDAE具有兩隱含層的DAE，并采用多個(gè)分類輸出的Softmax作為分類器，用7位二進(jìn)制編碼作為輸出。

表2 故障診斷樣本統(tǒng)計(jì)

為了分析降噪對故障診斷的影響，將SDAE深度網(wǎng)絡(luò)模型和未加噪的棧式自編碼深度網(wǎng)絡(luò)模型分別用于變壓器的故障診斷。兩種網(wǎng)絡(luò)模型用于相同訓(xùn)練樣本和測試樣本，其它各個(gè)參數(shù)也相同。通過比較得出各個(gè)模型對變壓器故障診斷的影響如圖5所示。

圖5 診斷準(zhǔn)確率

由圖5中可看出，加噪后的模型能使網(wǎng)絡(luò)整體的診斷準(zhǔn)確率提高，加強(qiáng)了樣本在擾動(dòng)狀況時(shí)所表現(xiàn)出的重構(gòu)真實(shí)信號(hào)能力，進(jìn)而促進(jìn)特征表達(dá)泛化能力與魯棒性的提升。

為比較文中SDAE網(wǎng)絡(luò)模型的性能，分別采用三比值法，BP神經(jīng)網(wǎng)絡(luò)和SVM對相同的樣本集進(jìn)行訓(xùn)練和故障診斷。各故障類型的診斷準(zhǔn)確率如表3所示，表4則列舉了測試樣本集中10組典型樣本的診斷實(shí)例。

表3為三比值法、BP、SVM、SDAE分別對應(yīng)測試樣本在各個(gè)故障類型診斷的準(zhǔn)確率，從表3中可看出，三比值法的診斷準(zhǔn)確率為78.2%，BP準(zhǔn)確率為79.3%，SVM準(zhǔn)確率為88.03%，SDAE準(zhǔn)確率為95.2%。因而證明了所提出的SDAE方法與三比值法、BP、SVM相比，在變壓器故障診斷方面具有更高的準(zhǔn)確率。

從表3、表4中進(jìn)一步可得出：

表3 不同方法的診斷結(jié)果比值

表4 變壓器故障診斷實(shí)例

(1)SDAE與三比值法相比，較好的解決了三比值法中編碼不全、判斷標(biāo)準(zhǔn)過于絕對等問題，診斷準(zhǔn)確率高于三比值法；

(2)SDAE與BP相比，診斷準(zhǔn)確率更高，SDAE通過無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督調(diào)優(yōu)兩個(gè)階段，實(shí)現(xiàn)高維深層故障特征的自適應(yīng)提取和挖掘，改善BP神經(jīng)網(wǎng)絡(luò)易陷入局部極小化和收斂速度慢的問題，此外，SDAE最后利用Softmax分類器，對故障進(jìn)行分類輸出，提高了故障診斷的準(zhǔn)確率；

(3)SDAE與SVM相比，SDAE中的Softmax分類器，可直接用于多分類情況。而基于本質(zhì)分析，SVM屬于二分類算法。針對此算法分類效率低、不易構(gòu)造學(xué)習(xí)器問題，SDAE算法做出了優(yōu)化與彌補(bǔ)。

4 結(jié)術(shù)語

提出的基于SDAE模型用于變壓器故障診斷的技術(shù)，將深度學(xué)習(xí)推行到變壓器設(shè)備故障診斷領(lǐng)域。此項(xiàng)技術(shù)在腐蝕原始輸入數(shù)據(jù)的基礎(chǔ)上，自含有噪聲的輸入中掌握的特征在魯棒性上表現(xiàn)更佳；并且對照傳統(tǒng)機(jī)器學(xué)習(xí)方法，證明了該方法的有效性。所提出的故障診斷技術(shù)在故障準(zhǔn)確率方面仍可進(jìn)一步提高，可以在特征提取方面進(jìn)行改善。