基于優化Bi-LSTM模型的電力變壓器故障診斷

樊清川，于 飛，宣 敏

(海軍工程大學電氣工程學院，湖北 武漢 430033)

1 引言

目前，變壓器油色譜檢測技術已普遍應用于變壓器故障檢測與診斷中。隨著人工智能技術的不斷發展，大量的智能診斷方法也被用在了變壓器故障診斷領域。文獻[1]提出一種化學反應優化BP神經網絡的變壓器故障診斷方法，視神經網絡訓練有效的跳出了局部最優解，文獻[2]提出了一種使用粒子群優化極限學習機的故障診斷方法，實現了優化特征子集選擇和隱藏節點數量從而使極限學習機的運行速度更快，文獻[3]提出了一種基于支持向量機的故障診斷模型，在處理小樣本問題時該模型具有較大的優勢，但核函數和懲罰因子的選擇決定著診斷精度的高低。隨著機器學習的快速發展，在處理大量數據時深度學習相較于傳統機器學習表現出了更加優良的計算能力，同時考慮到反映變壓器故障的參數之間的復雜關聯信息，長短期記憶網絡LSTM(Long Short-term memory network)在結構中引入了“記憶”模塊，在進行分類計算的時候表現出了顯著的優勢，但該網絡還存在2個不足之處：一是模型的初始學習率難以確定，二是網絡影藏層神經元個數難以確定，其中學習率決定模型的訓練成果，隱藏層神經元個數決定模型的擬合程度；通常情況這些參數由經驗獲得，導致模型精度降低。

為解決上述問題，本文提出了一種基于PSO優化Bi-LSTM的變壓器故障診斷方法，該方法首先對Bi-LSTM模型中的兩個關鍵參數(初始學習率與網絡隱藏層個數)進行了迭代尋優，接著利用該模型對變壓器故障進行診斷，并與不同的診斷模型進行對比。結果表明，本文提出的模型具有更加優良的診斷效果。

2 變壓器油特征參量的構建

在以往的變壓器故障診斷中DGA技術通過分析變壓器油中不同氣體的比例判斷變壓器的故障，在業界有著較高的認可度，但存在不同比值對應同一故障導致故障診斷精度較低的情況，因此該技術難以完全表現變壓器內部的復雜故障特征，本文基于變壓器油中的氫氣(H2)、甲烷(CH4)、乙烷(C2H6)、乙烯(C2H4)、乙炔(C2H2)5種氣體，并加入DGA技術中三比值法C2H2/C2H4，CH4/H2，C2H4/C2H6三個特征作為輸入參量。在求取比值時，若分母為0則將分母設一個極小值以避免出現無效值，本文選取10-6作為極小值。對每個樣本計算對應的序列，就有了8個特征作為模型的輸入參量，能夠充分利用LSTM網絡對復雜非線性特征強大的提取能力。同時，與以往的僅輸入單一時刻的數據進行故障診斷這種過于片面的方法不同，Bi-LSTM網絡需要輸入的是序列數據，考慮了數據基于時間先后的影響，模型精度大大提高。

3 變壓器故障診斷框架

3.1 自適應粒子群算法

(2)

其中，i∈[1，I]；s∈[1，S]；d∈[1，D]；w為慣性權重；c1，c2分別為個體和種群的學習因子；r1和r2為區間[0，1]上均勻分布的隨機數，能夠增加隨機性，避免陷入局部最優解。

3.2 LSTM網絡原理

1997年Hochreiter和Schmidhuber提出了LSTM[8]。LSTM網絡屬于循環神經網絡(RNN)的一種優秀變體，它解決了RNN梯度爆炸或梯度消失的問題，可學習長期依賴信息，非常適合對時間序列進行分類和預測[9]。LSTM網絡引入了門控單元以解決長序列數據長期依賴問題，避免網絡訓練過程中出現梯度消失或爆炸，以便保留每一循環單元的不同時間尺度信息特征[10]。LSTM單元結構圖如圖1所示。

圖1 LSTM的單元結構圖

LSTM網絡的計算過程如下：

1)由遺忘門決定是否保留前一時刻細胞的狀態信息Ct-1。遺忘門輸入前一時刻的隱藏狀態ht-1和新輸入的數據Xt，輸出遺忘門的值ft

ft=σ(Wf·[ht-1，xt]+bf)

(3)

it=σ(Wi·[ht-1，xt]+bi)

(4)

(5)

ht=ot*tanh(Ct)

(6)

ot=σ(Wo·[ht-1，xt]+bo)

(7)

其中Wf，Wi，Wc，Wo，bf，bi，bc，bo，對應各門的權重矩陣和偏差，σ表示sigmoid函數。

3.3 PSO-BiLSTM預測模型的診斷框架

通常LSTM只考慮前向的數據依賴關系，只處理了前向的數據信息，但為了信息更加的完整，Bi-LSTM[11]網絡使用一前一后兩個相反方向的LSTM網絡將輸入數據處理成前后兩個方向的路徑，將后向的數據依賴關系也考慮了進去，然后通過處理兩個方向上的數據依賴關系來決定當前輸入，網絡運行過程如圖2。

事實證明考慮后向數據的依賴關系后，模型的性能將會更好，并且由于復用權重，該模型在豐富其表達能力的同時，并沒有增加對數據量的要求，降低了欠擬合風險[12]。

圖2 Bi-LSTM神經網絡結構

Bi-LSTM網絡的輸出計算為

(8)

圖3 基于PSO-Bi-LSTM網絡的變壓器故障診斷框架

具體步驟如下：

1)將搜集到的變壓器油色譜數據，取H2，CH4，C2H6，C2H4，C2H2，以及三比值法所生成的三個參數共8個特征作為模型的輸入。

2)對樣本數據根據式(9)進行最大最小歸一化處理，將數據映射到[0，1]之間，接著對數據樣本以9：1的比例進行劃分。

(9)

式中：X*為歸一化之后的數據；xmin、xmax為分別為樣本的最大值與最小值；x為樣本原始數據。

3)初始化模型超參數，設置隱藏層個數為m、學習率r，初始化最大迭代次數Tmax與種群數量n。

4)根據粒子群的初始適應度值確定Pbest與Gbest的位置，以式(1)-(2)迭代更新粒子的速度與位置，當最優值趨于穩定或迭代次數達到最大時終止迭代，得到最優的m與r參數。

5)根據粒子群優化的最優參數構建PSO-Bi-LSTM模型，對數據樣本進行診斷分析。

6)計算診斷準確率γaccuracy，公式如式(10)

(10)

4 算例計算與分析

4.1 樣本選取與模型參數訓練

為驗證所提模型的診斷性能，本文使用多個同型號220kV變壓器數據，為了樣本的完整，取適量未發生故障時的變壓器數據加入樣本，共計424組油色譜數據，數據樣本分布參照表1。

表1 樣本故障類型組成

將數據集輸入模型，得到2個關鍵參數的優化：神經元個數m與學習率r。PSO優化過程的模型參數設置為：種群數量為20，最大迭代次數為200，粒子向量維數D為2，學習因子c1和c2為1.5，變異閾值p為0.8。根據經驗，當慣性權重w值為0.9到0.4時，算法性能最佳，這樣迭代初始時較大的w為搜索提供強大的全局搜索能力，迭代快結束時，較小的w為搜索提供更加精確局部搜索能力，粒子位置x取值范圍為[-6，6]，速度v的取值范圍為[-10，10]，適應度函數使用平均絕對誤差MAE。

隱藏層神經元個數m與學習率r的優化結果如圖4所示：圖4(a)看出粒子適應度穩定在34，圖4(b)看出最優隱藏層個數穩定在422個，圖4(c)看出最優學習率穩定在0.0048。

圖4 粒子群優化超參數

4.2 故障診斷對比

為驗證本文模型的診斷效果，選取傳統智能算法BP神經網絡法(BPNN)、支持向量機(SVM)、極限學習機(ELM)、隨機森林(Random Forest)、極限梯度提升樹(extreme gradient boosting，XGBoost)進行對比，根據經驗確定各種算法的主要參數和結構如下：

BP神經網絡選用每層10個神經元的兩隱藏層，傳遞函數為tansig。SVM的內核是徑向基函數。對于ELM，設置隱藏層個數為30。對于隨機深林法，設置決策樹數量為30，決策樹最大深度為6。對于XGBoost，樹的深度是6，基學習器是gbtree，學習率是0.1，L2正則化系數是2，列采樣率是0.7。

對數據進行歸一化，將所有樣本作為訓練集，以變壓器的每種狀態特征為單位分別提取30個樣本作為測試集，獲得各特征診斷結果如圖5所示。

圖5 各個故障特征診斷準確率分析

由圖5看出，在各個故障特征的診斷上，本文所提模型的診斷準確率最高，皆高出其它模型5%以上。

為綜合衡量本文所提模型的優越性，根據1.4節的建模流程，對數據進行歸一化后隨機取90%的樣本作為訓練集，10%的樣本作為測試集，為了避免數據本身造成的誤差，每種模型采用相同的訓練集和測試集進行20次實驗，實際故障與各個模型診斷結果對比如圖6，診斷結果如表2。

表2 不同模型的診斷準確率

圖6 不同模型診斷結果

根據不同模型對相同數據集的診斷結果，PSO-Bi-LSTM模型的診斷準確率高達92.5%，與傳統算法模型相比有著更高的診斷精度，由此，本文所提的模型能夠很好的判斷變壓器的機械狀態。

為進一步體現該模型對復雜特征的提取能力，僅將5種氣體指標作為輸入特征，進行20次實驗，不同模型的平均診斷結果如表3所示。

表3 特征減少后不同模型的診斷準確率

從實驗結果可看出，在五種特征指標情況下，PSO-Bi-LSTM模型的故障診斷準確率最高，且當特征數量減少三個的情況下只有SVM模型的準確率有所上升，原因在于SVM算法在處理小樣本數據集的問題時具有更好的診斷效果，而本文所提模型具有強大的特征提取能力，因此當特征數量減少時，該模型的診斷準確率僅下降1.5%，可見本文所提模型的適應性極強。

4.3 數據診斷的容錯性分析

在數據采集的過程中，有時會出現漏采樣或誤采樣的情況，為證明在采樣錯誤情況下本文所提模型仍具有較高的診斷準確率，將數據集的部分數據設置10%的誤采樣點，本文采用數據置0的方法來模擬采樣錯誤，故障診斷結果如表4所示。

表4 數據集出現錯誤對模型診斷準確率的影響

由表4可以看出，在考慮部分數據集采樣錯誤的情況下，本文所提PSO-Bi-LSTM模型的診斷準確率有所下降，但此時的下降幅度僅為6.3%，而其它算法的診斷準確率均有較大幅度的下降，說明本文所提模型具有較強的魯棒性。

5 結論

本文將深度學習引入變壓器故障診斷領域，提出了一種基于粒子群優化的Bi-LSTM網絡的變壓器故障診斷方法，不同于傳統僅根據單一時刻點數據判斷變壓器故障的診斷方法，本文充分考慮變壓器油特征參量序列之間的復雜關聯關系。結論如下：

1)本文構建的PSO-Bi-LSTM網絡診斷框架相比于傳統網絡，精度更高，能夠更加有效的提高變壓器的故障診斷準確率。

2)使用PSO算法優化超參數的Bi-LSTM網絡與根據經驗設置超參數的Bi-LSTM網絡相比，模型的精度明顯提高，有效避免了人為選擇參數所帶來的不利影響。

3)在考慮數據采集的過程中可能出現漏采樣或誤采樣的情況，本文所構建的模型仍具有較高的準確率，說明其魯棒性較強。