基于貝葉斯與深度學習結合的變壓器故障診斷

霍 浩，馬天龍，李寧瑞，康 超，趙立宇，孫 偉

（國網(wǎng)甘肅省電力公司超高壓公司，蘭州 730070）

電力變壓器在電網(wǎng)中承擔著至關重要的作用[1]。目前，絕大多數(shù)變壓器為油浸式變壓器，當變壓器內部出現(xiàn)故障時，絕緣油將受熱分解產生H2、CH4、C2H6、C2H4和C2H2等氣體[2]。因此，溶解氣體分析DGA（dissolved gas analysis）是油浸式變壓器運行狀態(tài)分析與故障診斷的重要手段[3]。依據(jù)DGA結果準確判斷變壓器狀態(tài)是電網(wǎng)安全穩(wěn)定運行的重要保障[4]。

傳統(tǒng)的故障診斷方法包括關鍵氣體法、Rogers比值法、Dornenburg比值法、IEC比值法、Duval三角形法等[5]。然而，這些方法存在過度依賴主觀知識、邊界固定等問題，故障診斷準確率較低。近年來，人工智能方法憑借其強大的非線性表示能力，為變壓器故障診斷提供了新思路[6]。目前應用于變壓器故障診斷的人工智能方法主要分為支持向量機SVM（support vector machine）與神經網(wǎng)絡兩大類。

SVM方法根據(jù)超平面切割的思想，基于核函數(shù)實現(xiàn)非線性分類，已在變壓器故障辨識領域取得了較好的效果[7]。SVM方法的辨識準確度與超參數(shù)高度相關，因此學者們提出了多種方法進行SVM超參數(shù)尋優(yōu)。例如麻雀搜索[8]和磷蝦群[9]等多種啟發(fā)式智能算法均被用于搜索SVM 的懲罰因子、核參數(shù)、集成算法的分類器權重等。同時，SVM方法對輸入特征類型的選擇較為敏感，為進一步提高SVM模型的診斷精度，有學者提出了基于隨機森林的多特征優(yōu)選方法[10]，從氣體成分百分比、氣體比值等多特征中進行尋優(yōu)。考慮到數(shù)據(jù)集可能存在各類樣本數(shù)量不平衡的問題，文獻[11]提出了基于托梅克鏈接移除核自適應樣本合成的方法，對原始數(shù)據(jù)進行去噪處理，提高了故障診斷精度。利用Smote-Borderline合成樣本也可獲得完備均衡的數(shù)據(jù)集[12]。然而，受限于自身特性，SVM 方法實現(xiàn)故障診斷時的劃分依據(jù)相對固定，且僅給出變壓器是否故障的單一結果。當變壓器處于邊界狀態(tài)或用于訓練與預測的數(shù)據(jù)存在誤差時，SVM方法可能存在誤判或漏判的問題。

神經網(wǎng)絡方法具有強大的表示能力，能夠從復雜特征中的輸入與輸出學習非線性映射關系，對輸入特征的選擇要求低于SVM 方法。基于混合核極限學習機的變壓器故障診斷方法[13]將灰狼算法與差分進化算法結合進行參數(shù)尋優(yōu)，防止極限學習機陷入局部最小。基于圖卷積網(wǎng)絡的故障診斷方法[14]則利用鄰接矩陣的形式度量不同樣本間的差異，提高了網(wǎng)絡對輸入數(shù)據(jù)的特征提取能力。然而，神經網(wǎng)絡方法需要大量數(shù)據(jù)進行訓練，而變壓器DGA的頻率多為每年1、2次，累積的歷史數(shù)據(jù)量有限，且大多為正常狀態(tài)數(shù)據(jù)，導致網(wǎng)絡容易陷入過擬合。針對該問題，基于深度置信網(wǎng)絡的變壓器故障辨識[15]采用分級預訓練方法，可在預設大樣本數(shù)據(jù)集上預訓練并在實測的小樣本數(shù)據(jù)集上進行參數(shù)微調。文獻[16]基于數(shù)據(jù)特征增強方法擴充了輸入數(shù)據(jù)的特征標簽，使得輸入數(shù)據(jù)在高維特征空間的相對距離增加，抑制網(wǎng)絡過擬合。然而，上述方法無法對變壓器狀態(tài)的不確定性建模，難以定量評價邊界狀態(tài)變壓器的健康狀況。同時，現(xiàn)有神經網(wǎng)絡方法對預測樣本的準確度要求較高，當數(shù)據(jù)存在誤差時，該誤差可能經神經網(wǎng)絡的復雜前向傳播放大，影響故障識別的準確度。

針對上述問題，本文提出基于一種貝葉斯與深度學習結合的變壓器故障診斷方法。首先將貝葉斯方法引入深度神經網(wǎng)絡，構建基于概率分布權重單元的貝葉斯神經網(wǎng)絡；其次，在保留深度學習強大非線性特征映射能力的同時，基于貝葉斯方法推理變壓器狀態(tài)數(shù)據(jù)在高維空間中的分布，抑制過擬合；然后，基于蒙特卡羅法擬合變壓器故障概率，引入安全閾值量化變壓器的健康情況，提高對邊界狀態(tài)變壓器的診斷正確率；最后，對傳統(tǒng)反向傳播BP（back propagation）神經網(wǎng)絡法、粒子群優(yōu)化、支持向量機法、殘差收縮網(wǎng)絡法及本文方法進行對比，并對結果進行可視化，直觀展示故障識別結果，構造含高斯分布誤差的數(shù)據(jù)集，驗證所提方法對樣本誤差的適應能力。

1 貝葉斯方法與深度學習的結合

傳統(tǒng)深度學習采用多層神經網(wǎng)絡前向傳播的方式模擬人類神經元，并訓練網(wǎng)絡實現(xiàn)復雜非線性映射功能，其中全連接層的前向傳播表達式為

式中：yi為本層第i個單元的輸出；J為上一層的總單元數(shù)；ωj為上層第j個單元到本單元的權重；xj為上層第j個單元輸入到本單元的輸入；bj為上層第j個單元到本單元的偏置；f( )為非線性激活函數(shù)，通常為ReLU或Sigmoid函數(shù)。

深度神經網(wǎng)絡需在訓練中優(yōu)化權重與偏置參數(shù)，使得輸出逼近真實值。因此，可將輸入集合為X、輸出集合為Y、權重集合為W的神經網(wǎng)絡視為條件分布p(Y|X,W)。在分類問題中，該分布對應各類的概率；在回歸問題中，該分布的均值對應預測結果。神經網(wǎng)絡的權重訓練可視作求解以下最大似然估計：

式中：W*為訓練完成后的單元權重；D為用于訓練的數(shù)據(jù)集；p(D|W)為數(shù)據(jù)集D在權重集合W下的映射概率分布。

在分類問題中，將Logistic 函數(shù)代入條件分布則可得到交叉熵；在回歸問題中，將高斯分布代入條件分布則可得到均方誤差。一般采用反向傳播法求解該問題的極值點，從而確定網(wǎng)絡權重。

為提高神經網(wǎng)絡對不確定性數(shù)據(jù)的學習能力，將貝葉斯方法與深度學習結合，假設權重服從概率分布，構建貝葉斯神經網(wǎng)絡模型。貝葉斯神經網(wǎng)絡的典型單元結構如圖1所示。

圖1 貝葉斯神經網(wǎng)絡單元結構Fig.1 Structure of Bayesian neural network unit

貝葉斯神經網(wǎng)絡的條件分布模型可表示為

式中，Ep(W|D)(p(Y|X,W) )表示概率分布p(W) 在p(Y|X,W)中的數(shù)學期望。

貝葉斯神經網(wǎng)絡的訓練目標是根據(jù)輸入數(shù)據(jù)集D，確定權重W的最佳后驗分布p(W|D)，從而使得式（2）成立。

貝葉斯神經網(wǎng)絡兼顧了深度學習與貝葉斯方法的優(yōu)點。一方面，深度學習具有強大的表示能力，可在監(jiān)督訓練中學習絕緣油溶解氣體與變壓器狀態(tài)間的非線性映射關系，無需通過主觀構建判據(jù)，克服了傳統(tǒng)比值方法過于依賴人為經驗的問題；另一方面，貝葉斯方法為神經網(wǎng)絡提供了量化不確定性的能力，能夠給出變壓器狀態(tài)的完整概率信息，提高故障診斷的準確性，且貝葉斯神經網(wǎng)絡的魯棒性良好，能夠適應樣本數(shù)據(jù)的誤差。此外，由于權重服從概率分布，網(wǎng)絡依分布抽樣實現(xiàn)前向傳播，每次前向傳播的結果均不相同。因此，貝葉斯神經網(wǎng)絡也可視為無數(shù)個確定性神經網(wǎng)絡的集成[17]，具有優(yōu)秀的正則化效果，顯著降低了神經網(wǎng)絡的過擬合程度。與其他集成神經網(wǎng)絡不同的是，貝葉斯神經網(wǎng)絡在每輪訓練中更新權重后驗分布，實現(xiàn)了所有子神經網(wǎng)絡的同時更新，比其他集成神經網(wǎng)絡的計算用時更少。

2 變壓器故障診斷模型

2.1 原始數(shù)據(jù)預處理

選取DGA 結果中H2、CH4、C2H6、C2H4和C2H2作為絕緣油中的關鍵氣體[18]，并作為貝葉斯神經網(wǎng)絡的輸入特征。由于各氣體成分占比在數(shù)量級上差異較大，直接作為輸入特征將導致數(shù)據(jù)樣本空間過于稀疏，影響訓練效果，因此將數(shù)據(jù)集依特征進行標準化，標準化公式為

式中：X0為原數(shù)據(jù)集；Xref為標準化后的輸入數(shù)據(jù)集；Xmean為輸入X0的各特征分量均值；Xstd為輸入X0的各特征分量標準差。

變壓器故障診斷是一個典型的多分類問題。考慮油浸式變壓器的6 種典型故障[19]，采用one-hot編碼將故障狀態(tài)轉化為易于訓練的標簽，其故障特性及對應的輸出標簽如表1所示，可根據(jù)輸出單元的結果確定變壓器的具體故障類型。

表1 變壓器故障標簽Tab.1 Labels of transformer fault

2.2 超參數(shù)設置

神經網(wǎng)絡的超參數(shù)是影響訓練效果的重要因素，包括設置網(wǎng)絡單元參數(shù)與確定梯度下降算法。在本文構建的貝葉斯神經網(wǎng)絡模型中，輸入層為5個單元，對應標準化后的5種DGA結果；輸出層為7個單元，對應7 種故障診斷結果。同時，由于數(shù)據(jù)量較少，為防止過擬合，不宜使用層數(shù)過深或單元數(shù)過多的網(wǎng)絡，選擇隱藏層為2 層概率全連接層，單元數(shù)分別為16和8。采用Adam算法實現(xiàn)梯度下降，Adam算法引入了偏置修正因子以抑制訓練初期二階矩偏置過高的現(xiàn)象，并采用自適應參數(shù)學習率，對初始學習率、訓練輪次等參數(shù)進行選擇，魯棒性更好[20]。采用早停策略決定訓練總輪次，設置連續(xù)3輪內網(wǎng)絡損失值的變化率不超過1%時停止訓練。

2.3 網(wǎng)絡訓練

貝葉斯神經網(wǎng)絡的訓練為求解后驗分布p(W|D)，該分布難以直接求解，可采用變分推理方法實現(xiàn)網(wǎng)絡訓練，即構建一個簡單的分布q(W|θ)來擬合分布p(W|D)，其中θ為分布q的參數(shù)。因此，求解p(W|D) 的問題轉化為求解θ=θ*使得分布q(W|θ)與分布p(W|D)間的差異最小，即

式中：θ*為訓練完成后的分布q參數(shù)；divergence(p,q)表示衡量兩個分布間距離的函數(shù)。

引入KL散度DKL來衡量兩個分布的差異，DKL可以表示為

定義證據(jù)下界L為

這樣求解KL散度最小等價于L(D,θ)取得最大值。將式（7）依KL散度的定義展開可得

式中，p(W)為權重的先驗概率分布。

式（8）中等號右側第1 項為貝葉斯神經網(wǎng)絡模型的后驗對數(shù)概率，可在每輪訓練中通過對總樣本的小批量抽樣蒙特卡羅近似條件似然求解；第2項為權重分布p(W)的先驗概率分布，一般假設其為標準高斯分布或伯努利分布；第3 項為所構建q(W|θ)的概率分布，一般采用均值場（mean-field）方法構建，假設各單元權重服從均值為0、相互獨立的高斯分布，則可通過對每個分布求對數(shù)后取平均值計算期望，訓練時僅需更新分布q的方差即可。對式（8）可采用梯度下降法求得L(D,θ)的極值，第m個權重分布的方差σm的更新公式為

式中，g( )為迭代因子函數(shù)，由具體的梯度下降算法給定。

2.4 故障診斷

網(wǎng)絡訓練完成后，基于蒙特卡羅法將待診斷的數(shù)據(jù)多次輸入貝葉斯神經網(wǎng)絡進行前向傳播，根據(jù)輸出在不同標簽上的分布擬合變壓器故障概率。

引入安全閾值的概念，認為故障概率大于安全閾值的變壓器處于故障狀態(tài)。在實際工程中有兩種方法確定安全閾值：①根據(jù)運行檢修人員經驗將安全閾值設定為檢修計劃最大容許值，以保證電網(wǎng)的安全性；②在歷史數(shù)據(jù)集中隨機劃出部分數(shù)據(jù)為不參與訓練的測試集，使用其余數(shù)據(jù)訓練故障診斷模型，并在測試集上進行故障診斷，選擇故障診斷效果最好的安全閾值，兼顧電網(wǎng)的安全性與經濟性。此外，還可設置多級不同的安全閾值，根據(jù)變壓器故障概率所處的安全閾值區(qū)間，決定是否對變壓器采取檢修或加強觀察等措施。

實際工程中，由于DGA 結果存在一定誤差，傳統(tǒng)方法對邊界狀態(tài)變壓器的故障診斷準確率可能進一步降低，本文方法給出的變壓器故障概率也會出現(xiàn)小范圍波動。然而，本文方法可以基于搜索最佳安全閾值的方法，獲取更合理的量化評判標準，降低故障概率波動的影響，提高故障診斷的準確率，從而提高故障診斷方法對輸入數(shù)據(jù)誤差的魯棒性。

綜上所述，基于貝葉斯神經網(wǎng)絡的變壓器故障診斷流程如圖2所示。

圖2 基于貝葉斯神經網(wǎng)絡的變壓器故障診斷流程Fig.2 Process of transformer fault diagnosis based on Bayesian neural network

3 算例分析

3.1 算例介紹

本文基于Python 平臺與TensorFlow 后端實現(xiàn)貝葉斯神經網(wǎng)絡的構建與訓練。計算設備的CPU為英特爾酷睿i7-9700k，計算卡為NVIDIA-GTX2060 12G。算例的數(shù)據(jù)集由某市變壓器近4年的實測數(shù)據(jù)與IEC TC10 數(shù)據(jù)庫中數(shù)據(jù)樣本構成，共計2 300條樣本數(shù)據(jù)，其中各類故障數(shù)據(jù)共942 條，正常數(shù)據(jù)共1 358條。

3.2 基于F 值評價的故障診斷結果分析

隨機將數(shù)據(jù)集中80%的數(shù)據(jù)劃分為訓練集，其余20%為驗證集，輸入所構建的貝葉斯神經網(wǎng)絡模型進行訓練。經數(shù)據(jù)預處理后，將1 840 條訓練數(shù)據(jù)以隨機順序進行訓練，經過18輪迭代后，滿足提前終止條件，即網(wǎng)絡訓練完成。基于貝葉斯神經網(wǎng)絡對所有數(shù)據(jù)進行1 000 次蒙特卡羅模擬，擬合其故障概率分布。

傳統(tǒng)方法采用準確率作為單一的故障診斷結果時，無法有效區(qū)分誤判與漏判，因此本文引入查準率P、查全率R與F值作為故障診斷綜合準確率，可分別表示為

式中：Nfp為實際故障變壓器被診斷為故障狀態(tài)的臺數(shù)；Nfa為被診斷為故障狀態(tài)變壓器的總臺數(shù)；Nf為實際故障變壓器的總臺數(shù)；F為查準率P與查全率R的綜合評價指標；β為評分系數(shù)，若系數(shù)β高則查準率更重要，若系數(shù)β低則查全率更重要，β=1時兩者重要程度相同。

查全率是故障狀態(tài)變壓器被成功診斷的比例，若查全率較低，則可能導致漏判，使得故障進一步惡化，影響電網(wǎng)穩(wěn)定運行。查準率是被診斷為故障變壓器中明確為故障狀態(tài)的比例，若查準率較低，則可能導致故障誤報，為運行檢修帶來額外工作量，影響電網(wǎng)經濟運行。考慮故障漏判的影響一般大于故障誤報，設置F值的評分系數(shù)為0.5。此外，本文方法給出的故障診斷結果為蒙特卡羅法擬合的故障概率，當安全閾值改變時，故障診斷結果也將隨之變化。僅考慮設備的故障或正常兩種狀態(tài)時，查全率、查準率及F值評分隨安全閾值變化情況如圖3所示。

圖3 不同安全閾值下的故障診斷F 值評分Fig.3 F-score of fault diagnosis under different safety thresholds

進一步選取傳統(tǒng)BP神經網(wǎng)絡法（方法1）、粒子群優(yōu)化參數(shù)的支持向量機法[21]（方法2）及殘差收縮網(wǎng)絡法[16]（方法3）進行對比，本文方法對不同類型故障的診斷結果F值評分與其他方法的故障診斷結果對比如表2 所示。各方法在所有樣本上的總體查全率、總體查準率與總體F值評分如表3 所示。由圖3 可知，本文方法取得最高F值評分的安全閾值為0.73。

從表2 和表3 可以看出，當本文方法的安全閾值變低（變嚴格）時，查全率明顯升高而查準率降低。當安全閾值設定過高時，故障診斷對實際故障的查全率有限；當安全閾值設定過低時，故障診斷將出現(xiàn)大量誤報。當安全閾值設定為0.73時，本文方法在各類故障上的F值評分及總體評分均高于傳統(tǒng)方法，驗證了本文方法的有效性。

從上述仿真結果可以看出，本文方法的最佳F值評分優(yōu)于其他3 種傳統(tǒng)方法。本文方法一方面利用深度學習的高度非線性映射能力，準確建立了DGA特征與故障類型間的映射關系；另一方面利用貝葉斯方法將傳統(tǒng)深度學習改進為概率映射模型，不僅能夠判斷出變壓器是否處于故障狀態(tài)，也可利用故障概率值定量評價變壓器的健康程度。例如在實際工程中，可設計多級不同的安全閾值，依據(jù)變壓器故障概率所處的區(qū)間，從而對不同健康程度的變壓器分別采取停運檢修、開展輔助檢測或縮短檢測間隔等措施。同時，在安排檢修計劃時，也可根據(jù)不同變壓器的故障概率值，合理安排變壓器的檢修順序。

3.3 邊界狀態(tài)變壓器故障診斷可視化分析

為直觀展示本文方法對故障狀態(tài)邊界變壓器的故障診斷效果，對變壓器的特征及狀態(tài)進行可視化，利用t分布鄰域嵌入t-SNE（t-distributed stochastic neighbor embedding）方法將數(shù)據(jù)集內各條數(shù)據(jù)的五維氣體成分特征降至二維。t-SNE是一種常用的高維數(shù)據(jù)可視化方法，其假設高維空間數(shù)據(jù)服從高斯分布，低維空間數(shù)據(jù)服從t分布，基于梯度下降方法最小化數(shù)據(jù)點在高低維空間下的KL 散度，在保持數(shù)據(jù)在高維空間相對距離的前提下映射至低維空間[22]。以變壓器降維后的二維特征作為橫縱坐標，以變壓器故障情況作為數(shù)據(jù)點的特征，可對實際故障的分布情況可視化。考慮到圖像的清晰度，選取部分距離邊界狀態(tài)較近的變壓器作圖，結果如圖4所示。可以看出，正常設備數(shù)據(jù)與故障設備數(shù)據(jù)呈現(xiàn)出明顯的區(qū)分態(tài)勢，然而在方框所示的狀態(tài)邊界，變壓器狀態(tài)區(qū)分不明顯。采用傳統(tǒng)方法對該類數(shù)據(jù)進行故障診斷時，容易出現(xiàn)誤判或漏判。

圖4 變壓器故障狀態(tài)的可視化Fig.4 Visualization of transformer fault state

基于t-SNE方法做出基于粒子群優(yōu)化參數(shù)的支持向量機法的故障診斷結果的可視化如圖5 所示。本文方法故障診斷結果的可視化如圖6所示。

圖5 基于粒子群優(yōu)化參數(shù)支持向量機法的故障診斷的可視化Fig.5 Visualization of fault diagnosis based on particle swarm optimization parameters SVM

圖6 基于貝葉斯神經網(wǎng)絡的故障診斷結果的可視化Fig.6 Visualization of fault diagnosis result based on Bayesian neural network

從圖5 可以看出，傳統(tǒng)方法的變壓器故障診斷技術基于固定的劃分標準，對邊界狀態(tài)變壓器給出故障或正常的診斷結果時易出現(xiàn)誤判或漏判。而本文方法既能夠準確辨識距離邊界較遠的變壓器狀態(tài)，又能夠給出邊界狀態(tài)變壓器的故障概率，并定量描述變壓器的健康情況，提示決策者對該類變壓器采取相應措施。

3.4 考慮數(shù)據(jù)誤差的故障診斷分析

在實際工程中，變壓器絕緣油采樣分析過程可能存在故障氣體的擴散程度不均勻、振蕩脫氣不充分、漏氣等問題，數(shù)據(jù)將出現(xiàn)誤差，導致位于邊界狀態(tài)的變壓器出現(xiàn)誤判。國標GB/T 17623—2017 在絕緣油中溶解氣體組分含量的氣相色譜測定法中針對檢測精密度有以下規(guī)定：測定差應小于平均值的10%。因此，為驗證本文方法對樣本誤差的適應程度，在測試集內所有樣本數(shù)據(jù)中引入服從高斯分布的誤差，誤差均值為0，方差為該特征值的5%。基于新測試集，各方法的查全率、查準率及F值評分如表4所示。測試集上的最高F值評分在安全閾值為0.59時取得。

表4 引入誤差后的總體評分對比Tab.4 Comparison of overall svore with error in data

引入誤差后，傳統(tǒng)方法與本文方法的故障診斷結果均受到一定影響。傳統(tǒng)故障診斷方法的F值評分均下降了0.01 左右，診斷查全率降低2%左右。本文所法在不同安全閾值下的F值評分也出現(xiàn)了波動，安全閾值為0.59 時取得最佳F值評分，且僅比誤差引入前的最佳F值降低約0.003 5，診斷查全率降低約1.2%。可見，本文方法所受影響遠小于傳統(tǒng)方法。進一步分析其原因，在樣本數(shù)據(jù)出現(xiàn)誤差時，數(shù)據(jù)點會因該誤差而改變自身在高維空間的位置。對于邊界狀態(tài)變壓器，小范圍的空間位置改變便可能導致其跨越傳統(tǒng)方法的分類邊界，進而導致故障診斷的準確率降低。而在本文方法中，數(shù)據(jù)點在高維空間中的移動將反映為變壓器故障概率的改變，其所代表的變壓器狀態(tài)僅在不同的安全閾值區(qū)間內變動，根據(jù)不同安全閾值下的設備數(shù)量分布重新選擇恰當?shù)陌踩撝岛螅疚姆椒ㄈ钥色@得較高的F值評分。上述分析表明，本文方法的變壓器故障狀態(tài)量化評判標準更為合理，能夠降低變壓器故障概率波動的影響，提高故障診斷方法對輸入數(shù)據(jù)誤差的魯棒性。

4 結 論

本文針對傳統(tǒng)變壓器故障診斷方法難以對邊界狀態(tài)變壓器作出準確判斷的問題，提出了基于貝葉斯神經網(wǎng)絡的變壓器故障診斷方法，并進行了仿真驗證，主要結論如下。

（1）本文方法能夠給出變壓器的故障概率，從而量化變壓器的健康狀態(tài)。相較于傳統(tǒng)方法，診斷結果的F值評分提升了0.005 7以上，驗證了本文方法的準確性。同時，基于t-SNE 的可視化結果表明，本文方法能夠實現(xiàn)對邊界狀態(tài)變壓器的準確診斷。

（2）對數(shù)據(jù)樣本引入服從高斯分布的誤差后，本文方法的F值評分所受影響最小，僅降低0.003 5，優(yōu)于傳統(tǒng)方法，驗證了本文方法對樣本誤差的適應性更強，具有較好的實用性。

未來可進一步研究針對小樣本故障的診斷方法，提高故障診斷的總體準確率。