基于通道注意力與殘差卷積神經網絡的變壓器故障診斷

王陳恩，蔡涌烽，謝振華，殷 豪

(廣東工業大學 自動化學院，廣州 510006)

0 引 言

電力變壓器在電力系統中扮演著十分重要的角色，變壓器的正常運行與電力系統的穩定、安全運行直接關聯。因此，有效的故障診斷方法具有非常重要的現實意義[1]。

油浸式變壓器在故障狀態運行時，油中會產生大量的氣體，處于正常運行狀態的變壓器，隨著運行時間的增長，也會產生少量的氣體[2]。發生不同的故障時，不同氣體的含量也會有差異，根據這一特點，油中溶解氣體分析技術(dissolved gas analysis，DGA)[3]成為目前故障診斷、檢測方法的基礎。隨著計算機技術的發展，越來越多的機器學習方法應用到故障診斷中來。傳統的羅杰斯比值法、三比值法、四比值法[4]等，存在分類簡單、比值過于絕對、對部分故障識別準確率低等問題。目前，應用于變壓器故障診斷的機器學習方法主要包括支持向量機(support vector machine, SVM)[5]、卷積神經網絡(convolutional neural networks，CNN)[6]、深度信念網絡(deep belief network, DBN)[7]、BP神經網絡(back propagation，BP)[8]、概率神經網絡[9]和極限學習機[10]等。

文獻[11]在概率神經網絡診斷模型中引入智能算法，優化訓練過程中的超參數，但該網絡參數變化對結果影響較大，若陷入局部最優，需要迭代多次才能跳出局部最優。文獻[12]改變傳統卷積神經網絡的輸入方式，將輸入氣體含量由十進制改為二進制輸入，診斷精度和實時性均優于傳統的DBN和SVM等診斷方式。文獻[13]在傳統卷積神經網絡診斷模型的基礎上采用了深度神經網絡，使得網絡在學習過程中，可以獲取更多的有益信息，但網絡深度的加深導致層間損失增大，影響模型的診斷性能。文獻[14]提出了卷積孿生網絡的變壓器診斷方法，克服了傳統卷積神經網絡診斷準確率不高的問題，但卷積網絡并行的存在會延長診斷時間。文獻[15]在傳統DBN診斷模型中，引入正則化，有效提升了模型的泛化能力。文獻[16]構建了基于BP神經網絡的SVM故障診斷方法，有效克服了SVM診斷準確率不高的問題。文獻[17]在傳統的BP神經網絡中引入了多層殘差(Residual，Res)，建立了7個殘差網絡堆疊的殘差BP診斷模型，通過對模型結構的改變，有效提升了診斷的準確性。

但上述的診斷方法還存在著診斷精度不足，傳統卷積神經網絡診斷模型未考慮通道差異性的問題。目前，通道注意力(squeeze-and-excitation，SE)[18]在圖像、文本處理等方面展現了強大的性能。文獻[19]將通道注意力首次應用于機器人的云端故障診斷系統，提出了SE-CNN診斷模型，采用SE模塊挖掘機器人診斷系統中通道間的關系，并取得了較好的診斷性能。文獻[20]將SE模塊引入稠密度神經網絡中，結合對抗網絡，將模型應用在不平衡樣本的變壓器故障診斷中。在卷積運算過程中，一些無效的信息也會參與計算，而通道注意力能夠有效地削弱無效信息。

針對以上問題，該文提出了基于通道注意力機制與殘差卷積神經網絡(SE-Res-CNN)的變壓器故障診斷模型。在傳統的卷積神經網絡的變壓器診斷模型中引入通道注意力機制和殘差網絡。通道注意力自適應調整卷積通道的權重，增強有益信息，提高診斷的精度。殘差網絡的引入使得變壓器診斷模型能夠學習網絡層間的差異信息。同時，跨網路層的連接方式，使得信息可以被重復利用，提高信息的利用率。通過試驗表明，該文提出的SE-Res-CNN能夠有效地提高變壓器故障診斷的準確性并具有良好的穩定性。

1 SE-Res-CNN變壓器故障診斷模型

圖1為變壓器油色譜數據采用t-SNE聚類后的狀態分布圖。從圖中可以看出，放電故障與過熱故障存在明顯的區分界限，但相同類型的故障程度不存在明顯的界限，極易混淆。以上分布情況的存在抑制著變壓器故障診斷精度的提升。

圖1 變壓器狀態分布Fig.1 Transformer state distribution

針對變壓器故障診斷精度不足和傳統卷積神經網絡診斷模型未考慮通道差異性的問題，該文提出了基于通道注意力機制與殘差卷積神經網絡(SE-Res-CNN)的變壓器故障診斷模型。

在電力變壓器運行時，由于變壓器發生故障或者絕緣層的老化，會產生多種氣體。該文選用變壓器油色譜數據中的乙炔(C2H2)、乙烯(C2H4)、乙烷(C2H6)、甲烷(CH4)和氫氣(H2)作為特征氣體，變壓器的常見故障有高溫過熱、中溫過熱、低溫過熱、高能放電、局部放電和低能放電。將變壓器油色譜數據中的特征氣體歸一化后構成三維張量作為模型的輸入，對應的7種狀態作為模型的輸出。

1.1 卷積神經網絡

該文的變壓器故障診斷模型是以卷積神經網絡診斷模型為基礎。卷積神經網絡是一種具有前饋功能的深度神經網絡，對變壓器特征信息的提取具有非常優異的能力。傳統卷積網絡的變壓器診斷結構如圖2所示[21]。

圖2 卷積網絡結構圖Fig.2 Structure of CNN

診斷模型的輸入為同一時間變壓器油中溶解氣體構成的三維張量x。在經過多個卷積核提取特征后，形成多個不同的特征通道，體現為溶解氣體與變壓器運行狀態的耦合關系。

卷積層的核心即是卷積核，卷積核在卷積層中不斷滑動提取溶解氣體的特征信息。同時，通過加深卷積網絡的深度，獲取更深層次的特征。卷積層輸入與輸出的關系如式(1)所示：

Y=f(T*x+b)

(1)

式中：x為輸入；Y為輸出；b為偏置；T為卷積運算的卷積核；f()為非線性的激活函數。

在卷積層后加入激活函數，可以使得網絡具備非線性學習的能力。選用線性整流函數(rectified linear unit, ReLU)作為激活層的激活函數，式(2)即為ReLU激活函數。

ReLU(Y)=max(0,Y)

(2)

在卷積網絡中通過卷積核挖掘溶解氣體與變壓器運行狀態的關系，經過前端多次卷積激活操作后，再輸出為一個20×5×1的溶解氣體特征張量xc進入通道注意力模塊和殘差網絡。

1.2 通道注意力

傳統的卷積神經網絡變壓器故障診斷模型未考慮氣體特征在不同卷積通道對診斷結果帶來的影響。為此，該文在診斷模型中引入了通道注意力機制。通道注意力機制能自適應調整不同卷積通道的權重，增大有益信息的權重，削弱無效的信息，達到提高變壓器診斷精度的目的。

為了充分挖掘診斷模型中不同的通道特征信息，將卷積層輸出的溶解氣體張量xc作為通道注意力的輸入，通過注意力提取溶解氣體在不同通道間的耦合關系。通道注意力的結構如圖3所示。

圖3 通道注意力結構圖Fig.3 Structure of Squeeze-and-Excitation

通道注意力機制主要包含擠壓、激勵和注意3部分[22]，式(3)、式(4)和式(5)分別為擠壓、激勵和注意對應的計算式：

(3)

s=δ(VUf(VDz))

(4)

(5)

1.3 殘差網絡

傳統卷積神經網絡變壓器故障診斷模型中，隨著網絡深度的加深，網絡存在著過擬合和泛化能力降低的問題，殘差網絡的使用能夠在一定程度上削弱這一問題[23]。

圖4為該文所用殘差網絡的基本結構。操作步驟如下：

圖4 殘差網絡結構圖Fig.4 Structure of residual network

1)卷積層1經卷積運算F1(x)=f(T1*x+b)得到F1(x)。

2)卷積層2經卷積運算F2(x)=f(T2*F1(x)+b)得到F2(x)。

3)再計算2個卷積網絡層間的差異信息H(x)，H(x)的計算式如式(6)所示：

H(x)=F1(x)-F2(x)

(6)

溶解氣體特征張量F1(x)、F2(x)經過殘差運算后，診斷模型的學習對象由原本的恒等映射，轉化為殘差H(x)的學習。最后將殘差H(x)輸出到卷積層充分挖掘溶解氣體與變壓器運行狀態間的關系。

1.4 SE-Res-CNN模型

該文提出的SE-Res-CNN變壓器診斷模型結構如圖5所示。

圖5 SE-Res-CNN結構圖Fig.5 Structure of SE-Res-CNN

在SE-Res-CNN模型中，變壓器的油中溶解氣體信息，經過卷積層、通道注意力、殘差網絡提取信息后，再一次進入卷積層充分挖掘溶解氣體與變壓器運行狀態間的耦合關系，最后進入Softmax分類器，得到各個運行狀態的概率。根據Softmax分類器確定的概率得出變壓器的運行狀態，完成變壓器的故障診斷。

在該文采用的SE-Res-CNN模型中，通過多次測試，設置參數如下：設置6層卷積層，每一層的卷積核數目均為20，卷積核大小為1×1，步長為1。模型的損失函數采用交叉熵損失函數(categorical_crossentropy)，使用Adam梯度下降優化算法，學習率0.02，迭代次數設置為500次。

該文所提變壓器故障診斷模型的完整流程圖如圖6所示。首先，對變壓器數據做出必要的預處理，剔除記錄不完整的數據，再將油中溶解氣體數據做歸一化處理，并對變壓器的運行狀態做編碼處理。然后，將處理好的數據分割為訓練集和測試集，訓練集用來建立最終的模型，測試集用來測試模型的診斷性能。最后，根據診斷模型輸出的故障狀態概率，確定變壓器的故障狀態。

圖6 故障診斷流程圖Fig.6 Flow chart of fault diagnosis

2 變壓器故障診斷試驗分析

2.1 數據預處理

該文數據來源于變壓器監測數據、權威數據庫IECT10數據集[24]和文獻[25]，去除重復數據后的790組離散型數據。

由于不同變壓器油中溶解氣體含量數值差異較大，為減小這種差異對診斷模型的影響，對各狀態的氣體含量做出歸一化處理，歸一化如式(7),歸一化后的氣體含量數值均在[0,1]上。

(7)

將歸一化后的數值構成一個形狀為1×5×1的三維張量s作為模型的輸入，如式(8)所示：

x={c(C2H2),c(C2H4),c(C2H6),c(CH4),c(H2)}

(8)

式中：c(X)為氣體X對應濃度歸一化后的值。

變壓器的常見故障狀態有高能放電、局部放電、低能放電、高溫過熱、中溫過熱和低溫過熱。由于故障狀態不能直接作為模型的訓練標簽，對字符標簽的處理方式有多種，該文選用了較為常用的One-Hot編碼，編碼如表1所示。

表1 變壓器故障類型Table 1 Types of transformer fault

為減小數據分布對結果的影響，在建立模型前對數據做均勻化處理，即在每個狀態內，將數據順序進行隨機排序。同時，再在每個狀態內抽取約20%的數據作為測試集，共隨機抽取150組測試集，640組訓練集，如表2所示。訓練集在用于建立模型前隨機打亂順序。

表2 訓練集與測試集分類Table 2 The number of training and test set classifications

2.2 試驗對比分析

對同一組變壓器油色譜數據采用BP、DBN、CNN、SE-CNN、Res-CNN和SE-Res-CNN等6種不同的診斷模型進行診斷，并對故障診斷結果做出對比分析。采用的準確率評價指標如式(9)所示。

(9)

式中：acc為準確率；N為測試集的數量；Nerror為誤診數量。

圖7為不同卷積層數下訓練集的誤差率，圖7顯示卷積層在5層與6層時，誤差率均較低。通過多次對比試驗表明，卷積層數為6層時模型診斷的穩定性優于5層，最終確定卷積層數為6。對比模型參數設置可參考文獻[7-8]，并適當調整后確定。

圖7 卷積層數與誤差率關系Fig.7 Relationship between the number of convolutional layers and the error rate

圖8為SE-Res-CNN、SE-CNN、Res-CNN、CNN和BP診斷方法的訓練損失圖。從圖中可以看出，模型 SE-Res-CNN的訓練損失低于BP、CNN、Res-CNN和SE-CNN的訓練損失，在訓練500輪左右，損失曲線趨于平穩，表現出較好的穩定性。SE-Res-CNN的訓練損失相比于其他4種，整體的訓練損失也最低。

圖8 訓練損失對比Fig.8 Comparison of training loss

表3為 SE-Res-CNN、SE-CNN、CNN、DBN、Res-CNN和BP診斷模型在表2所述測試集上重復次試驗的診斷情況。從表中看出，含有通道注意力的SE-CNN診斷模型精度高于不含通道注意力的Res-CNN和CNN模型，可見通道注意力在卷積網絡中，能夠有效提高模型的診斷精度。

從表3中得出，該文所提出的診斷方法的平均準確率最高，達到了95.07%，相比于SE-CNN、Res-CNN、CNN、DBN和BP的診斷精度分別提高了2.94%、2.61%、3.4%、12.54%和10.14%。在多次重復性的試驗中，SE-Res-CNN診斷模型的單次準確率均在93%以上，準確率均高于其他4種診斷模型。可見，通道注意力、殘差網絡和跨網絡層連接方式的同時使用，能夠有效地提高故障診斷精度。

表3 不同模型的診斷準確率Table 3 Diagnostic accuracy rates of different models 單位：%

圖9為SE-Res-CNN診斷結果的混淆矩陣，縱坐標表示變壓器的實際狀態，橫坐標為模型診斷的狀態，主對角線為診斷結果與真實狀態一致的數量，非主對角線為誤診數量，圖中顏色越深表明該狀態診斷準確率越高?？梢钥闯觯琒E-Res-CNN診斷模型具有很高的診斷準確度，在同類型的過熱或放電故障中，也具有較高的準確率，表明模型能夠有效識別同類型易混淆的故障。

圖9 SE-Res-CNN的混淆矩陣Fig.9 Diagnosis confusion matrix of SE-Res-CNN

圖10為不同診斷模型下，變壓器不同故障狀態的診斷結果。從圖中可以看出，變壓器處于不同的典型故障狀態時，該文所提模型均能夠有效提升診斷的準確性。

圖10 不同狀態診斷結果Fig.10 Diagnosis results of different states

圖11為不同診斷模型重復20次試驗診斷結果的分布情況，圖中綠點為均值所在位置，黃色虛線為中位數。從圖中可以看出，該文所提模型的診斷精度在95%左右浮動，浮動范圍小于其他診斷模型，即診斷穩定性優于其他診斷模型。

圖11 診斷結果精度分布圖Fig.11 Diagnosis result accuracy distribution

3 結 語

針對傳統的變壓器故障診斷方法準確率不高和傳統卷積神經網絡變壓器故障診斷模型未考慮卷積通道差異性的問題，該文提出了SE-Res-CNN故障診斷模型，并通過試驗驗證做出對比分析，所得結論如下：

1)通道注意力機制在卷積神經網絡的不同通道賦予不同的權重，能夠使卷積網絡更為細致地獲取油中溶解氣體與變壓器運行狀態的內在關系。同時，殘差的使用能獲取網絡層之間的差異信息，使得網絡的訓練損失更低，進一步提升了診斷模型的性能。

2)在模型中引入通道注意力機制和殘差網絡后，與BP、CNN、 SE-CNN和Res-CNN的深度學習方法相比，診斷的準確率得到了有效提升。

3)通過試驗對比分析表明，該文所提出的 SE-Res-CNN診斷模型診斷性能好，且具有較好的穩定性。