聲紋信號(hào)-圖形差分場(chǎng)增強(qiáng)和多頭自注意力機(jī)制的變壓器工作狀態(tài)辨識(shí)方法?

張 寒 熊 云 唐 信 王 梟

(1 國(guó)網(wǎng)湖南超高壓變電公司 長(zhǎng)沙 410000)

(2 變電智能運(yùn)檢國(guó)網(wǎng)湖南省電力有限公司實(shí)驗(yàn)室 長(zhǎng)沙 410000)

(3 上海睿深電子科技有限公司 上海 200237)

0 引言

電力變壓器是輸變電設(shè)備中的核心設(shè)備，其主要用于電壓轉(zhuǎn)換和電能分配[1]。變壓器結(jié)構(gòu)復(fù)雜，在長(zhǎng)期運(yùn)行后不可避免地存在問(wèn)題，因此其故障率一直居高不下[2]。因此，開(kāi)展電力變壓器故障檢測(cè)與診斷方法研究，及時(shí)有效識(shí)別變壓器故障，對(duì)于保障電網(wǎng)安全、減少經(jīng)濟(jì)損失有著重要的意義。

變壓器最為常見(jiàn)的故障主要分為以下3 種：絕緣故障、過(guò)熱故障及機(jī)械故障。當(dāng)設(shè)備部件出現(xiàn)故障后，會(huì)向外輻射溫度、電磁、光學(xué)以及振動(dòng)信號(hào)，常規(guī)變壓器狀態(tài)檢測(cè)方法也主要針對(duì)上述狀態(tài)量展開(kāi)分析，如油色譜檢測(cè)、紅外熱成像檢測(cè)、局放檢測(cè)等[3-4]。由于電力變壓器在運(yùn)行過(guò)程中形成的振動(dòng)信號(hào)會(huì)向外輻射為聲信號(hào)，可作為設(shè)備缺陷有效的診斷依據(jù)。相比于其他常規(guī)檢測(cè)方法，聲學(xué)檢測(cè)憑借其非接觸式檢測(cè)安全、測(cè)試簡(jiǎn)單、無(wú)需停電等特點(diǎn)，非常適合于數(shù)量眾多的變壓器設(shè)備狀態(tài)檢測(cè)，因此也成為了近些年的研究熱點(diǎn)[5-6]。

針對(duì)于變壓器的聲學(xué)信號(hào)檢測(cè)處理方法主要有：傅里葉變換、小波包變換等，利用上述方法獲取設(shè)備不同狀態(tài)下的時(shí)頻特征以進(jìn)一步挖掘深層狀態(tài)特征。錢(qián)蘇翔等[7]針對(duì)變壓器繞組故障難以辨識(shí)問(wèn)題，提出了一種基于頻率響應(yīng)法和小波包特征能量提取的變壓器故障診斷方法，實(shí)驗(yàn)驗(yàn)證了方法的可靠性；耿琪深等[8]提出了一種基于Gammatone倒譜系數(shù)和鯨魚(yú)算法優(yōu)化隨機(jī)森林的變壓器機(jī)械故障聲診斷方法，對(duì)某10 kV 干式變壓器正常與典型機(jī)械故障下聲信號(hào)的計(jì)算結(jié)果表明，該診斷方法能夠較好地識(shí)別出故障信號(hào)，并具有良好的抗噪性能和魯棒性。盡管基于聲紋信號(hào)的變壓器狀態(tài)監(jiān)測(cè)方法獲得了良好的效果，但目前該方法的特征提取仍以人工為主，需要操作人員具備豐富的聲學(xué)信號(hào)分析及狀態(tài)監(jiān)測(cè)經(jīng)驗(yàn)；同時(shí)，由于電力變壓器應(yīng)用場(chǎng)景廣、應(yīng)用數(shù)量多、運(yùn)行周期長(zhǎng)，采集獲得的聲紋監(jiān)測(cè)數(shù)據(jù)往往呈現(xiàn)海量化、多模態(tài)化的特征，人工操作將耗費(fèi)大量時(shí)間精力，因此亟需一種智能化的變壓器狀態(tài)在線監(jiān)測(cè)方法[9-10]。

深度學(xué)習(xí)是一種可靠的智能辨識(shí)技術(shù)，憑借學(xué)習(xí)性能優(yōu)異、適應(yīng)性強(qiáng)等優(yōu)勢(shì)逐漸被應(yīng)用于機(jī)械設(shè)備的智能診斷領(lǐng)域。王昕等[11]提出一種基于遷移學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的電力設(shè)備圖像識(shí)別方法，并利用實(shí)際數(shù)據(jù)驗(yàn)證了所提方法能夠提升學(xué)習(xí)效率和精度；黃文禮等[12]針對(duì)變壓器結(jié)構(gòu)復(fù)雜、維護(hù)成本高等特點(diǎn)，提出一種基于深度學(xué)習(xí)的變壓器故障信號(hào)識(shí)別算法，并基于實(shí)驗(yàn)證明了所提方法的可行性。然而，上述方法仍存在一定不足：常規(guī)神經(jīng)網(wǎng)絡(luò)難以充分利用時(shí)間序列數(shù)據(jù)的內(nèi)在特性，可能會(huì)造成部分信息的丟失進(jìn)而使得辨識(shí)精度下降。同時(shí)常規(guī)深度神經(jīng)網(wǎng)絡(luò)往往是一個(gè)黑箱模型，難以明晰其內(nèi)部工作原理與辨別邏輯。

近期，Zhang 等提出了一種圖形差分場(chǎng)(Motif difference field,MDF)方法[13]，該方法在將一維時(shí)域信號(hào)轉(zhuǎn)化為二維圖像的同時(shí)，充分保留了時(shí)域信號(hào)的時(shí)間參量信息與非線性特征，進(jìn)而在時(shí)間序列預(yù)測(cè)領(lǐng)域得到了應(yīng)用[14]。但目前在電力設(shè)備的狀態(tài)監(jiān)測(cè)領(lǐng)域還未見(jiàn)文獻(xiàn)介紹。

針對(duì)上述問(wèn)題，提出了一種基于MDF 信號(hào)增強(qiáng)和多頭自注意力機(jī)制的變壓器工作狀態(tài)辨識(shí)方法。通過(guò)搭建10 kV 電力變壓器設(shè)備的缺陷模擬實(shí)驗(yàn)系統(tǒng)，模擬了變壓器正常狀態(tài)、繞組松動(dòng)狀態(tài)、鐵芯松動(dòng)狀態(tài)以及表面放電4 種典型缺陷，采集了相應(yīng)狀態(tài)的聲紋信號(hào)，借助MDF 技術(shù)將一維時(shí)域信號(hào)映射為二維圖像，利用多頭自注意力機(jī)制的Vision Transformer 分類(lèi)模型實(shí)現(xiàn)了電力變壓器設(shè)備狀態(tài)的有效辨識(shí)，并引入梯度加權(quán)類(lèi)激活映射(Gradient-weighted class activation mapping,Grad-CAM)突出了模型的可解釋性。

1 理論介紹

1.1 MDF

MDF 是一種將時(shí)間序列轉(zhuǎn)換為圖像的方法，具備提高時(shí)間序列的可視化和特征提取效果等優(yōu)勢(shì)，目前主要應(yīng)用于時(shí)間序列的復(fù)雜性測(cè)量、動(dòng)態(tài)系統(tǒng)表征等領(lǐng)域[13]。

假設(shè)有一離散總點(diǎn)數(shù)為N的時(shí)域信號(hào)y={y1,y2,···,yN}，可定義時(shí)域信號(hào)y的圖像集

式(1)中，d表示為步長(zhǎng)，n∈(1,N)表示圖像個(gè)數(shù)，=yi,i=s,s+d,s+2d,···,s+(n-1)·d，s表示為計(jì)算的時(shí)間窗口長(zhǎng)度。

⊙表示哈達(dá)瑪積[15]，是由旋轉(zhuǎn)180?得到。由上述公式可知，利用MDF 方法在將一維時(shí)間序列映射為二維圖譜的同時(shí)，可充分保留時(shí)間序列的狀態(tài)特征信息。圖1為該方法的實(shí)現(xiàn)流程。

1.2 基于多頭自注意力機(jī)制的Vision Transformer分類(lèi)算法

在將電力變壓器設(shè)備的原始時(shí)域聲紋信號(hào)映射為二維圖像后，為進(jìn)一步辨識(shí)設(shè)備的運(yùn)行狀態(tài)，還需選擇合適的深度學(xué)習(xí)網(wǎng)絡(luò)以實(shí)現(xiàn)最終的狀態(tài)辨識(shí)。

Vision Transformer 是一種基于自注意力機(jī)制的深度學(xué)習(xí)模型，其憑借特征提取能力快、特征融合強(qiáng)以及運(yùn)行效率高等特點(diǎn)被廣泛應(yīng)用于文本分類(lèi)、圖像分類(lèi)等領(lǐng)域[16-17]。擬以Vision Transformer為基礎(chǔ)，通過(guò)引入多頭自注意力機(jī)制[18]增強(qiáng)算法的深層特征感知性能，最終實(shí)現(xiàn)不同變壓器狀態(tài)的可靠辨識(shí)，其主要實(shí)現(xiàn)流程包括以下4個(gè)步驟：

(1) 圖像數(shù)據(jù)的序列化處理

首先對(duì)原始圖像集合進(jìn)行歸一化、縮放等操作，并提取圖像集合的特征矩陣；然后劃分特征矩陣并將圖像塊轉(zhuǎn)化為序列化數(shù)據(jù)，通過(guò)展平操作將每個(gè)圖像塊重塑為一維向量，并按照預(yù)定義順序進(jìn)行編碼，得到代表每個(gè)圖像塊的序列化數(shù)據(jù)，其轉(zhuǎn)換公式如下：

式(7)中，bk,i表示第k個(gè)塊中的第i個(gè)位置，F(xiàn)(·)表示特定的非線性變換函數(shù)，vec(·)表示將矩陣展平成向量，W0和pk,i是可學(xué)習(xí)參數(shù)。關(guān)于編碼方式通常采用字典編碼[19]、哈希編碼[20]等。

(2) 位置嵌入

采用位置嵌入和Patch嵌入相加的方式引入位置信息，位置嵌入如圖2所示，編號(hào)0～8 的方框表示各個(gè)位置的位置嵌入，而數(shù)字框右側(cè)方框則代表經(jīng)過(guò)線性投影之后的展平向量。

圖2 位置嵌入示意Fig.2 Schematic diagram of position embedding

(3) 學(xué)習(xí)嵌入

對(duì)輸入的向量進(jìn)行查詢(xún)、鍵、值線性變換，得到相應(yīng)多頭變換向量，并分別進(jìn)行自注意力計(jì)算，將多頭的結(jié)果拼接得到最終輸出。假設(shè)輸入的向量為x，查詢(xún)、鍵、值線性變換的權(quán)重矩陣分別為Wq、Wk和Wv，則有變換后的向量分別為

式(9)中，dk為縮放因子，用于緩解點(diǎn)積計(jì)算時(shí)的梯度消失問(wèn)題[21]。

對(duì)每個(gè)頭的注意力權(quán)重αi與對(duì)應(yīng)的值矩陣Vi進(jìn)行相乘與拼接操作，可得

式(10)中，Concat(·)表示拼接操作，MA 表示多頭自注意力機(jī)制，最后再通過(guò)一個(gè)線性變換得到最終輸出。

(4) Transformer編碼器

引入Transformer 編碼器充分挖掘輸入數(shù)據(jù)集的深層特征信息，將輸入集中的每個(gè)向量映射到一個(gè)更高維度的空間。圖3 為T(mén)ransformer 編碼器的基本框架，由圖3 可知，Transformer 編碼器由交替層的多頭自我注意機(jī)制和多層感知器組成。同時(shí)，在每個(gè)子塊之前應(yīng)用標(biāo)準(zhǔn)化塊以提升模型魯棒性、降低復(fù)雜度，在每個(gè)子塊之后應(yīng)用剩余連接以緩解梯度消失和梯度爆炸問(wèn)題并加速模型收斂速度。

圖3 Transformer 編碼器框架示意Fig.3 Schematic diagram of Transformer encoder framework

1.3 基于Grad-CAM的特征可視化

常規(guī)深度神經(jīng)網(wǎng)絡(luò)通常包含數(shù)百個(gè)或數(shù)千個(gè)神經(jīng)元及其之間復(fù)雜的連接和權(quán)重關(guān)系，這種復(fù)雜性使其具有強(qiáng)大的計(jì)算和模式匹配能力，但也使其內(nèi)部的工作機(jī)制變得異常復(fù)雜，通常難以明晰其內(nèi)部工作原理與辨別邏輯[22]。基于上述問(wèn)題，利用實(shí)現(xiàn)簡(jiǎn)單、計(jì)算高效等諸多優(yōu)勢(shì)的Grad-CAM[23]以突出分類(lèi)結(jié)果的可解釋性。

對(duì)于任一輸入圖像x，在利用深度神經(jīng)網(wǎng)絡(luò)處理后，可得到預(yù)測(cè)結(jié)果yc以及對(duì)應(yīng)的分類(lèi)標(biāo)簽c。再利用反向傳播算法計(jì)算得到梯度張量Ak∈Ru×v，其中下標(biāo)k表示最后一個(gè)卷積層的通道數(shù)，R表示張量的秩，上標(biāo)u和v分別表示圖像相鄰像素之間的水平和垂直方向上的梯度分量。

對(duì)梯度張量Ak進(jìn)行全局平均池化操作使其沿通道維度進(jìn)行池化，進(jìn)而得到一個(gè)長(zhǎng)度為k的權(quán)重向量w∈Rk，具體計(jì)算方式為

將權(quán)重向量w與卷積層的特征圖進(jìn)行加權(quán)求和，得到每個(gè)位置的激活值LGrad-CAM(i,j)：

式(12)中，ReLU表示激活函數(shù)。在將每個(gè)像素點(diǎn)位置上的激活值按照權(quán)重進(jìn)行加權(quán)求和后，即可得到一個(gè)數(shù)值，其表示輸入圖像中與分類(lèi)結(jié)果最相關(guān)的區(qū)域，即Grad-CAM的可視化結(jié)果。

1.4 基于聲紋信號(hào)MDF 增強(qiáng)和多頭自注意力機(jī)制的變壓器工作狀態(tài)辨識(shí)流程

由前文可知，MDF 方法能夠更好地表征一維時(shí)域信號(hào)的狀態(tài)參量，而基于多頭自注意力機(jī)制的Transformer 分類(lèi)算法則可實(shí)現(xiàn)特征信息的深度挖掘。因此，本文結(jié)合兩者之間的特點(diǎn)，提出了一種基于MDF 信號(hào)增強(qiáng)和多頭自注意力機(jī)制的變壓器工作狀態(tài)辨識(shí)方法，并引入Grad-CAM 突出模型的可解釋性。其具體實(shí)施步驟如下：

(1) 聲紋信號(hào)采集：在變壓器前方布置聲傳感器以進(jìn)行原始聲紋時(shí)域信號(hào)的采集。

(2) 圖像映射：利用MDF方法將采集得到的不同工作狀態(tài)下的變壓器聲紋信號(hào)映射為二維圖像，進(jìn)而建立原始二維圖像集合。

(3) 模型訓(xùn)練：將步驟(2)得到的圖像集合輸入到基于多頭自注意力機(jī)制的Vision Transformer 分類(lèi)器中，首先進(jìn)行特征提取得到特征圖，其次對(duì)特征圖的每個(gè)像素點(diǎn)位置進(jìn)行多頭注意操作，并將結(jié)果壓縮為一個(gè)向量，接著通過(guò)全連接層進(jìn)行深層感知與特征組合，最后將得到的特征數(shù)據(jù)通過(guò)SoftMax激活函數(shù)層實(shí)現(xiàn)圖像的分類(lèi)辨識(shí)。

2 實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)設(shè)置

為驗(yàn)證所提方法的可行性與有效性，以一臺(tái)型號(hào)為SC 800/10 的干式變壓器為實(shí)驗(yàn)對(duì)象進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)在半消聲室進(jìn)行，其長(zhǎng)寬高尺寸為13 m×10 m×7 m，本底噪聲為18.6 dB。現(xiàn)場(chǎng)布置如圖4 所示，利用集成有112 通道的聲學(xué)傳聲器陣列進(jìn)行測(cè)試，其測(cè)試優(yōu)勢(shì)在于同時(shí)輸出多組聲紋監(jiān)測(cè)數(shù)據(jù)，在減少測(cè)試時(shí)間和成本的同時(shí)，提升了聲紋監(jiān)測(cè)的準(zhǔn)確度和可靠性。采集聲紋數(shù)據(jù)時(shí)，將陣列采集面與變壓器縱面平行放置，測(cè)試距離為1 m，采樣率設(shè)置為51.2 kHz，涵蓋了20 Hz～20 kHz的可聽(tīng)聲范圍。實(shí)驗(yàn)?zāi)M了干式變壓器繞組松動(dòng)、鐵芯松動(dòng)以及表面放電3種典型缺陷，缺陷設(shè)置方法如圖5所示，具體缺陷設(shè)置方法如下：

圖4 現(xiàn)場(chǎng)布置方案Fig.4 Site layout scheme

圖5 缺陷設(shè)置方法Fig.5 Defect setting method

(1) 繞組松動(dòng)缺陷模擬：由文獻(xiàn)[24]可知，引起變壓器繞組松動(dòng)的原因主要有絕緣層減少、墊塊脫落、短路電流對(duì)繞組造成的沖擊等。上述松動(dòng)故障對(duì)繞組振動(dòng)的影響皆可等效為不同預(yù)緊力對(duì)繞組振動(dòng)的影響。本次實(shí)驗(yàn)中通過(guò)控制變壓器上鐵額穿心螺桿的預(yù)緊力以實(shí)現(xiàn)螺桿的不同程度松動(dòng)，進(jìn)而模擬實(shí)際中的繞組松動(dòng)缺陷。

(2) 鐵芯松動(dòng)缺陷模擬：引起變壓器鐵芯松動(dòng)的主要原因有鐵芯組件中鐵質(zhì)夾件松動(dòng)或損傷、壓鐵松動(dòng)、鐵芯片間絕緣老化等，上述缺陷會(huì)導(dǎo)致鐵芯局部過(guò)熱、疊片折斷等事故。在本次實(shí)驗(yàn)中通過(guò)控制變壓器上鐵額夾緊螺栓的預(yù)緊力以實(shí)現(xiàn)螺桿的不同程度松動(dòng)，進(jìn)而模擬實(shí)際中的鐵芯松動(dòng)缺陷。

(3) 相間放電缺陷模擬：變壓器受安裝位置、潮濕環(huán)境等多因素影響，經(jīng)常導(dǎo)致相間放電現(xiàn)象，相間放電現(xiàn)象會(huì)在變壓器重要部件(如繞組和絕緣材料)中產(chǎn)生損壞，并進(jìn)一步導(dǎo)致短路跳閘等故障。在本次實(shí)驗(yàn)中利用0.5 mm 直徑的銅絲將A 相繞組首尾相連，通壓后造成AB相間短路，缺陷連接方式見(jiàn)圖5(c)。

基于上述實(shí)驗(yàn)臺(tái)架采集得到變壓器4 種狀態(tài)下的聲紋信號(hào)，其時(shí)域、頻域波形如圖6 所示。由圖6(a)可知，變壓器在正常運(yùn)行狀態(tài)下的主頻為f=100 Hz，同時(shí)也出現(xiàn)了f=200 Hz、300 Hz 等50 Hz偶數(shù)倍的諧波分量，能量主要集中在1 kHz范圍內(nèi)；由圖6(b)可知，繞組松動(dòng)狀態(tài)下的時(shí)域信號(hào)幅值較正常狀態(tài)有所增大，在100 Hz～2 kHz 范圍內(nèi)出現(xiàn)較多100 Hz 的諧波，主頻為400 Hz，頻譜能量主要集中在1 kHz 以?xún)?nèi)；如圖6(c)所示，鐵芯松動(dòng)的頻域信號(hào)分布與繞組松動(dòng)極為相似，主頻也為400 Hz，頻譜能量同樣主要分布在1 kHz 以?xún)?nèi)；如圖6(d)所示，相間放電的信號(hào)波形與前者3 種信號(hào)存在較大區(qū)別，由于存在放電脈沖，其時(shí)域信號(hào)波動(dòng)較大，且頻譜能量呈現(xiàn)寬頻分布的特點(diǎn)，在分析頻段下(f=0 Hz～10 kHz)皆有分布。綜合以上分析可知，基于常規(guī)的頻譜分析手段可初步實(shí)現(xiàn)變壓器正常與放電缺陷的辨識(shí)，而對(duì)于繞組松動(dòng)與鐵芯松動(dòng)此類(lèi)變壓器的機(jī)械缺陷而言，由于其頻譜能量分布存在類(lèi)似性，通常難以實(shí)現(xiàn)變壓器繞組與鐵芯缺陷的精準(zhǔn)辨識(shí)。

圖6 變壓器4 種典型聲紋信號(hào)時(shí)頻域波形示意Fig.6 Time-frequency domain waveforms of four typical voiceprint signals of transformer

2.2 狀態(tài)辨識(shí)

2.2.1 MDF計(jì)算結(jié)果分析

引入MDF 技術(shù)對(duì)變壓器正常狀態(tài)、繞組松動(dòng)、鐵芯松動(dòng)以及相間放電4 種狀態(tài)下的時(shí)域聲紋數(shù)據(jù)進(jìn)行計(jì)算，圖7 為二維圖像計(jì)算結(jié)果。綜合考慮計(jì)算時(shí)間與狀態(tài)參量的完整性，設(shè)定MDF 技術(shù)的步長(zhǎng)d=1，時(shí)間窗口長(zhǎng)度s=1000 (時(shí)域信號(hào)離散點(diǎn))。由圖7(a)可知，變壓器在正常運(yùn)行時(shí)，其MDF圖像矩陣的極值主要分布在主副對(duì)角線兩側(cè)靠近中心區(qū)域，能量分布較為均勻；繞組松動(dòng)缺陷圖譜如圖7(b)所示，MDF 圖像的極值區(qū)域主要集中在對(duì)角線兩側(cè)的局部位置及其橫縱坐標(biāo)上，但相較于正常狀態(tài)、其能量更偏向于點(diǎn)狀聚集；如圖7(c)所示，鐵芯松動(dòng)缺陷的MDF 圖譜相較于繞組松動(dòng)，點(diǎn)狀能量聚集的特征更為明顯，且呈現(xiàn)明顯的區(qū)域分布特性；由圖7(d)可知，放電缺陷的MDF圖譜與前者3 種狀態(tài)的圖譜結(jié)果完全不同，整個(gè)圖譜呈現(xiàn)“細(xì)長(zhǎng)針狀”的脈沖能量分布特性，這可能是因?yàn)樵诜烹娺^(guò)程中，放電(局部放電或者間歇放電)等現(xiàn)象會(huì)產(chǎn)生突發(fā)性的脈沖峰，該放電信號(hào)的瞬時(shí)脈沖峰特征在MDF 技術(shù)中被進(jìn)一步表征映射為“細(xì)長(zhǎng)狹窄針狀”分布特征。由結(jié)果可知，相較于常規(guī)的信號(hào)分析方法，當(dāng)使用MDF 技術(shù)將一維時(shí)域數(shù)據(jù)映射為二維圖像時(shí)，成功提取并保留了原始聲紋數(shù)據(jù)的時(shí)間動(dòng)態(tài)特性與非線性特性，且原始數(shù)據(jù)的也被成功的提取并表征。因此，與傳統(tǒng)的檢測(cè)方法相比，可以更好地突出表征被監(jiān)測(cè)設(shè)備的實(shí)時(shí)運(yùn)行狀態(tài)。

圖7 變壓器4 種狀態(tài)下的MDF 圖像Fig.7 MDF images of transformer in four states

綜上，變壓器在4種狀態(tài)下的MDF圖譜均存在較為明顯的差異，為后續(xù)的圖像分類(lèi)提供了可行性。

2.2.2 實(shí)驗(yàn)?zāi)Ｐ蛥?shù)選擇

本文所有方法均在一臺(tái)CPU 為英特爾Xeon Platinum 8157、GPU 為NVIDIA GeForce RTX 3090 配置的計(jì)算機(jī)進(jìn)行運(yùn)算，使用語(yǔ)言為Python。實(shí)驗(yàn)采集了每組狀態(tài)500 條數(shù)據(jù)、共計(jì)2000 條數(shù)據(jù)，數(shù)據(jù)集被劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集，所占比例為8:1:1。模型的具體參數(shù)設(shè)置見(jiàn)表1。模型訓(xùn)練采用自適應(yīng)學(xué)習(xí)能力強(qiáng)、內(nèi)存需求少的Adam 優(yōu)化器，為避免過(guò)擬合，還在訓(xùn)練過(guò)程中引入正則化方法，設(shè)置Dropout 為0.3，選擇交叉熵作為損失函數(shù)，定義初始學(xué)習(xí)率為0.001，訓(xùn)練迭代次數(shù)設(shè)置為200。

表1 模型參數(shù)設(shè)置Table 1 Model parameter settings

批尺寸(Batch size)決定了每次迭代訓(xùn)練中使用的樣本個(gè)數(shù)，較大的批尺寸可提高訓(xùn)練速度，但也可能導(dǎo)致模型不穩(wěn)定。圖8 為批尺寸為16、32、64、128 和256 時(shí)對(duì)于訓(xùn)練集損失率與測(cè)試集準(zhǔn)確率的影響關(guān)系。由圖8 可知，批尺寸過(guò)大(128 和256)與過(guò)小時(shí)(16 和32)皆會(huì)導(dǎo)致模型的不穩(wěn)定，損失率與準(zhǔn)確率曲線均出現(xiàn)了一定程度的波動(dòng)，而在選擇合適的批尺寸(64)后，模型在整體計(jì)算過(guò)程中較為穩(wěn)定，并取得了良好的分類(lèi)效果；同時(shí)也可以看出，不同批尺寸在30 次迭代后，曲線均趨于穩(wěn)定，即模型達(dá)到最優(yōu)。

圖8 不同批尺寸訓(xùn)練過(guò)程的損失率和準(zhǔn)確率隨迭代次數(shù)變化趨勢(shì)Fig.8 Variation trend of loss value and accuracy with iteration times in different batch sizes training process

2.2.3 模型分類(lèi)性能計(jì)算

引入混淆矩陣以定量評(píng)估所提方法的識(shí)別效果。圖9 與表2 為利用所提方法得到的混淆矩陣計(jì)算結(jié)果，圖9中橫縱坐標(biāo)的數(shù)字1～4 分別表示變壓器的正常、繞組松動(dòng)、鐵芯松動(dòng)及相間放電4 種狀態(tài)，混淆矩陣的對(duì)角線分別表示每種狀態(tài)被識(shí)別正確的樣本數(shù)。結(jié)合圖9 和表2 可知，在200 組數(shù)據(jù)中只有4 個(gè)被錯(cuò)誤分類(lèi)，其分類(lèi)正確率為98%，表2 表明所提出方法的識(shí)別精度、召回率以及F1 值皆為98%。上述結(jié)果表明所提方法可以實(shí)現(xiàn)變壓器狀態(tài)的有效檢測(cè)，且對(duì)于機(jī)械與放電缺陷都具有較高的識(shí)別精度，可進(jìn)一步應(yīng)用于工程實(shí)踐中以幫助巡檢人員便捷、及時(shí)地檢測(cè)變壓器的工作狀態(tài)。

表2 評(píng)價(jià)參數(shù)Table 2 Evaluation parameters(單位: %)

圖9 混淆矩陣示意Fig.9 Confusion matrix schematic

2.3 其他模型對(duì)比結(jié)果及分析

2.3.1 半消聲室數(shù)據(jù)分析

為進(jìn)一步表明所提方法的優(yōu)越性，還將所提方法與基于常規(guī)時(shí)頻圖譜數(shù)據(jù)集和多頭自注意力機(jī)制的Transformer 對(duì)比方法1，基于MDF 增強(qiáng)圖譜和目前流行的深度學(xué)習(xí)分類(lèi)模型、引入殘差模塊的卷積神經(jīng)網(wǎng)絡(luò)(ResNet-CNN)的對(duì)比方法2 進(jìn)行對(duì)比分析。對(duì)比方法1 中，除采用如圖10 所示的時(shí)頻圖像作為原始數(shù)據(jù)輸入外，其余步驟皆與所提方法一致；對(duì)比方法2 中，除在對(duì)MDF 圖像分類(lèi)時(shí)采取了目前流行的ResNet-CNN 深度學(xué)習(xí)分類(lèi)器外，其余步驟皆與所提方法一致。對(duì)比方法1 中，為充分考慮信號(hào)特征，相關(guān)參數(shù)設(shè)置如下：時(shí)間窗口長(zhǎng)度t=1 s，頻率顯示范圍為0 Hz～10 kHz，重疊點(diǎn)數(shù)設(shè)置為100，其時(shí)頻圖譜結(jié)果見(jiàn)圖10。對(duì)比方法2 的網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)見(jiàn)表3。

表3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)計(jì)Table 3 Structural parameter design of neural network

圖10 變壓器4 種狀態(tài)時(shí)頻圖像Fig.10 Time-frequency images of four states of transformer

表4 為所提方法、對(duì)比方法1 和對(duì)比方法2 共計(jì)3種方法的識(shí)別精度。結(jié)合圖10可知，僅圖10(d)的放電時(shí)頻圖像存在較為顯著的區(qū)別，而鐵芯松動(dòng)與繞組松動(dòng)時(shí)頻圖像存在相似度，這是因?yàn)槔@組松動(dòng)與鐵芯松動(dòng)兩種異常狀態(tài)下的頻譜能量分布皆集中在頻率f=1 kHz 的低頻段，不利于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)與特征的有效感知。綜上，由于引入了上述辨識(shí)度不高的時(shí)頻圖像集作為原始分類(lèi)集的輸入，因此4 種狀態(tài)的辨識(shí)精度相較于所提方法均存在較大的劣勢(shì)，最大精度差異達(dá)到了14%；而對(duì)比方法2 由于引入了區(qū)分度明顯的MDF 圖像集，4種狀態(tài)的辨識(shí)精度均得到了一定幅度的提升，但仍要低于所提方法，這是因?yàn)榛诙囝^注意力機(jī)制的Vision Transformer具有更深層次的特征表示能力，可通過(guò)堆疊多個(gè)編碼器層來(lái)提取更高級(jí)別的抽象特征，能夠更好地感知圖像深層信息特征，從而提高分類(lèi)的精度。

表4 3 種對(duì)比方法的識(shí)別精度Table 4 Identification accuracy of three comparison methods(單位: %)

2.3.2 添加噪聲數(shù)據(jù)分析

在實(shí)際現(xiàn)場(chǎng)運(yùn)行環(huán)境中，采集得到的變壓器聲紋信號(hào)中不可避免地存在無(wú)關(guān)噪聲。故本節(jié)還在原始信號(hào)上添加了不同信噪比(Signal-noise ratio,SNR)的高斯白噪聲，評(píng)估上述3種狀態(tài)辨識(shí)方法的魯棒性。限于篇幅，僅給出鐵芯松動(dòng)缺陷下的不同SNR時(shí)間序列示意(圖11)。

圖11 不同SNR 下的時(shí)間序列示意Fig.11 Schematic diagram of time series under different SNRs

表5 為在原始信號(hào)添加不同SNR 下的變壓器各運(yùn)行狀態(tài)辨識(shí)精度。由表5 可知，隨著SNR 的下降，對(duì)于實(shí)際運(yùn)行狀態(tài)的分類(lèi)辨識(shí)精度也隨之減小，但始終保持在較高的識(shí)別精度(>90%)，說(shuō)明所提方法在噪聲干擾下仍具備較優(yōu)的分類(lèi)性能且魯棒性較強(qiáng)，始終優(yōu)于其余兩種對(duì)比方法。

表5 不同SNR 下各方法的分類(lèi)準(zhǔn)確率Table 5 Classification accuracy of each method under different SNR

2.4 所提方法辨識(shí)結(jié)果的可解釋性分析

針對(duì)常規(guī)深度學(xué)習(xí)網(wǎng)絡(luò)的黑箱特性、難以明晰辨識(shí)結(jié)果等問(wèn)題，還引入Grad-CAM 對(duì)變壓器4 種狀態(tài)下的MDF 增強(qiáng)圖像進(jìn)行可解釋性說(shuō)明。圖12為4 種狀態(tài)下MDF 圖像經(jīng)過(guò)Grad-Cam 算法后獲得的類(lèi)激活圖。類(lèi)激活圖中的光暈顏色越深，則代表此區(qū)域?qū)τ谧罱K分類(lèi)結(jié)果的影響越大。由圖12可知，4 種狀態(tài)下經(jīng)過(guò)Grad-Cam 算法獲得的類(lèi)激活圖分別具備較為明顯的表征效果：在正常狀態(tài)下，類(lèi)激活圖的光暈范圍較為集中，主要分布在MDF 圖像的中心靠左位置；在繞組松動(dòng)缺陷的類(lèi)激活圖中，光暈區(qū)域較正常狀態(tài)增大約1 倍，在圖像的中間區(qū)域向外輻射；而對(duì)于鐵芯松動(dòng)缺陷的類(lèi)激活圖而言，光暈區(qū)域則主要集中在右上角；放電缺陷類(lèi)激活圖中的光暈范圍覆蓋極大，幾乎包含所有能量較高的狹窄脈沖束。綜上，4 種狀態(tài)下MDF 圖像的類(lèi)激活權(quán)重關(guān)注區(qū)域皆不相同，這進(jìn)一步解釋了深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行分類(lèi)辨識(shí)的計(jì)算依據(jù)，表明所提方法的分類(lèi)辨識(shí)結(jié)果具有較強(qiáng)的可信度。

圖12 變壓器4 種狀態(tài)時(shí)MDF 圖像的Grad-Cam可視化結(jié)果Fig.12 Grad-Cam visualization results of MDF images in four states of transformer

3 結(jié)論

針對(duì)電力變壓器運(yùn)行狀態(tài)感知能力的不足，提出了一種基于非接觸式聲紋信號(hào)檢測(cè)的MDF 信號(hào)增強(qiáng)和多頭自注意力機(jī)制的變壓器工作狀態(tài)辨識(shí)方法，進(jìn)行了包含變壓器典型狀態(tài)的模擬實(shí)驗(yàn)，所得結(jié)論如下：

(1) 提出了一種針對(duì)于電力變壓器聲紋信號(hào)的映射方法，利用該方法可實(shí)現(xiàn)變壓器不同狀態(tài)的深層感知與有效表征；

(2) 搭建了10 kV電力變壓器的缺陷模擬系統(tǒng)，模擬了變壓器正常狀態(tài)、繞組松動(dòng)狀態(tài)、鐵芯松動(dòng)狀態(tài)以及表面放電4 種典型缺陷，計(jì)算結(jié)果表明：所提方法能夠?qū)崿F(xiàn)變壓器不同狀態(tài)的有效辨識(shí)，且辨識(shí)精度相較于常規(guī)方法有顯著提升，提升約6%；在實(shí)測(cè)信號(hào)中加入高斯白噪聲干擾模擬實(shí)際運(yùn)行環(huán)境下干擾，在SNR為4 dB 情況下，所提方法的辨識(shí)準(zhǔn)確率仍大于90%，相較于常規(guī)方法具備較強(qiáng)的魯棒性；

(3) 對(duì)所提方法的分類(lèi)辨識(shí)結(jié)果進(jìn)行了可解釋性分析，驗(yàn)證了模型分類(lèi)辨識(shí)結(jié)果的可信度。

限于實(shí)驗(yàn)數(shù)據(jù)的有限性，在后續(xù)的工作中，筆者計(jì)劃增加更多缺陷類(lèi)型的測(cè)試數(shù)據(jù)，并進(jìn)一步引入包含不同電壓等級(jí)的變壓器實(shí)際故障數(shù)據(jù)，以驗(yàn)證和提高方法的辨識(shí)準(zhǔn)確率與魯棒性。