融合Resnet50與改進(jìn)注意力機(jī)制的絕緣子狀態(tài)識(shí)別研究

孫廣慧

（安徽理工大學(xué)電氣與信息工程學(xué)院 安徽省淮南市 232063）

高壓輸電線上包含著大量的絕緣子串，絕緣子的正常穩(wěn)定狀態(tài)關(guān)系著供電能否安全運(yùn)行[1]。然而，絕緣子長期暴露在室外，難免會(huì)遭受到不同程度的損壞。為了避免因絕緣子損壞導(dǎo)致的運(yùn)行風(fēng)險(xiǎn)，必須及時(shí)對絕緣子狀態(tài)做出檢測判斷。傳統(tǒng)的檢測方法有：

（1）人工巡檢，雖然人眼觀察準(zhǔn)確率較高，但是存在著耗時(shí)耗力、效率低下等問題。

（2）利用紅外熱成像進(jìn)行監(jiān)控，這種方法雖然可以實(shí)現(xiàn)遠(yuǎn)距離監(jiān)測，但是紅外成像依賴于絕緣子的表面溫度[2]容易影響判別結(jié)果。

無人機(jī)具有靈活且成本低的優(yōu)勢，因此使用無人機(jī)進(jìn)行電力巡檢成為更加常用的巡檢方式[3]。雖然這種方式可以節(jié)約人力，但是采集到的圖片會(huì)因惡劣天氣導(dǎo)致噪聲過多分辨率較低，或是圖像中絕緣子難以從背景復(fù)雜的室外環(huán)境中分割，這些因素都增加了準(zhǔn)確識(shí)別絕緣子狀態(tài)的難度。

為了更好的提取絕緣子豐富的圖像特征，秦瀛[4]將VGG16 做為特征提取網(wǎng)絡(luò)對絕緣子邊緣發(fā)生的缺陷做出改進(jìn)，雖然VGG 模型結(jié)構(gòu)簡單，但是識(shí)別精度不高。馮萬興等人[5]使用一種以兩階段目標(biāo)檢測 Faster-RCNN + FPN 為框架的深度學(xué)習(xí)缺陷檢測方法，提高了識(shí)別速度。在深度學(xué)習(xí)過程中，模型提取的特征信息會(huì)隨著網(wǎng)絡(luò)加深而變得豐富。但是CNN 在達(dá)到一定深度后精確度會(huì)達(dá)到飽和，且網(wǎng)絡(luò)會(huì)出現(xiàn)梯度彌散從而導(dǎo)致難以收斂。而2015年由何凱明提出的網(wǎng)絡(luò)模型ResNet[6]可以很好的解決這種問題。

為了解決圖像難以從復(fù)雜背景中分割的問題，采用ResNet50網(wǎng)絡(luò)來提取圖像特征，通過使用過參數(shù)卷積層（DO-Conv）替換網(wǎng)絡(luò)中常規(guī)卷積層可以提高網(wǎng)絡(luò)精度，并添加ECA 與改進(jìn)后的CBAM 這兩個(gè)注意力模塊優(yōu)化特征提取過程?；赗esNet50 及改造注意力模塊構(gòu)建一個(gè)能區(qū)別絕緣子正常與缺陷這兩種狀態(tài)的深度學(xué)習(xí)模型。絕緣子處于不同復(fù)雜背景環(huán)境下時(shí)仍能快速精確識(shí)別，為電網(wǎng)穩(wěn)定安全提供保障。

1 E-ResNet50

殘差神經(jīng)網(wǎng)絡(luò)是在傳統(tǒng)的深度卷積網(wǎng)絡(luò)中加入了殘差學(xué)習(xí)，在一定程度上緩解了深層網(wǎng)絡(luò)中梯度彌散以及精度下降的問題。ResNet50 網(wǎng)絡(luò)性能強(qiáng)大的同時(shí)減少了參數(shù)量，模型結(jié)構(gòu)也較為簡單具有很強(qiáng)的操作性。在圖像處理時(shí)常作為核心的特征提取網(wǎng)絡(luò)，結(jié)構(gòu)易于優(yōu)化具有一定的研究價(jià)值。因此選擇ResNet50 作為絕緣子狀態(tài)識(shí)別的基礎(chǔ)模型作進(jìn)一步探討研究。

E-ResNet50 使用ResNet50 作為特征提取網(wǎng)絡(luò)主干，為了加速網(wǎng)絡(luò)訓(xùn)練將Resnet50 的常規(guī)卷積層替換為Do-Conv 得到DOCnet50。在網(wǎng)絡(luò)的殘差內(nèi)部結(jié)構(gòu)中加入一個(gè)有效的輕量級(jí)通道注意力模塊——ECA 模塊。為了兼顧注意力的空間通道，在網(wǎng)絡(luò)卷積層的第一大層與最后一大層后加上改進(jìn)后的DO-CBAM 模塊，最后通過共享的全連接層來識(shí)別絕緣子的狀態(tài)。

2 DOCnet50

眾所周知，卷積層作為卷積神經(jīng)網(wǎng)絡(luò)的核心，作用是對輸入數(shù)據(jù)進(jìn)行特征提取。通常情況下，為了提高網(wǎng)絡(luò)性能，可以通過附加的深度（Depthwise）卷積來增強(qiáng)常規(guī)卷積層，對其中每個(gè)輸入通道都使用不同的二維內(nèi)核進(jìn)行卷積。這種操作構(gòu)成了過度參數(shù)化（Over-paramaterized）卷積層，即DO-Conv[7]。過度參數(shù)化可以將過度參數(shù)化使用的多層復(fù)合線性運(yùn)算折疊為緊湊的單層表示形式，計(jì)算會(huì)與常規(guī)層完全等效，從而節(jié)約了計(jì)算量。因此使用DOConv 不僅能加快網(wǎng)絡(luò)訓(xùn)練速度，還能有效提升識(shí)別分類的準(zhǔn)確性。鑒于Do-Conv 的高效性，在優(yōu)化模型時(shí)將此運(yùn)用到ResNet50 常規(guī)卷積層的改造中，將其替換網(wǎng)絡(luò)中所有的二維卷積層，構(gòu)建新模型DOCnet50。

圖1中M×N 為輸入向量的空間維度，Cin、Cout分別為輸入、輸出向量的通道數(shù)，Dmul為卷積深度。深度卷積內(nèi)核D 和輸入特征P 通過深度卷積算子○生成變換得到特征P'，此時(shí)將P'作為中間量與常規(guī)卷積內(nèi)核W 通過常規(guī)卷積運(yùn)算*可以變換得到新的特征O。經(jīng)由以上過程后最終可將輸出表示為：

圖1：深度過參數(shù)化卷積的計(jì)算過程

3 注意力機(jī)制

3.1 ECAnet

將通道注意力融入卷積塊中有利于模型的性能提升，代表方法之一是擠壓和激勵(lì)網(wǎng)絡(luò)（SENet[8]），它可以學(xué)習(xí)每個(gè)卷積塊的通道注意，從而為各種深層CNN 架構(gòu)帶來明顯的性能提升。但它在使用過程中會(huì)因?yàn)榭刂颇Ｐ蛷?fù)雜性而降低維度。

在DOCnet50 網(wǎng)絡(luò)的殘差塊中按即插即用的方式添加ECA 模塊，該模塊能在避免降維的情況下，依舊保證捕獲跨通道交互的高效性。ECA 通過每個(gè)通道及其相鄰的k 個(gè)鄰居來捕獲局部跨通道交互信息，避免降維有利于學(xué)習(xí)通道注意力，而適當(dāng)?shù)目缧诺澜换タ梢栽陲@著降低模型復(fù)雜度的同時(shí)保持性能，因此這種方法可以在高效率的同時(shí)保證有效性。過程可以用公式（2）所示：

式（2）中σ 為Sigmoid 函數(shù)，C1D 為代表輸出信號(hào)的一維卷積。

3.2 DO-CBAM

CBAM 與只關(guān)注于通道間關(guān)系的ECA 不同，它是一種可以同時(shí)考慮通道維度與空間維度的注意力模塊，彌補(bǔ)了ECA 單維度注意力的不足。然而其在空間注意力模塊中，為了聚合更廣泛的空間上下文特征，使用了一個(gè)7×7 的大感受野卷積核來聚合空間特征，模塊參數(shù)量會(huì)隨感受野的增大而增大。為控制參數(shù)量的大小，本章將模塊的二維常規(guī)卷積層替換成DO-Conv，提出新的注意力模塊DO-CBAM。

3.2.1 通道注意力模塊

通道注意力關(guān)注于圖像的具體特征，將特征F 作為輸入，分別進(jìn)行局平均池化和最大池化得到兩個(gè)一維描述Fc

avg與Fcmax，將這兩個(gè)描述送入共享網(wǎng)絡(luò)層，特征相加之后經(jīng)過Sigmoid 激活函數(shù)得到權(quán)重函數(shù)Mc。

具體地，通道注意力計(jì)算過程可如下表示：

其中σ 代表激活函數(shù)；MLP 為多層感知器。

3.2.2 空間注意力模塊

空間注意力模塊往往更關(guān)注特征的位置，將特征F'作為輸入，通過池化操作產(chǎn)生兩個(gè)二維描述Fcavg、Fc

max并按通道進(jìn)行拼接最后經(jīng)過卷積層，通過激活函數(shù)得到權(quán)重Ms。

改進(jìn)后的空間注意力計(jì)算過程可如下表示：

其中σ 代表激活函數(shù)；f7×7為DO-Conv 卷積操作。

4 絕緣子狀態(tài)識(shí)別實(shí)驗(yàn)

4.1 數(shù)據(jù)集處理

使用的數(shù)據(jù)來源于國家電網(wǎng)提供的開源絕緣子數(shù)據(jù)集，數(shù)據(jù)集內(nèi)包括正常絕緣子600 張與缺陷絕緣子圖像247 張。由于圖片數(shù)目較少容易引起過擬合，通過翻轉(zhuǎn)、遮擋、增加噪聲等方式對數(shù)據(jù)進(jìn)行了擴(kuò)增，得到為原先八倍即為6784 張的數(shù)據(jù)集。按照的8:2 比例將處理過的數(shù)據(jù)集分為訓(xùn)練集和測試集。最終訓(xùn)練集中有5427張圖片，測試集中有1357 張圖片。

實(shí)驗(yàn)基于深度學(xué)習(xí)框架Pytorch 來實(shí)現(xiàn)模型，編譯語言為Python。訓(xùn)練參數(shù)如下：優(yōu)化器為Adam；損失函數(shù)使用交叉熵?fù)p失函數(shù)；Ir=0.005；epoch=500；batch size =32。

4.2 不同卷積神經(jīng)網(wǎng)絡(luò)模型的實(shí)驗(yàn)結(jié)果對比分析

為評估各卷積神經(jīng)網(wǎng)絡(luò)模型對絕緣子狀態(tài)識(shí)別的性能，從下幾方面展開對比討論，準(zhǔn)確率(Accuracy)、精確率(Precision)與召回率(Recall)：

為驗(yàn)證改進(jìn)后模型的有效性，選取了基于ResNet 優(yōu)化的不同模型進(jìn)行對比。模型均采用相同數(shù)據(jù)集與實(shí)驗(yàn)參數(shù)。文獻(xiàn)[9]是用SKNet 來改造的ResNet50 網(wǎng)絡(luò)卷積層來提取特征來實(shí)現(xiàn)絕緣子狀態(tài)識(shí)別。文獻(xiàn)[10]在ResNet 中嵌入SENet 與CBAM 兩個(gè)注意力機(jī)制模塊來提升絕緣子狀態(tài)識(shí)別的精確度。對比結(jié)果如表1 改進(jìn)后的E-ResNet50 網(wǎng)絡(luò)對絕緣子的狀態(tài)分類結(jié)果具有較高準(zhǔn)確性。

表1：不同模型下絕緣子狀態(tài)識(shí)別的準(zhǔn)確度

5 結(jié)論

針對目前絕緣子狀態(tài)識(shí)別存在著準(zhǔn)確率低和耗時(shí)長的問題。使用過度參數(shù)化卷積層替換常規(guī)卷積層的ResNet50，添加改進(jìn)后的注意力模塊后，準(zhǔn)確度達(dá)到99.87%。相比較其他模型在不增加模型計(jì)算量的同時(shí)提升了準(zhǔn)確度。雖然計(jì)算時(shí)間有所減少，但是在實(shí)現(xiàn)實(shí)時(shí)識(shí)別絕緣子狀態(tài)的道路上，仍有很大的研究空間。