基于深度學習的間隔棒故障識別方法

張 濤，高 紳，陳萬培，楊欽榕，韓 恒，陳舒涵

(揚州大學 信息工程學院，江蘇 揚州 225009)

0 引言

伴隨著國家經濟發展水平和人民生活水平的提高，電網規模也在不斷擴大，如何保障電網安全可靠地運行開始被廣泛地關注。輸電線路是連接國家電力網絡的部件[1]，而輸電線間隔棒作為輸電線路的重要金具，能夠保持多分類子導線間距，保證線路的電力運輸能力，防止導線間的鞭擊、抑制微風振動和次檔距振蕩等。因此，對輸電線間隔棒的檢測是電力網絡運檢維護、保障電力安全的必要程序之一。

目前，電力設備的維護檢查一般通過人工巡檢的方式完成，由于架空線路和輸電隧道架設的特殊性,線路巡查通常會對巡檢人員的生命安全造成一定威脅[2]。借助無人機和監控攝像頭的圖像識別技術，代替人工進行安全檢查已經成為目前較為有效的巡查方案[3]。現有的檢測方式存在很多問題，在無人機拍攝電力部件的過程中，由于距離因素，這些電力部件距離無人機較遠[4]，在圖像上顯示的尺寸較小；監控攝像頭只有錄像和視頻監控功能，無法對所需要的檢測目標進行智能化識別分析。這些方式都需要進一步借助人工完成最后的故障檢測分析，降低了自動化程度的同時，也延長了故障的修復時間。

卷積神經網絡(Convolutional Neural Networks,CNN)是一類包含卷積且具有深度結構的前饋神經網絡，是深度學習(Deep Learning)的代表算法之一[5-6]。深度學習算法的發展和硬件運算水平的提高，使CNN逐漸應用在計算機視覺和自然語言處理等領域。作為計算機視覺重要的研究分支，基于CNN的目標檢測算法在許多層面上都超越了傳統圖像處理算法[2]。文獻[7]中使用自建的ImageNet輸電線路多目標圖像數據集，通過優化Fater-RCNN神經網絡的Loss函數對圖像進行識別定位，但對小目標的識別準確率不高，實時性得不到保證；文獻[8]調整Faster-RCNN網絡結構卷積核大小和圖像的旋轉變換等數據增強方法擴充數據集，取得了93.72%的平均準確率；文獻[9]利用實際采集的絕緣子圖像構建數據集，使用改進的Fater-RCNN網絡模型在Dropout=0.6取得82.80%的準確率。以SSD[10]，yolo[11]為代表的one-stage目標檢測算法在保持較高識別準確率的前提下，其檢測速度明顯快于Fater-RCNN[12]等基于感興趣區域(Region of Interest，RoI)的two-stage目標檢測算法，可以滿足實時性要求，因此更適合在工業現場和機器人系統中進行應用。

基于Fater-RCNN神經網絡的目標檢測模型雖取得不俗的識別準確率，但存在檢測速度過慢問題，不能滿足檢測結果實時響應的要求。因此,在SSD算法的基礎上，使用全卷積神經網絡DarkNet代替原先的VGG-16網絡，避免池化造成關鍵位置信息的丟棄，同時引入注意力機制，增強特征圖的語義信息，進一步提高網絡特征提取能力和算法檢測精度。

1 相關技術理論和算法

1.1 SSD

SSD[10]在2015年由Liu Wei等人提出，引入多參考和多分辨率檢測技術，提取網絡不同尺度的特征，然后組合進行回歸和分類。對比R-CNN[13-14]系列，顯著提高了one-stage檢測器的檢測精度，特別是對一些小目標；采用了全連接的VGG-16作為特征提取網絡，將全連接層FC6和FC7轉換成卷積層Conv6和Conv7，實現了端到端，且易和多種主流的backbone融合；借鑒Fater-RCNN的anchor機制，針對不同尺寸的特征圖，分別生成4～6個不同大小和不同長寬比的anchor框作為邊框回歸的預選框，實現多尺度檢測。SSD網絡結構如圖1所示。

圖1 SSD網絡結構Fig.1 SSD network structure

1.2 池化

經典的CNN如LeNet5[15]，Alexnet[16],VGG[17]，類似于降采樣的方式，在卷積層輸出后引入池化層，以減少參數矩陣的尺寸，降低信息冗余，從而減少最后全連接層的參數量，提升模型尺度不變性和旋轉不變性，防止過擬合。SSD融合使用VGG-16神經網絡，采用最大池化方式進行降維壓縮，加快運算速度。池化過程中會損失一部分關鍵的位置信息，某種程度上雖然實現了一定的平移不變性，但丟失了圖像之間精確的空間相對關系。最大池化過程示意如圖2所示。

圖2 最大池化Fig.2 Maximum pooling

1.3 注意力機制

與人類選擇性視覺注意力機制類似，深度學習中的注意力機制模仿人類觀察事物，是一種將內部經驗和外部感覺對齊從而增加部分區域的觀察精細度的過程，能夠忽略無關信息而關注重點信息，捕捉數據或特征的內部相關性，減少對外部信息的依賴，降低信息冗余。2014年Google DeepMind團隊，在循環神經網絡(RNN)中加入注意力機制[16]，在圖像分類實驗中取得良好的效果。Spatial Transformer Networks模型[17]利用注意力機制，變換圖片的空間信息，在壓縮保留關鍵信息的同時，減少運算量，提升識別準確率。SEnet[18]引入通道注意力機制，得到不同信道的注意力權重，增強對關鍵通道域的注意力。

（一）國外研究進展。美國按診斷相關分類預付制或按病種預付制，病種的輕重程度及有無并發癥等。支付標準以全國醫院對該類疾病治療的平均成本為依據。它總括了入院管理費用、檢查費用和給藥費用。日本全國統一價，兩年調整一次，醫療服務總量不變，確定醫療費用總體調整幅度，日本的醫療總費用中有四分之一來自政府撥款。英國的RPI-X模型，（RPI代表通貨彭脹率，X為監管者規定的一段時間內生產效率增長百分比。）美國采取的最高限價模型與英國略有不同，公式為Pi+1=P1×(1+RPI-X),（P為公共事業價格指數，其余與上同）〔1〕

2 本文算法

本文提出的輸電線間隔棒目標檢測算法在標準SSD算法基礎上結合DenseNet-s-32全卷積網絡，為了保證檢測精度，最大程度保留圖片的原始信息，使用步長為2的卷積代替Max pooling，引入注意力機制，增強輸出特征層的語義信息。完整算法結構如圖3所示。

圖3 注意力機制算法流程Fig.3 Attention mechanism algorithm flow

2.1 基于DenseNet的特征提取網絡

與ResNet[15]模型思路一致，DenseNet[16]建立前面所有層與后面層的密集連接(Dense Connection)，每個層都會接受前面所有層作為額外的輸入，實現特征復用，提升運算效率。網絡采用常見的分層模塊化結構模型，主干網絡由一個Stem Block和一個四階段特征提取模塊組成。階段一和階段二使用卷積核大小為：2×2，步長為2的最大池化方式進行下采樣；階段三和階段四使用w/o池化方式，使用卷積核為：1×1，步長為1的卷積進行下采樣。考慮到最大池化過程中會損失一部分關鍵的位置信息，丟失了圖像之間精確的空間相對關系，這里使用卷積核為1×1的卷積代替階段一和階段二的最大池化，完整的網絡結構由表1所示。

表1 DenseNet網絡結構Tab.1 DenseNet network structure

2.2 注意力(Attention)機制

引入注意力機制結構模型借以捕獲通道維度中的特征相關性。具體來說，對于某一通道的特征，通過對所有通道進行加權求和來更新權重，其中權重由相應2個通道之間的特征相似性來決定。注意力網絡很容易添加到CNN中，增強輸出檢測特征圖的感受野和語義信息，提高與檢測目標相關特征通道的權重，抑制或是忽略無關的通道信息。在注意力網絡結構中，首先，對輸入結構的特征圖X(C×H×W)使用1×1×1卷積進行特征映射，降低信息冗余，映射之后得到3個相同特征尺度(C×H×W)的特征圖α，β和γ,再對α，β和γ進行降維，三者降維后的向量尺度分別為α′=(C×HW)，β′=(HW×C),γ′=(C×HW)，對α′，β′使用向量點乘得到Catt=C×C，經過Softmax計算通道的權重系數后與γ′做點乘運算，最后得到新的特征圖Y。圖3為注意力機制算法流程。X表示輸入的特征圖，Y表示通道更新后輸出的特征圖。本文分別在SSD網絡的block(3)，Conv7、Conv8_2、Conv9_2、Conv10_2五種尺度的輸出特征層引入注意力機制網絡結構，更新這5個層的特征圖，詳細如圖4所示。

圖4 基于改進SSD的間隔棒目標檢測算法結構Fig.4 Structure of the spacer bar object detection algorithm based on improved SSD

3 實驗分析

本文實驗使用Pytorch1.3.1深度學習框架，搭配NVIDIA GeForce GTX 2080Ti顯卡進行訓練。

3.1 數據集

目前暫無公開的數據集用于輸電線路間隔棒的目標檢測，借助網絡、無人機和監控設備等途徑，搜集間隔棒故障圖片，通過數據增強方式，按照VOC2007數據集格式處理取得了750張間隔棒(Spacer)數據集，包含正常(Normal)，歪斜(Skew)2類目標，以11∶4劃分訓練集和測試集。考慮到數據集樣本不足夠大，直接訓練會導致網絡不易收斂，導致檢測效果不夠好，因此結合VOC2012通用數據集組合成包含23類17 875張圖片的大數據集對網絡進行訓練。

3.2 實驗過程

針對Faster RCNN、SSD和mSSD，以及本文提出的SSD改進算法模型在同一測試集進行對比試驗，使用平均準確率(mAP)和識別速率作為網絡性能衡量指標,得到如表2所示的識別結果，部分實驗結果如圖5、圖6和圖7所示。

表2 不同算法平均識別準確率和識別速率Tab.2 Average recognition accuracy and recognition rate of different algorithms

圖5 檢測前Fig.5 Before detection

圖6 檢測中Fig.6 During detection

圖7 檢測后Fig.7 After detection

由表2可見，Faster RCNN的平均準確率為82.5%，識別速率為16幀/秒；SSD算法的平均準確率為83.4%，識別速率為47幀/秒；文獻[4]提出的mSSD算法的平均準確率為89.6%，識別速率為38幀/秒；本文提出的算法平均準確率為91.2%，識別速率為40幀/秒。其中Faster RCNN的平均準確率和識別速率最低，本文算法的平均識別準確率最高，識別速率略遜與SSD，下降了7幀/秒，這是因為在模型中加入了注意力機制網絡，導致了計算量的增加，但仍可以滿足間隔棒故障實時檢測要求。

4 結束語

以SSD目標檢測算法為基礎，提出了針對輸電線路間隔棒故障的目標檢測算法。原backbone網絡VGG-16池化層會造成部分關鍵信息的丟失，提出使用改進的DenseNet-32卷積神經網絡替換VGG-16，降低池化帶來的精度損失，提升網絡深度，引入注意力機制網絡結構進一步增強輸出檢測特征圖的語義信息。本文提出的算法在平均準確率為91.2%情況下，檢測速率達到40幀/秒，可以滿足間隔棒故障實時檢測的現實要求。未來進一步工作是將該算法部署到終端設備上，做到輸電線路的實時現場檢測。