基于輕量級SSD 的電力設備銹蝕目標檢測①

吳之昊, 熊衛華, 任嘉鋒, 姜 明

1(浙江理工大學 機械與自動控制學院, 杭州 310018)

2(杭州電子科技大學 計算機學院, 杭州 310018)

1 前言

電力設備維護作為電力系統運行中非常重要的一部分, 對整個電網的安全運行起到關鍵的作用.其中,部分電力設備例如架空輸電線路和箱式變壓器一般架設在在室外, 受到風吹日曬的金屬部件極有可能產生銹蝕, 而架設于輸電隧道的輸電電纜由于潮濕、多塵、密閉的環境也很有可能產生銹蝕, 從而威脅電力設備的正常運行, 危害整個電力系統的安全, 因此需要有效的對電力設備銹蝕故障進行識別和檢測.

目前, 電力設備的維護檢查一般通過人工巡檢的方式完成, 由于架空線路和輸電隧道架設的特殊性, 線路巡查通常會對工人的生命安全造成一定的威脅.隨著無人機和監控攝像頭的大量使用, 通過圖像識別技術代替人工進行安全檢查已經成為目前較為有效的線路巡檢方案[1].文獻[2,3]等針對銹蝕故障的顏色特征,分別通過HSI 空間和RGB 模型進行銹蝕區域的識別分割和檢測.

隨著深度學習的日益發展, 以基于卷積神經網絡的目標檢測方法在很多層面上都超越了傳統數字圖像處理方法.在銹蝕故障檢測方面, 也有很多學者對基于深度學習的識別方法進行了研究.李輝等[4]將HIS 模型和深度學習進行了結合, 為電力輸電線路銹蝕故障檢測提出了新思路.Nash W 等[5]則進一步對銹蝕場景進行了分割和提取, 但檢測結果未達到預期.周自強等[6]則引入了遷移學習來解決小數據樣本的問題, 也提高了一定的檢測效果.

目前的目標檢測算法依賴于大型卷積神經網絡,算法模型一般存在參數量過大、檢測速度過慢等問題,不能滿足電力設備故障檢測的實時響應要求.因此本文在已取得較好目標檢測效果的SSD[7]算法的基礎上,結合MobileNet[8]系列網絡結構提出一種輕量級的電力設備銹蝕目標檢測算法.同時引入了基于注意力機制的上采樣策略和多尺度特征融合方法在壓縮模型的同時維持較高的檢測精度.

2 理論基礎

基于深度學習的目標檢測方法從R-CNN[9]提出后就成為了目前主流的目標檢測算法, 并發展出了Fast R-CNN[10], Faster R-CNN[11]等two-stage 算法和SSD,YOLO[12]等one-stage 算法.其中, one-stage 算法通過將分類與回歸問題進行統一可以在只經過單次檢測就能得到最終的檢測結果, 擁有更快的檢測速度, 因此更適合在工業現場和機器人系統中進行應用.

2.1 SSD 目標檢測算法

SSD (Single Shot MultiBox Detector)目標檢測算法是2016 年Liu W 等提出的一種one-stage 的深度學習的目標檢測算法[7], 并添加了多尺度檢測的方式提高不同尺度下的目標檢測能力.SSD 目標識別算法采用VGG-16 作為特征提取網絡, 去除了末端的2 個全連接層, 改用3 個卷積層進一步提取特征, 同時減小特征圖的尺寸.為了提高對尺度變化較大的目標的泛化能力,SSD 使用了6 個不同尺度的特征圖進行檢測.而在預選框(prior box)生成策略上, SSD 借鑒了Faster R-CNN的anchor 策略, 在不同尺度的特征圖上分別生成4 至6 個不同大小和不同長寬比的anchor 框作為邊框回歸的預選框, 非常好的適應了不同長寬比的目標物體, 有效的提高了檢測的效果.圖1 為標準SSD 的算法結構圖.

圖1 SSD 的算法結構

2.2 注意力機制

注意力機制(attention)的本質來自于人類只根據需求觀察特定部分的視覺機制.2014 年Google DeepMind團隊提出了循環注意力模型[13], 將Attention 機制引入RNN 用于圖像分類并取得了良好的效果.2018 年, Hu J 等提出了SENet[14], 通過在通道間添加注意力機制來標定不同通道的重要程度, 然后依靠添加不同的權重去提升高效特征并抑制低效特征.

SENet 通過Squeeze 和Excitation 兩個操作對每個同通道的相互依賴關系進行建模.其中Squeeze 操作是進行了一個全局池化, 相當于采用了全局感受野來令其具有全局信息特征.隨后Excitation 操作通過全連接層和Sigmoid 函數來表征每個特征通道的相關性.最后通過Reweight 操作將輸出的權重通過逐點相乘加權到先前的特征上, 令原始特征得以重標定.注意力機制的算法結構如圖2 所示.

圖2 注意力機制的算法結構

3 本文方法

本文提出的基于輕量級SSD 的電力設備銹蝕目標檢測算法在標準SSD 的基礎上結合MobileNet 的深度可分離卷積進行輕量化操作, 同時為保證檢測精度不受影響, 利用注意力機制和concat 方式對多尺度特征進行融合.完整算法結構如圖3 所示.

3.1 基于深度可分離卷積的特征提取網絡

標準SSD 采用擴展的VGG-16 網絡作為特征提取網絡, VGG-16 采用的是密集連接的標準卷積方式.而深度可分離卷積是MobileNet 的基本組成塊, 利用了分解卷積的方法對過參數化的標準卷積進行壓縮.首先采用1×1 大小的卷積核先對每一個通道進行卷積操作, 再使用3×3 大小的卷積核進行通道間的信息交流.通過將標準卷積中的乘法分解為加法的方式在不損失精度的情況下有效的減少大量參數.同時將激活函數由ReLU 更換為性能更加優越的h-swish 函數.圖4為標準卷積和深度可分離卷積的結構對比圖.

圖3 基于輕量級SSD 的電力設備銹蝕目標檢測算法結構

圖4 標準卷積和深度可分離卷積的結構對比

3.2 基于注意力機制的上采樣策略

標準SSD 目標檢測算法為了提升小目標的檢測效果使用了多尺度的特征進行同時檢測, 但是由于沒有做到特征的融合, 導致小目標檢測中并不能達到很好的預期效果.同時, 雖然使用深度可分離卷積可以大量的減少參數量, 但是由于失去了大部分可調參數, 在一定程度上犧牲了檢測精度.因此本文采用了多尺度融合思想, 將標準SSD 中單獨檢測的多尺度特征進行上采樣融合.在融合策略上, 由于FPN[15]使用的Elementwise add 特征融合方式對單通道特征圖的特征相似度要求較高, 但是經過上采樣的高層特征圖未必可以做到內容匹配.而concat 特征組合方式則更加注重不同通道內的特征信息, 同時再利用一個注意力模型對組合特征進行相關性標定, 以此可以選擇更具有價值的特征信息.但是由于采用concat 的方式, 所以通道數增加了一倍, 因此采用一個卷積層將其通道降為原先的一半,同時起到特征融合的作用.基于注意力機制的上采樣策略結構如圖5 所示.

圖6(a)圖為待檢測的原圖, 其銹蝕目標部分為的防火門控制箱的外殼, 圖6(b)圖為獲得的原始特征圖,圖6(c)圖為采用Elementwise add 方式進行融合后的特征圖, 圖6(d)圖為本文特征融合方法進行融合后的特征圖, 可以看到本文方法可以有效的抑制低能特征,提取高能特征, 從而提高檢測效果.

圖5 基于注意力機制的上采樣策略

圖6 Elementwise add 與本文方法產生的特征圖

4 實驗分析

4.1 實驗數據集

由于利用目標檢測技術對電力設備進行故障檢測仍處于發展階段, 目前暫無公開的數據集用于電力設備銹蝕的目標檢測目, 因此本文就已有的電力設備銹蝕圖像提出RustDetection 數據集, 該數據集圖片由架空輸電線路、電纜隧道、電表電箱等多種電力設備銹蝕故障圖片組成, 通過實地采集、網絡獲取等多種方式, 結合數據增加方法最終采用了600 張銹蝕圖片作為訓練集, 200 張作為測試集, 并通過LabelImg 標注軟件對銹蝕區域進行標定, 按照VOC2012 數據集的格式進行處理, 圖7 為標簽標定的效果.

圖7 RustDetection 數據集

由于本文提出的銹蝕檢測的數據集樣本量不大,若直接使用該數據集進行訓練會導致網絡不能很快的收斂, 最終的檢測效果也不好.因此本文先利用包含共21 類的17 125 張圖片的VOC2012 通用公共數據集上進行預訓練, 再采用遷移學習的方法, 對本文提出的RustDetection 數據集進行微調訓練.

4.2 實驗過程

在訓練階段, 輸入的圖像首先經過縮放將輸入大小變為300×300×3 的RGB 圖像, 并對其作歸一化處理后進行訓練, 訓練階段在NVIDIA GTX 1080Ti GPU 上進行.

網絡訓練采用遷移學習, 首先將搭建好的網絡模型在VOC2012 數據集上進行300 輪訓練, 并已經在該數據集上擁有較好的檢測效果后移除多分類子網絡部分結構, 添加二分類子網絡, 該二分類子網絡由6 個卷積層構成, 分別用于6 個尺度下的目標預測, 對該部分的參數采用Kaiming 初始化方法進行初始化, 相比較隨機初始化而言, 該種參數初始化方法可以有效的避免激活函數的輸出值趨向于0, 從而保證網絡的訓練可以順利進行.隨后將完整的算法模型在本文提出的RustDetection 數據集上同樣采用階段性學習率的方式進行訓練, 即在訓練初始階段采用大學習率, 在后期調整為小學習率, 這樣可以加速模型收斂, 加快訓練速度.

在測試和驗證階段, 目標圖像首先通過已經訓練好的算法模型, 整個模型最后輸出11 620 個候選框信息, 每個候選框包括2 個分類值(銹蝕、背景)和4 個坐標值(候選框的中心點坐標和長寬), 隨后過濾掉所有被識別為背景的候選框, 對剩下的目標候選框進行非極大值抑制, 最后選出IOU 最大的候選框作為目標框, 完成銹蝕目標的識別.

4.3 實驗結果分析

具體的檢測結果如圖8 所示, 其中圖8(a)為電纜隧道內的防火門控制箱銹蝕目標檢測結果, 圖8(b)為檢修電源箱的銹蝕目標檢測結果, 圖8(c)為輸電線路的銹蝕目標檢測結果, 圖8(d)為電表箱的銹蝕目標檢測結果.銹蝕區域由彩色框進行標注, 左上角為該區域的分類標簽.

為了進一步的驗證本文提出算法在模型體量、檢測速度和檢測精度上的優勢, 本文將分別采用VGG-16 和ResNet-50 為主干網絡的標準SSD 模型和本文提出基于注意力上采樣策略的輕量級SSD 模型進行對比.本文的判別標準主要由準確率(Precision), 召回率(Recall)和AP 值(Average Precision)組成, 其中準確率和召回率的計算如式(1), 式(2)所示:

式中, TP 表示正樣本判定正確的個數, FP 數值表示正樣本判定錯誤的個數, FN 數值表示負樣本判定錯誤的個數.而AP 值的計算采用VOC2007 的11-Point方法進行計算, 11-Point 方法是結合Recall 為 [0, 0.1, 0.2,0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0], 分別找到這11 個點下的最大精度值x, 隨后按照式(3)計算平均精度:

表1 為不同的算法模型在本文RustDetection 數據集下的檢測效果對比.

圖8 銹蝕目標檢測結果

表1 不同網絡模型的檢測效果對比(%)

由表1 可見, 若只采用輕量級的MobileNet 結構對SSD 模型進行輕量化處理, 其檢測效果會因為參數損失而變差, 而本文方法由于添加了上采樣和特征融合模塊, 可以做到有效的提升檢測效果, 甚至超越了原標準SSD 算法.不同算法結構的模型參數量、權重大小和在Intel Core i5-7200U CPU 上的檢測時間對比如表2 所示.

表2 不同模型大小對比

綜上所述, 本文方法相較于只采用輕量級的Mobile-Net 的SSD 模型在上采樣網絡上擴張了網絡結構, 增加了53.4%的參數量, 但是相比較擁有龐大參數量的以VGG-16 為主干網絡的標準SSD 模型在參數量減少63.6%, 速度提升46.7%的情況下提升10.47%的準確度和5.99%的平均精度, 相比較以ResNet-50 為主干網絡的標準SSD 也可以做到在參數量減少66%的情況下, 提升2.98%的準確度和0.43%的平均精度.

5 結論與展望

本文提出了一種基于輕量級SSD 目標檢測模型的電力設備銹蝕目標檢測方法, 該方法針對目標檢測模型參數量巨大, 設備計算能力要求高等特點, 提出了一種輕量級的SSD 目標檢測模型, 并采用了一種基于注意力模型的上采樣策略對輕量化后的網絡結構進行優化, 彌補了由于減少參數帶來的精度損失.本文提出的模型可以做到在大幅削減參數量的同時保證96.96%的檢測準確度和71.35%的平均精度, 同時檢測時間僅為980 ms, 若設備允許可以使用GPU 加速,檢測時間僅需240 ms, 可以滿足電力系統安全監控的現實需求.本文的進一步工作為將網絡模型移植和加載進入終端設備, 做到工業現場的實時監測.