基于增強特征金字塔和可變形卷積的絕緣子缺陷檢測

張晶焯， 佘楚云， 伍國興， 肖黎， 賴振宇， 齊冬蓮

(1. 深圳供電局有限公司，深圳 518001；2. 浙江大學電氣工程學院，浙江 杭州 310027)

0 引言

絕緣子廣泛應用于高壓架空輸電線路、發電廠和變電站等電力系統場景，起到母線和電氣設備絕緣及機械固定的作用[1—2]。絕緣子的功能完整是電網安全穩定運行的必要前提。然而，絕緣子大多安裝在室外，長期暴露在自然環境下,容易產生局部破損、自爆缺失、懸掛異物等問題[3—6]。常規巡檢中，一般通過人工目視判斷絕緣子是否異常，存在效率低、巡檢周期長等問題。視頻監控系統、智能巡檢機器人和無人機巡檢等技術的發展使基于圖像處理的絕緣子缺陷檢測成為可能[7—10]。

基于圖像的絕緣子缺陷檢測算法一般由絕緣子定位和缺陷識別2部分組成。其中，絕緣子定位算法已得到廣泛研究[11—13]，并取得了不錯的定位效果。現有的缺陷識別算法以識別絕緣子自爆缺失為主。例如，基于直方圖統計和空間序列關系的特征檢測算法[14]，基于缺陷圖像和標準圖像異或操作的缺陷定位算法[15]，基于輪廓和歐式距離的自爆缺陷檢測算法[16]等。但上述絕緣子定位算法需要人為設計圖像特征，對復雜背景的抗干擾性較差。而后續缺陷識別算法嚴重依賴于絕緣子輪廓提取或前景分割效果，無法應對局部破損、裂紋等情況，且往往只適用于特定場景，難以快速地大規模應用。

深度學習理論在計算機視覺領域的快速發展和廣泛應用給絕緣子的缺陷識別提供了新的思路[17]。與傳統圖像處理技術相比，基于深度學習的算法不需要人為設計特征且具有更強的特征提取能力，可從大量圖像數據中自動學習人類難以觀測的圖像特征，并同時適用于多類場景。以快速區域卷積神經網絡(faster regional convolution neural net works,Faster RCNN)、單次檢測網絡(you only look once,YOLO)、單發檢測器(single shot detector,SSD)為代表的檢測算法逐漸被應用于絕緣子缺陷檢測中[18—21]，并取得了不錯的表現。但是，上述算法一般只利用了最后一層或幾層特征用于絕緣子的定位和缺陷識別，缺少低層特征和高層特征之間的信息融合，在拍攝距離較遠、缺陷區域較小等情況下效果不佳。此外，基于深度學習的檢測算法一般采用矩形框表示被檢測的物體位置，由于拍攝角度和絕緣子自身特點，矩形框內絕緣子像素的比例較低，存在較大的背景干擾，不利于特征提取。

針對上述問題，文中提出一種基于增強特征金字塔和可變形卷積的絕緣子缺陷識別方法：在網絡結構上，以已有特征金字塔網絡(feature pyramid network,FPN)[22]為基礎，增加增強的自底而上的路徑，實現不同維度、不同路徑特征的充分融合，提高小目標檢測精度；在特征提取上，采用可變形卷積網格(deformable convolutional networks,DCN)[23]代替普通卷積，通過自適應改變采樣點，增大模型感受野，降低背景的干擾。最后，利用多場景采集的多類絕緣子圖片對該方法進行效果驗證，并將實驗結果與采用已有方法得到的結果進行對比分析，表明使用該方法可明顯地提升性能。

1 增強特征金字塔

1.1 自底而上的路徑

經典的檢測網絡一般采用直筒型的特征提取模式，從輸入圖片到最后一層特征圖，通過步長為2的卷積或池化操作，逐步降低特征圖的分辨率大小，形成自底而上的路徑，即特征金字塔。低層的特征圖空間分辨率較大，具有更精確的位置信息，但提取的圖像語義信息較弱，噪聲干擾更多；而高層的特征圖經過更多的卷積操作，具有更強的語義信息，但空間分辨率較小，位置信息逐漸丟失，不利于精確定位。文中定義所有寬高為1/2k原圖大小的特征圖中的最后一層為Ck，得到由{C2,C3,C4,C5}組成的自底而上的路徑，如圖1所示。其中，Ck與Ck+1之間一般由多個卷積(conv)、激活函數(ReLu等)和批歸一化層(BN)等組成，由選取的基礎網絡的具體結構確定。

圖1 增強特征金字塔結構Fig.1 Structure of enhanced feature pyramid

1.2 自頂而下的路徑

結合上述低層特征和高層特征的優點，FPN網絡[15]在原有的自底而上路徑的基礎上，增加一個自頂而下的路徑，實現高低層特征融合。首先，直接對C5進行1×1卷積操作得到P5；接著，對高層的特征圖Pk+1進行步長為2的最近鄰上采樣，產生與Ck相同分辨率的特征圖，其具有更強的語義信息，有助于分類任務；對低層的特征圖Ck進行1×1的卷積操作，產生與Pk+1相同通道數的特征圖，其具有更精確的位置信息，有助于坐標回歸任務；最后，將這2個新的特征圖進行逐像素相加，得到特征圖Pk。考慮計算效率，最終得到由{P3,P4,P5}組成的自頂而下的路徑。

1.3 增強的自底而上的路徑

上述自頂而下的路徑使得低層的特征圖在保持原有位置信息的同時，能夠獲取更強的語義信息，從而提升模型對小目標物體的檢測性能。但是，這種自頂而下的路徑一般經過幾十甚至上百個卷積層操作，不利于信息傳遞和訓練時的梯度回傳。因此，增加一個增強的自底而上的路徑，縮短信息流動的路徑，同時將低層準確的位置信息進一步融入到新的特征圖中，進一步加強對小目標物體的檢測，提升模型整體性能。

具體來說，P3直接用于后續預測，即L3。接著，對低層的特征圖Lk-1進行步長為2的下采樣，產生與Pk相同分辨率的特征圖；對高層的特征圖Pk進行1×1的卷積操作，產生與Lk-1通道數相同的特征圖；然后將2個新的特征圖進行逐像素相加，得到特征圖Lk，用于最終的預測。最終得到由{L3,L4,L5}組成的增強的自底而上的路徑。

2 可變形卷積

絕緣子長條狀的外形特點和多變的拍攝角度使得常規的矩形框表示形式下，絕緣子有效信息的像素比例較低，特征提取過程受到較大的背景干擾，如圖2(a)，(b)所示。因此采用可變形卷積代替常規卷積，增強模型的特征提取能力，幾種卷積方式見圖2(c)—(e)。

圖2 可變形卷積Fig.2 Illustration of deformable convolutions

一般情況下，卷積神經網絡采用普通卷積操作，如圖2(c)所示(以3×3卷積為例)。普通卷積以滑動窗口的形式在輸入特征圖x上的規則網格G內進行采樣操作，例如：G={(-1,-1),(-1,0),…,(0,1),(1,1)}，代表步長為1的3×3卷積的采樣網格。

輸出特征圖y上的每個位置l0計算如下 ：

(1)

式中：ln為第n個點的采樣偏移量；x(·)為特征圖對應位置的值；w(·)為卷積核對應位置的權重。

對于可變形卷積，采樣網格G中的每個點增加偏移量{Δln|n=1,…,N},N=|G|，則式(1)修改為：

(2)

通過自適應學習上述偏移量，模型可以根據輸入樣本中絕緣子的形態，動態調整采樣點的位置，間接增大了模型的感受野。

由于每個點的偏移量一般是小數，因此須采用雙線性插值計算得到每個浮點坐標的像素值。顯然，普通卷積和空洞卷積是可變形卷積的特例，而可變形卷積往往具有更強的特征提取能力。

3 整體方案設計

3.1 基礎網絡

選取ResNet[24]殘差網絡作為絕緣子缺陷檢測模型的基礎網絡，其特點是采用跳躍連接的結構，解決了網絡太深導致的模型退化問題。同時上述結構有利于訓練過程中的梯度反向傳播，在圖像分類、目標檢測等計算機視覺基礎任務中得到廣泛應用。考慮算法推理速度和識別性能，分別選取ResNet-18和ResNet-101作為基礎網絡。

3.2 頭部預測結構

分別選取Faster RCNN和YOLOv3 2類不同的頭部預測結構，如圖3所示。其中，Faster RCNN采用兩階段檢測思路，借助區域推薦網絡(region proposal network,RPN)篩除大量無用的候選框，實現稀疏預測；YOLOv3采用一階段檢測，直接在多個特征圖上設置密集的錨框，借助密集預測達到與Faster RCNN相當的性能。

圖3 頭部預測結構Fig.3 Structure of head prediction

3.3 算法整體流程

文中提出的基于增強特征金字塔和可變形卷積的絕緣子缺陷識別算法的整體流程如圖4所示。

圖4 整體流程Fig.4 Overall process

3.4 絕緣子缺陷數據集

采集的絕緣子圖像覆蓋變電站、鐵路接觸網、高壓輸電線等多個場景，包含瓷絕緣子、玻璃絕緣子等多種類型。采用人工標注的方法對收集到的絕緣子圖片進行處理。

由于帶缺陷的絕緣子圖片數量遠少于正常絕緣子，文中采用一系列數據增強操作進行正樣本擴充，包括：隨機旋轉、水平翻轉、“復制-粘貼”策略、隨機裁剪、“擦除”策略等。此外，為增強模型的泛化能力，在訓練過程中加入隨機噪聲、隨機光照和對比度等操作。最后，得到共5 560張絕緣子缺陷圖片，按照2∶1∶1的比例，劃分為訓練集、驗證集和測試集。

4 實驗結果

首先在公開的COCO數據集上對搭建的模型進行預訓練，然后用預訓練好的模型權重初始化絕緣子缺陷檢測模型，再用制作好的訓練集進行訓練，并在驗證集上評估對比不同模型的性能。文中所有實驗均采用隨機梯度下降法訓練絕緣子缺陷檢測模型，初始學習率0.005，迭代次數40 000次，在第30 000次和第35 000次時學習率降為原來的1/10。

采用平均精確率(average percision,AP)來評價模型性能的優劣。在固定交并比(intersection over uni on,IoU)閾值下，計算不同召回率下的平均準確率。AP值越大，檢測精度越高。

(3)

(4)

(5)

式中：NTP為缺陷絕緣子被正確檢測到的個數；NFP為正常絕緣子被錯誤預測為缺陷絕緣子的個數；NFN為缺陷絕緣子未被檢測到的個數；N為測試集中所有圖片的個數；P(k)為在能識別出k個圖片的時候P的值； Δr(k)為識別圖片個數從k-1變化到k時R值的變化情況。。

4.1 對比分析

不同模型結構在驗證集上計算得到AP值，其結果如表1和表2所示(“√”代表使用該模塊)。可以看出，增強的自底而上的路徑對模型的性能提升明顯，且隨著基礎網絡特征提取能力的增強而增強(ResNet-18：+0.045，ResNet-101：+0.063)。加入可變形卷積分別得到0.032和0.018的提升。增強特征金字塔結構和可變形卷積能夠兼容，并取得最佳性能(ResNet-18:由0.537提升至0.604,+12.4%, ResNet-101:由0.583提升至0.691,+18.5%)。兩階段的頭部預測結構的性能整體上要優于一階段(ResNet-18：兩階段為0.604，一階段為0.589；ResNet-101:兩階段為0.691，一階段為0.670)。

表1 ResNet-18對比實驗結果Table 1 Comparison results based on ResNet-18

表2 ResNet-101對比實驗結果Table 2 Comparison results based on ResNet-101

4.2 實例驗證

將最終訓練得到的基于增強特征金字塔和可變形卷積的絕緣子缺陷檢測模型在測試集上驗證實際效果，如圖5所示。紅色橢圓部分為缺陷區域，“jyz_zc”代表絕緣子正常，“jyz_yc”代表檢測到絕緣子缺陷，數字代表檢測結果的置信度分數。其中，(a)為巡檢機器人仰視拍攝的玻璃絕緣子缺失圖片結果；(b)為巡檢機器人仰視拍攝的豎立陶瓷絕緣子裂紋圖片結果；(c)為鐵路巡檢車夜間拍攝的絕緣子局部破損圖片結果；(d)為工作人員手機拍攝的豎立絕緣子破損圖片結果。可以看出，模型能夠在不同拍攝角度、不同背景情況下，識別不同類型的絕緣子并定位缺陷絕緣子，包括自爆缺失、裂紋、局部破損等常見缺陷類型，體現了深度學習模型強大的泛化能力。

圖5 不同場景下的檢測結果Fig.5 Test results of different scenarios

5 結語

針對絕緣子局部破損、裂紋等小目標檢測情況，提出一種基于增強特征金字塔和可變形卷積的絕緣子缺陷檢測方法，并在多場景采集的圖像中對文中提出的改進方法進行了對比分析和實例驗證。最終實驗結果表明，該方法能夠顯著提高缺陷區域較小情況下的檢測精度，同時可以根據實際任務要求，自由選擇合適的基礎網絡、頭部預測結構。此外，該方法適用于變電站、高壓輸電線等各類絕緣子應用場景，具有較好的通用性。后續將在模型部署方面進行進一步優化，在保持檢測精度的同時，降低模型對GPU等硬件資源的要求，降低部署難度和應用成本。