基于特征金字塔算法的輸電線路多尺度目標檢測方法

劉業鵬，吳童桐，賈雪健，翟永杰

（華北電力大學 自動化系，河北 保定 071003）

0 引言

隨著智能電網和電力系統自動化的發展，計算機視覺技術越來越多地應用在電力設備的智能巡檢和在線監測中，目標設備的識別和定位成為檢測技術的關鍵。輸電線路基本部件包括導線和防震錘、絕緣子、均壓環、桿塔等。據國家電力公司統計，因為絕緣子斷裂引起的事故目前已成為電力系統故障率的第一位[1]。

目前在輸電線路部件的故障診斷領域，目標如何精確定位成為了學者們研究的熱門問題[2]，以其中研究最多的絕緣子的目標定位問題為例，可以分為以下3類方法：

1）基于輪廓提取的方法。文獻[2]基于非下采樣輪廓波變換提取絕緣子輪廓；文獻[8,9]通過檢測圖像中的圓形輪廓來對應絕緣子片的圓形結構；文獻[3]采用主動輪廓模型算法檢測絕緣子輪廓。以上方法在拍攝視角固定的情況下能得到理想的定位結果，但巡檢圖像的拍攝角度和拍攝距離的多變性導致了絕緣子輪廓的不確定性，使得輪廓提取算法的準確度降低。

2）基于圖像匹配的方法。文獻[4,5]采用角點匹配方法，通過檢測圖像中Harris角點進行絕緣子匹配定位，該算法在純凈背景下的準確性高，但存在桿塔這類具備相似角點特征的偽目標時容易誤檢。

3）采用深度學習的方法。文獻[6,7]采用的faster R-CNN的方法[8]對輸電線路部件進行檢測。該方法較傳統的圖像處理方法而言在目標檢測方面有了很好地提高，但是不適用多尺度下的巡檢圖像檢測。

目前的各種研究可以發現，傳統的輪廓提取、圖像匹配方法不適用于復雜背景下的電力小部件檢測。在2016年劉偉博士提出了基于SSD[9]的目標檢測的方法，該方法具有檢測速度快、識別精度高等優點，SSD在公開數據集VOC上的檢測精度已經高于其他幾類深度學習方法[3]。但是直接利用SSD來檢測電力巡檢圖像效果并不是很好，主要是由于巡檢圖像中目標尺度變化比較大，SSD對小目標檢測精度不高，導致最終效果不是很理想。

因此，本文針對以上問題，提出了FP-SSD模型，該模型加強了深度學習網絡中上下層結構的聯系，增強了對于淺層信息的利用，從而提高了網絡對于多尺度圖片的目標檢測能力。

1 訓練樣本擴充方法

在深度學習的各種方法中往往會對訓練樣本進行樣本擴充以得到更好的訓練效果。Faster R-CNN[2]對訓練樣本擴充的方法是按照50%的概率對圖片進行水平翻轉。SSD[1]中作者除了使用水平翻轉外，還按照50%的概率對訓練圖片進行隨機裁剪，論文中提到這樣的操作可以更好地提高訓練的效果。

本文參考了SSD的樣本擴充中對樣本進行裁剪的思路，提出了一種自適應裁剪算法。該算法會根據訓練樣本中目標框占畫幅的大小將小尺度的目標裁剪出來，這樣擴充后的訓練樣本庫能夠提升檢測的精度。

1.1 樣本預處理流程

在制作訓練樣本集時，首先會根據目標占畫幅的大小將樣本分成3類：含大目標的樣本、含中目標的樣本、含小目標的樣本。目標的大小定義為3個等級，小目標指的是占畫幅5%以下，中目標指的是占畫幅5%～12%，大目標指的是12%以上。本文將中目標以及小目標通過自適應裁剪算法處理以后得到新的增廣樣本，與原始圖片一起進行水平翻轉和亮度扭曲，最后的輸出結果作為訓練樣本。

1.2 自適應裁剪算法

本文采用的巡檢圖片是有DJl的FC550拍攝采集的，圖片尺寸為6000×4800，本文提出的自適應裁剪算法主要針對大圖像中小目標數目較多的情況，將圖片裁剪成一張或者兩張小圖片。裁剪后的圖片作為擴充樣本添加到訓練樣本庫里面，這樣的操作可以增強訓練樣本所包含的有效信息。

該算法的流程如表1所示，首先在圖片中設置兩個初始聚類中心K1，K2（圖片的左下角和右上角），然后計算各個目標框Objecti的中心離兩個初始聚類中心的距離distance1和distance2，通過比較這兩個距離確定這些目標框離哪一個初始點更近，從而將所有目標框分成兩類C1和C2。新的聚類中心由每一類的目標框的中心坐標的求均值所得。最后，通過衡量系數K是否大于設置的閾值來確定將原始圖片劃分成一張小圖或者兩張小圖。

系數K的計算公式如下：

其中，distance是類C1和C2的距離，計算得到的系數如果小于所設的閾值就意味著目標分布的較為稀疏，需要分別以C1和C2的中心為裁剪小圖的中心，將原圖切分成2張小圖；如果系數K大于閾值，則意味著目標框分布較為密集。因此，將原圖切分成1張小圖。

2 基于特征金字塔的目標檢測算法

2.1 算法整體流程

SSD算法框架[2]采用VGG-16模型作為基礎網絡結構，本文在保留原有的SSD300[2]的目標檢測基礎網絡上，特征提取網絡換成了resnet-101。針對原有的SSD模型在小目標識別上精度不夠高的問題，本文參考了FPN特征金字塔的形式，對上下文的信息進行了一個融合。其中，將conv2、conv3、conv4進行了特征融合，融合后的特征層是FP_Conv_1,然后該層和SSD添加的Conv5_X、Conv6_X、Conv7_X、Conv8_X、Conv9_X作為預測的特征層，分別再通過3×3卷積核來進行偏移和類別的預測，FP-SSD結構如圖1所示。

本文選擇融合Conv2_X、Conv3_X以及Conv4_X組成特征金字塔，是為了改善原有結構在低層信息上利用不足的缺點。本文融合了這3個特征層進行實驗，其中特征圖的最大尺度為75，最小尺度為20。考慮到電力部件中大部件的數量也有很多，后面高層的默認框比較大，有利于大目標的檢測。因此，未對后面高層的特征圖進行信息融合處理。這樣的一個多尺度的特征融合能夠有利于多尺度目標的檢測。

2.2 FPN特征融合結構

FP_Conv_1特征層由Conv2_X、Conv3_X、Conv4_X三層的特征圖融合而成，其中高層Conv4_X的特征圖通過反卷積的操作擴大了特征圖的尺度[5]，反卷積的計算如公式（1）所示，輸入尺寸是Finput，輸出尺寸是Foutput，步長為s，卷積核大小為k。本文中使用卷積核大小為2×2、步長為2進行上采樣。低層Conv2_X是通過3×3的擴張卷積計算而來，之所以選擇擴張卷積是因為擴張卷積可以保存較大的感受野，遺失較少的信息。

本文在實驗的過程中選取的dilation值為2，步長為2，pad為2。因此，將特征圖的尺寸縮小到和中間層一樣大小。

圖1 FP-SSD結構圖Fig.1 FP-SSD Structure diagram

表1 閾值Q對檢測精度的影響Table 1 Effect of threshold Q on detection accuracy

2.3 訓練損失函數定義

網絡訓練時的損失函數還是依據SSD的結構由兩部分組成，第一部分是回歸位置的損失，一部分是分類損失，總的損失函數可以表示為：

其中，N為默認框與真實框相匹配的個數，是權重因子，一般設置為1；c為每一類的置信度；l和g分別為默認框和真實框的參數，包括中心位置坐標和寬高。為分類置信度損失，使用多類別Softmax損失，用來回歸bounding boxes的中心位置以及寬高,使用的Smooth L1計算。

3 實驗結果與性能分析

3.1 實驗數據及檢測結果

本文的樣本集有訓練圖片18000張，測試圖片10000張。檢測輸電線路中的5類目標，包括絕緣子（insulator）、桿塔（Tower）、防震錘（damper）、均壓環（ring）、間隔棒（spacer）。

表2 不同方法的檢測精度Table 2 Detection accuracy of different methods

檢測在型號為GTX1080的GPU上進行，使用的深度學習框架是Caffe，批處理大小設置為8。訓練過程中判斷正負樣本的IOU閾值為0.5。采用目標檢測精度mAP作為評價指標。

3.2 樣本擴充對檢測精度的影響

本文在圖像預處理階段加入自裁剪算法，對訓練樣本進行相應的裁剪操作，根據標注后的圖像中目標的分布情況將訓練樣本裁剪成一張或者多張圖。

其中，需要比較系數K與閾值Q的大小，確定裁剪成幾張小圖。因此，Q值的大小對檢測精度有一定的影響，實驗采取的基礎網絡是resnet101+SSD，實驗結果如表1所示。

通過表1可以發現檢測精度隨Q的增大先增后減，原因是當Q增大時會裁剪出更多的小圖，但是由于目標中存在各種尺度的物體都存在。因此，不是Q越大檢測精度越高。最終實驗結果顯示閾值Q取0.24時結果較優。

3.3 特征金字塔結構對精度的影響

為了驗證FP-SSD模型的特征金字塔結構對檢測效果的影響，本文分別測試了5類部件的mAP值，實驗結果如表2所示。

實驗結果可以看出，對于均壓環這類偏小的部件，FP的結構能夠有效提升檢測精度大約6%；對于絕緣子、桿塔這類尺度比較多的目標檢測精度大概可以提升3%；但是對于防震錘、間隔棒檢測精度提升不高，因為這兩類物體體積最小，在巡檢圖像中主要以小尺度存在較多。實驗結果證明，該方法對于多尺度的目標提升效果較為明顯，對于尺度比較單一的目標提升效果一般。

3.4 實驗結果分析

實驗結果表明，樣本擴充的辦法對于模型精度提升有效，當采用FP-Resnet+SSD結構時，擴充樣本前后精度能提高0.7%；將特征提取網絡由VGG16替換成Resnet后，精度能提升3.2%，這也說明網絡深度的增加對于特征的提取效果非常明顯；采用FP結構可以有效結合上下文語義信息，能夠提升0.9%的精度。

4 結論

本文針對實際航拍圖像中多尺度目標檢測方法進行研究，提出了FP-SSD算法，在原始SSD目標檢測算法上進行了兩個方面的改進：

1）對訓練樣本進行處理，采用自適應裁剪算法裁剪訓練樣本，以適應單張圖片中不同尺度的目標，同時擴充訓練樣本數量。

2）在整體網絡結構中加入特征金字塔網絡，實現了上下文的特征融合。

針對實際巡檢圖像的應用研究表明，本文所提出的目標檢測方法，較原始SSD算法而言，基于自裁剪算法的擴充樣本方法提升精度0.6%，加入FP網絡能夠提升0.9%。在小尺度目標檢測方面精度有了明顯的提高，總體提升6.1%；同時，對大尺度目標保持著良好的檢測效果，說明本方法對于多尺度目標檢測有著更好的適用性。