基于改進區域候選網絡的航拍圖像中絕緣子目標識別方法

翟永杰，李海森，吳童桐，苑 朝

（華北電力大學自動化系，河北 保定 071003）

0 引言

我國電網規模龐大，高壓和超高壓輸電線路快速發展。架空輸電線路及桿塔附件長期暴露在戶外，存在自然破壞和老化等問題，嚴重影響著電網的安全運行。絕緣子是電網中用量龐大的零部件，出現故障的幾率較大，檢測絕緣子的狀態對保障電網安全運行十分必要，因此需要定期巡檢[1]。但輸電線路所經區域復雜，利用傳統的人工巡檢方式，不僅工作量大、條件艱苦，而且效率較低。利用無人機搭載高清數碼相機對桿塔和線路進行巡視，并通過圖傳設備將視頻及圖像實時傳輸至地面站，具有高效、快速、可靠、成本低、不受地域影響等優點，已成為輸電線路巡檢的新方向和研究熱點[2]。

目前國內外識別絕緣子的方法可大致分為以下3種：

（1）基于輪廓提取。文獻[3]通過檢測圖像中的圓形輪廓來對應絕緣子片的圓形結構；文獻[4]基于非下采樣輪廓波變換提取絕緣子輪廓，取得了一定成果；文獻[5]認為航拍圖像中絕緣子為橢圓形狀，通過橢圓擬合實現了絕緣子的定位。但航拍圖像背景復雜，并且拍攝角度和視距的多變性導致了絕緣子輪廓的不確定性，使得輪廓提取算法的準確度較低。

（2）基于顏色特征。文獻[6]依據玻璃絕緣子的顏色特征初步定位絕緣子，對于玻璃絕緣子的識別有較好效果；文獻[7]認為絕緣子偏綠，對應HIS顏色空間的S分量，采用最大熵閾值分割定位絕緣子；文獻[8]采用分塊統計HIS空間中的H分量和S分量屬于泛綠的區域來進行絕緣子的粗定位；但以上方法均針對玻璃材質的絕緣子，對于白色、紅褐色和黑色的瓷質絕緣子難以實現定位。文獻[9]在飽和度分量S中對絕緣子進行閾值分割，但不能排除飽和度分量與絕緣子相近的其他目標的干擾。

（3）基于紋理特征。文獻[10]利用灰度共生矩陣提取絕緣子的紋理特征；文獻[11]基于MPEG-7紋理特征對絕緣子進行定位，對于背景簡單且絕緣子紋理性較強的圖像檢測效果較為理想。但是基于紋理特征的方法計算量大，并且航拍圖像也可能因為存在紋理特征而成為與絕緣子相近的偽目標，因此該方法的應用性不強。

由于航拍圖像的背景高度復雜化和多樣化，現有方法都是基于絕緣子的某單類特征進行檢測，其檢測的準確率很難達到輸電線路巡檢要求。本文引入RPN（區域候選網絡）對航拍圖像中的絕緣子進行目標檢測，但由于文獻[12-13]中的RPN針對的都是多類目標，而多類目標和單類絕緣子目標的寬高比以及占畫幅比等方面存在較大差異，所以為了適應航拍圖像中絕緣子的檢測，需要對RPN進行改進。

1 算法的總體框架

針對航拍圖像中絕緣子的單類目標檢測問題，通過改進RPN[12-13]，并將其應用于航拍圖像中絕緣子檢測。針對航拍圖像中絕緣子的特點，首先通過聚類分析得到最合適的錨點框初始值，從而實現RPN錨點框的初始化；然后，通過改進損失函數，解決RPN在訓練過程中正負樣本不均衡的問題，進而實現絕緣子的檢測。

改進后的絕緣子檢測流程如圖1所示，主要從兩方面對算法進行了改進：初始化錨點框；改進損失函數。具體步驟為：先經過卷積神經網絡對絕緣子圖片進行特征提取，然后將其輸入RPN中，經過前景和后景的二分類以及候選錨點框的偏移量回歸，最終實現絕緣子的識別與定位。

圖1 絕緣子檢測流程

1.1 初始化錨點框

文獻[12-13]中的RPN針對的是多類目標，而多類目標和單類絕緣子目標的寬高比和占畫幅比方面存在較大差異，為了訓練出適應航拍圖像中絕緣子的檢測模型，需要對RPN的錨點框進行初始化，而初始化的依據就是訓練集中絕緣子的標注框信息，通過聚類統計分析出標注框的尺度和寬高比，進而初始化RPN的錨點框。

1.2 改進損失函數

為了解決正樣本數量太少（S正/S負?γ，其中γ為平衡因子）容易引起訓練失衡的情況，在交叉熵損失函數[14]中加入了權重系數，如公式（1），對于每張圖片而言，其中正負樣本的權重系數隨著 S正/S負變化而動態地調整：

根據上文中邊界框回歸的損失函數和前后景的損失函數，可以定義改進后的RPN的優化函數，最終的損失函數仍然采用Faster RCNN中的損失函數[12]， 如公式（2）所示：

式中：i是一個mini-batch中錨點的索引；pi是索引為i的錨點被預測為前景的概率，即目標的置信度，如果這個錨點為正樣本，則真實值標簽為1；如果這個錨點為負樣本，則真實值標簽為0；ti是包含4個參數的邊界回歸框的預測值；ti*是正樣本到真實邊界框需要的回歸量；Lfb是用于分類出前后景的損失函數； Lreg（ti， ti*）是邊界框的回歸損失函數。pi*Lreg意味著只有正樣本（pi*=1）才對回歸損失函數起作用。用于分類和回歸的層分別由{pi}和{ti}組成。這2個子網絡層通過Nfb和Nreg進行歸一化，并由平衡因子λ平衡兩者各自的損失函數。

2 RPN結構及原理

經典的檢測方法，如RCNN和Fast RCNN[15]，生成檢測框非常耗時，而Faster RCNN[12]則拋棄了傳統的滑動窗口和seletive search方法[16-17]，直接使用RPN生成檢測框，極大提升了檢測框的生成速度和準確性，這也是Faster RCNN最大的優勢。

Faster RCNN的結構如圖2所示。其中，RPN是以圖像的特征圖作為輸入，并輸出帶有目標對象預測分數的一組矩形建議框[11]。

RPN實際上分為2個分支（如圖3所示），上面的一條分支通過Softmax分類器對錨點框進行分類，獲得前景和后景；下面的一條分支用于計算錨點邊界框回歸的偏移量，而最后的區域候選層則負責綜合前景和邊界框回歸的偏移量，獲得候選框，同時剔除太大和超出邊界的候選框。

圖2 Faster RCNN的結構

圖3 RPN的結構

2.1 錨點

在每個滑動窗口位置，同時預測多個區域候選框，其中k表示每個位置的最大候選框的數量。因此，回歸層具有4k個輸出，編碼k個框的坐標，并且分類層輸出2k個評分，評分每個候選框是目標對象或不是目標對象的概率，如圖4左側所示。

圖4 RPN中的錨點框

錨點位于所討論滑動窗口的中心點，并且與尺度和縱橫比相關（如圖4右側所示）。 默認情況下，使用3個尺度和3個高寬比，在每個滑動位置產生k=9個錨點框。對于大小為W×H的特征圖，總共有W×H×k個錨點框。

2.2 邊界框回歸

邊界框回歸采用一種對錨點框進行微調的方法，使得候選框和標記的真實目標框更加接近。

對于窗口一般使用四維向量（x，y，w，h）來表示，分別表示窗口中心點的坐標和寬高。如圖5所示，實線框P代表原始的Proposal，虛線框G代表真實目標框。邊界框回歸的目的是尋找一種關系使得輸入的原始框P經過映射得到一個跟真實框G更加接近的回歸框G。

圖5 邊界框回歸

即：給定（Px，Py，Pw，Ph），尋找一種映射 F，使得：

式中： 輸入 P=（Px， Py， Pw， Ph）是 Region Proposal層的輸出，也就是RCNN中的Pool5 feature（特征向量）。

文獻[5]給出一種思路， 先做平移（Δx， Δy）：

由式（4）—式（9）可知， 需要學習的是 dx（P），dy（P）， dw（P）， dh（P）這 4 個變換。 當輸入的候選框與真實目標框相差較小時（RCNN設置的是Intersection Over Union，即 IoU＞0.6），可以認為這是一種線性變換，那么就可以使用線性回歸來建模，對窗口進行微調，從而得到預測值G=[dx（P）， dy（P），dw（P）， dh（P）]，這 4 個值是經過真實目標框和候選框計算得到的真正需要的平移量（tx，ty）和尺度放縮量（tw， th）。

線性回歸就是給定輸入的特征向量X，學習一組參數W，使得經過線性回歸后的值跟真實目標框非常接近，即Y≈WX。

那么目標函數可以表示為 d*（P）=w*Φ5（P）， 其中Φ5（P）是輸入Proposal的特征向量，w*是要學習的參數（*表示x，y，w，h，也就是每一個變換對應一個目標函數），d*（P）是得到的預測值。要讓預測值跟真實值 t*=（tx， ty， tw， th）的差距最小，得到損失函數為：

函數優化目標為：

利用梯度下降法或者最小二乘法可以得到w*。

3 RPN結構的改進

在圖2的Faster RCNN示意結構圖中，黑色框部分為RPN，與Fast RCNN相比，其第一階段的候選提議框是不同的，而Fast RCNN采用的是探索式的候選提議框[14]，這樣的候選框提取效率相對比較低。本文基于Faster RCNN中的RPN進行改進，結構如圖6所示。

與Faster RCNN中的RPN（基于VGG網絡[18]提取的最后一層特征圖進行第一階段候選框的提取）相比，本文的改進方法結合ResNet網絡[19]的跳層連接方式以及inception網絡[20]的多尺度卷積核思想，不僅使用了VGG網絡最后一層的特征圖，還使用了VGG網絡中的Layer2，Layer3和Layer5層的特征圖進行候選框的提取[21]。其中，Layer2和Layer3分別經過如圖7（a）所示的inception示意圖，一次性使用多個不同尺度的卷積核來抓取多個范圍不同的特征信息，并讓網絡自己選擇需要的特征，從而消除卷積核的尺度對識別結果的影響。同時，Layer2和Layer3使用如圖7（b）所示的ResNet的跳層連接思想，直接將上一層所抓取的特征信息跳層傳遞給下一層，不用讓其每次都重新學習，而且因為使用了跳層連接的方式，避免了下采樣在進行低層信息保留時，冗余信息的產生。

圖6 改進后的RPN結構

圖7 Inception與ResNet的結構

4 訓練樣本預處理

4.1 訓練樣本擴充

對于航拍絕緣子圖像而言，存在著訓練樣本不足、優質樣本缺乏等問題，需要對訓練樣本進行擴充，通過圖像的旋轉、鏡像等方式，并結合絕緣子的3D人工圖像進行樣本擴充。如圖8為通過3D建模生成的圖像。

圖8 人工合成的3D絕緣子圖像

4.2 真實目標框的分析與錨點框初始化

針對絕緣子這一單一檢測目標，其人工標注框的寬高比可以統計出來，如圖9所示為所有標注框的寬高比分布情況，利用K-MEANS[23]方法對標注框的寬高比和尺度進行聚類統計，據此可以選擇錨點框的初始比率為[1：3， 1：1， 3：1]， 錨點框尺度為[120，280，460，600]。上述做法解決了訓練過程中正樣本較少的問題，有利于提升最終模型的準確性。

圖9 數據標注框的寬高比分布情況

5 實驗結果與分析

為驗證改進后的RPN識別絕緣子的有效性，將其與未改進的RPN識別結果進行比較。實驗采用某電力公司真實航拍絕緣子圖像以及模擬3D絕緣子圖像為樣本集（共計22 244張，訓練集200 00張，測試集2244張），如圖10所示，在不同IoU重疊率下，通過對比改進前后RPN對正樣本的召回率，來證明通過對真實目標框的分析以及選擇錨點框的初始化是很有必要的。

圖10 在測試集上驗證召回率和IoU重疊率的關系

使用的服務器GPU型號為GTX 1080，使用訓練集數據分別對改進前后的RPN進行訓練，總共迭代次數為128 000次，在70 000次迭代之前使用的學習率為0.000 6，在70 000次迭代到100 000次迭代之間使用的學習率為0.000 3，之后的迭代使用學習率為0.000 03。圖11為改進后的RPN在訓練集上的loss曲線和測試集上的loss曲線，由loss曲線可知，迭代120 000次之后，測試集上的loss不再下降，這說明終止迭代的次數也是合理的。

圖11 改進后的RPN在訓練集上的loss和測試集上的loss曲線

在測試集（2 244張絕緣子圖片）上驗證評估改進前后RPN的檢測精度。計算平均精度[24]時采用的重疊率為0.5，圖12（a）為RPN的RP曲線，圖12（b）為改進后的RPN的RP曲線。由此可以得出，改進后RPN的精度較之前提高了約5%。如圖13所示為絕緣子檢測效果的對比。

圖12 在測試集上的絕緣子檢測

圖13 改進前后的RPN用于絕緣子檢測的效果

6 結語

本文基于改進后的RPN對航拍圖像中絕緣子進行目標檢測，具有以下特點：

（1）改進后的RPN使用了Inception的多尺度的卷積核和ResNet跳層連接的思想，對檢測效果有明顯的提升。

（2）針對絕緣子的真實目標框進行尺度和寬高比的聚類分析，以此進行錨點框的初始化，有利于提高正樣本的召回，進而有利于最終模型精度的提升。

結果表明，改進后的RPN能更準確地識別和定位絕緣子。