無人機巡檢圖像電力小部件識別技術研究

張鷗 徐強勝 劉靖波 劉瑞 史哲 彭丹青 賈高毅

摘? ?要：隨著無人機（UAV）在電巡線作業中的應用推廣，對無人機巡檢圖像的目標識別需求也越來越強烈。傳統的電力部件識別流程常使用經典的機器學習算法，如支持向量機（SVM）、隨機森林或adaboost，結合梯度、顏色或紋理等淺層特征來對電力部件進行識別，難以達到較高的準確率。隨著卷積神經網絡（CNN）在目標識別中的興起，基于區域的卷積神經網絡（RCNN）通過使用CNN從圖像中提取可能含有目標的區域來檢測并識別目標。Fast R-CNN和Faster R-CNN利用CNN網絡提取圖像特征，后接一個區域提議層，優化了提取可能含有目標區域的方式并改進識別目標的分類器，使得目標的檢測和識別幾乎實時。本文詳細描述了Faster R-CNN算法流程，并分析了幾個關鍵參數，如dropout比例、nms、批處理尺寸對識別結果的影響，給出了一些針對Faster R-CNN算法的建設性調優建議。最后利用實際采集的電力小部件巡檢數據構建的數據集對Faster R-CNN算法進行測試驗證。實驗結果表明，基于深度學習的識別方法實現電力小部件的識別是可行的，而且利用Faster R-CNN進行多種類別的電力小部件識別定位可以達到每張近80ms的識別速度和92.7%的準確率。這些結果也表明Faster R-CNN算法的優勢。

關鍵詞：無人機巡檢圖像? 電力部件識別

中圖分類號：TM755? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ?文章編號：1674-098X（2019）05（b）-0110-04

近幾年隨著無人機（Unmanned Aerial Vehicle，UAV）在各行業應用的逐漸普及，電力巡線無人機受到各大電網公司的廣泛關注。一方面，無人機巡線具有野外作業風險低、成本低以及作業靈活的特點;另一方面，產生的海量數據需要經過人工判讀才能得到最終的巡檢報告，因此采用圖像識別的方法對這些數據進行部件檢測識別具有十分重要的意義。

無人機巡檢得到的圖像背景復雜、小部件與背景對比度低、不同地區不同季節背景差異較大、存在大量干擾。傳統的電力部件識別算法主要采用SIFT（Scale-invariant feature transform）、邊緣檢測符、HOG（Histogram of Oriented Gridients）等，并不很好的適用于電力部件，采用的分割算法主要基于部件外圍輪廓骨架、自適應閾值等進行圖像分割。這些方法缺少對低層特征進行綜合利用進而達到全局最優識別的目的。Malik團隊的輪廓檢測及層次圖像分割方法和多尺度組合聚合（Multiscale Combinatorial Grouping， MCG）方法以及J. Uijlings和Kvan de Sande等人提出的基于選擇性搜索（Selective Search）的目標識別方法給出了將多種低層次特征進行全局優化并構建層次結構模型的范式，提高了準確率。本文研究了深度學習在電力部件識別中的應用，以及采用優化算法對參數進行調優，針對電力小部件識別問題分析了Faster R-CNN算法的效果和性能。

1? 基于區域提議的卷積神經網絡RCNN

電力部件識別主要有目標位置的確定與目標類別的判定。

對于目標位置的確定，主要有滑動窗和區域提議的方式。其中區域提議方式識別的典型算法是基于區域的卷積神經網絡RCNN。Ross等在2014年提出的基于區域的卷積神經網絡方法RCNN，成為基于區域提議方式進行識別的典型方案。在檢測階段域。RCNN分為以下4個步驟：

（1）使用視覺方法（如Selective Search）生成大量候選區。

（2）對每個候選區域用CNN進行特征提取，形成高維特征向量。

（3）將這些特征量送入一個線性分類器計算屬于某個類別的概率，用于判斷所包含對象。

（4）對目標外圍框的位置和大小進行一個精細的回歸。

RCNN第一步的區域提議是選擇性搜索，使用得分最高的前2000個區域可以有效減少后面特征提取的計算量，能很好地應對尺度問題;CNN在實現上采用GPU進行并行計算，外圍框回歸使得對目標定位的精確性進一步提升。在訓練階段，RCNN也有以下4個步驟：

（1）首先，使用選擇性搜索集中生成每張圖片的候選區域，并對每個候選區域用CNN提取特征，這里CNN采用的是訓練好的ImageNet網絡。

（2）其次，利用候選區域和提取出的特征對ImageNet網絡進行調優，調優依據標準的反向傳播算法進行，從特征層開始向后調整各層權重。

（3）然后，以特征層輸出的高維特征向量和目標類別標簽為輸入，訓練支持向量機。

（4）最后，訓練對目標外圍框位置和大小進行精細回歸的回歸器。

2014年和2015年，Ross和微軟亞洲研究院的研究者陸續提出了改進的RCNN方法，包括首次引入空間金字塔池化層從而放寬了對輸入圖片尺寸限制并提高準確率的SPPnet;采用自適應尺度池化能夠對整個網絡進行調優從而提高深層網絡識別的準確率的Fast R-CNN;最后是Faster R-CNN，通過構建精巧的區域提議網絡來代替時間開銷大的選擇性搜索方法，從而打破計算區域提議時間開銷大的瓶頸問題，使實時識別成為可能。本文主要研究了利用Faster R-CNN方法對電力部件進行識別。

2? 基于Faster R-CNN方法的電力部件識別定位

2.1 電力部件識別的網絡訓練

Faster-RCNN方法包含兩個CNN網絡：區域提議網絡RPN（Regional Proposal Network）和Fast R-CNN檢測網絡。訓練階段的主要步驟如圖1所示。

（1）預訓練CNN模型。

RPN網絡和檢測網絡都需要預訓練的ImageNet網絡進行初始化，通常采用的網絡主要有ZFnet網絡和VGG16網絡。因本文數據集規模較小，故選用ZFnet網絡。利用ILSVRC2012圖像分類任務中的訓練數據（120萬張圖像，1000類）對ZFnet模型進行預訓練。區域提議網絡和檢測網絡都是在ZFnet輸出后添加特定的層得到的。這些特定層可以對輸入圖片提取出可能含有目標的區域，并計算出該區域為目標的概率。

（2）RPN網絡訓練。

用電力部件圖像構建圖像訓練集，但電力部件圖像集與預訓練圖像集無論是類別數量還是圖像樣式都存在很大的差別。在用電力部件圖像集訓練RPN網絡時，直接用上一步預訓練的ZFnet模型初始化RPN，使用反向傳播算法對區域提議網絡進行調優。

RPN網絡輸入為任意大小圖像，輸出為可能包含目標的區域框。如圖3所示，在ZFnet的CONV5后面添加一個小的卷積層，對于特征圖上的每一個位置（對應原始圖像上一個位置），由小卷積層進行卷積運算，即在此位置開一個小窗口進行卷積運算，得到同一個位置對應的256維向量（由于有256個通道），該向量反映了該位置小窗口（對應原始圖像上某一窗口）內的深層特征。由這個256維的特征向量可以預測：（1）該位置小窗口屬于目標/背景的概率值，即得分;（2）該位置附近包含目標的窗口相對于該位置小窗口的偏差，用4個參數表示，2個平移，2個放縮。

采用3種不同尺寸和3種不同比例（1：1，1：2，2：1）組合成的9種基準小窗口對包含目標的窗口的位置進行預測，可以使區域提議更加準確。

（3）Fast R-CNN檢測網絡訓練。

根據上一步生成的區域提議結果是基于Fast-RCNN方法訓練獨立的檢測網絡，檢測網絡也利用ZFnet預訓練模型初始化。

對輸入圖像進行5層卷積網絡的特征提取，第5層特征圖（CONV5）是一個256×256的特征圖，取出CONV5上對應的深度特征，將256個通道內的全部特征串聯成一個高維（4096維）特征向量，稱為FC6特征層，后面添加另一個4096維的特征層，形成FC7，FC6和FC7之間采用完全連接。由FC7特征層可預測：①候選區域框屬于每個類別的概率，即得分;②目標對象外圍框的更合適的位置，用它相對于候選區域框的2個平移和2個放縮共4個參數表示。通過預先標記的信息利用反向傳播算法對該檢測網絡進行微調。

（4）兩個網絡的CNN共享和聯合調優。

將兩個網絡單獨訓練并未實現卷積網絡的參數進行共享。利用第三步訓練的檢測網絡來初始化RPN網絡，并固定共享的深度卷積層（如圖2），對RPN網絡的特殊部分進行調優，為了與檢測網絡對應，稱此部分為RPN網絡的FC層，這樣兩個網絡就共享了深度卷積層。

最后，固定共享的卷積層，對Fast R-CNN的FC層進行調優。這樣兩個網絡就共享了卷積層并形成了一個聯合的網絡。

2.2 檢測識別過程

由上可知，RPN網絡和Fast R-CNN網絡最終共用同一個5層的卷積神經網絡，使得整個檢測過程只需完成一系列卷積運算即可完成檢測識別過程，徹底解決了原來區域提議步驟時間開銷大的瓶頸問題。

檢測識別的過程如圖2所示，其實現步驟為：

（1）對整個圖像進行系列卷積運算，得到特征圖CONV5;

（2）由區域提議網絡在特征圖上生成大量候選區域框;

（3）對候選區域框按照得分排序后，進行非最大值抑制，保留得分較高的前300個框;

（4）取出特征圖上候選區域框內的特征形成高維特征向量，由檢測網絡計算類別得分，并預測更合適的目標外圍框位置。

3? 實驗結果對比

無人機拍攝影像具有分辨率較高、目標較小的特點，拍攝影像的角度具有多樣性和隨機性。本文識別3類小型電力部件—間隔棒、防震錘和均壓環。

3.1 訓練樣本處理

本文構建的數據集為多旋翼無人機和直升機巡檢圖像從時間上覆蓋了春、夏、秋、冬四個季節。原始影像像素大小為5184×3456（如圖3（a）），截取以目標為主體的正方形小塊圖像，統一放縮至500×500（如圖3（b）），作為訓練樣本。

3.2 訓練集和測試集構建

本次試驗，對于間隔棒、均壓環和防震錘的每一類部件，訓練樣本分別為1500張，三類目標共4500張，測試樣本分別為500張，三類目標共1500張。對訓練集中每張圖片里完整出現的沒有被遮擋的小型電力部件標記其外圍框（訓練集圖片中不完整或被遮擋的電力部件不標記）;而對測試集，要標出每張圖片里出現的所有電力部件，包括不完整的和被遮擋的。

測試時，識別出的外圍框與標記的外圍框重疊面積達到標記外圍框的90%以上時就視為一次成功識別。本次試驗中，評價指標為正確率和召回率，其中正確率為目標類別標記正確的外圍框個數與所有標記出的外圍框個數的比值;召回率為目標類別標記正確的外圍框個數與所有標準的外圍框個數的比值。由于本次試驗識別的類別僅有三種類型，因此分別對每一類電力部件識別的正確率和召回率做統計。

3.3 實驗結果

本文使用Caffe框架實現卷積神經網絡模型。根據mAP最大時對應的參數，對測試集使用Faster-RCNN進行部件識別，Faster R-CNN方法識別的準確率較高。這主要是由于區域提議網絡可以產生更精準的候選框，并且Faster R-CNN在網絡訓練的第2步對全部特征層和卷積層的權重進行了調優。并且Faster R-CNN采用的區域提議網絡和檢測網絡具有很好的泛化能力，對各種不同方向的部件都可正確識別。圖4是利用Faster RCNN方法對同一張圖片進行間隔棒識別的結果，并按照順時針方向為圖中3個間隔棒標號，表1表示Faster RCNN方法將間隔棒識別為間隔棒的概率。

本文所有試驗均基于同一臺服務器而進行測試，測試集圖片大小為5184×3456，Faster R-CNN方法使用Nivdia Titan Black GPU（6G顯存）進行卷積計算，識別過程耗用3G顯存，非最大值抑制采用GPU實現。從表2可以看出，Faster R-CNN中，由于卷積特征的共用（區域提議網絡和檢測網絡的特殊層都添加在共用的特征圖CONV5的后面），使得區域提議時間幾乎可以忽略不計，檢測時間可以在近80ms內即可完成。

4? 結語

本文驗證了利用Faster R-CNN算法對電力小部件識別的準確性和效率，并分析了不同參數對檢測結果的影響。實驗表明利用經過GPU加速可以近實時目標檢測和識別，可為后期無人機巡檢圖像的智能化處理及巡檢無人機的精確拍攝奠定良好的基礎。

此外，根據深度學習的特點，構建更大的樣本庫可能進一步提高準確率。下一步的工作是構建更加精細的識別類別，甚至將某些部件的缺陷圖像都可視為一種類型，這樣不但可以實現目標部件的分類，還可實現部件的缺陷識別。

參考文獻

[1] 苑津莎， 崔克彬，李寶樹.基于ASIFT算法的絕緣子視頻圖像的識別與定位[J].電測與儀表，2015（7）：106-112.

[2] 吳慶崗.復雜背景輸電線圖像中部件邊緣提取算法研究[D].大連海事大學，2012.

[3] 金立軍，胡娟，閆書佳.基于圖像的高壓輸電線間隔棒故障診斷方法[J].高電壓技術，2013，39（5）：1040-1045.

[4] 曹婧.航拍輸電線路圖像中絕緣子部件的提取[D].大連海事大學，2012.