基于改進Mask-RCNN的電力線路識別方法

陳 麒，梁銳城

（1.汕頭職業技術學院機電工程系，廣東 汕頭 515041；2.汕頭大學工學院，廣東 汕頭 515068）

0 引言

無人機巡檢已經成為電力線路巡檢工作中的重要組成之一，該手段巡檢范圍廣、受地形影響較小，有效提高了巡檢效率[1-2].但是，目前輸電線路巡檢大多采取人工操作無人機拍攝線路視頻，待無人機返航后再將視頻導入電腦，通過人工進行隱患排查.該方法不僅加大了運維人員的工作量，還會由于不同人員飛行控制能力差異而導致巡檢質量相差較大.此外，巡檢過程中，無人機易受風吹干擾飛行姿態難以控制，并且為保證電力線路的安全運行，無人機需要與帶電設備保持一定放電間隙距離（國家電網公司要求5 m以上）.由于上述限制，巡檢影像往往因為目標識別不穩定、飛行姿態難以自由調整、拍攝距離遠，以及背景干擾等導致線路巡檢視頻不完整等問題，進而引發影像中設備難以準確分割、識別較低的問題.因此，利用無人機實現線路自動化、智能化的高可靠巡檢具有極強的工程實際意義.

目前，基于目標分割算法掩碼-區域卷積神經網絡（Mask-region convolutional neural network，Mask-RCNN）的目標識別方法通過使用基礎網絡生成特征圖，再采取區域選取網絡（region proposal network，RPN）基于既定規則提供感興趣區域（region of interesting，ROI），然后利用分類網絡判定目標類型，并使用掩碼網絡進行像素分類.這一方法將傳統目標識別方案的分類、回歸兩個步驟進一步優化為分類、回歸、分割三個任務，即通過解耦多個子任務關系的方式提高了在復雜背景下的目標識別準確率[3-5].這使得Mask-RCNN在目標識別準確度上明顯優于基于灰度信息的模板匹配算法[6-8]；基于局部特征的SURF、SIFT等算法[9-12]；以及以SSD與YOLO為代表的單階段深度學習目標檢測算法[13-14].但由于解耦步驟的增加，使得Mask-RCNN在運算成本上消耗較大，即存在運算時長長、運算資源占用多等問題.

針對Mask-RCNN存在的問題，本文提出采用間接性幀減對Mask-RCNN的損失函數進行改進.具體方法為，將檢測周期分為4個時刻，每次識別時，將上一時刻的識別結果作為下一時刻的背景，以變化部分為目標.該方法不僅降低了計算難度，還通過相同部分省略、不相同部分檢測的形式克服了復雜背景下小型設備難以識別的問題，識別速度與準確率得到顯著提高.為驗證本文算法的實用性與魯棒性，本文以目標設備不明顯、環境背景復雜的導線為對象開展測試.結果表明，本文算法在較高目標識別率的前提下，較大程度地降低了運算成本.以相較Mask-RCNN出現0.325%識別準確率降低（本文算法實際識別準確率為95.775%）的代價，減少了44.4%的CPU占用率.同時，相比運算成本較低的NCC算法，本文算法以增加21.25%的CPU占用率為代價，實現了目標識別準確率提高60%的效果.

1 Mask-RCNN算法

從圖1中可知，由于輸電線路處于圖傳信號較差的山丘中，常采用類似邊緣計算的方法，即無人機利用自帶處理器STM32對輸電線路進行目標識別.雖然基于ARM Cortex-M3內核設計的STM32具有較高的運算性能，但無人機巡檢線路時產生海量的實時數據加大了計算任務，并且基于邊緣計算的線路巡檢對實時線路識別結果要求嚴苛.同時由于無人機飛行控制和線路識別均通過STM32處理，為了保證飛行安全，用于線路識別的CPU占用率不得高于50%.因此，在保證無人機在復雜環境下飛行安全的基礎上，如何在降低計算代價的同時有效識別出目標成為了研究難點.如圖1所示，Mask-RCNN通過引入ROIandAlign代替了FastRcnn的ROIPooling，雖然提高了常規狀態下的識別精度，但是難以確定ROI中的較小特征圖，以至于難以有效識別復雜背景下的小型目標.此外，當無人機受環境影響導致偏離航線時，標準的Mask-RCNN將卷積神經網絡提取到輸電線路最終特征在輸入到RPN網絡的過程中，會由于目標過小被中間隱層當作噪聲過濾.針對上述問題，為提高算法的檢測速度和精度、優化運算空間，本文對Mask-RCNN進行改進.

圖1 無人機巡檢線路時的視頻截圖

圖2 Mask-RCNN主干示意圖

標準的Mask-RCNN的ROIAlign基于以下公式選擇最適合的特征圖：

式中：k0、w、h分別為特征圖面積、特征圖寬、特征圖高.不同于 Fast_Rcnn，Mask-RCNN的ROIAlign通過雙線性插值法對感興趣的區域進行量化.如圖3所示，在已知A11、A12、A21、A22的前提下，Mask-RCNN通過線性插值得到B1和B2，再利用得到的B1和B2插值得到最終插值點P，即：

圖3 Mask-RCNN的ROI Align雙線性插值示意圖

訓練時，為擬合圖片中的導線的ROIAlign特征分布，需通過損失函數檢測目標及其位置，損失函數Lmask_rcnn可描述為：

式中：Lcls、Lbox和Lmask分別為分類誤差、檢測誤差和分割誤差.m、k、K、Pki*和Pki分別為ROI經過匹配層處理后的長、寬、模型檢測目標總數、第k個目標真實掩碼中第i個像素值和第k個目標預測掩碼中第i個像素值.根據公式（4）和公式（5）可知，由于Lmask函數通過檢測結果與標注圖像逐像素對比，完成圖像特征針對性學習，雖然提高了Mask-RCNN的檢測精度，但是增大了運算量，檢測速度難以有效保障.為此，本文利用間接性幀減法的思想進行改進，即識別一次后，將上一識別結果作為背景，下一時刻的變化作為目標，以此減少計算量.具體方法為，將一個檢測周期分為一個4個時刻t0、t1、t2、t3，t0時刻為Mask-RCNN的目標預測掩碼，而t1、t2、t3的則將上一采集時刻t0的真實掩碼Pki′作為背景，此時的公式（7）修改為：

修改后得到的損失函數L′mask_rcnn為：

改進Mask-RCNN后一個完整周期的損失函數為：

該方法不僅降低了計算難度，還通過相同部分省略、不相同部分檢測的形式克服了復雜背景下小型設備難以識別的問題，識別速度與準確率得到顯著提高.

2 試驗結果與分析

試驗數據來源為巡線無人機搭載intelD455攝像頭拍攝的影像，并采用目標識別準確率、識別時間成本以及圖像處理過程中的CPU平均利用率作為評價指標.試驗對象如圖4所示，分別展示了在樹木、灌木背景下無人機拍攝的導線情況.此處需說明，為了驗證本文模型在實時巡檢的優越性，采取了每分鐘內平均CPU占用率p′和平均識別率q′作為評價指標，即1 min內采集6次CPU占用率，并以平均CPU占用率作為評價指標，以及60 s內輸電線路出現的時間（輸電線路在視頻丟失，則視為識別失敗）：

式中：pi為以10 s為采樣周期進行采樣的當前CPU占用率，tj為輸電線路出現的視頻時間.由于輸電線路識別和飛行控制均是實時進行，為了保證飛行安全本文實驗的識別部分CPU占用率不高于40%，為了直觀的以100分制進行性能評價，公式（11）的pi需除以40%.

由于導線線徑小、且無人機與導線距離保持5 m以上，被識別物體的尺寸與拍攝距離共同導致了難以裸眼直接觀測得到巡檢圖像中的全部導線位置.從圖4中可知，RPN網絡的特征選取策略較好地保留了導線特征，在即使因為地形起伏、環境復雜等因素影響無人機航線的情況下，本文方法依然保持了較高的識別準確率，基本與Mask-RCNN保持在相同水平.

圖5可見，在圖4中的4種場景下，本文算法最低識別率為95.775%，雖然相較Mask-RCNN算法低0.325%，但在CPU占用率這一數據上明顯占優，僅為后者地55.6%.此外，本文方法的CPU占用率雖然比NCC高出了21.25%，但是復雜背景情況下的識別率卻高出了60%.并且，由于采取了間接性識別的方法，識別速度也比SURF提高了43%.此外，在現實巡檢中發現，當出現圖5（1）中t2時刻的情況，并且長時間處于100%占有率時，系統會由于視頻輸入與目標識別時差不斷增大而導致部分巡檢視頻丟失.而本文方法在保證識別準確率保持95%以上的基礎上，分配的CPU平均占用率均在60%以下、總的CPU占有率24%以下，不僅較好的完成巡檢任務，還可將富余的CPU計算力用于飛控模塊，提高了飛行安全.

圖4 本文改進方法識別結果

圖5 本文改進方法與Mask-RCNN、SURF、NCC模板匹配法性能對比結果

3 結論

1）針對電力線路無人機巡檢過程中對于電力設備的影像拍攝質量受制于拍攝姿態與設備放電間隙距離，而Mask-RCNN算法運算成本大的問題，提出一種間接性幀減法對Mask-RCNN算法損失函數進行改進.

2）在保證Mask-RCNN算法目標識別準確率的基礎上，通過改變算法運算對象，即逐次改變背景影像，降低運算時間與CPU占用率，同時提高復雜環境下的不明顯目標識別能力.

3）試驗結果表明，基于本文改進的Mask-RCNN算法，能以近乎95%的準確率快速識別輸電線路，同時CPU占用率降低至24%以內，在保證了飛行安全的前提下提高了巡檢質量，為后續輸電線路隱患識別提供了基礎.