基于Mask R-CNN的電力設備銹跡檢測①

薛 冰

(中國石油大學(華東)計算機與通信工程學院，青島 266580)

近年來隨著經濟社會的高速發展，社會用電需求迅猛增長，電力設備數量逐年增多，電網的規模擴大，電力供應的可靠性變得尤為重要.電力設備長期運行，長期缺乏及時的維護檢修，設備出現銹蝕缺陷問題，存在安全隱患，導致設備運行故障.一旦設備發生故障，就會影響整個電力系統正常運行，將會嚴重影響生產生活，造成不可估量的經濟損失.及時發現設備上發生的銹蝕缺陷并進行及時處理，將大大降低危害，保障電網安全穩定運行[1].

目前主要利用無人機和巡檢機器人，對輸變電設備運行全天候巡檢，進行視頻圖像數據采集.然而，采集回的圖像數據，仍然需要依靠人工觀測，逐張查找設備上是否存在銹蝕問題.采用人工觀測的方式雖然能夠發現設備上的銹蝕問題，但是存在檢測效率低下，不能及時的進行反饋，并且人力成本高，因此，研究一種用于電力設備銹跡檢測的智能識別具有重要意義[1].

最初的圖像識別算法在設備缺陷檢測中，主要針對邊緣、輪廓等特征進行提取.如文獻[2]利用圖像匹配和形態學運算方法，文獻[3]利用隨機Hough 變換檢測實現對防震錘的檢測.文獻[4]利用Otsu 算法對Canny 算子進行改良來提取圖像邊緣，實現障礙物的檢測識別.以上方法能夠檢測出設備中的缺陷目標，但是在應用中較容易受光照等外界條件的影響，導致目標檢測的有效性不理想.

近年來，深度學習在目標識別檢測方面表現突出.2012年在ILSVRC 競賽上基于深度學習CNN網絡的AlexNet 取得突破性成果[5]，2014年Girshick 在卷積神經網絡的基礎上設計出了R-CNN模型[6]，以此為契機點，不斷地對R-CNN 進行改進，出現了具有代表性的R-CNN 系列算法:SPPNet[7]、Fast R-CNN[8]、Faster RCNN[9]、Mask R-CNN[10]等.本文中利用Mask RCNN 算法對電力設備上的銹跡目標進行識別分割[11].獲得國家電網變電站內部圖像數據，利用labelme 進行樣本標注，采用ResNet50[12]作為基準網絡結構，通過訓練模型實現電力設備銹跡檢測.

1 Mask R-CNN網絡結構

Mask R-CNN網絡結構如圖1[10]所示，主要分為Faster R-CNN、RoIAlign、FCN 三個模塊.Mask RC N N 在F a s t e r R-C N N的基礎上進行改進，用RoIAlign 代替RoIPooling，RoIAlign 采用雙線性插值法代替RoIPooling的取整量化，減小誤差，完成像素級的對齊；在候選對象RoI 上添加了第三個分支用于預測分割掩碼的分層，稱為掩碼層(mask branch).Faster R-CNN 算法為每個候選對象RoI的基礎上增加了FCN 來產生對應的MASK 分支，目標檢測分割的效果良好，并且訓練簡單.

1.1 Faster R-CNN網絡結構簡介

Faster R-CNN 是由Ross Girshick 提出的，由區域建議網絡(RPN)和Fast R-CNN 兩部分組成[13].RPN代替了Fast R-CNN中的Selective Search(SS)，節省了區域建議檢測的時間，實現建議區域的確定；Fast RCNN 對RPN 生成的每個建議區域的分類概率進行預測判斷，優化建議區域的偏移量，從而獲得精準的目標位置.

圖1 Mask R-CNN網絡結構圖

1.2 RoIAlign 層

在Fast R-CNN、Faster R-CNN 等兩級檢測框架中，使用RoIPooling 根據預選框的坐標在特征圖相應的位置池化為固定尺寸的特征圖，再進行分類和包圍框回歸操作.而預選框的位置通常是由模型回歸得到的，一般都是浮點數，而池化后的特征圖要求尺寸固定.RoIPooling 首先將預選框邊界量化為整數點坐標值；其次將量化后的邊界區域平均分割成n×n個單元，對每個單元的邊界進行量化的兩次量化過程.經過兩次量化，就會出現候選框與最開始回歸出來的位置存在偏差，影響檢測分割精度.

為了能夠提高檢測分割精度，解決RoIPooling 存在的問題，Mask R-CNN 提出了RoIAlign 方法[14].取消RoIPooling 量化操作:遍歷每一個候選區域，保持浮點數邊界不做量化，將候選區域分割成n×n個單元，每個單元的邊界不做量化；使用雙線性內插方法:最后在每個單元中計算固定四個坐標位置，使用雙線性內插的方法計算出這四個位置的值，然后進行最大池化操作.

在反向傳播過程中，常規的RoIPooling的反向傳播公式如式(1)所示.

其中，xi代表池化前特征圖上的像素點；yr j代表池化后的第r個候選區域的第j個點；i?(r,j)代表點yr j像素值的來源.

RoIAlign 與RoIPooling的反向傳播相比較進行相應的修改，i?(r,j)是一個浮點數的坐標位置(前向傳播時計算出來的采樣點)，在池化前的特征圖中，每一個與i?(r,j)橫縱坐標均小于1的點都應該接受與此對應的點yr j回傳的梯度，RoI Align的反向傳播公式如式(2)所示.

其中，d(.)表示兩點之間的距離，Δh和Δw表示xi與i?(r,j)橫縱坐標的差值，這里作為雙線性內插的系數乘在原始的梯度上.

1.3 FCN網絡結構簡介

FCN[15]對圖像進行像素級別的分類，從而實現語義級別的圖像分割問題.FCN 是一個端到端的網絡，使用反卷積對最后一個卷積層的特征圖進行上采樣，不斷擴大特征圖，直至恢復到與輸入圖像尺寸相同，對每一個像素值進行分類，從而實現對輸入圖像的準確分割.

Faster R-CNN 為每個候選對象RoI 提供兩個輸出，一個類標簽，一個邊界框偏移量，Mask R-CNN 并行添加了第三個分割mask的分支，mask 分支是應用到每一個ROI 上的一個小的FCN(Fully Convolutional Network)，用FCN 從每一個RoI中預測出一個m×m大小的mask，這使得mask 分支中的每個層能夠明確的保持m×m空間布局，而不將其折疊成缺少空間維度的向量表示.

2 圖像預處理與訓練

2.1 圖像預處理

本文數據集是無人機和巡檢機器人采集到的圖片，有銹蝕的設備數量不是很多，學習樣本相對較少，在訓練的過程中容易出現過擬合現象，因此使用數據增強方法，通過圖像水平/豎直翻轉，圖像縮放，圖像旋轉等方法從現有的訓練樣本中生成更多的訓練樣本，達到增強樣本的目的，從而降低過擬合.將訓練樣本統一縮放至1920×1080，設備銹跡樣本示例如圖2所示.數據集總量為5000 張，4000 張作為訓練集，1000 張作為測試集.使用labelme 標注數據集，每一張圖片都會產生一個JSON 文件，存放繪制點的坐標信息.

圖2 設備銹跡樣本示例

2.2 網絡訓練

本文的實驗平臺為Ubuntu14.0，實驗環境:CPU 為Intel Core i7-6700 k，4.00 GHz×8，GPU 為GeForce GTX 1070.

相較于Faster R-CNN 增加了mask 分支，那么每個RoI的Loss 函數如式(3)所示.

Lcls為分類損失函數，Lbox為邊框損失函數，Lmask為新增加的掩膜損失函數.在訓練過程中，mask 分支對于每個RoI的輸出維度為km2.使用了像素級的Sigmoid 函數和二進制交叉熵損失.

經過多次分析比較，對原模型中的參數進行調整，迭代學習率設置為0.001.動量和權重衰減因子使用經驗值0.9 和0.0005.

3 實驗結果與分析

本文做了Faster R-CNN 和Mask R-CNN的對比實驗，測試結果如圖3所示.其中圖3(a)為Faster RCNN 檢測結果，圖3(b)為Mask R-CNN 檢測結果.由于銹跡沒有規則的大小、形狀，Faster R-CNN 缺乏對目標像素的描述，造成一些具有局部特征的非目標被判斷為目標，因此對銹跡進行檢測，存在漏檢、誤檢現象；Mask R-CNN 添加了mask 層，可以實現像素級別的分類，表現出良好的檢測效果.

本文中對1000個樣本進行測試，獲得了Faster RCNN 和Mask R-CNN 檢測一張圖片所用的時間和準確率對比結果，如表1所示.

從表1中的實驗結果可以看出，Faster R-CNN的檢測速度比Mask R-CNN 快，在識別準確率上Mask RCNN 加入了mask 分支，并且使用了像素級的Sigmoid函數和二進制交叉熵損失，在準確率方面有顯著提高，達到94%.

4 結論

本文針對電力設備無規則銹跡的檢測，采用Mask R-CNN的模型方法，Mask R-CNN 在每一個RoI 上添加了掩模分支，實現像素級別的分類，取得了較好的檢測效果.本文認為可以進行的改進是加強樣本的數量和質量，因為訓練樣本的規模和質量影響著模型性能的優劣，訓練集規模越大，質量越高訓練的模型的性能越優秀.從改進數據的數量和質量提高模型的準確性和泛化能力，從而識別效果更好.

圖3 檢測結果圖

表1 實驗評估結果