Mask RCNN 模型在路面缺陷檢測中的應用

李 畫 李明晶* 李 凱 趙雪竹

（長春大學 電子信息工程學院，吉林 長春130022）

1 概述

公路路面在運營過程中，由于溫度、水分、風化以及荷載等多重因素的影響，路面結構強度會逐漸降低，最終導致道路表面產生多種病害特征(如裂縫、坑槽、修補等)，極大地降低了路面的使用性能，也帶來巨大的經濟損失和事故風險。在目前主流的維護流程中，對路面修補的檢測及路面質量的統計通常是由人工方式完成的。不僅需要耗費大量的時間和精力，而且工作效率又不高，還會引起在城市快速路、主干路和高速公路等交通道路網絡的堵塞進而影響人們正常的交通運行。

近年來在目標檢測與識別領域，提出了基于區域選擇網絡(Region Proposal Network，RPN)的目標檢測與識別算法。本文對Mask RCNN 算法在路面缺陷檢測中的應用進行了研究，主要檢測的路面缺陷包括：橫向裂縫、縱向裂縫、塊狀裂縫、坑槽、塊狀修補、灌縫修補。

2 基于區域選擇的目標檢測算法

2.1 經典目標檢測算法

目前主流的目標檢測與識別框架是基于區域選擇的目標檢測算法來實現的，它將原來復雜的檢測過程轉化為簡單的分類任務，并通過深度學習的方法以提高檢測精度與有效性，其中具有代表性的目標檢測算法為RCNN、Fast RCNN 以及Faster RCNN。RCNN 利用了啟發式的區域提取即選擇性搜索(Selective Search)提取目標候選區域，在候選區域中利用CNN 網絡提取特征，并通過訓練支持向量機 (SVM)或Softmax 等分類器，對特征進行分類。相較于RCNN 模型，Fast RCNN 提出了感興趣區域池化(Region of interest pooling，ROI Pooling) 的網絡層，對每個區域都提取一個固定維度的特征表示，從而提高了模型的檢測精度及效率。在Fast RCNN 基礎上提出了Faster RCNN 算法，Faster RCNN 提出的區域選擇網絡, 使得目標檢測算法速度進入的一個新的階段。

2.2 Mask RCNN 算法

Mask RCNN 是在Faster RCNN 的基礎上用ROI Align 代替ROI Pooling，并且增加全卷積網絡(Fully Convolutional Network,FCN)來產生對應的mask 分支。Mask RCNN 包含分類(class)預測和掩碼(mask) 預測為兩個分支，其中class 預測分支過程與Faster RCNN 一致，即對ROI 給出預測，產生相應的類別標簽以及矩形框的輸出邊界，而mask 預測分支產生的每個二值掩碼依賴分類預測結果，基于當前分隔出物體類別。Mask RCNN 對于每個class 類別均獨立地對應一個mask 類別，有效的避免類間的競爭，提升了模型的性能。

ROI Align 是一種區域特征聚集方式, 很好地解決了ROI Pooling 操作中兩次量化造成的區域不匹配(mis-alignment)的問題。ROI Align 取消量化操作，使用雙線性插值的方法，充分利用原圖中的虛擬像素值，相比于ROI Pooling 沒有引入任何量化操作，即原圖中的像素和特征圖中的像素是完全對齊的，克服了ROI Pooling 量化誤差過大的缺點，不僅會提高檢測的精度，同時也會有利于實例分割。

3 實驗過程與分析

本次實驗使用的路面缺陷數據來自于GoPro 相機的現場采集，整個數據集共包含5000 多張圖片，每個類別樣本約為830張。訓練集、驗證集和測試集按著80%-10%-10%比例來劃分，本次實驗采用Labelme 開源標注工具作為標注軟件，標注后生成的json 文件相比于xml 文件跟容易處理。在人工進行標注缺陷后，將標注樣本數據集轉化為二值掩碼標簽的格式進行訓練。本次實驗通過python 編程語言在Tensorflow深度學習框架下進行，最終結果由多次實驗結果綜合得到。為了衡量Mask RCNN算法模型在路面缺陷檢測中的準確性與有效性，本次實驗采用平均準確率均值（mean Average Precison，mAP）來作評價標準。

3.1 不同特征提取網絡下的檢測效果

將標注好的路面缺陷數據集放入Mask RCNN 模型中進行迭代訓練。在不同深度的殘差網絡下，隨著迭代次數的變化，其平均準確率均值見表1。

表1 不同深度殘差網絡下的檢測效果

由表1 得出，ResNet101 相較于ResNet50 網絡，在測試集中其mAP 值平均提高了3.8%左右，從而可以得出殘差網絡ResNet101 在路面缺陷檢測中的性能優于ResNet50。ResNet50與ResNet101 準確度差不多，但是計算量只有后者的一半，因此在本次路面缺陷檢測的實驗過程中，選擇采用Mask RCNN與ResNet50 相結合的方法。

圖1 Mask RCNN+ResNet50 模型的部分檢測結果圖

3.2 實驗結果

實驗中采用原圖壓縮1/2+ ResNet50 模型訓練得到的部分檢測結果如圖1 所示。在圖1 中，框選區域代表各種路面缺陷所對應的位置，框選區域的左上方顯示了該模型對于框選區域目標的分類類別及其類別預測的概率值。本實驗為不同的路面缺陷設置了不同顏色的矩形框以便于區分。圖1（a）中坑槽的概率值為1.00，圖1（b）塊狀修補概率值為0.98；圖1（c）縱向裂縫的概率值為0.97，圖1（d）中塊狀裂縫的概率值為0.93。

4 結論

研究采用Mask RCNN 算法分別與不同深度的殘差網絡相結合的方法進行路面缺陷檢測，可用于檢測多種不同類型的路面缺陷。通過實驗驗證，ResNet101 相較于ResNet50 能夠取得更好的識別檢測效果。實驗結果表明，Mask RCNN 與ResNet50 或ResNet101 相結合的方法，能夠實現自動提取并識別路面缺陷特征，預測路面缺陷類別及類別概率值，可以應用于多種路面缺陷檢測，檢測準確率高達92.1%，當模型迭代次數達到數萬級別時，檢測準確率可以達到99.4%，可以滿足工程的實際需求。但是，由于ResNet101 的網絡層數較深，導致對于單張圖像的檢測時間穩定在0.6S 左右，而網絡層數較潛ResNet50 對于單張圖像的檢測時間穩定在0.4S 左右，實時性有待提高。