基于改進兩步式卷積神經網絡的瀝青路面裂縫識別方法

章天杰，王洋洋,，韓海航，羅 雪

(1.浙江省交通運輸科學研究院，浙江 杭州 310012；2.浙江省道橋檢測與養護技術研究重點試驗室，浙江 杭州 310012；3.浙江大學，浙江 杭州 310012)

0 引言

隨著公路使用年限的增長，瀝青路面裂縫已經成為公路的最主要病害之一，嚴重影響著路面的使用壽命，同時增加了瀝青路面養護的難度[1]。這需要各地市公路局定期檢測裂縫并分析成因，及時開展養護工作[2]。但是傳統的瀝青路面裂縫檢測方法效率低下，基于智能算法進行路面圖像的裂縫識別是大勢所趨。

機器學習被廣泛地應用于瀝青路面裂縫識別領域，其核心在于通過對瀝青路面裂縫特征的學習，提煉出特征，從而預測未知數據。支持向量機，K-Means算法等，已被廣泛應用于瀝青路面裂縫圖像的分類識別中[3-4]。如琚曉輝等[5]提出的SVM-Adaboost裂縫圖像分類算法，其通過支持向量機分類器對內部參數進行動態優化，以此實現瀝青道路裂縫的分類檢測。Ai等[6]基于多鄰域信息的裂縫像素級分割，其算法基于精確率和召回率計算得到的F1值能達到0.8。Wissam等[7]提出的基于改進最小路徑法的裂縫圖像分割算法，其準確率已經能達到75%左右。張采芳等[8]提出的基于幾何特征分析的裂縫檢測方法，最終的裂縫檢測準確率能達到90%。

但是機器學習方法存在需要人工提取圖像特征的缺點，以卷積神經網絡為代表的深度學習方法，因其能夠對圖像進行像素級學習，開始逐步被應用于道路裂縫識別中[9-10]。大量的工作集中于裂縫的識別分類領域，如孫朝云等[11]通過VGG16和Faster R-CNN結合的模型對路面灌封進行目標檢測，模型精度達到了90%。Seongdeok等[12]將基于遷移學習的ResNet-152用于通過相機采集的圖像進行裂縫識別，最終模型的精確率和召回率分別為77.68%和71.98%。Dung等[13]設計了一種基于全卷積神經網絡FCN的裂縫識別算法，檢測結果的平均精確率達到90%。

相比于瀝青路面裂縫識別分類，如何提取出裂縫的長度、面積等參數成為道路裂縫識別領域的一個重點和難點。其結果能有效地用于公路性能評價，最終為公路養護提供有效參考。雖然在裂縫識別分類方面已有大量研究，但在裂縫分割及參數自動提取方面的工作并不多。Liu等[14]通過將YOLO v3和U-Net結合的方式對路面裂縫進行分割，達到了較高的準確率，但是其并沒有使用U-Net對YOLO v3檢測出的區域進行分割，實際上并沒有評價整個模型的性能，也沒有基于裂縫分割結果提取相關參數。

鑒于此，本研究提出了一種兩步式瀝青路面裂縫幾何信息提取法。首先，采用了卷積注意力模塊進行改進的殘差神經網絡(Residual Neural Network，Resnet)對大量原始瀝青路面圖像進行數據清洗，隨后再次使用卷積注意力模塊對圖像語義分割網絡U-Net進行改進，對第1步中篩選出的圖像進行裂縫語義分割和裂縫幾何信息提取，最后評價了該兩步式方法的結果。

1 方法與原理

本研究提出的兩步式瀝青路面裂縫幾何信息提取法的主要目的是從瀝青路面圖像中抽取出包含裂縫的像素，以此實現裂縫的分割和裂縫長度、面積等信息的提取，具體流程如圖1所示。首先人工篩選出1 800張用于路面圖像分類算法訓練的數據，然后訓練基于卷積注意力模塊改進的ResNet50模型，并以此算法對原始圖像集開展清洗工作，通過清洗、標注、圖像數據增廣等方式準備好用于第2步模型的訓練集和測試集后，使用基于卷積注意力模塊改進U-Net的圖像語義分割模型進行訓練，最后實現裂縫的語義分割和裂縫長度、面積信息的提取。該方法第1步的清洗結果主要為第2步裂縫幾何信息的提取服務，可有效降低整個裂縫信息提取流程的工作量。

圖1 兩步式瀝青路面裂縫信息提取法流程圖

數據處理、模型訓練和評估通過深度學習開源框架Tensorflow實現，模型所采用的計算機環境主要為Linux和windows系統，卷積神經網絡的所用軟件為python 3.6。

1.1 數據采集

本研究所采用的路面圖像數據主要來源于浙江省部分瀝青路面的巡檢結果，其中包括8條國道，13條省道，30條縣道，48條鄉道和215條村道。全部由浙江省交通運輸科學研究院的道路綜合檢測車Pathrunner采集獲得。

原始圖像直接從綜合檢測車配套的軟件中導出，尺寸為272×272像素，可直接用于本模型的輸入。

1.2 卷積注意力模塊介紹

卷積注意力模塊模塊由Woo等[15]在2018年的ECCV會議中最先提出。CBAM模塊作為一個輕量級模塊，可以方便地融入到其他神經網絡模型中，以提升模型性能，其在遙感圖像、建筑物破損等背景信息多，目標信息占比少的案例中都得到了較好的應用[16-17]。

本研究算法中的CBAM 模塊作用的原理如下：首先，進行通道注意力提取。將瀝青路面裂縫輸入的特征圖通過兩種不同的池化操作得到2個一維矢量，實現在空間維度上的壓縮；并將2個一維矢量轉發至1個多層感知網絡，進行通道重要性分析并得到各通道層的權重矢量；隨后利用權重矢量對瀝青路面裂縫輸入的特征圖再進行1次加權，完成在通道域上對瀝青路面裂縫特征的加強。其次，需要進行空間注意力的提取。將瀝青路面裂縫特征沿著通道軸進行兩種池化操作得到2個疊加的二維平面向量，以此實現在通道維度上的壓縮。最后，將這兩個提取的信息通過卷積網絡進行分析得到相應權重，利用此權重向量對裂縫特征進行再一次加權，以此提高對瀝青路面裂縫特征的關注程度。

1.3 性能評價指標

對于瀝青道路路面裂縫圖像進行分類識別，其算法的效果一般采用F1值(F1-score)進行評價。F1值是對算法精確率(Precision)和召回率(Recall)的優化調和，能夠保證算法在精確率和召回率上都有一定的準度。其中精確率、召回率和F1值的公式如下所示：

(1)

(2)

(3)

式中，TP為將瀝青路面裂縫正確預測為裂縫的數量；TN為將正常路面正確預測為正常的數量；FP為將正常瀝青路面錯誤預測為裂縫的數量；FN為將瀝青路面裂縫錯誤預測為正常路面的數量。

對于裂縫圖像語義分割模型的評價，本研究采用交并比(Intersection over Union，IoU)、均交并比(Mean Intersection over Union，MIoU)等方式評價。IoU的計算示意圖如圖2所示。

圖2 IoU計算示意圖

由圖2可知，IoU是2個區域重疊的部分除以2個區域的集合部分得出的結果，其是圖像語義分割算法中能判斷算法模型好壞的重要指標之一。MIoU可通過計算所有分類的IoU平均值得到。

2 路面圖像分類算法

2.1 圖像集準備

本次試驗共計采集的路面圖像樣本為41萬張。分析Pathrunner道路綜合檢測車檢測得到的部分瀝青路面圖像，發現瀝青路面樣本可分為無病害樣本、失真樣本和可能存在病害樣本3種類別，如圖3所示。

圖3 綜合檢測車采集的瀝青路面圖像

從圖3可以發現，其中無病害樣本(除地標線外無任何干擾物)占70%以上，失真樣本占約10%，而可能存在病害的樣本(包含真實裂縫，也包含伸縮縫、污漬、光照不均導致的干擾圖像等)僅占全部的20%左右。為了提高瀝青路面裂縫病害的標注速度，同時也為了減小瀝青路面樣本的不均衡性，例如正常路面圖片過多，需對瀝青道路路面圖像數據進行清洗工作，篩選掉正常瀝青路面樣本即無病害樣本，同時對由于檢測車自身原因導致的失真樣本進行刪除。

瀝青路面裂縫圖像數據的清洗工作采用了人工清洗與模型清洗相結合的方式進行。先由人工挑選出無病害樣本、失真樣本、可能存在病害樣本各600張(共1 800張)，其中每類525張作為訓練樣本，75張作為測試樣本，以此作為清洗模型的輸入。

2.2 模型訓練

本次清洗模型采用何凱明[18]提出的殘差神經網絡ResNet50，其采用殘差學習來解決深度神經網絡退化的問題，具有層數更深、參數量更少、收斂更快和精度更高的優點。本研究所采用的ResNet50卷積神經網絡中包含4個大的block，本研究采用的模型共有3+4+6+3=16個bottleneck，最后采用全連接操作完成瀝青路面圖像清洗任務，共計50個卷積層，模型總體結構如圖4所示。

圖4 Resnet50結構

本模型輸入尺寸設置為272×272×3；輸出分類數為3，分別對應無病害樣本、失真樣本、可能存在病害樣本3種情況；模型中的激活函數采用LeakRelu函數代替原模型中的Relu函數，確保激活函數非線性同時避免梯度彌散；網絡損失函數采用softmax交叉熵；優化器采用Adam優化器并使用默認參數；在第1個卷積層與池化層間增加1個CBAM模塊，增加該模塊能使整個網絡更注重目標物體的識別。本研究采用的清洗模型總共對所有的瀝青路面圖像進行訓練共500次，模型的初始學習率預先設置為0.005，隨后每20次訓練進行1次學習率的衰減，衰減比率為0.9。

2.3 模型評價

對本研究清洗模型的結果進行評價，模型的精確率，召回率和F1值的結果可見圖5。

圖5 路面圖像清洗算法的評價結果

圖5分別從無病害樣本、失真樣本、可能存在病害樣本和總體4方面的精確率、召回率、F1值對路面圖像清洗模型進行了評價。從圖中可以看出，總體瀝青路面病害圖像的精確率、召回率和F1值都已經超過95%，其中F1值已經達到了96.8%，高于其他路面裂縫識別算法，如琚曉輝等[5]提出的SVM-Adaboost(91.86%)和張采芳等[8]提出的基于幾何特征分析的裂縫檢測方法(90%)等，說明本模型已具備良好的瀝青路面裂縫圖像清洗功能。

3 裂縫語義分割模型

3.1 圖像集準備

通過數據清洗后可以從采集的41萬張圖像中篩選出約5 000張路面可能存在的病害樣本。為進行準確的裂縫信息提取，需要將這5 000張路面圖像中的非裂縫圖像進行剔除，因此對該路面圖像數據再次進行人工篩選，剔除伸縮縫、窨井蓋、污漬等非裂縫病害，精選出1 650 張瀝青路面圖像進行人工分割標注，標注的類別為瀝青路面4大類型裂縫，即橫向裂縫、縱向裂縫、龜裂、塊狀裂縫，以及正常非裂縫路面。進行一張路面的分割標注耗時約15 min，完成數據集內1 650張圖像共耗時約400 h。標注完成后，將標注的力氣路面圖像數據集按照10∶1的比例分成訓練集和測試集。訓練樣本和測試樣本中各類別的數量分布如圖6所示。

圖6 裂縫語義分割模型數據集分布

針對圖像樣本存在著一圖多病害、樣本數量不均衡等問題，同時為了減少人為及客觀原因對裂縫檢測效果的影響，保障圖像更利于模型訓練，需要對裂縫圖像樣本進行數據增廣。本研究采用的圖像樣本增廣方式主要為傳統圖像增廣方式，包括圖像翻轉、圖像對比度修改、圖像亮度修改、圖像以一定角度旋轉、圖像裁剪與縮放等等，傳統圖像數據增廣方法在瀝青路面圖像中的應用效果圖如圖7所示。

圖7 數據增廣方式

對瀝青路面裂縫圖像進行數據增廣，一方面通過增加圖片數據量，增加了路面裂縫圖片數據集的豐富性；另一方面，由于通過數據擴充方式處理的圖片和原圖是不同的輸入，因此可以減少模型過擬合現象的產生，增加模型泛化能力。

3.2 模型訓練

圖像語義分割算法能夠在像素級別上進行分類，即對屬于同一類(如橫向裂縫)的像素會被歸為一類，以此來對瀝青路面中的各種裂縫進行分割提取。因此，本研究能夠得到各類別裂縫病害數量、裂縫長度、面積、病害處于圖中具體位置等計量信息，有助于為后續公路維養方案提供數據參考。

本研究采用U-Net實現路面圖像分割。U-Net屬于 Encoder-Decoder 結構，Encoder負責特征提取，Decoder負責解析特征并恢復瀝青路面裂縫分割圖到原始分辨率，其網絡結構如圖8所示。Encoder部分包含有4個子模塊，其中每個子模塊包含2個卷積和1個下采樣模塊。本模型輸入圖像的分辨率是272×272的灰度圖，在模型中，第1～4個模塊的分辨率分別是272×272，136×136，68×68，34×34，4個模塊通道數分別為64，128，256，512。相應的Decoder的4個模塊分辨率分別為34×34，68×68，136×136，272×272，同時通道數分別為512，256，128，64。同時U-net對不同層進行了連接以提升模型的精確度。此外，本研究在U-Net模型的第1個池化層前增加了1個卷積注意力模塊，以使整個模型更加注重于裂縫的識別。模型的損失函數采用Dice_loss函數，用于解決裂縫在整個瀝青路面圖像中占比太小的問題。

圖8 U-Net結構

(4)

式中，X為目標像素，Y為預測像素。

本研究的改進U-net模型設置的最大訓練次數為500 輪，初始學習率的設置以及每輪訓練后學習率的衰減比率與前述分類模型相同。當模型訓練到沒有辦法通過降低模型學習率來減少模型訓練的損失值時，停止本模型的訓練或者直到模型達到最大訓練次數。

3.3 模型評價

將訓練好的模型對測試集中的路面圖像進行分割，部分裂縫語義分割結果如圖9所示。

圖9 裂縫語義分割部分測試結果

圖9展示了裂縫語義分割模型的部分測試結果。從圖中可以看出，模型的預測結果基本能同人工識別結果相對應。具體的重合程度需要通過IoU和MIoU 2個指標進行控制。因此對本模型的IoU和MIoU進行統計，統計結果列于見表1。

表1 裂縫語義分割結果

表1展示了橫向裂縫、縱向裂縫、龜裂和塊狀裂縫的模型測試結果。從表中可以看出，龜裂的最終IoU達到了0.608 5，高于其他類型的IoU指標。塊狀裂縫的IoU僅為0.336 6，低于其他類型裂縫的IoU指標，這主要是因為塊狀裂縫在總體樣本中占 13%左右，所占比例較小，訓練數據不足導致偏差較大。整個模型的平均交并比MIoU達到了0.5左右。同樣針對裂縫圖像進行分割任務的SPPNet[19]、Deeplabv3[20]等模型的試驗結果如表2所示。

表2 裂縫語義分割模型對比

表2展示了SPPNet，Deeplabv3，FCN-8s，DilatedNet，PSPNet以及本研究模型的MIoU值，本研究模型相較于其他模型高了近0.5～2個點，整體表現更好。

在裂縫信息提取方面，針對裂縫長度、面積信息提取結果的準確性，本研究進行了統計分析，統計結果見表3。

表3 裂縫信息提取結果

②裂縫面積：通過像素面積換算得到。

表3展示了對路面圖像進行語義分割后的裂縫長度及面積信息提取結果。從表中可以看出，在裂縫長度信息提取上，橫向裂縫的誤差為12.18%，縱向裂縫的誤差僅為3.88%。裂縫面積通過裂縫在路面圖像中所占像素，并根據圖像尺寸與實際尺寸比例尺換算得到，在裂縫面積的信息提取中，除了橫向裂縫誤差較小(僅為0.58%)外，其他裂縫的面積統計誤差均在11%～13%之間。

4 結論

瀝青路面裂縫自動識別與信息提取是實現路面養護的重要技術支撐與數據保障。本研究提出了一種基于深度學習的兩步式瀝青路面裂縫信息提取法用于實現瀝青路面裂縫智能檢測與信息自動提取。主要得到以下結論：

(1)融合了基于CBAM改進的ResNet50和U-Net算法，構建了用于瀝青路面裂縫幾何信息提取的兩步式方法。

(2)本研究提出的基于改進ResNet50的圖像分類算法對于總體樣本清洗結果的精確率、召回率和F1值均已超過95%，其中F1值已經達到了96.8%。

(3)本研究提出的兩步式模型最終的MIoU達到了0.496 7，其中橫向裂縫、縱向裂縫、龜裂的IoU分別為0.495 1，0.546 7，0.608 5，塊狀裂縫由于樣本數量少的原因，其IoU值較低，僅為0.336 6。

(4)在裂縫長度和面積提取中，縱向裂縫的長度預測誤差為3.88%，橫向裂縫的長度預測誤差為12.18%；橫向裂縫的面積預測誤差僅為0.58%，其他裂縫的面積統計誤差均在11%～13%之間。