基于深度學習的路面缺陷檢測方法研究

摘 要：路面缺陷會給公路監管和路面養護帶來嚴重影響，本文針對目前路面缺陷圖像采集方法成本高、效率低的問題，提出一種基于深度學習的路面缺陷檢測方法。該方法包括目標檢測和圖像分割子系統，其中，目標檢測使用YOLOv5模型來提升路面缺陷位置識別精準率；圖形分割使用“U”形多尺度擴張卷積網絡（U-Multiscale Dilated Network，U-MDN）來增強路面缺陷深度特征提取。使用目標檢測數據集和圖像分割數據集進行試驗，其中YOLOv5模型精度為92%；比較U-Net模型和U-MDM模型，U-MDN模型的Precision、Recall和F1-score指標綜合表現最優，充分證明了該方法對路面缺陷檢測具有有效性。

關鍵詞：深度學習；路面缺陷檢測；目標檢測；圖像分割；YOLOv5模型；“U”形多尺度擴張卷積網絡

中圖分類號：TP 39" " " " " " " " 文獻標示碼：A

道路使用過程中產生的表面缺陷會給公路監管和養護帶來嚴重影響，增加事故率，發現越晚，維護成本越高[1]，因此道路缺陷的檢測識別問題亟待解決。

早期路面檢測主要方式為傳統圖像處理技術和手動檢測，方法費時、費力，精度和速度不佳，難以滿足實際需求。而人工智能的迅猛發展在一定程度上緩解了上述問題，尤其是深度學習技術，極大提升了識別精度與速度。路面缺陷檢測問題的關鍵是目標檢測和圖像分割。

1 系統結構和原理

基于深度學習技術的路面缺陷方法與系統如圖1所示，具體原理包括以下4點。1）采集足量的路面缺陷圖像，構建目標檢測數據集。對圖像進行處理后，構建圖像分割數據集，本文使用成熟的數據集。2）建立目標檢測模型和圖形分割模型。采用YOLOv5方法構建目標檢測模型，采用U-MDN方法構建圖形分割模型。基于目標檢測數據集和圖像分割數據集進行模型準確性驗證。3）基于圖像分割數據集進行路面缺陷輪廓提取。4）根據常規路面缺陷量化評定方法，進行長度、寬度、方向和面積等路面破損指標計算，對路面進行健康狀況評定。

2 路面缺陷目標檢測建模

路面缺陷圖像目標檢測是系統的關鍵環節，可以減少后續圖像分割的計算量。YOLO算法為經典路面缺陷圖像采集方法，其中經過多次迭代的YOLOv5算法較成熟[2]。

2.1 YOLOv5算法原理

YOLOv5算法為經典One-stage識別網絡，核心為網絡化檢測，通過將圖形劃分為F×F個網格并計算目標落在某個網格的概率來完成預測，需要回歸目標位置信息和confidence值。其中，目標位置信息為（ox，oy，ow，oh），confidence值如公式（1）所示。

（1）

式中：confidence值為目標覆蓋網格的準確度；pred（Obj）為預測邊框預測到某類目標Obj的概率，其取值有1和0，其中落在預測邊框內時為1，否則為0；為預測邊框與真

實邊框間的交并比。

2.2 YOLOv5算法結構

YOLOv5分為輸入端、Backbone網絡、Neck網絡和輸出端4個部分。

輸入端完成圖形的預處理工作，包括縮放圖片為網絡輸入大小、數據歸一化以及數據增強等內容。其中數據增強采用Mosaic方式，對圖像做隨機縮放、剪裁和排布后進行拼接。數據增強完成后計算自適應錨框。

Backbone網絡負責圖像特征提取，提取圖像深度語言信息并供Neck網絡使用，公開Focus和CSP共2個結構。其中，Focus結構用于圖像切片操作，以加快訓練速度，CSP結構用于提高卷積神經網絡學習能力，降低計算量。

Neck網絡負責對提取的特征進行深度融合，包括特征圖金字塔網絡（Feature Pyramid Network，FPN）和路徑聚合網絡（Path Aggregation Network，PAN）2個結構。FPN將深層特征攜帶的語義信息傳遞給淺層特征，PAN將淺層特征的定位信息傳遞給深層，增加信息豐富性。

輸出端采用耦合式輸出。其中分類損失和置信度損失均采用BCE_Loss損失函數，如公式（2）所示，定位損失采用CIoU_Loss損失函數，如公式（3）所示。

BCE_Loss=-（ylog（p（x））+（1-y）log（1-p（x））） （2）

式中：p（x）為預測數值；y為真實數值。

（3）

式中：IoU為預測邊框與真實邊框間的交并比；ρ2（b，bgt）為預測框和真實框的中心點的歐式距離；c為預測框和真實框最小閉包區域的對角線距離；v為衡量長寬比的一致性的參數，如公式（4）所示；α為衡量參數，如公式（5）所示。

（4）

（5）

式中：arctan（·）為三角函數；wgt、w分別為預測框和真實框寬度；hgt、h分別為預測框和真實框高度。

2.3 試驗結果與分析

2.3.1 試驗設置

試驗基于Python的Keras框架構建分割網絡，并進行訓練與測試。電腦配置如下：CPU為i7-12700 KF，GPU為Nvidia GeForce RTX 3060Ti。為減少其他干擾，同一設置訓練批次為16，訓練設置500epoch，初始學習率為0.01，利用SGD優化器來更新網絡參數。

2.3.2 評價指標和數據集

為保證試驗的公平性和有效性，采用成熟的路面缺陷數據集NHA12D，包括448×448=9889幅，劃分訓練集8405幅，驗證集1484幅，包括12類路面缺陷。本文使用YOLOv5模型、YOLOX模型和Faster RCNN模型進行對比試驗。將Precision（精確率）、Recall（召回率）、AP（PR曲線下面積）、mAP（m個AP值的均值）和F1 score（值越大，表明模型效果越好）指標作為評價標準，各指標均可由Precision和Recall計算得出，AP值越大，表明模型效果越好，如公式（6）～公式（10）所示。

（6）

（7）

（8）

（9）

（10）

式中：TP為交并比大于閾值的檢測框數；FP為小于閾值的檢測框數；FN為沒有檢測到的真實框數；M為某一類別目標總數；N為類別數。

2.3.3 試驗結果分析

使用3種網絡對NHA12D數據集進行訓練和測評。本文以縱向裂縫、橫向裂縫、車轍、坑洞、網狀裂縫和井蓋為例，設置標簽L1～L6，3種網絡在NHA12D數據集合中的測試結果見表1。

由表1可以發現，Faster RCNN模型收斂速度最快，約在80代mAP值為80%后逐步收斂；YOLOv5模型約在200代mAP值為90%后逐步收斂；YOLOX模型約在400代mAP值為88%后逐步收斂。根據訓練結果可知，YOLOv5模型的訓練速度較快，訓練結果最好；Faster RCNN模型訓練速度快，但訓練效果較差；YOLOX模型訓練效果較好，但訓練速度過慢，因此YOLOv5模型總體效果最優。

從表1可以發現，不同模型的mAP指標均超過80%，效果良好。對于不同類別的缺陷，YOLOv5均取得了優異效果，尤其是縱向裂縫、橫向裂縫、車轍和網狀裂縫等裂縫類型的目標，AP值均為最高。坑洞和井蓋類目標的AP值僅次于YOLOX模型。綜上所述，YOLOv5模型訓練和測試效果最優，其次為YOLOX模型。

3 路面缺陷圖像分割

路面缺陷圖像分割是缺陷量化的關鍵，U-Net模型為該領域關鍵模型，U-MDN為該模型的變體。

3.1 U-Net和U-MDM模塊

U-Net的網絡結構是含有下采樣圖像壓縮路徑（Contracting Path）和上采樣圖像擴展路徑（Expanding Path）的對稱“U”形結構。U-Net將路面缺陷圖像經過下采樣展現環境信息，并將下采樣各層信息和上采樣輸入信息相結合來還原細節信息，進而逐步還原圖像精度，最終得到缺陷的二值圖像。U-Net中使用了3種不同數量的卷積模塊，并在每個卷積模塊的卷積層和激活函數間加入批歸一化來避免梯度消失問題，其中激活函數使用了ReLU函數和Sigmoid函數，如公式（11）、公式（12）所示。

（11）

（12）

式中：x為經過卷積處理的數據值；ReLU函數和Sigmoid函數均為激活函數。

基于U-Net模塊的“U”形多尺度擴張模塊（U-Multiscale Dilated Network，U-MDM）網絡結構，該模塊融合4種不同尺度深度特征信息。

U-MDM模塊并非將U-Net模塊下采樣后獲得的特征層直接進行融合，而是經歷16、8、4、2共4種不同尺度的最大池化操作后再進行卷積操作，并在卷積模塊和ReLU激活函數間進行批歸一化操作，最后將下采樣特征信息輸入U-Net上采樣結構進行融合，以便進一步提取更深層次的特征。

3.2 U-MDN網絡

U-MDN網絡是在U-MDM模塊嵌入U-Net的上采樣階段中形成的。該網絡以U-Net模型為主干提取多尺度特征，利用U-MDM進一步提取深層特征，將淺層特征和深層特征進行有效融合后得出最終預測結果。該網絡由3種卷積模塊組成，其輸入圖像類型為256×256×3（寬256像素，高256像素，3個通道），輸出特征類型為256×256×2的路面缺陷檢測圖像，均為黑白兩值圖像，分為缺陷區域和背景區域，其中白色區域代表缺陷，黑色區域代表背景。

3.3 試驗結果與分析

3.3.1 試驗設置

試驗基于Python的Keras框架構建分割網絡并進行訓練與測試，電腦配置如下：CPU為i7-12700 KF，GPU為Nvidia GeForce RTX 3060Ti。為減少其他干擾，同一設置訓練批次為16，訓練設置200epoch，初始學習率為0.001，利用Adam優化器來更新網絡參數。

3.3.2 評價指標和數據集

為保證試驗的公平性和有效性，采用成熟的路面缺陷數據集CrackForest和CNRDD，數據集具體情況見表2。本文將裂縫分為裂縫和非裂縫類型，為二分類問題，將Precision、Recall和F1 score指標作為評價標準，如公式（6）～公式（8）所示。

3.3.3 試驗結果分析

為驗證本方法的有效性，與目標分割領域常見的U-Net模型和U-MDM模型進行比較和分析。不同模型、不同背景下的識別結果如圖2所示。圖2中的（1）～（3）為CrackForest數據集部分數據測試結果，圖像中裂縫纖細且存在椒鹽噪聲干擾。（4）～（6）為CNRDD數據集部分數據測試結果，背景較復雜，分別為陰影、車道線和雨雪異物。圖2中的（a）為測試原圖，（b）為Ground truth，（c）為U-MDN模型測試結果，（d）為U-MDM模型測試結果，（e）為U-Net模型測試結果。不同模型不同指標的分析結果見表3。

由圖2可知，U-MDN模型對纖細裂縫的識別效果更好，復雜背景下的干擾能力更強，在陰影背景下對顏色較淺的裂縫識別較好，能夠克服車道線、雨雪等異物帶來的干擾并有效識別裂縫。

3種網絡從2個數據集中得到的各種評價指標結果見表3。與其他網絡相比，U-MDN在不同數據集中的Recall和F1 score方面表現最優，Precision也僅次于U-MDM模型，說明U-MDN模型的裂縫區分能力更強，對抗復雜背景干擾的能力更強，模型更穩健。

4 結論

本文提出了一種基于深度學習的路面缺陷檢測方法。該方法通過YOLOv5模型進行目標檢測，并通過U-MDN模型進行圖像分割。本文利用目標檢測集和圖形分割集合驗證模型有效性，結果表明，該方法充分考慮了目標檢測和圖像分割問題，比其他方法精準性更高，運行速度更快，抗干擾能力更強，提升了路面缺陷檢測的實時性和準確性，可為后續的路面缺陷等級評定提供依據。

參考文獻

[1]交通運輸部.2020年我國交通運輸行業發展統計公報發布[J].隧道建設，2021，41（6）：963-963.

[2]劉新海，聶憶華，彭小林，等.廢瓷磚再生砂摻配率對砂漿強度的影響及機理分析[J].廣東公路交通，2020，46（2）：1-5.