基于深度學習的公路路面破損檢測識別方法

烏日娜，白 云，韓建峰

(內蒙古工業大學，內蒙古 呼和浩特010051)

1 引言

隨著公路交通的快速發展，公路網的搭建趨于完善，維護公路路面的健康從而延長其使用年限的工作變得至關重要。公路路面的病害主要以路面裂縫為主，能及時發現路面裂縫并進行修復，是保持路面健康狀態的一項重要工作[1]。目前，對于公路路面裂縫圖像的的檢測主要采取CCD攝像機獲取路面圖像，如澳大利亞公路研究所開發的檢測車系統，澳大利亞CRISO公司和新南威爾士交通局開發的道路裂縫自動檢測車等，這些系統均已應用于各種路面破損的檢測中[2]。由于公路路面的裂縫往往形態多樣且復雜交錯，而基于檢測車的圖像采集方式對于路面破損圖像的拍攝具有片面性和主觀性，難以采集到路面裂縫的全貌，這對下一步路面裂縫的識別分類有極大的影響。

自從2012年在ImageNet計算機視覺挑戰賽上，Hinton領導的深度學習小組使用AlexNet網絡以15.3%的錯誤率遠超第二名拿下冠軍后，深度學習就正式進入了百花齊放的時代，各類優秀的網絡模型相繼被提出，圖像識別和分類算法也越加成熟[3]。英紅等使用BP神經網絡來檢測路面裂縫該方法對裂縫的識別率為90%以上，但缺少對裂縫進行具體的分類[4]；張磊等使用深度學習的方法對智能手機采集的路面裂縫進行檢測，但不涉及裂縫的分類和參數計算[5]；Xianglong Wang等使用CNN來檢測裂縫的存在，通過主成分分析(PCA)計算裂縫骨架的特征向量和相應的特征值來實現裂縫的分類，過程相對比較繁瑣[6]。PAN Yifan等利用支持向量機、人工神經網絡和隨機森林等機器學習算法，從無人機MSI中對裂縫、坑洼、非破損路面進行檢測分類，但其無法捕捉寬度小于13.54 mm的裂縫[7]；Rui Fan等使用深度學習和自適應閾值圖像分割算法來提取路面裂縫，但算法受圖像中噪聲影響較大[8]。鄒秦等提出了一種基于裂縫的高級特征來進行自動檢測的深度裂縫網絡，通過多尺度深度卷積融合特征進行裂縫的檢測與識別，但沒有進行裂縫的分類研究[9]；Kasthurirangan Gopalakrishnan等人使用預先訓練好的深度學習模型進行無人機路面裂縫檢測，雖然實現了90%以上的裂縫檢測精度，但是訓練的數據量較少，缺乏普遍適用性[10]；Luqman Ali等人提出基于卷積神經網絡的裂縫自動檢測算法來檢測無人機路面裂縫，雖熱檢測精度較高但缺乏對裂縫的識別功能[11]；J. Senthilnath等使用一種基于集成分類器的深度遷移學習(Deep TEC)來檢測無人機道路圖像，這對于路面裂縫的提取有一定的借鑒意義[12]。

上述的方法雖然在一定程度上實現了對路面破損的檢測或識別，但是依舊存在一些難以忽視的問題：①對于路面裂縫的檢測提取基于裂縫本身特征，特別是在進行多個特征融合時步驟繁瑣，計算費時費力無法達到普及效果；②基于深度學習的算法對于裂縫的識別分類還不成熟，多數算法只單一檢測裂縫，或只提取裂縫形態，而無法直接對裂縫進行檢測識別和分類；③實際的路面裂縫復雜多樣，現存的網絡數據集大多數拍攝角度和精度不一，使用這樣的數據集無疑加大了訓練的難度。針對上述問題和可以改進的地方，先根據瀝青路面破損的形態和特征新建一個路面破損的專項數據集，之后提出一種基于深度學習的公路路面破損檢測識別方法，在檢測路面破損的同時又能對路面的裂縫進行自動識別和分類，達到在路面破損檢測時精度與效率并存的效果。

2 數據集構建

公路路面按照結構形式分為瀝青路面和水泥路面，瀝青路面因其行車舒適性高，成為高速、一級公路路面結構的首選。因此本文采集的路面圖片皆基于瀝青路面[13]。瀝青路面病害主要為路面裂縫，但是路面裂縫通常不單獨出現，往往是縱橫交錯、形態多樣。通過考察城市的一級公路和快速路，結合公路技術狀況評定標準，本文主要的分類識別對象為橫向裂縫、縱向裂縫、塊狀裂縫和斜向裂縫[14]。為了提高算法模型的實用性和真實性，觀察了大量公路路面的裂縫，采取智能手機和無人機兩種拍攝方式進行數據集的采集制作。其中使用智能手機拍攝圖像6000張，圖片大小為3104×3104，在不影響圖像檢測識別質量的情況下將圖像大小批量處理為512×512。

無人機采集數據使用的是大疆御MAVIC 2 PRO，云臺相機為哈蘇HASSELBLAD，相機參數：1英寸CMOS，焦距28，分辨率為2000萬有效像素，光圈調節范圍：F2.8-F11，自動對焦范圍大于1m，視頻拍攝格式為MP4和MOV。采集數據地點選擇為城市多條公路和快速路，時間為上午10：30-12：00、下午15：00-17：00，拍攝當天天氣晴朗，風力小于4級，飛行過程中無明顯遮擋物。最終整理匯總獲得無人機拍攝路面裂縫圖像共4000張。

圖1 智能手機拍攝路面裂縫圖像

數據集共10000張瀝青路面破損圖像，且每張圖片中裂縫的數量較多，裂縫類型也從一種到四種不等。對比網絡數據集中每張路面圖像中只有一種裂縫或一條裂縫，本文采集的路面破損圖像更加多樣復雜，這無疑對后續的識別和檢測加劇了難度，但是檢測的結果和效果卻更具真實性和實用性。

圖2 無人機拍攝路面裂縫圖像

3 破損檢測識別模型

為了在檢測到路面破損的同時能將每類裂縫精確定位和分類，將采取綜合模型的方式先對路面裂縫進行檢測分類，之后提取每條裂縫進行準確的定位，最后將二者的優勢結合起來達到綜合模型的檢測效果。

3.1 檢測分類網絡

根據本文采集到的路面破損圖像的特征分析，首先選取了Yolo系列算法中的最新算法Yolov5s，由于Yolo本身不是專門為土木工程或道路養護而開發，同時yolov5算法基本沒有應用在路面破損檢測中，其結構和參數不能滿足自動路面裂縫檢測的要求，因此根據路面裂縫的特殊特征，對該方法的參數設置進行了修改[15]。采用labelimg軟件對數據集進行集中準確的標記，將標記后的XML文件進行隨機地訓練集、驗證集和測試集分類，按照8：1：1的比例分配。由于數據集圖片分別由不同尺寸大小的圖片組成，所以需要進行多次訓練。為了進一步觀察模型對于路面破損圖像的檢測識別效果，將訓練初期和最后訓練的mAP值單獨對比如圖3。由圖可知在不斷調整各項參數進行多次訓練后，路面所有破損類別的平均精度逐漸提高，由初期訓練的75%提高至最后訓練的95%。

隨機選取不同類型破損圖片進行識別測試，由圖4可知在圖中同時存在各樣類別的破損的情況下，給出的路面裂縫類別置信度均較高。其中圖a)為智能手機所拍，圖b)為無人機所拍。

圖3 破損檢測分類模型訓練mAP曲線

圖4 破損檢測分類模型識別路面裂縫效果圖

3.2 分割提取網絡

進一步的裂縫分割提取采用U-net網絡[16]。為了使網絡適用于路面裂縫的分割，在U-net原始架構基礎上進行了改進。如圖5所示。將結構中的卷積層全部替換為更深層的ResNet殘差模塊，加入殘差模塊后的 U-net 網絡層次更深，訓練參數也增多，解決了一部分 U-net網絡不夠深的問題，而殘差模塊的特性也彌補了在極深度條件下深度卷積神經網絡性能退化的問題[17]。

通過labelme對數據集進行集中標注，總共標注1000張路面破損圖像，數據集劃分按照7：2：1。使用Sigmoid激活函數和二分類交叉熵損失函數計算損失，損失計算公式如下[18]

圖5 改進后的U-net網絡架構圖

l(x，y)=L={l1，…，lN}T

(1)

ln=-wn[yn·logσ(xn)+(1-yn)·(1-σ(xn))]

(2)

其中N為訓練批次，y為目標值，x為模型輸出的值，σ為Sigmoid運算。

如下圖6為分割模型訓練迭代50次的損失曲線，由圖可知模型在迭代50次左右損失值基本穩定，此時網絡可將圖像中的裂縫區域分別分割出來。

圖7為改進前后分割網絡對路面破損圖像的分割情況，由對比圖可知，改進前分割的裂縫不完整不連續，改進后的分割圖較完整的還原了原圖像的裂縫信息。

圖6 路面破損分割模型訓練損失曲線

圖7 分割模型改進前后效果對比

3.3 綜合模型設計

由上述兩種網絡的特點可知，檢測分類網絡可對路面破損進行精確檢測與分類，而分割提取網絡可以提取每條裂縫的信息。將這兩種網絡的優點融合提出一種路面破損檢測識別綜合模型，可以直接對路面破損進行檢測和分類，并精確定位到路面的各條裂縫。

綜合模型的具體工作流程如圖8所示。首先，將路面破損圖像輸入路面破損檢測識別網絡進行檢測和分類，判斷輸入圖像中是否存在破損，如果存在則對裂縫定位和類別信息輸出；之后，將裂縫圖像及其類別信息傳輸到分割提取網絡中，通過分割將破損圖像中所有的裂縫進行精確定位和提取。最后將模型所得的檢測識別和分割結果信息綜合匯總，輸出到相應的原始破損圖像中顯示，最終得到了路面破損檢測識別的結果。

圖8 綜合模型工作流程圖

4 模型識別效果

為了驗證破損檢測識別綜合模型的識別效果，選取沒有經過訓練的8張無人機拍攝的路面破損圖像進行檢測識別測試，識別效果如下圖9。由圖中識別結果可知，在將路面破損檢測識別網絡與分割網絡綜合后，對于無人機采集的路面破損圖像可以進行準確的檢測與分類，并且可將分割后更精確的裂縫信息反饋到原路面破損中，這也提高了路面破損檢測和識別的直觀性。

進一步為了說明此模型對于無人機所拍路面圖片的識別效果，重新選取了200張沒有經過訓練的無人機所拍路面圖片，每張圖片的裂縫數量均為3-8條不等，200張圖片總共存在957項破損。將定位正確定義為正確框選裂縫；分類正確定義正確分類裂縫類別且置信度為0.6以上。表1為這兩項評價指標各自所得的分數。

圖9 路面破損檢測識別效果圖

表1 模型定位、分類評價指標結果

由上表可得，在957項裂縫破損識別中，共有929項破損定位正確，正確率為97%；共有884項破損分類正確，正確率為92.4%。比較之下定位比分類的正確率更高，說明模型對于分類的準確率還有提高的空間。

5 結語

為了提高算法模型對于現實條件中路面破損檢測的實用性，前期通過智能手機和無人機拍攝瀝青路面破損圖像，匯總整理成全新的路面破損圖像數據集，不僅增加了數據訓練的多樣性和復雜性，也使提高了最后模型檢測識別的實用性。

針對路面破損檢測識別算法的單一性，提出了一種路面破損綜合檢測識別模型。使用Yolov5網絡作為檢測分類網絡，改進的U-net網絡作為分割網絡，在檢測識別的基礎上對定位好的裂縫進行分割提取。經過調整參數進行多次訓練實驗后，檢測識別網絡的mAP值提高了20%，改進后的分割效果也比原模型更好。最后，綜合模型檢測的無人機破損圖像定位和分類正確率分別為97%和92.4%，還有進一步的提升空間。

綜上所述，提出的路面破損檢測識別綜合模型在路面破損識別和分類領域更具優越性和實用性，為未來公路路面實現自動健康檢測和維護提供了一定的參考價值。