基于深度學習的城市道路瀝青路面病害智能檢測仿真實驗

楊盼盼，郭楊成

摘要：為提高城市道路瀝青路面病害檢測精度，提出一種基于深度學習的智能檢測方法。方法以Faster R-CNN網絡為基礎檢測模型，通過對采用擬合值填充方式優化Faster R-CNN網絡卷積層，提升網絡對目標檢測的準確性，實現了Faster R-CNN網絡的改進；然后利用改進后的Faster R-CNN網絡對城市道路瀝青路面病害進行檢測，實現了瀝青路面病害的智能檢測。仿真結果表明，所提的改進Faster R-CNN網絡可有效檢測城市道路瀝青路面坑槽、裂縫病害，且具有較高的檢測精度，平均精確度的均值達到為90.26%。相較于標準Faster R-CNN網絡和ResNet、U-Net目標檢測算法，在平均精確度的均值和單張圖像的檢測速度指標上具有明顯優勢，可用于實際城市道路瀝青路面病害檢測。

關鍵詞：路面病害檢測；深度學習；Faster R-CNN網絡；擬合值填充

中圖分類號：TP391

文獻標志碼：A文章編號：1001-5922（2023）11-0174-05

An intelligent detection and simulation experiment for urban road?asphalt pavement diseases based on deep learning

YANG Panpan1，GUO Yangcheng2

（1.Nanjing Tech University Pujiang Institute，School of Civil and Architectural Engineering，Nanjing 210000，China；2.China Design Group，Nanjing 210000，China）

Abstract：To improve the accuracy of urban road asphalt pavement disease detection，an intelligent detection method based on deep learning was proposed.The method was based on the Faster R-CNN network as the detection model.By optimizing the convolutional layer of the Faster R-CNN network using fitting value filling，the accuracy of target detection was improved，and the improvement of the Faster R-CNN network was achieved.Then，the improved Faster R-CNN network was used to detect asphalt pavement diseases on urban roads，achieving intelligent detection of asphalt pavement diseases.The simulation results showed that the proposed improved Faster R-CNN network could effectively detect potholes and cracks on asphalt pavement of urban roads，and has high detection accuracy，with an average accuracy of 90.26%.Compared to the standard Faster R-CNN network，ResNet，and U-Net object detection algorithms，it has significant advantages in average accuracy and detection speed indicators for single images，and can be used for actual urban road asphalt pavement disease detection.

Key words：road surface disease detection;deep learning;faster R-CNN network;fit value filling

城市道路是城市發展的主要動力，對生產要素的流動和城鎮體系的發展發揮著至關重要的作用。隨著經濟的不斷發展，城市道路網逐漸密集，為人民生活提供了極大的便利。但由于交通壓力的增大，城市道路瀝青路面面臨著不同程度的病害，可能威脅到人們的出行安全。因此，有必要對城市道路瀝青路面病害進行檢測，并根據檢測結果對存在的病害開展維修和保養工作。城市道路病害檢測中最原始的檢測方法是人工檢測，該方法存在效率低、成本高、易造成交通擁堵等問題，且難以準確評估路面狀況。近年來，隨著人工智能的發展，基于深度學習的目標檢測算法廣泛應用于各個領域，并取得了優異的成績。如提出一種基于深度學習的光學遙感影響在軌目標檢測方法，通過在YOLOv3特征提取網絡中引入深度可分離卷積壓縮模型參數和推理計算量，有效提升了算法對目標檢測的精度和速度，實現了飛機、艦船、車輛等典型目標的檢測，檢測精度達到90%；通過對RFBNet網絡進行結構化剪枝，提出一種輕量化目標檢測算法，在保證網絡檢測精度的同時有效地減小了網絡模型的尺寸，提高了RFBNet網絡目標檢測精度；設計并實現了YOLOV3&MobileNetV3輕量化網絡，提出一種基于深度學習的遙感圖像艦船目標檢測算法，可實現快速有效的船艦目標檢測。通過上述研究可以發現，基于深度學習的目標檢測算法實現了目標的智能檢測，這為城市道路瀝青路面智能檢測提供了參考。本研究基于深度學習中典型的目標檢測網絡Faster R-CNN，通過對采用擬合值填充方式優化Faster R-CNN網絡卷積層，提升其對目標檢測的準確性，提出一種基于改進Faster R-CNN的城市道路瀝青路面病害智能檢測方法。

1基本算法

1.1Faster R-CNN網絡簡介

Faster R-CNN網絡是一種典型的目標檢測神經網絡，其基本結構如圖1所示，主要分為CNN特征提取層、RPN生成候選區域層、ROI池化層、分類回歸層4個階段。特征提取層負責對輸入網絡的圖像進行特征提取，并輸出其特征；RPN生成候選區域層負責初步劃分感興趣區域，產生建議窗口；ROI池化層負責對不同輸入圖像進行轉換并輸出固定大小的ROI Pooling；分類回歸層負責精確定位每個圖像中的候選特征，并輸出特征類別同時加以定位。

Faster R-CNN網絡中，卷積層獲取的特征圖像尺寸會隨著卷積進行逐漸減小。當網絡層數較深時，特征圖像尺寸越來越小，導致輸出的圖像與原始圖像大小不一致，進而影響最終分類檢測結果，降低檢測結果的準確性。因此，為解決該問題，提高城市道路瀝青路面病害檢測精度，研究對Faster R-CNN網絡進行了改進，并利用改進的Faster R-CNN網絡檢測城市道路瀝青路面病害。

1.2Faster R-CNN網絡改進

標準Faster R-CNN網絡卷積層中是直接對輸入圖像進行卷積操作，未使用任何填充導致了輸出圖像大小與原始圖像大小不一致。因此，本研究嘗試通過對卷積層進行填充，以優化Faster R-CNN網絡。目前，卷積層中的填充方式主要包括補零填充卷積、真實值填充卷積和擬合值填充卷積3種方式。

補零填充卷積即在圖像四周進行補零操作，以使通過卷積后的圖像與原始圖像大小一致；真實值填充即利用原始圖像信息對圖像四周進行填充，使輸出圖像與原始圖像大小一致；擬合值填充即使用線性擬合方法，通過擬合計算填充圖像的像素值，對圖像進行填充。其中，補零填充方式由于該方法輸出四周信息與中心信息差異較大，不利于后續城市道路瀝青路面病害檢測精度的提升，通常不采用該方式進行卷積層填充；真實值填充雖然可獲取最理想的結果，但由于實際操作中通常難以獲取圖像周邊的真實值，通常不采用該方式進行卷積層填充。因此，本研究選用擬合值填充方式對Faster R-CNN網絡卷積層進行優化。

基于擬合值填充的Faster R-CNN網絡卷積層卷積方式的具體操作是，假設計算填充圖像上方一行的某個點x，其所在列的前5個像素值分別為y1、y2、y3、y4、y5，然后基于這5個像素值進行曲線擬合，并計算第6個點的值，最后根據擬合結果進行填充，即實現了卷積層填充方式優化。

y=a0+a1x+a2x2（1）

Ax=b→（2）

ATAx=ATb→（3）

2基于深度學習的城市道路瀝青路面病害智能檢測

根據上述改進的Faster R-CNN網絡，研究將城市道路瀝青路面病害智能檢測流程設計。

（1）圖像采集與預處理。利用相機采集城市道路瀝青路面圖像，并進行灰度化處理、去噪處理和數據增強處理；

（2）數據集劃分。按一定比例將預處理后的圖像劃分為訓練集、測試集、驗證集；

（3）改進Faster R-CNN網絡模型構建。基于Pytorch深度學習框架搭建并訓練改進Faster R-CNN模型。首先，訓練RPN網絡生成Region Proposed，然后訓練Faster R-CNN網絡生成模型，再使用模型對Region Proposed進行調優，并再次優化Region Proposed，得到改進Faster R-CNN網絡模型；

（4）圖像分類識別。將待分類識別圖像輸入訓練好的改進Faster R-CNN網絡模型中，判斷是否存在路面病害，若存在，則輸出病害種類。

3仿真實驗

3.1實驗環境

本次實驗基于Pytorch深度學習框架進行開發，在Windows10系統上運行，利用Python語言進行編程。系統配置Intel i9-7980xe處理器，NVIDIA GeForce RTX 2080Ti顯卡，RAM 32 GB。

3.2數據來源與預處理

本次實驗數據來自利用線陣相機自主采集的城市道路瀝青路面圖像，包括坑槽、裂縫2類病害各520、480張。采集相機參數：幀率330 fps、拍攝寬度1 000 mm、最高采集頻率18.5 kHz，濾光特性808 nm帶通，光源特性808 nm±3 nm，分辨率0.5 nm。

為盡可能簡化圖像數據，增強重要特征檢測，研究采用最大值法對圖像進行了灰度化處理。同時，考慮到所采集到的瀝青路面圖像存在噪聲。為消除噪聲，提高檢測精度，實驗前研究采用均值濾波對圖像進行了處理。均值濾波通過選擇濾波范圍內像素灰度平均值作為區域中心像素灰度，可明顯抑制高斯噪聲，避免圖像模糊。因此，本研究選用均值濾波對所采集的圖像進行去噪處理。均值濾波器數學表達式：

f（x，y）=19∑x+1i=x-1∑y+1j=y-1f（i，j）（4）

式中：f（x，y）表示對應位置像素值。

此外，考慮到圖像采集過程中光線變化引起的不同瀝青路面圖像和不同區域的灰度差異明顯，可能影響后續圖像檢測。因此，研究采用直方圖均衡化對圖像進行了處理，其處理方法如式（2）：

sk=（L-1）×∑kj=0p（rk），k=0，1，…，L-1 （5）

式中：sk表示變換后像素灰度值；rk表示灰度值。

最后，考慮到所采集的瀝青路面圖像用于神經網絡訓練和識別整體偏少，研究對通過濾波處理和直方圖均衡化處理的圖像進行旋轉、縮放等操作，以擴充數據樣本量。最終得到坑槽圖像1 024張、裂縫圖像960張，并按3∶1∶1比例劃分為訓練集、驗證集、測試集。

3.3評價指標

為檢驗所提改進Faster R-CNN網絡對城市道路瀝青路面病害智能檢測的性能，研究選用平均精確度的平均值（MAP）和檢測速度作為評價指標對所提算法性能進行評估。其中，平均精確度的平均值計算方法如式（3）：

MAP=AP1+AP2+…+APii（6）

式中：APi表示數據集中類別的平均精確度。其計算方法：

AP=∫10p（r）dr （7）

式中：p表示準確率；r表示召回率，計算方法：

p=TPTP+FP（8）

r=TPTP+FN（9）

式中：m為成功分類的正樣本，n、w分別表示錯誤分類的正樣本和負樣本。

3.4參數設置

本次實驗參數通過config.py文件進行配置，通過不斷更新模型權重參數獲取最佳分類模型。為尋找最佳初始學習率，設置不同初始學習率對Faster R-CNN網絡進行訓練，具體結果如表1所示。

由表1可知，當初始學習率為0.001時，Faster R-CNN網絡的平均精確度均值最高，為85.36%。因此，本次實驗設置Faster R-CNN網絡的初始學習率為0.001。

3.5結果與分析

3.5.1算法驗證

（1）算法改進驗證：

為驗證所提改進Faster R-CNN網絡采用擬合值填充方式的有效性，研究分析了使用擬合值填充、補零填充、不使用任何填充時，一個3層Faster R-CNN網絡訓練過程中的準確率對比，結果如圖2所示。

由圖2可知，相較于使用補零填充方式和未使用任何填充的Faster R-CNN網絡，使用擬合值填充方式的Faster R-CNN網絡準確率更高。由此說明，所提改進Faster R-CNN網絡通過使用擬合值填充有效提升了Faster R-CNN網絡訓練準確率，且具有一定的優勢，改進有效。

為驗證所提改進Faster R-CNN網絡的有效性，實驗對比了改進前后網絡的檢測性能，結果如圖3所示。

由圖3可知，相較于改進前Faster R-CNN網絡，改進后的Faster R-CNN網絡通過對卷積層填充方式進行優化，有效提升了Faster R-CNN網絡對瀝青路面病害智能檢測的平均精確度的平均值，但由于改進的Faster R-CNN網絡額外增加了卷積運算量，降低了網絡對單張瀝青路面病害圖像的檢測速度，因此相較于改進前，改進后網絡的檢測速度減慢。不過從整體來看，改進前后網絡的檢測速度較為接近。由此說明，所提的改進Faster R-CNN網絡具有更優異的檢測性能，改進有效。

（2）算法性能驗證：

為驗證所提改進Faster R-CNN網絡對城市道路瀝青路面病害智能檢測的性能，采用所提改進Faster R-CNN網絡對實驗數據集進行檢測，部分檢測結果如表2所示。

由表2可知，所提改進Faster R-CNN網絡對縱向裂縫的檢測效果較好，誤差接近0.30 cm；對坑槽檢測誤差接近2.50 cm2;對橫向裂縫的檢測誤差接近2.50 cm。雖所提網絡對坑槽和橫向裂縫的檢測精度相較于縱向裂縫存在一定的改進空間，但滿足當下對瀝青路面病害的檢測需求，因此可用于檢測城市道路瀝青路面病害。由此說明，本研究提出的改進Faster R-CNN網絡可實現城市道路瀝青路面的病害檢測，且具有一定的有效性。

3.5.2算法對比

為進一步驗證所提改進Faster R-CNN網絡對城市道路瀝青路面病害智能檢測性能，研究對比了所提算法與常用檢測方法ResNet算法和CrackIT算法在實驗數據集上的各項性能指標，結果如表3所示。

由表3可知，相較于ResNet算法和CrackIT算法，所提改進Faster R-CNN網絡對城市道路瀝青路面病害檢測的平均準確率更高，平均精確度的平均值為90.26%，分別提高了7.48%和5.20%，且在對單張圖像的檢測速度指標上具有明顯優勢，為9.65 s，分別提升了11.36 s和9.00 s。由此說明，所提的改進Faster R-CNN網絡具有一定的有效性和優越性。

3.5.3實例驗證

為檢驗所提改進Faster R-CNN網絡對城市道路瀝青路面病害的實際智能檢測效果，采用所提算法對實際采集的城市道路瀝青路面進行檢測，結果如圖4所示。

由圖4可知，所提的改進Faster R-CNN網絡可有效、準確檢測識別出城市道路瀝青路面病害的種類，且檢測范圍可圈出瀝青路面病害的位置。

4結語

綜上所述，所提的改進Faster R-CNN網絡通過采用擬合值填充方式改進網絡卷積層，有效提升了Faster R-CNN網絡對目標檢測的精度，可實現對瀝青路面坑槽、橫向裂縫、縱向裂縫的檢測。其中，所提改進Faster R-CNN網絡對縱向裂縫的檢測效果較好，誤差接近0.30 cm;對坑槽檢測誤差接近2.50? cm2;對橫向裂縫的檢測誤差接近2.50 cm，具有一定的有效性。相較于改進前標準Faster R-CNN網絡和其他常用目標檢測方法ResNet算法和U-Net算法，所提改進后的Faster R-CNN網絡對城市道路瀝青路面病害檢測的準確性更高，平均精確度的均值達到90.26%，且對單張圖像的檢測速度更快，為9.65 s，可用于實際城市道路瀝青路面病害檢測。

【參考文獻】

[1]璩澤旭，方火能，肖化超，等.一種基于深度學習的光學遙感影像在軌目標檢測方法.空間控制技術與應用，2022，48（5）：105-115.

[2]田青，李遷遷，張正，等.基于深度學習的輕量化目標檢測方法研究.工業控制計算機，2023，36（8）：108-110.

[3]黃澤賢，吳凡路，傅瑤，等.基于深度學習的遙感圖像艦船目標檢測算法綜述.光學精密工程，2023，31（15）：2295-2318.

[4]李波，楊慧，石實，等.基于改進Faster R-CNN的吸煙檢測算法研究.現代信息科技，2023，7（15）：69-72.

[5]岑霄.融合空洞卷積和特征金字塔的Faster R-CNN柑橘害蟲檢測方法.中國農學通報，2023，39（22）：158-164.

[6]韓光，楊晟偉，袁培森，等.基于改進Faster R-CNN的新能源電池炸點缺陷檢測分析.自動化與儀器儀表，2023（7）：113-117.

[7]宋雯琦，趙榮彩，姜旭，等.基于Faster R-CNN的肺炎目標檢測.計算機工程與設計，2023，44（7）：2087-2092.

[8]田秀霞，劉正，劉秋旭，等.一種改進Faster R-CNN的圖像篡改檢測模型.計算機工程與科學，2023，45（6）：1030-1039.

[9]韓俊玲，李博，康曉東，等.綜合應用Faster R-CNN和U-net的心臟MRI圖像分割.計算機科學，2023，50（S1）：313-321.

[10]陳新果.基于改進Faster R-CNN的石化裝置火災增強識別方法.安全、健康和環境，2023，23（6）：42-50.

[11]胡浩特，徐建，黃營，等.基于改進的Faster R-CNN輸電鐵塔絕緣子缺陷檢測.信息技術與信息化，2023（7）：63-66.

[12]俞進，唐建華，神祥凱，等.基于Faster R-CNN的海底管道智能檢測方法.中國安全科學學報，2023，33（6）：80-87.

[13]鄧姍姍，黃慧，馬燕.基于改進Faster R-CNN的小目標檢測算法.計算機工程與科學，2023，45（5）：869-877.

[14]楊青青，邵鐵鋒，孫衛紅，等.基于改進Faster R-CNN緒下繭形態識別與計數方法的研究.中國計量大學學報，2023，34（2）：224-230.

[15]羅鋒，陳鋒，吳航，等.基于Faster R-CNN的損害控制手術器械檢測方法研究.醫療衛生裝備，2023，44（6）：1-6.

[16]李東璐，蔡喜昌，謝國棟，等.基于YOLOv5模型改進技術的仿真結果對比.粘接，2023，50（5）：147-151.

[17]趙瑋瑋.基于深度學習的路面病害檢測系統.鄭州：鄭州大學，2020.

[18]王家曜，馬亮亮，王飛，等.一種基于改進ResNet的疲勞檢測方法.自動化與儀表，2023，38（11）：66-70.

[19]張靖，俞錫光，鄭東旭，等.基于GAN-UNet++的汽車鋁鑄件圖像缺陷分割算法研究.模具工業，2023，49（11）：6-11.

[20]毛磊磊.基于深度學習的路面病害檢測系統設計與實現.西安：長安大學，2022.