一種新的瀝青路面灌封裂縫自動提取方法

鄧硯學， 張志華*， 張新秀

(1.蘭州交通大學測繪與地理信息學院， 蘭州 730070； 2.蘭州交通大學地理國情監測技術應用國家地方聯合工程研究中心， 蘭州 730070；3.甘肅省地理國情監測工程實驗室， 蘭州 730070； 4.甘肅省公路路網檢測重點實驗室， 蘭州 730070)

灌封裂縫作為瀝青路面最常見的病害之一，其檢測結果為路面技術狀況評定及路面養護管理決策提供技術依據。雖然人工現場病害檢測精度高，但檢測效率低且主觀性較強。傳統的路面病害提取方法，通過道路檢測車快速采集路面圖像，運用基于圖像視覺的路面病害檢測方法，如自適應閾值分割法、邊緣檢測法、形態法、小波分析等算法[1]，實現瀝青路面病害識別與提取。路面病害圖像包含各種道路場景、車道線、油漬、不同的光照背景和其他污漬。傳統方法只能處理特定類型的病害圖像[2]，易受光照條件的影響[3]，效率較低[4]。

近年來，得益于深度學習強大的非線性擬合能力和高效的圖像處理能力[5]，基于深度學習的路面病害檢測方法極大地提高了病害檢測效率。Cha等[6]結合卷積神經網絡(convolutional neural networks， CNN)和滑動窗口技術識別裂縫，驗證精度和測試速度均有明顯提升。Dorafshan等[7]結合CNN和邊緣檢測識別混凝土表面裂縫，識別效率高于邊緣檢測方法。陳健昌等[8]先通過分類方法消除路面圖像中的標線干擾因素，再運用建立的數據集訓練網絡，實現了路面裂縫的智能化識別。沙愛民等[9]使用3個CNN模型級聯檢測路面裂縫和坑槽，檢測效果優于傳統的圖像處理方法。基于快速區域卷積神經網絡(faster region convolutional neural network, Faster R-CNN)改進的路面病害檢測方法能夠明顯提高對病害的檢測準確率和定位精度[10-11]。雖然基于深度學習的路面病害檢測方法效率較高，但檢測結果包含病害目標和背景，不能精確提取病害，而由全卷積網絡(fully convolutional network，FCN)[12]發展而來的圖像語義分割[13]方法能夠更精確地提取病害目標。基于概率自動編碼器[14]改進的編解碼網絡(encoder-decoder network)，其編碼器通過卷積與池化或下采樣操作，提取圖像數據特征，生成高度抽象特征圖；解碼器通過反卷積或上采樣操作恢復特征分辨率，逐步得到與輸入圖像相同維度的特征圖。SegNet[15]是語義分割方法中最經典的編解碼網絡結構，對作為編碼器的VGG16進行改進，保留VGG16前13層，刪除全連接層。在解碼器中，通過池化索引和上采樣運算，最終輸出的特征圖尺寸與輸入圖像一致。Yu等[16]使用雙邊分割網絡(bilateral segmentation network， BiSeNet)，提高實時語義分割的精度和速度。BiSeNet由空間路徑和上下文路徑組成。空間路徑提取空間信息并生成特征圖。上下文路徑由主干網和注意力模塊組成，提取紋理特征。特征融合模塊融合兩部分特征。Bang等[17]提出了由ResNet[18]和SegNet的反卷積層組成的編解碼網絡，檢測由黑盒相機拍攝的街景圖像裂縫，但由于街景圖象包含各類復雜物體且裂縫尺寸小，誤檢率較高。Chen等[19]采用不含頂層的VGG16網絡作為編碼器，并使用開源的預訓練權重進行初始化SegNet，實現混凝土路面、瀝青路面和橋面裂縫的自動化檢測，但因數據集數量較少及網絡性能限制，該方法的病害識別精度較低。

綜上分析，瀝青路面灌封裂縫提取研究存在3個問題：①邊緣檢測、閾值分割和區域分割等方法易受光照的影響、效率低，不適用于處理海量的路面灌封裂縫圖像；②基于深度學習的目標檢測方法不能精確提取灌封裂縫；③SegNet難以提取較小尺寸的灌封裂縫，易出現漏檢和誤檢。針對以上問題，提出一種精確提取瀝青路面灌封裂縫的方法。首先，采用多尺度視網膜(multi-scale Retinex,MSR)方法增強原始圖像的對比度，并制作Asphalt-Sealed-Crack數據集；其次，選擇ResNet50網絡作為編碼器提取圖像的多尺度特征，在解碼器中，用不同空洞率的空洞卷積層獲取更豐富的特征，逐步將空洞卷積層提取的特征與編碼器提取的特征進行融合，得到與輸入圖像維度相同的組合特征圖；最后，利用灌封裂縫和假陽性的像素面積和長寬差的絕對值作為閾值，剔除假陽性，提取精確的灌封裂縫。

1 瀝青路面灌封裂縫的語義分割

為提取瀝青路面的灌封裂縫，主要研究由圖像增強處理、語義分割和異值剔除3個部分組成，其提取技術流程如圖1所示。

圖1 灌封裂縫提取流程

1.1 圖像增強處理

光照不均勻會降低路面圖像的對比度，而改善對比度能夠提高病害的檢測精度。王奎等[20]針對低照度圖像的曝光不足問題，通過對 Retinex 理論的分析，在 HSV(Hue,Saturation,Value)顏色空間下對 Retinex 進行了改進，改善了圖像的泛灰現象。侯越等[21]利用卷積自編碼重構圖像，擴增數據集。Rizzi等[22]運用自動色彩均衡改善圖像的對比度。如圖2所示，實驗選用496幅(512×512)圖像對卷積自編碼進行1 000次迭代訓練得到的圖像病害模糊，質量最差；自動色彩均衡對圖像的增強效果不如MSR。MSR方法有效降低光照不均勻對原始圖像質量的影響，得到的圖像其質量均勻，病害特征較為清晰。

圖2 圖像增強處理效果

1.2 遷移學習

遷移學習(transfer learning) 是一種將經過大量數據訓練的模型權重參數遷移到其他相近領域模型的方法。與隨機初始化CNN初始權重不同，遷移學習使用已訓練模型的權重參數作為新模型的初始權重，有效減少模型對標簽數據的需求，同時減少訓練時間，提高效率。遷移學習方法已被成功應用到基于深度學習的路面病害檢測中。Kasthuriangan等[23]結合數據驅動、遷移學習和深度卷積神經網絡方法自動檢測路面病害；Mandal等[24]利用遷移學習和深度卷積神經網絡自動檢測路面裂縫，減少標簽數據需求的同時，提高了檢測精度；Hang等[25]提出了由遷移學習、分塊閾值和基于張量投票的曲線檢測組成的路面裂縫和灌封裂縫檢測方法，解決裂縫和灌封裂縫相互誤檢的問題。

1.3 編解碼網絡

SegNet結構如圖3所示，在編碼器部分的最大池化操作時記錄了最大值所在位置，然后在解碼器時通過對應的池化索引實現非線性上采樣，上采樣階段無需學習。上采樣后得到一個稀疏特征圖，再通過卷積得到稠密特征圖，重復上采樣，最后用激活函數得到分類結果。SegNet 的優勢就在于：不用保存整個編碼器部分的特征圖，只需保存池化索引；上采樣階段無需學習，可以大幅減少網絡訓練時的內存占用。

圖3 SegNet 結構圖

受SegNet編解碼結構的啟發，用性能優于VGG16的ResNet50作為圖4中的編碼器，網絡輸入層的圖像分辨率為256×256×3，分別代表寬度、長度和通道數。通過一個池化層、49個卷積層進行下采樣，編碼器網絡最終輸出特征圖的寬度、高度和卷積核數量為8×8×2 048。

conv為卷積；rate為空洞卷積層中的空洞率，如rate 4表示空洞卷積層的空洞率為4

在解碼過程中，利用不同空洞率的空洞卷積層代替池化索引層。如圖4中的解碼器所示，由兩條路徑生成分辨率為16×16×2的特征圖：一組為分辨率為8×8×2的特征圖；用空洞率為4、卷積核為3×3的卷積層，對16×16×2的特征圖進行空洞卷積，得到另一組特征圖。將兩組特征圖融合并進行兩倍上采樣，得到16×16×2的特征圖。相比SegNet的上采樣+直接池化索引，上述操作能獲取更多細微病害的特征。特征圖32×32×2和64×64×2的獲取過程與特征圖16×16×2相似。

對64×64×2大小的組合特征圖進行四倍上采樣，得到與輸入圖像尺寸相同的特征圖，通過SoftMax 層生成特征圖的分辨率為256×256×2，表示其寬度、高度和類別數，然后將特征圖輸入SoftMax函數以實現分類預測。

1.4 異值剔除

編解碼網絡的輸出包含灌封裂縫和假陽性，兩者的面積差異較大。對預測結果進行統計分析，可知：①灌封裂縫為條狀，假陽性呈散點狀；②對于灌封裂縫和假陽性，無論是長寬差的絕對值L，還是其面積A均有重復的區間，單獨使用L或者A，都不能完全剔除假陽性。如表1所示，同時利用A和L作為閾值，可有效剔除假陽性。其中L的表達式為

表1 測試圖像中灌封裂縫和假陽性的統計結果

L=abs(x-y)

(1)

式(1)中：x、y分別為病害的長和寬；abs(·)為絕對值函數；L為x和y差的絕對值。

2 實驗與分析

2.1 評價指標

衡量圖像語義分割方法性能的指標包括準確度、運行時間和內存占用[26]，主要采用F1分數(F1-score，F1)和平均交異比(mean intersection over union，MIoU)。MIoU可以理解為各類像素的預測區域和真實區域的交并比的平均值，能夠反映出分割目標和真實目標的重合度。F1是統計學中用來衡量二分類模型精確度的一種指標，它同時兼顧了分類模型的精確率Precision和召回率Recall。MIoU和F1的計算公式為

(2)

式(2)中：pii為分割正確的數量；pij為本屬于i類但預測為j類的像素數量；pji為本屬于j類但預測為i類的像素數量；k為圖像數量。

(3)

式(3)中：TP為真陽性，實際為正樣例預測為正樣例；FP為假陽性，實際為負樣例預測為正樣例；FN為假陰性，實際為正樣例預測為負樣例；TN為真陰性，實際為負樣例預測為負樣例；TP+FP表示預測為正樣例的總數；TP+FN為實際的正樣例總數。

2.2 實驗數據和實驗環境

檢測車采集的圖像分辨率為1 688×1 874。使用labelme標注工具對包含灌封裂縫的890幅圖像進行精確標注。對每幅圖像進行裁剪，最后挑選出15 000幅圖像(256×256)組成Asphalt-Sealed-Crack數據集。其中9 000幅用于訓練，4 500幅用于測試，1 500幅用于驗證。

實驗環境為Windows10，Anaconda 4.9.2，Tensorflow-GPU 1.15.4，顯卡為微星Tesla T4，內存大小為16 GB。

2.3 訓練方法

為了使與CNN參數相關的代價函數值最小，實驗運用隨機梯度優化方法對訓練集進行訓練，以交叉熵作為損失函數，判定實際輸出與期望輸出的接近程度，可表示為

(4)

式(4)中：J(θ)為代價函數；θ為網絡參數；pi為第i個像素的目標值；qi為第i個像素的預測值；m為圖像中像素的總數。

同時采用自適應距估計(adaptive moment estimation，Adam)優化器，其計算公式為

(5)

式(5)中：t為迭代次數，設為200；mt和vt分別為一階動量項和二階動量項；β1、β2為動力值，分別取0.90和0.995；m′t、v′t分別為mt和vt的無偏值；θt為第t次迭代模型的參數；?θJ(θ)為t次迭代代價函數關于θ的梯度大小；ε為一個取值很小的數，取1×10-8；η為學習率，取0.001。

以上為Adam優化器的參數更新過程，與其他優化器相比，Adam 避免了局部最小化問題，具備計算高效、梯度下降平滑和參數調整簡單的優點。采用ResNet50的權重作為網絡的初始權重參數，學習速率調整策略使用多項式衰減策略，權重衰減使用L2 正則化，衰減系數為0.000 01。

2.4 實驗測試與分析

使用Asphalt-Sealed-Crack訓練SegNet網絡,用測試集測試得到的模型。測試集中含有道路標線的圖像，其測試結果中的假陽性較多，較小尺寸的灌封裂縫漏檢率較高。實驗中取標線周圍4個點(不在標線內)的像素值均值逐一填充標線后，測試結果中的假陽性明顯減少，但存在漏檢細微灌封裂縫、灌封裂縫輪廓變形的問題。空洞卷積層具有增大感受野、更加關注小尺寸病害特征的優點。采用不同空洞率的空洞卷積層提取特征圖，與上一步提取的特征融合，得到豐富信息的組合特征圖。與之前的測試結果相比，加入空洞卷積操作之后，漏檢率和誤檢率均得以改善，物體的輪廓分割準確。圖5中，分割結果的形狀、輪廓與原圖一致，細節保持完整，但部分非灌封裂縫被預測為灌封裂縫。多次微調模型及數據擴增，但收效甚微。實驗統計分析大量的預測結果，在分割結果的基礎上，運用50

圖5 灌封裂縫分割結果

實驗中的原始圖像由路面檢測車在不同條件下拍攝的圖像組成，圖像的質量差異較大。路面光照條件良好、勻速行駛等條件下所拍攝的圖像質量較好，在路面光照條件較差、隧道、非勻速行駛等條件下拍攝的圖像質量較差。此外，道路標線同樣影響圖像對比度。由圖2、圖6可知，雖然MSR方法改善圖像整體的對比度，有助于降低漏檢率，但部分非灌封裂縫，其像素值變得與灌封裂縫的像素值相同，被預測為灌封裂縫。

方框標記的是較為聚集的假陽性，多為小面積的瀝青油斑或路面污漬；圓圈標記的是呈散點狀分布的假陽性，多為顏色較深的瀝青混合料

采用兩種方式解決假陽性：一是包含深度學習和大數據的數據驅動方法，實驗中對SegNet進行改進，將VGG16替換為ResNet，同時，將池化索引層替換為空洞卷積層，經裁剪，數據擴增處理后，數據集圖像達到15 000幅，雖然數據驅動方法最終沒有解決假陽性問題，但是卻讓方法更具魯棒性，灌封裂縫分割更精確；二是運用閾值算法解決假陽性；雖然數據驅動方法可以解決假陽性，但需要制作大量的標簽數據，還需花費大量的時間和精力優化網絡，因此，運用提出的閾值法剔除假陽性，提取完整的灌封裂縫。

2.5 評價

為客觀評價改進方法、BiSeNet和SegNet三者的性能，將后兩種方法在相同數據集上迭代訓練200次。圖7為3種方法在訓練過程中MIoU和Loss的變化情況。隨著訓練次數增加，BiSeNet和SegNet的MIoU先增后減；改進方法的MIoU不斷增長，最終穩定在77%以上。表2對比了3種方法的4個性能指標，改進方法均優于另外兩種方法。圖8為3種方法對灌封裂縫的分割結果：SegNet分割效果較差，假陽性較多，病害輪廓變形，部分細節缺失；BiSeNet的分割效果一般，預測結果中的假陽性較少且相對集中，但物體輪廓變形嚴重；所提方法的分割結果與輸入圖像在面積、形狀和輪廓上保持一致，存在點狀假陽性。對甘肅省部分路段的灌封裂縫進行檢測。手動提取的灌封裂縫5 679條，提出方法剔除假陽性后，共提取5 820條病害，其中有141條假陽性，占2.49%；漏檢5條，占0.09%。綜上，本文方法的MIoU、分割效果均優于其他兩種方法。

圖7 3種方法的性能對比

表2 對比3種方法的4個性能指標

圖8 3種方法對裂縫灌封的分割結果

3 結論

針對SegNet在提取病害時存在漏檢小尺寸病害、假陽性多、病害輪廓變形的問題，提出集圖像增強處理、語義分割和異值剔除為一體的瀝青路面灌封裂縫提取方法，并通過實驗驗證得出如下結論。

(1)利用改進的編解碼網絡提取測試集中的灌封裂縫，MIoU、F1分別達到0.776 3和0.899 9，比SegNet分別提高了2.5%，10.2%。

(2)與手動提取病害相比，所提方法能夠高效的提取多種瀝青路面的灌封裂縫，誤檢率和漏檢率分別為2.49%，0.09%，具有一定的應用前景。

(3)在今后研究中，應進一步提高對車載瀝青路面灌封裂縫的提取精度和速率，研究算法對瀝青路面多種病害的泛化能力。