基于通道注意力與密集連接機制的道路裂縫識別方法研究

廖錫博，黃尚櫻

（廣東工業大學，廣東廣州，510006）

1 課題背景與概述

一條公路上裂縫的數量和每條裂縫的長度、寬窄是評價公路路面質量的重要參考指標。裂縫本身對安全所造成的威脅并不是最為嚴重的，但若不經過及時處理，裂縫可能衍生出其他更為嚴重的次生病害。如雨水滲入裂縫可能腐蝕路基，加上車輛荷載的長期反復作用，可能導致裂縫加深加寬甚至路面塌陷，危害行車安全。

因此，對路面裂縫進行快速、準確的檢測是路面養護工作中最為重要的任務之一。

2 研究內容與目標

近年來，為了更加準確、快速地識別路面裂縫，國內外學者進行了深入的研究，并取得了一定的成就。而其中，較為經典的主要有：

（1）使用中值濾波與原圖差值移除圖像陰影，并使用漢森矩陣的線性濾波進行裂縫識別；（2）通過滲濾處理算法快速識別大尺寸圖像裂縫；（3）通過傳統圖像預處理進行裂縫識別測量；（4）利用自適應方法提取裂縫區域。

圖1 中值濾波與原圖差值移除圖像陰影方法

上述方法在一定程度上能夠對裂縫進行檢測識別，但也存在一定的局限性。比如在光照不均勻時對裂縫識別與測量準確性比較差，甚至在進行裂縫測量時，由于裂縫還會出現一定的斷點，在裂縫長度和寬度計算上存在著一定的誤差。

因此，本文的主要研究內容及主要目標：

（1）能夠對光照不均、圖片背景復雜從而導致道路裂縫識別效率低的問題進行優化，提高路面裂縫的識別準確率，并且可以將該模型應用在更多的場景中；

（2）通過道路裂縫識別技術，去獲得道路裂縫的尺寸、數量與位置信息，為后期道路修復提供數據支撐。

3 道路裂縫識別方法研究

3.1 數據集采集與處理

本文主要采用了SDNET2018數據集，該數據集包含了56,000張具有裂縫和不具有裂縫的混凝土橋地板、墻壁和人行道的RGB圖像。數據集中的裂縫長度0.06~25毫米，且含陰影和孔洞等各種噪聲信息。

本實驗中采用了填充、隨機裁剪、隨機翻轉等策略以對輸入圖像進行數據增強處理，從而有效地增加數據量以提高神經網絡的泛化性能。

圖2 SDNET2018數據集

3.2 對比驗證實驗

本實驗使用AlexNet、VGG-16、VGG-19、ResNe t-18、DenseNet等模型進行對比實驗，從而對后續設計的模型提供參考。

（1）其中AlexNet在訓練與驗證中的準確率與損失值出現了較大的差距，即過擬合現象，其泛化準確率僅為78.86%；

（2）VGG-16的泛化準確率為79.47%，而VGG-19在該實驗中最佳泛化準確率為77.75%，與VGG-16相比減少了1.72%。存在一定程度的“深度網絡退化現象”。

（3）ResNet-18使用了殘差連接結構，有效地解決深度神經網絡中的深度退化問題，其準確率也提高到了89.74%。

圖3 AlexNet準確率及損失值變化情況

圖4 VGG16準確率及損失值變化情況

圖5 VGG19準確率及損失值變化情況

圖6 ResNet—18準確率及損失值變化情況

圖7 DenseNet總體結構

除此以外，ResNet-18在訓練過程中也比AlexNet、VGG-16與VGG-19穩定。

（4）相比于ResNet-18，DenseNet采用了密集連接的設計，將所有特征圖之間兩兩在通道維度上進行拼接以實現信息的最大化利用，其準確率超過ResNet-18，達到了90.25%。

3.3 算法設計與測試

基于以上實驗，最終以DenseNet作為算法模型設計的參考基礎。進一步實驗表明，DenseNet使用了大量的短路連接結構來重復利用特征圖，但并非所有短路連接都是對模型有效的，甚至部分短路連接會起到負面結果，從而干擾神經網絡分類結果。

而SE模塊作為一種通道注意力模塊，能夠有效地減少網絡中無用或有害的連接，從而保證模型能夠控制短路連接的權重從而更好地完成訓練。

所以在定性的角度下可以認為，通過在DenseNet上添加SE模塊能夠提高模型的泛化性能。

因此，在DenseNet的兩種連接結構中加入SE模塊進行優化，即可得到兩種類型的具有通道注意力模塊的密集連接網絡，分別稱為DenseNet-SE和DenseNet-NSE。

DenseNet-SE考慮了密集連接模塊之間不同特征圖在特征重用時的相對重要程度。

DenseNet-NSE則對不同密集連接模塊與降采樣模塊之間傳輸的特征圖進行了篩選。

DenseNet-SE總 體 結構與DenseNet相同，僅在DenseBlock的短路連接上有所變化。在DenseNet-SE中，DenseBlock中每兩個子模塊之間都存在著短路連接結構，因此模型在訓練的過程中將會鼓勵每個子模塊按照自己的需要去利用上游模塊的特征圖信息。

DenseNet-NSE總體結構與DenseNet相同，僅在模塊之間的短路連接上有所變化。DenseNet-NSE在DenseBlock與卷積模塊之間加入了SE模塊。

圖8 擠壓和激勵模塊（squeeze and excitation）

圖9 DenseNet—SE中SE模塊添加位置

3.4 結果校驗與分析

通過依次對DenseNet-SE與DenseNet-NSE進行訓練，并與上述模型進行對比分析，直觀上看，DenseNet-SE與DenseNet-NSE能夠提高模型的泛化性能，并且DenseNet-SE的效果更好。

定性認為，如DenseNet-SE一樣的注意力連接方式能夠增強原版DenseNet中對特征圖信息的篩選，以減少了部分無用甚至有害的短路連接，從而提高了神經網絡的泛化性能。

圖10 DenseNet—NSE中SE模塊添加位置

而如DenseNet-NSE一樣的注意力連接方式僅能控制模塊之間數據的篩選，無法過濾掉密集連接結構中無用或有害的短路連接，因而在泛化性能上高于DenseNet且低于DenseNet-SE。

表1 模型測試集準確率

同時我們也使用DenseNet、DenseNet-NSE與Dense Net-SE在SDNET2018其他兩種裂縫（混凝土橋地板、墻壁和人行道）數據集中進行訓練，得到的結果如表2。

表2 模型在SDNET2018其他數據集上的情況

實驗結果表明，上述結論具有一般性，即DenseNet-SE與DenseNet-NSE都能有效地提高原DenseNet模型的泛化性能。

同時證明在實際中可以使用少量的SE模塊促使模型以更加平穩的方式收斂。

4 總結

本文從深度學習圖像分類領域中進行了詳細研究，并通過大量現有資料設計出了新的深度卷積神經網絡DenseNet-SE及其變體DenseNet-NSE。

圖11 DenseNet—SE準確率及損失值變化情況

圖12 DenseNet—NSE準確率及損失值變化情況

在使用SDNET2018道路裂縫數據集進行訓練中得到的結果表明，DenseNet-SE與DenseNet-NSE都能有效地提高原DenseNet模型的泛化性能，且如DenseNet-SE的結構相比于如DenseNet-NSE的結構在測試集中展現出了更好的泛化性能，這一結論在SDNET2018的人行道裂分與磚頭裂縫數據集得到了驗證。