基于并行注意力UNet的裂縫檢測方法

劉 凡 王君鋒 陳峙宇 許 峰

(河海大學計算機信息學院 南京 210098) (海岸災害與防護教育部重點實驗室(河海大學) 南京 210098)

裂縫作為公共設施中一種常見現象，存在著重大的安全隱患.因此設計一種有效的裂縫檢測方法對保障社會公共財產安全具有重要意義.早期的裂縫檢測采用人工檢測，由于其花費時間長，且易受主觀判斷影響，難以推廣應用.因此，為了克服人為因素造成的主觀誤差，學者們提出了基于圖像處理的自動檢測方法，包括小波變換[1-2]、閾值分割[3-5]、方向各異性[6-7]、邊緣算法[8-10]和直方圖[11-13]等.這些方法通過機器進行檢測，避免了人為誤差的產生，同時大大提高了檢測的效率，促進了檢測技術的發展.但還是存在一些不足，當裂縫圖像環境較為復雜時，這些方法很難獲得準確的結果，因此需要進一步的研究.

近年來，隨著深度學習的快速發展，其在裂縫檢測領域中也得到了廣泛應用.如墻壁裂縫檢測[14-15]、橋塔和錨室表面裂縫檢測[16-17]、路面裂縫檢測[18-20]和混凝土裂縫檢測[21-22]等.在進行裂縫檢測時，深度學習方法不僅注重裂縫特征的提取，而且關注圖像中的上下文信息，使最后提取的特征更加精準有效.但這些方法在提取裂縫特征時，易受到圖像中噪聲、光線、陰影等因素的干擾，導致預測結果出現偏差，降低檢測準確度.針對此問題，本文設計了一個并行注意力機制，并將其嵌入到UNet網絡的解碼部分，進而提出了并行注意力UNet裂縫檢測方法.該并行注意力機制分別從通道和空間2個維度對裂縫特征權重進行充分分配，然后將重新分配后的特征融合，以獲得更具互補性的裂縫特征并抑制干擾.與串行結構的注意力機制相比，本文設計的并行注意力機制在精確捕獲裂縫特征的同時，又能有效抑制各種干擾.

1 相關工作

目前，深度學習方法在裂縫檢測領域被廣泛應用.如Yao等人[23]提出了一種基于卷積神經網絡的裂縫圖像識別方法，該方法可以解決檢測效率低、環境約束大的問題，并提高了檢測速度和精度.Liu等人[24]提出了像素級分類網絡UNet，該網絡將局部信息與全局信息相結合，顯著提高了裂縫特征提取的精確性.由于裂縫檢測中的標注數據是人為標記的，這會導致裂縫標記的不精準，因此Ali等人[25]提出了一種基于卷積神經網絡的路面裂縫自動檢測算法，通過CNN網絡與滑動窗口結合，準確定位裂縫所在位置，解決了人工標記的缺陷.Nie等人[26]提出了一種基于YOLO(You only look once) V3的路面裂縫檢測方法，解決了傳統路面裂縫檢測實時性差、精度低的問題.

隨著不斷深入研究，學者們在現有網絡的基礎上進行了改進.Song等人[27]提出了一種高效的裂縫檢測方法，通過建立多尺度空洞卷積模塊來獲取裂縫的上下文信息，并在此基礎上引入一種注意力機制，進一步提取高層特征.為解決裂縫與周圍路面對比度低的問題，Xiang等人[28]提出了一種端到端深度卷積神經網絡的路面裂縫檢測方法，該方法采用金字塔模塊對復雜的裂縫拓撲結構進行全局上下文信息挖掘，并引入了一個空間-通道組合注意力模塊來細化裂縫特征.Konig等人[29]提出了一個完全卷積UNet架構來自動化注釋任務，并在該架構的基礎上嵌入了基于注意力的門控機制，進一步傳播ReLu激活.Wang等人[30]提出了一種改進的I-UNet網絡，利用空洞卷積擴展卷積的接受域.將提取到的不同尺度特征進行多尺度融合，使改進后的網絡具有更好的效果和魯棒性.Fan等人[31]提出了U-Hierarchical Dilated Network(U-HDN)，通過多尺度模塊集成不同尺度的裂縫特征以獲取更多的裂縫信息，并通過分層特征學習模塊集成不同層的特征，以獲取更精確的預測結果.為了克服各種類型的噪聲，Li等人[32]提出了一種基于深度卷積神經網絡(convolutional neural network, CNN)的圖像裂縫檢測方法，該方法首先訓練CNN分類器，再將訓練好的CNN分類器和滑動窗口結合進行窮舉搜索，從而獲得更精確的裂縫定位.針對隧道圖像中裂縫細小且存在大量噪聲問題，Li等人[33]提出了一種基于UNet和CliqueNet(convolutional neural networks with alternately updated clique)的卷積神經網絡U-CliqueNet，通過Clique Block代替UNet的卷積層，實現更準確、快速地從背景中分離裂縫.Ren等人[34]提出了一種改進的深度全卷積神經網絡CrackSegNet進行裂縫分割，該方法能有效提取多尺度特征，大大提高了網絡整體的裂縫檢測能力.這些網絡相較之前的網絡在檢測效果方面有了較大的提升，但仍存在一些不足，例如檢測結果中存在干擾或者無法較精準地分割出裂縫區域.

針對這些不足，目前比較流行的解決方案是嵌入注意力機制以抑制各種干擾.而現有的注意力機制大都采用串行結構，能有效抑制大部分干擾，但仍受到明亮噪聲的影響，導致效果降低.針對此問題，本文設計了一種并行注意力機制，并提出了并行注意力機制UNet裂縫檢測方法.該方法從空間和通道2個維度抑制干擾，通過并行結構融合兩者特征以獲取更具互補性的裂縫特征，有效抑制了各種干擾并提高了檢測的精確度.

2 本文方法

本文提出了一種裂縫檢測方法，在UNet網絡中嵌入一個自行設計的并行注意力機制，以此來抑制各種干擾，提高裂縫特征提取的精準性.

2.1 網絡結構

本文方法的網絡結構如圖1所示，主要由3部分組成.第1部分是網絡的編碼層，由卷積和池化組成；第2部分是網絡的解碼層，由卷積、反卷積和sigmoid函數組成；第3部分是注意力模塊，即本文提出的并行注意力機制.

Fig. 1 The structure of parallel attention based UNet for crack detection圖1 基于并行注意力UNet的裂縫檢測結構

模型訓練過程中，首先將裂縫數據輸入到網絡的編碼層，通過卷積池化提取圖像中的裂縫特征，生成一系列的特征圖.隨后對這些特征圖進行解碼，在此過程中為了提高裂縫特征提取的精準性，嵌入了并行注意力機制，以抑制干擾、凸顯裂縫特征.網絡還將編碼層的特征圖與解碼層的特征圖進行拼接，進一步提高裂縫特征提取的精確度，從而大大提升檢測效果.

Fig. 2 The parallel attention module圖2 并行注意力機制

2.2 并行注意力機制

本文設計了一種并行注意力機制，其采用并行結構較大程度上解決了串行結構無法有效抑制各種干擾的弊端.如圖2所示，并行注意力機制分為3部分：一部分是通道注意力，它通過一維卷積對特征圖中的通道權重進行重分配，提高與裂縫相關通道的權重，降低其余通道的權重；第2部分是空間注意力，它結合2種池化方式對空間權重進行更合理的重新賦予，賦予特征圖中潛在裂縫區域更高的權重，降低其余區域權重；第3部分是融合，將前2部分生成的特征進行融合，以獲得更具互補性的特征.

1) 通道注意力.首先定義輸入的特征圖為F，對特征圖F使用全局最大池化，生成一個1×1×C的全局特征M(其中C代表通道的數量).然后使用大小為k的一維卷積對全局特征M進行卷積，生成一個注意力權重圖N.注意力權重圖N中第i個通道的權值ei可由式(1)得到：

(1)

(2)

其中，C為通道數，γ和b為超參數，一般γ=2，b=1，|A|odd為與A相鄰最近的奇數.隨后通過權重圖N對特征圖F進行加權，產生特征圖Q.在特征圖Q中，與裂縫相關的通道權重得到了提升，其余通道權重則有所降低.

(3)

其中，σ表示ReLu激活函數，?表示2個特征圖對應位置數據的點積.

3) 融合.將特征圖Q與特征圖P相加后使用ReLu激活函數得到特征圖G.特征圖G融合了通道維度的權重分布和空間維度的權重分布，從而獲得了更具互補性的特征，能更加凸顯裂縫特征區域，并抑制各種干擾，使模型能更精確地識別出裂縫.

2.3 模型的訓練

(4)

(5)

(6)

在訓練時，為了獲得更合適的模型，需要對模型進行優化.本文對圖像進行分割，這屬于像素級的二分類問題，因此本文選取二值交叉熵損失函數(binary cross-entropy loss function)作為模型訓練時的損失函數，其計算為

(7)

3 實 驗

為驗證模型的有效性，本文選取4個數據集：道路裂縫、大壩裂縫、Weizmann Horses[35]、MUCIC[36]；4個網絡：CNN[32]，SegNet[37]，VGG19(very deep convolutional networks)[38]，CrackSegNet[34]和4個注意力機制：SE-Net(squeeze-and-excitation net-works)[39]，ECA-Net(efficient channel attention for deep convolutional neural networks)[40]，SAM[41]，EC-SAM進行實驗.實驗分為3組：第1組是裂縫數據在不同網絡中的對比實驗;第2組是公共數據在不同網絡中的對比實驗;第3組是注意力機制的性能對比實驗.為了讓實驗數據更準確，本文對每組實驗均重復進行5次，然后取平均值作為最終結果.

3.1 數據集

本文數據集可以分為2類：一類是裂縫數據集，包括道路裂縫(114張訓練圖片、81張測試圖片)和大壩裂縫(288張訓練圖片、83張測試圖片)，這2個數據集的標注都是裂縫，用來檢測模型在不同裂縫數據中的性能；另一類是公共數據集，包括Weizmann Horses[35](237張訓練圖片、91張測試圖片)和MUCIC[36](706張訓練圖片、291張測試圖片)，這2個數據集的標注是馬和細胞，用來測試模型在其他目標數據集中的性能.

3.2 評價指標

為了更精確地評判模型性能，本文選取Precision(Pr)、Recall(Re)和F-Measure[42-43](F1)這3個指標進行衡量.其中Pr代表正確率指數，Re代表召回率指數，兩者衡量了模型分割的準確性，其定義為

(8)

(9)

其中，TP，FP，FN分別代表真陽性、假陽性和假陰性的數量.為了獲得更好的效果，Pr和Re的值應盡可能的高.由于本文檢測的目標為裂縫，而裂縫在圖像中的占比較小，導致Pr和Re會出現一定的矛盾，所以為了更好地評判模型性能給出了綜合評價指標F1[42-43]：

(10)

其中，β2是超參數，用來權衡Pr和Re對F1的影響，當β2>1時Re對F1的影響較大，當β2<1時Pr對F1的影響較大.由于裂縫在圖像中比重較小且圖像中存在較多干擾，為了更精確地分割裂縫，評價指標F1應更側重于Pr值，所以設置β2=0.3.本文還使用PR曲線對注意力機制進行性能評估.

3.3 參數設置

本文采用分辨率為512×512的圖像訓練PA-UNet.在訓練中，卷積操作的卷積核大小為3×3，池化大小為2×2，反卷積操作的卷積核大小為2×2，編碼的過濾器個數分別為 64，128，256，512和1 024，解碼的過濾器分別為1 024，512，256，128和64.由于并行注意力機制在解碼的第3層，因此輸入并行注意力機制的特征圖尺寸為128×128×256.本文使用Adam優化器訓練PA-UNet，迭代次數為30，批量為1，學習率為10-4.

3.4 實驗結果與分析

1) 裂縫數據集的對比結果

本組實驗選取道路和大壩裂縫數據在不同網絡中進行對比分析，其可視化結果如圖3所示.在道路裂縫圖像中，UNet和CNN的結果缺失較多，其他結果中存在較多干擾，只有本文結果與標注數據最接近.在大壩裂縫圖像中，本文結果相較于其他結果干擾最少，效果最好.

Fig. 3 Visualization of crack data comparison results圖3 裂縫數據對比結果可視化

表1是本組實驗的結果.相較于UNet，本文方法在道路數據中提升了2.95%，在大壩數據中提升了1.05%.數據說明相較于現有的主流方法，本文方法在裂縫檢測時獲得的效果最佳，從而證明了本文方法的有效性.

Table 1 The Results in Different Crack Datasets表1 裂縫數據的對比結果

續表1

2) 公共數據集的對比結果

本組實驗選取2個公共數據集(Weizmann Horses和MUCIC)進行對比分析，結果如圖4所示.在Weizmann Horses中，相較于其他網絡，本文方法的結果干擾最少，效果最佳.在MUCIC中，所有結果都較為相似，但本文方法的結果更接近標注數據.

Fig. 4 Visualization of public data comparison results圖4 公共數據對比結果可視化

表2是本組實驗的結果.相較于UNet，本文方法在Weizmann Horses中提升了4.92%，在MUCIC中提升了0.28%.數據表明本文方法在其他目標數據集中也能獲得最佳效果，進而說明本文方法具有一定的泛化性，也證明了本文方法的有效性.

Table 2 The Results in Different Public Datasets表2 公共數據的對比結果

3) 不同注意力機制的對比結果

本組實驗使用道路裂縫數據集，選擇SE-Net[39],ECA-Net[40],SAM[41],EC-SAM(與CBAM(convo-lutional block attention module)[44]類似的串行結構注意力機制)4個注意力機制與并行注意力機制進行對比分析，其結果如圖5所示.第1行中，并行注意力機制和SAM的結果最好，SE-Net和ECA-Net的結果有缺失，EC-SAM的結果最差.第2行中，這些結果與標注數據都有較大的偏差，但相較而言，并行注意力機制和SE-Net的結果最好，干擾最小.第3行中，本文方法和SE-Net的效果最佳，其他方法均存在較多干擾.

Fig. 5 Visualization after adding different attention mechanisms圖5 不同注意力機制的對比結果可視化

表3是本組實驗的具體結果，數據顯示在添加注意力機制后，網絡的性能都有所提高，且本文設計的并行注意力機制效果最好，性能提升了2.95%.圖6是本組實驗的PR曲線，圖中顯示本文設計的并行注意力機制性能最佳，而EC-SAM的性能最差，其原因在于串行結構的注意力機制在裂縫檢測中易受到明亮噪聲干擾，降低檢測效果，而本文方法能有效抑制各種干擾，大大提高檢測性能.

Table 3 The Results of Different Attention Mechanisms表3 不同注意力機制的對比結果

Fig. 6 PR curve of these attention mechanisms圖6 添加不同注意力機制后的PR曲線

4 結 論

本文設計了一種并行注意力機制，并將其嵌入到UNet中.該注意力機制采用并行結構，不僅能有效抑制各種干擾，而且能獲取更具互補性的裂縫特征，從而解決了串行結構注意力機制在裂縫檢測中的不足.實驗結果表明，本文方法優于現有的主流網絡，且相較于其他注意力機制，本文設計的并行注意力機制在裂縫檢測中效果最好.

作者貢獻聲明：劉凡提出了本文方法，進行了實驗設計、論文撰寫與修改；王君鋒設計完成了實驗，并進行論文的撰寫；陳峙宇輔助完成實驗；許峰提供了實驗數據集，并在論文撰寫修改過程中提供意見與建議.