基于連續(xù)注意力機(jī)制和卷積金字塔的路面裂縫檢測(cè)①

陳良全,王彩玲,劉華軍,蔣國(guó)平

(南京郵電大學(xué) 自動(dòng)化學(xué)院、人工智能學(xué)院,南京 210023)

路面裂縫是由自然應(yīng)力引起的路面損壞,如果不及時(shí)處理,很可能導(dǎo)致道路塌陷和交通事故.因此,對(duì)路面進(jìn)行準(zhǔn)確高效的檢測(cè)尤為重要.最直接的檢測(cè)方法是對(duì)路面進(jìn)行目測(cè),并由專(zhuān)家對(duì)其進(jìn)行準(zhǔn)確的評(píng)估.然而,這種方法涉及到較高的人工成本,并且可能產(chǎn)生不可靠和不一致的結(jié)果,同時(shí)檢測(cè)人員直接在路面上檢測(cè)是極其危險(xiǎn)的且效率也很低[1].因此有必要設(shè)計(jì)一種精確、自動(dòng)化的路面裂縫檢測(cè)系統(tǒng).然而路面裂縫的自動(dòng)檢測(cè)是一個(gè)充滿(mǎn)挑戰(zhàn)的課題,因?yàn)榱鸭y不僅拓?fù)浣Y(jié)構(gòu)復(fù)雜,尺度不均勻,而且會(huì)受低對(duì)比度和雜亂背景的影響而降低檢測(cè)精度[2].

路面裂縫通常具有以下特點(diǎn):

(1)裂縫的顏色相對(duì)于背景較深;

(2)裂縫的延伸方向是線(xiàn)性且寬度可變的;

(3)裂縫邊緣的拓?fù)浣Y(jié)構(gòu)復(fù)雜.

傳統(tǒng)檢測(cè)方法中,基于最大后驗(yàn)分類(lèi)器,Oliceria 等[3]提出一種利用激光成像系統(tǒng)對(duì)圖像中的裂縫進(jìn)行檢測(cè),再利用二值區(qū)域和幾何特征進(jìn)行分割.Zou 等[4]提出采用地面陰影去除法,通過(guò)張量投票法建立裂縫分布概率圖,然后構(gòu)造隨機(jī)森林對(duì)遞歸樹(shù)的邊緣進(jìn)行剪枝以進(jìn)行裂縫檢測(cè).Oliveria 等[5]推出一種用于路面裂縫檢測(cè)與表征的圖像處理算法和技術(shù)評(píng)價(jià)算法工具箱.Peng 等[6]首次采用Otsu 閾值分割法去除路面圖像中的道路標(biāo)志,然后采用自適應(yīng)迭代閾值分割算法得到裂縫分割圖像.

深度學(xué)習(xí)方法迅速發(fā)展并且已經(jīng)應(yīng)用到了路面裂縫檢測(cè)任務(wù)中.基于深度學(xué)習(xí)的路面裂縫檢測(cè)方法可以分為五類(lèi):分割算法,邊緣檢測(cè)算法,分類(lèi)器算法,生成對(duì)抗方法和無(wú)監(jiān)督方法.文獻(xiàn)[7,8]將裂縫檢測(cè)視為分割任務(wù),文獻(xiàn)[7]提出一種分塊閾值分割方法對(duì)裂縫進(jìn)行分割.文獻(xiàn)[8]在SegNet的基礎(chǔ)上通過(guò)融合同一尺度下編碼器和解碼器的卷積特性來(lái)進(jìn)行裂縫特征的提取.Yang 等[9]將裂縫檢測(cè)視為邊緣檢測(cè)任務(wù),以特征金字塔的形式將上下文信息轉(zhuǎn)化為低層特征進(jìn)行裂紋檢測(cè).Dorafshan 等[10]基于混凝土圖像的裂縫檢測(cè)比較了深度卷積神經(jīng)網(wǎng)絡(luò)和邊緣檢測(cè)器.Zhang 等[11]采用基于裂縫修補(bǔ)(CPO)的生成對(duì)抗網(wǎng)絡(luò)模型對(duì)路面進(jìn)行檢測(cè)并將大尺度裂縫圖像輸入到非對(duì)稱(chēng)U 形網(wǎng)絡(luò)中,以克服裂縫的產(chǎn)生“全黑”問(wèn)題.Li 等[12]提出了一種基于無(wú)監(jiān)督多尺度融合裂紋檢測(cè)的(MFCD)算法.此外,文獻(xiàn)[13,14]將分類(lèi)算法應(yīng)用到路面裂紋檢測(cè)中.文獻(xiàn)[13]提出了深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)實(shí)現(xiàn)了自動(dòng)檢測(cè)和分類(lèi)路面裂紋.文獻(xiàn)[14]提出基于概率生成模型(PGM)和支持向量機(jī)(SVM)的網(wǎng)絡(luò)來(lái)生成和計(jì)算裂紋特征的概率圖,并且提出了一種基于融合概率圖的加權(quán)展開(kāi)運(yùn)算,增強(qiáng)了算法的有效性.

在一定程度上,無(wú)論是傳統(tǒng)方法還是深度學(xué)習(xí)方法都可以檢測(cè)到裂縫.然而,保證裂縫檢測(cè)的連續(xù)性和裂縫邊緣的完整性仍需進(jìn)一步研究.一方面,裂縫沿著其延展方向是連續(xù)分布的,一些比較細(xì)的裂縫容易檢測(cè)不到.另一方面,裂縫的邊緣拓?fù)浣Y(jié)構(gòu)復(fù)雜,檢測(cè)器容易丟失邊緣信息,導(dǎo)致檢測(cè)裂縫的邊緣過(guò)于光滑.如圖1所示,圖1(a)中檢測(cè)結(jié)果出現(xiàn)裂縫斷裂的現(xiàn)象,圖1(b)中的檢測(cè)結(jié)果丟失了裂縫的邊緣信息.

圖1 原生SegNet 檢測(cè)結(jié)果

1 相關(guān)方法

1.1 SegNet的發(fā)展

我們將路面裂縫檢測(cè)視為分割任務(wù),且網(wǎng)絡(luò)結(jié)構(gòu)是受SegNet的啟發(fā).SegNet是一種編碼解碼模型,由Badrinarayanan 等[15]首次提出,用于像素級(jí)圖像分割.之后,Badrinarayanan 等[16]改進(jìn)了他們之前提出的SegNet 模型.編碼器部分和VGG16的13 層卷積層相同,且編碼層由上采樣和卷積構(gòu)成,最后將每個(gè)像素通過(guò)Softmax 激活函數(shù)進(jìn)行分類(lèi).

Schmugge 等[17]首先將SegNet 作為基礎(chǔ)框架應(yīng)用于裂縫檢測(cè)任務(wù).他們提出了一種自動(dòng)檢測(cè)方法,以幫助對(duì)核電站部件的焊接、劃痕和研磨進(jìn)行遠(yuǎn)程自動(dòng)檢測(cè),給出了不同光照條件下多幀圖像的層次分類(lèi)置信度.

選取在2015年5月—2018年5月輪轉(zhuǎn)至泌尿外科的基地住培學(xué)員60人作為研究對(duì)象。將其隨機(jī)分配為實(shí)驗(yàn)組和對(duì)照組。其中，實(shí)驗(yàn)組（30人）采用PBL的教學(xué)方式；對(duì)照組（30人）采用傳統(tǒng)的教學(xué)方式。通過(guò)比較，兩組學(xué)員在平均年齡、性別構(gòu)成及學(xué)歷方面，差異無(wú)統(tǒng)計(jì)學(xué)意義（P＞0.05），具有可比性。

1.2 基礎(chǔ)框架

雖然我們?cè)O(shè)計(jì)的框架是基于SegNet的,但是,它與原生SegNet[16]不一樣,我們沒(méi)有直接在編碼器部分使用VGG16 模型.編碼器部分分為5 層,前2 層是兩個(gè)卷積,并且每個(gè)卷積層后有1 個(gè)max-pooling層,最后3 層是3 個(gè)卷積層,每個(gè)卷積層后有1 個(gè)maxpooling 層.

2 本文提出的模型

CACPNet的整體設(shè)計(jì)結(jié)構(gòu)如圖2所示,左邊虛線(xiàn)框出的部分為編碼器,右邊為解碼器,編碼器上半部分結(jié)構(gòu)為多層卷積金字塔結(jié)構(gòu),下半部分為連續(xù)注意力機(jī)制.

圖2 CACPNet 網(wǎng)絡(luò)結(jié)構(gòu)

2.1 連續(xù)注意力機(jī)制

路面裂縫通常是連續(xù)的,因此裂縫之間通常不會(huì)出現(xiàn)斷開(kāi)的現(xiàn)象.另外,在檢測(cè)過(guò)程中經(jīng)常會(huì)混淆背景和裂縫,這就導(dǎo)致了斷裂和裂紋信息丟失問(wèn)題.受注意力門(mén)控[18]的啟發(fā),我們?cè)O(shè)計(jì)了一個(gè)連續(xù)特征注意機(jī)制模塊,以保證路面裂縫的連續(xù)性.

連續(xù)特征注意機(jī)制結(jié)構(gòu)如圖3所示.輸入圖像或特征經(jīng)過(guò)的上一層為Encoder 模塊,下一層為連續(xù)注意力機(jī)制模塊.連續(xù)注意力機(jī)制模塊中,輸入的原始圖片或者上層特征圖依次經(jīng)過(guò)1×1×1的卷積,批量歸一化處理和ReLU 函數(shù)激活,接著通過(guò)Softmax 函數(shù)激活和最大值池化處理生成注意力參數(shù)與上層特征進(jìn)行加權(quán),得到本層的特征輸出.通常在Encoder-Decoder框架中添加注意力機(jī)制是和Attention UNet[18]類(lèi)似,在編碼層和解碼層的跳躍連接中添加注意力機(jī)制,而本文則是在編碼層之間添加注意力機(jī)制,因?yàn)槲覀冎皇顷P(guān)注裂縫特征在特征提取過(guò)程中的細(xì)節(jié)特征丟失,所以采用了在編碼層之間連續(xù)使用符合各個(gè)解碼層特征的注意力門(mén)控機(jī)制來(lái)對(duì)各層特征進(jìn)行加權(quán).

圖3 連續(xù)注意力機(jī)制結(jié)構(gòu)

當(dāng)前層的輸入特征F∈RW×H×C,當(dāng)前層的輸出特征注意力模塊的輸入為當(dāng)前層特征F,基于當(dāng)前層的下一層的輸入特征為:

注意力參數(shù)的生成過(guò)程為:

在式(2)中,xli是第l層的輸入,WiT和bli分別為第l 層的權(quán)重和偏量,如果特征的數(shù)量級(jí)過(guò)大,在通過(guò)激活函數(shù)時(shí)會(huì)提前進(jìn)入飽和區(qū),因此需要采取批量歸一化BNγ,β,σ1是ReLU 激活函數(shù),Faltt是注意力特征生成公式,Fl為轉(zhuǎn)換后注意參數(shù)的特征,最后通過(guò)Softmax激活函數(shù)增加非線(xiàn)性和max-pooling 層歸一化尺度得到注意力參數(shù).

2.2 多層卷積金字塔結(jié)構(gòu)

傳統(tǒng)的特征金字塔結(jié)構(gòu)[19,20]主要從不同尺度的圖像中提取特征,但這增加了訓(xùn)練數(shù)據(jù)量,降低了效率.目前用于路面裂縫檢測(cè)的特征金字塔網(wǎng)絡(luò)[9,21]大多是利用網(wǎng)絡(luò)最后一層的特征映射來(lái)構(gòu)造特征金字塔,從而保證了裂縫特征對(duì)路面裂縫的完整性.但是在一定程度上缺乏解決裂紋邊緣信息丟失的能力.因此,我們提出了一種多層卷積特征金字塔結(jié)構(gòu),利用各編碼層的卷積特征進(jìn)行特征融合.多層卷積特征金字塔結(jié)構(gòu)可以充分利用各層圖像特征,既能保證裂紋特征的連續(xù)性,同時(shí)也減少了裂紋邊緣信息的丟失.

多層卷積特征金字塔如圖4所示.每層的輸入為編碼器每一層的輸出特征.從上到下每層的特征圖尺寸為64×240×160、128×120×80、256×60×40、512×30×20、512×15×10.

圖4 多層卷積金字塔結(jié)構(gòu)

因?yàn)楦鲗拥奶卣魍ǖ罃?shù)和圖像尺度不同,無(wú)法直接進(jìn)行特征融合.使用1×1×1 卷積對(duì)通道數(shù)進(jìn)行變換,然后通過(guò)最大池改變圖像特征尺寸的大小,最后,前四層金字塔結(jié)構(gòu)融合生成512 通道特征映射,再與編碼器的最后一個(gè)特征層進(jìn)行特征融合,最后得到解碼層的輸入特征圖.

3 實(shí)驗(yàn)分析

3.1 訓(xùn)練細(xì)節(jié)

整個(gè)網(wǎng)絡(luò)是由PyTorch 實(shí)現(xiàn)的,訓(xùn)練環(huán)境為3.5 GHz,8 GB RAM,NVIDIA 2080Ti GPU,且在Ubuntu 環(huán)境下運(yùn)行.

3.2 數(shù)據(jù)集

比較實(shí)驗(yàn)采用3 個(gè)公共數(shù)據(jù)集,包括Crack500 數(shù)據(jù)集[9],Crack200 數(shù)據(jù)集[4]以CrackForest 數(shù)據(jù)集(CFD)[22].因?yàn)? 種數(shù)據(jù)集圖片的大小是不同的,我們有所有的圖像和地面真相調(diào)整到480×320 分辨率.同時(shí),由于CFD和crack200 數(shù)據(jù)集中的數(shù)據(jù)量太小,我們隨機(jī)選取翻轉(zhuǎn)輸入圖像以增強(qiáng)數(shù)據(jù)以防止過(guò)度擬合.

3.3 評(píng)價(jià)指標(biāo)

為了比較生成的分割圖像與真實(shí)分割圖像的像素級(jí)相似度,分割任務(wù)中主要使用4 個(gè)指標(biāo),分別是Precision、Recall、F1-measure和MIoU.

Precision是指所有樣本中真正樣本占所有正樣本的百分比,Recall是正樣本被模型判定為正樣本的百分比,F1-measure是衡量二分類(lèi)精度的一個(gè)指標(biāo).它同時(shí)考慮了分類(lèi)器的準(zhǔn)確性和召回率.

因此,Precision可以定義為:

Recall可以被定義為:

F1-measure可以定義為:

MIoU可以被定義為:

式(6)-式(9),要計(jì)算這4 個(gè)指標(biāo),我們需要計(jì)算3 個(gè)指標(biāo),TP是正樣本預(yù)測(cè)為正樣本的個(gè)數(shù),FP是預(yù)測(cè)為負(fù)樣本的正樣本個(gè)數(shù),FN是預(yù)測(cè)為負(fù)樣本的負(fù)樣本個(gè)數(shù).

3.4 參數(shù)設(shè)置

進(jìn)行訓(xùn)練時(shí)我們?cè)O(shè)置了兩個(gè)停止訓(xùn)練的條件,一個(gè)是訓(xùn)練步數(shù)達(dá)到了設(shè)定值,第二個(gè)是學(xué)習(xí)率下降到1e-9.訓(xùn)練的batch 設(shè)置為6.

由于交叉熵?fù)p失不適用分布不均勻的數(shù)據(jù)集,因此我們采用Tversky 損失[23]和L1 正則損失的加權(quán)作為此次實(shí)驗(yàn)的損失函數(shù).Tversky 系數(shù)是Dice 系數(shù)和Jaccard 系數(shù)加權(quán)之后的廣義系數(shù).不平衡分布路面裂縫可能導(dǎo)致某些數(shù)據(jù)出現(xiàn)異常值,但L1 正則損失可以處理數(shù)據(jù)中的異常值.因此,我們采用L1 損失來(lái)提高系統(tǒng)的魯棒性.

因此損失函數(shù)可以定義為:

式(11)中,t為真實(shí)分割圖像,p為預(yù)測(cè)分割圖像,T為T(mén)versky 損失函數(shù),L1為L(zhǎng)1 正則損失函數(shù),α為權(quán)重系數(shù),設(shè)置為0.7.

3.5 實(shí)驗(yàn)結(jié)果

如表1和表2所示,為本文定量實(shí)驗(yàn)結(jié)果.圖5至圖7為3 種數(shù)據(jù)集上可視化檢測(cè)結(jié)果.從圖5可以看出,與圖5(a)-圖5(e)裂縫檢測(cè)器的結(jié)果相比,CACPNet檢測(cè)的裂縫邊緣信息更豐富,而不是平滑的.從圖6可以看出,裂縫在原始圖像和真實(shí)檢測(cè)圖像中是連續(xù)分布的,沒(méi)有斷開(kāi),但是除CACPNet的檢測(cè)結(jié)果外,其他的裂縫檢測(cè)器檢測(cè)出的裂縫發(fā)生了斷裂.圖7是CFD數(shù)據(jù)上的檢測(cè)結(jié)果,可以看出檢測(cè)的效果也是要優(yōu)于其他的檢測(cè)器.圖8為3 種不同數(shù)據(jù)集訓(xùn)練時(shí)的損失和MIoU指標(biāo)曲線(xiàn)圖.

表1 3 種數(shù)據(jù)集上的MIoU 指標(biāo)比較

表2 CFD 數(shù)據(jù)集上Precision,Recall,F1-measure 指標(biāo)(%)

圖5 Crack500 數(shù)據(jù)集可視化檢測(cè)結(jié)果

圖6 Crack200 數(shù)據(jù)集可視化檢測(cè)結(jié)果

圖7 CFD 數(shù)據(jù)集可視化檢測(cè)結(jié)果

圖8 Crack500,Crack200和CFD 數(shù)據(jù)集上訓(xùn)練的MIoU和loss

3.6 消融實(shí)驗(yàn)

我們通過(guò)消融實(shí)驗(yàn)驗(yàn)證了CACPNet 各個(gè)部分的重要性,在CFD 數(shù)據(jù)集上設(shè)計(jì)了與原生SegNet的對(duì)比實(shí)驗(yàn),所有參數(shù)設(shè)置,包括學(xué)習(xí)率和損失函數(shù)都保持一致.消融實(shí)驗(yàn)一共為3 組,第1 組為原生SegNet,第2 組為原生SegNet 加上連續(xù)注意力機(jī)制,第3 組為第二組的基礎(chǔ)上加上多層卷積金字塔結(jié)構(gòu).具體結(jié)果見(jiàn)表3.

表3 消融實(shí)驗(yàn)結(jié)果

此外,我們還繪制了P-R 曲線(xiàn)來(lái)驗(yàn)證添加注意機(jī)制和金字塔模型的有效性.一般來(lái)說(shuō),精確度降低,召回率提高.從圖9中可以看出,融合了注意機(jī)制和金字塔模型的曲線(xiàn)高于其他曲線(xiàn),進(jìn)一步證明了我們提出的方法的必要性.

圖9 消融實(shí)驗(yàn)P-R 曲線(xiàn)

4 結(jié)論與展望

本文提出了一種基于SegNet的路面裂縫檢測(cè)模型.我們基于SegNet 融合了連續(xù)特征注意機(jī)制與多層卷積金字塔結(jié)構(gòu).連續(xù)特征注意力機(jī)制可以保證裂紋之間的連續(xù)性,在某種程度上,減少了檢測(cè)裂縫的斷裂.多層卷積金字塔結(jié)構(gòu)采用對(duì)每層特征輸出進(jìn)行再利用,保證全局信息的完整性,包括可以對(duì)細(xì)微裂縫檢測(cè),同時(shí)可以保證裂縫邊緣信息的完整性.此外,CACPNet 已經(jīng)在3 個(gè)公共數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證,包括Crack500數(shù)據(jù)集,Crack200 數(shù)據(jù)集和Crack Forest 數(shù)據(jù)集.與現(xiàn)有的方法相比,經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證,我們的網(wǎng)絡(luò)在各種指標(biāo)上都得到了一定的提升.此外,還進(jìn)行了消融實(shí)驗(yàn)以驗(yàn)證其每個(gè)模塊的有效性.