基于語義分割網(wǎng)絡(luò)模型的路面裂縫識別

吳秋怡

(同濟(jì)大學(xué)交通運(yùn)輸工程學(xué)院 上海 201804)

我國公路建設(shè)飛速發(fā)展，為人民交通出行提供了很大便利，但隨之而來繁重的養(yǎng)護(hù)任務(wù)又給道路養(yǎng)護(hù)部門帶來了不小的挑戰(zhàn)。路面在運(yùn)營時(shí)間內(nèi)不可避免會發(fā)生開裂，隨著車輛對路面的反復(fù)摩擦和碾壓，路面的開裂會不斷加深，若一直不加以修復(fù)，會導(dǎo)致道路結(jié)構(gòu)層的破壞[1-2]。因此，對道路進(jìn)行規(guī)律性的巡檢，及時(shí)發(fā)現(xiàn)路表的開裂情況并采取相應(yīng)措施能夠有效延緩路面裂縫的發(fā)展，延長道路的使用壽命。目前較為常見的道路檢測工作，多為人工走查。這種檢測方式不僅效率低，且對于車流量較大的道路，檢測人員只能坐在車上去觀察路表狀況，檢測的準(zhǔn)確性無法得到保證。

目前較為先進(jìn)的路面檢測方法為利用道路檢測車來進(jìn)行路面數(shù)據(jù)的采集，先進(jìn)的路面自動檢測裝備及其配套技術(shù)可為路面養(yǎng)護(hù)工程維修決策、設(shè)計(jì)與施工提供大量的基礎(chǔ)數(shù)據(jù)支撐[3]。但道路檢測車往往設(shè)備成本昂貴，對技術(shù)要求很高。基于以上原因，利用拍攝設(shè)備采集路面圖像，再結(jié)合計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)技術(shù)對圖像中的裂縫病害進(jìn)行提取，能夠在兼顧檢測成本的同時(shí)有效改善傳統(tǒng)檢測方式費(fèi)時(shí)費(fèi)力、效率低下的狀況。由于路面開裂圖片具有裂縫與背景相似度大、裂縫面積小、裂縫形狀不規(guī)則等特點(diǎn)，如何通過相關(guān)技術(shù)提高圖像裂縫識別的準(zhǔn)確率，提高識別速度成為了裂縫識別中的研究重點(diǎn)。

早期借助計(jì)算機(jī)視覺的圖像識別方法一般是利用裂縫區(qū)域與完好路面區(qū)域灰度及像素值的差別，通過閾值分割、邊緣檢測、種子識別、紋理分析等手段對圖片中的裂縫區(qū)域進(jìn)行檢測。英國的S.Mathavan，M.Rahman和K.Kamal[4]等利用CCD相機(jī)采集高質(zhì)量的路面裂縫圖像，并將圖像分割成矩形單元，基于無監(jiān)督算法Kohoene映射對裂縫圖像的紋理和顏色等屬性進(jìn)行學(xué)習(xí)，從而達(dá)到檢測裂縫的目的。姜吉榮[5]利用數(shù)學(xué)形態(tài)學(xué)結(jié)合進(jìn)行裂縫特征提取，再利用Otsu算法對裂縫區(qū)域進(jìn)行分割。

近年來，隨著機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等人工智能技術(shù)的飛速發(fā)展，深度學(xué)習(xí)模型由于其模型結(jié)構(gòu)的特點(diǎn)，能夠自動提取原始圖像的特征并進(jìn)行抽象表達(dá)，不需要人為設(shè)計(jì)特征提取器。這為路面裂縫的自動化檢測提供了新途徑，各類深度學(xué)習(xí)模型開始應(yīng)用于裂縫識別領(lǐng)域。Cha等[6]利用圖像處理技術(shù)對路面圖片進(jìn)行濾波處理，再結(jié)合深度學(xué)習(xí)中CNN(卷積神經(jīng)網(wǎng)絡(luò))檢測圖片中是否有裂縫存在以及裂縫的種類，證明了CNN應(yīng)用于裂縫分類的準(zhǔn)確性。沙愛民[7]等將2個(gè)CNN組合在一起，使其先進(jìn)行路表病害的識別再進(jìn)行病害特征的提取，從而實(shí)現(xiàn)路表病害的識別與測量。

1 圖像預(yù)處理

1.1 數(shù)據(jù)來源與處理

裂縫識別模型的數(shù)據(jù)集采用CRACK500數(shù)據(jù)集[8-9]，此數(shù)據(jù)集的來源是Lei Zhang,Fan Yang等人在天普大學(xué)使用手機(jī)拍攝了500張大小為200×1 500的路面裂縫圖片，并對裂縫圖片進(jìn)行逐像素地標(biāo)注。為了適配網(wǎng)絡(luò)模型輸入圖像像素要求，且方便模型的訓(xùn)練，每張?jiān)紙D片被裁剪為16個(gè)不重疊的圖像區(qū)域，每張圖片上裂縫區(qū)域均超過1 000個(gè)像素。CRACK500數(shù)據(jù)集由訓(xùn)練集、驗(yàn)證集和測試集組成，部分原始訓(xùn)練圖片及標(biāo)簽見圖1，訓(xùn)練圖片與標(biāo)簽圖片名字相同，但訓(xùn)練圖片為jpg格式，標(biāo)簽圖片為png格式。訓(xùn)練集包含了3 792張圖片，驗(yàn)證集包含696張圖片，測試集包含2 248張圖片，其中一半是原始圖片，一半是標(biāo)簽圖片。CRACK500中的標(biāo)簽圖片對應(yīng)著原始圖被劃分為2種顏色，背景為黑色，裂縫區(qū)域?yàn)榘咨?/p>

圖1 部分裂縫圖片及圖片標(biāo)簽

根據(jù)模型輸入的要求，需要對訓(xùn)練集中的原始圖片與標(biāo)簽圖片分離成2個(gè)文件夾，并根據(jù)圖像分割的需求，建立圖像分割的類別字典，指定不同類別在標(biāo)簽圖片中所呈現(xiàn)的像素值，方便模型進(jìn)行圖像的讀取與訓(xùn)練。

1.2 數(shù)據(jù)增強(qiáng)

在深度學(xué)習(xí)中，為了提高識別模型的魯棒性，以及防止訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象，通常需要對訓(xùn)練的數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)操作，以便提高模型的泛化能力。常用的數(shù)據(jù)增強(qiáng)方法有旋轉(zhuǎn)變換、翻轉(zhuǎn)變換、平移變換、對比度變換等。由于路面實(shí)際拍攝的裂縫圖片具有裂縫方向多變，圖片亮度不高、噪音較多等特點(diǎn)，因此本文選取的數(shù)據(jù)增強(qiáng)方法為旋轉(zhuǎn)變換、反轉(zhuǎn)變換、對比度變換與噪聲擾動，以使訓(xùn)練集的圖片更加貼合車輛行駛中拍攝的路面圖片特征。

2 基于語義分割網(wǎng)絡(luò)的路面裂縫識別算法

2.1 金字塔場景解析網(wǎng)絡(luò)(PSPNet)

PSPNet是在ResNet的基礎(chǔ)上改進(jìn)的語義分割網(wǎng)絡(luò)，其整體架構(gòu)分為2部分，用于提取不同尺度特征的卷積模塊和用于對局部和全局的特征圖進(jìn)行池化與卷積得到最終預(yù)測圖的金字塔池化模塊。其中，卷積模塊是通過使用預(yù)訓(xùn)練的ResNet模型實(shí)現(xiàn)的，它能夠同時(shí)提取包含更多細(xì)節(jié)的底部特征和包含較多語義信息的高層特征，實(shí)現(xiàn)從底層到高層特征的逐步抽象提取，最終輸出特征圖為原圖的1/8大小。金字塔池化模塊使用4層金字塔結(jié)構(gòu)來收集圖像的上下文信息，每層的池化內(nèi)核分別覆蓋了圖像的全部、一半、小部分和最小尺度，最后將得到的特征圖采用雙線性插值進(jìn)行上采樣，使特征圖縮放到原始特征圖尺寸，接著將不同尺度的特征圖進(jìn)行反卷積，融合為全局先驗(yàn)信息，最后判定每一個(gè)像素的分割類型，得到最終預(yù)測的分割圖。

2.2 訓(xùn)練策略

在模型訓(xùn)練過程中，經(jīng)分類器softmax計(jì)算出的loss會向前傳播，不斷調(diào)整卷積模塊與金字塔池化模塊中的參數(shù)來達(dá)到loss降低的效果。由于網(wǎng)絡(luò)層數(shù)過多，為了方便模型快速收斂，選用了Adadelta優(yōu)化算法。在loss的計(jì)算上，由于神經(jīng)網(wǎng)絡(luò)的層數(shù)過多會導(dǎo)致離網(wǎng)絡(luò)末端softmax分類器較遠(yuǎn)的層無法得到充分訓(xùn)練，本網(wǎng)絡(luò)模型借鑒了GoogLeNet Inception V1中輔助分類器的思想，將loss的計(jì)算分為輔助損失和主要損失，輔助損失在卷積模塊后經(jīng)過卷積，將特征圖恢復(fù)為原始圖片大小，利用softmax分類器計(jì)算損失。主要損失項(xiàng)則是在金字塔池化模塊后，利用最后的分類器softmax計(jì)算總的損失。通過輔助分類器的引入，能夠避免離最終分類器較遠(yuǎn)的卷積層參數(shù)無法得到充分訓(xùn)練的問題。

最終進(jìn)行路面裂縫識別的裂縫分割網(wǎng)絡(luò)模型結(jié)構(gòu)見圖2，在網(wǎng)絡(luò)的訓(xùn)練階段先利用ResNet的預(yù)訓(xùn)練模型對數(shù)據(jù)集中的訓(xùn)練圖片進(jìn)行特征提取。然后將提取的特征一方面輸入金字塔池化模塊進(jìn)行多尺度的全局特征學(xué)習(xí)，另一方面反卷積后恢復(fù)原圖尺寸利用softmax輔助分類器計(jì)算輔助loss。最終將學(xué)習(xí)到的全局圖像上下文特征雙線性插值進(jìn)行尺寸縮放后與經(jīng)過ResNet模型所學(xué)習(xí)到的特征進(jìn)行聯(lián)合，最后反卷積后輸入softmax分類器與原圖進(jìn)行對比計(jì)算loss。將主分類器所計(jì)算出的loss反向傳播，并利用Adadelta優(yōu)化算法進(jìn)行模型參數(shù)調(diào)整，其中在對卷積模塊進(jìn)行參數(shù)調(diào)整時(shí)，同時(shí)考慮主loss與輔助loss。

圖2 增加了輔助分類器的PSPNet網(wǎng)絡(luò)模型

2.3 評定指標(biāo)

模型的最終分割效果的評定采用2個(gè)指標(biāo)：分割區(qū)域的IOU及像素分類的準(zhǔn)確度acc。交并比(intersection over union，IOU)是目標(biāo)檢測中的常用衡量指標(biāo)，能夠衡量某個(gè)類別分割的準(zhǔn)確性。對于某個(gè)類別的IOU而言，其值為模型識別出的此類別區(qū)域與訓(xùn)練標(biāo)簽中此類別區(qū)域的重疊率，即標(biāo)記區(qū)域和預(yù)測區(qū)域交集與并集的比值。一般而言，IOU大于0.5即可視作識別準(zhǔn)確。在像素級別的圖片分割中，類別區(qū)域的大小用此類別所包含的像素個(gè)數(shù)表述，第i類的IOU計(jì)算方法為

(1)

像素分類的準(zhǔn)確度則是針對預(yù)測出的分割圖，逐像素地與訓(xùn)練標(biāo)簽圖進(jìn)行比較，分類正確的像素?cái)?shù)量與圖片總體像素?cái)?shù)量的比值，計(jì)算方法為

(2)

2.4 結(jié)果與分析

分割網(wǎng)絡(luò)模型的搭建平臺是深度學(xué)習(xí)TensorFlow框架，在GTX1070GPU上進(jìn)行模型的訓(xùn)練與驗(yàn)證。所有訓(xùn)練與最終的驗(yàn)證初始學(xué)習(xí)率均設(shè)為0.01，衰減系數(shù)0.99，動量為0.9。

2.4.1網(wǎng)絡(luò)模型對分割效果的影響

為了更為全面地對本文所提出模型的分割效果進(jìn)行評估，同時(shí)在其他的主流語義分割模型上對CRACK500的訓(xùn)練集進(jìn)行訓(xùn)練，最后利用測試集對模型的分割效果進(jìn)行測試，評定指標(biāo)采用像素判斷的準(zhǔn)確率與裂縫區(qū)域的IOU。用來進(jìn)行對比的語義分割模型為全卷積網(wǎng)絡(luò)(fully convolutional networks,FCN)與UNet神經(jīng)網(wǎng)絡(luò)。3種語義分割網(wǎng)絡(luò)模型的識別像素準(zhǔn)確度與3種語義分割網(wǎng)絡(luò)模型的IOU(交并比)分別見圖3、圖4。

圖3 3種語義分割網(wǎng)絡(luò)模型的識別像素準(zhǔn)確度

圖4 3種語義分割網(wǎng)絡(luò)模型的IOU

由圖3可見，3個(gè)模型的分割準(zhǔn)確率均為85%以上。由于對路面裂縫圖片而言，裂縫區(qū)域所占區(qū)域較小，如果只考慮分割的準(zhǔn)確率會受到背景區(qū)域的影響，無法正確評定，因此還需要綜合考慮裂縫區(qū)域的IOU。而在裂縫區(qū)域的IOU上，一般而言，IOU大于0.5則可以視作識別成功。從圖4中可以看出，隨著模型的不斷訓(xùn)練迭代,在訓(xùn)練了60次之后，PSPNet已基本能夠成功識別出裂縫，而UNet與FCN網(wǎng)絡(luò)的識別效果則不是十分理想。因此，綜合考慮像素準(zhǔn)確度與裂縫區(qū)域的IOU，PSPNet的識別效果普遍優(yōu)于UNet與FCN語義分割網(wǎng)絡(luò)，說明在路面裂縫的分割上，PSPNet確實(shí)能夠更好地將裂縫區(qū)域從整張圖片中識別出來。

2.4.2網(wǎng)絡(luò)結(jié)構(gòu)對分割效果的影響

分割模型由卷積模塊與金字塔池化模塊構(gòu)成，本實(shí)驗(yàn)中我們對卷積模塊的結(jié)構(gòu)進(jìn)行調(diào)整，分別采用ResNet-18、ResNet-50和ResNet-101預(yù)訓(xùn)練模型來構(gòu)建卷積模塊。3個(gè)預(yù)訓(xùn)練模型之間的差別除了網(wǎng)絡(luò)深度不同，卷積核的選取也不一樣。

ResNet模型的主要思想是利用殘差塊來解決網(wǎng)絡(luò)層數(shù)的增加導(dǎo)致的反向傳播時(shí)梯度衰減無法對靠前的網(wǎng)絡(luò)層的參數(shù)進(jìn)行有效調(diào)整的問題。殘差塊能夠?qū)⑤斎胪ㄟ^shortcut connections(捷徑連接)直接傳到輸出，使模型每一層的學(xué)習(xí)目標(biāo)變成使此層的輸出與輸入保持一致，即殘差接近于0。經(jīng)過測試，3種網(wǎng)絡(luò)結(jié)構(gòu)的PSPNet的識別像素準(zhǔn)確度與3種網(wǎng)絡(luò)結(jié)構(gòu)的PSPNet的IOU(交并比)分別見圖5、圖6。

圖5 3種網(wǎng)絡(luò)結(jié)構(gòu)PSPNet的識別像素準(zhǔn)確度

圖6 3種網(wǎng)絡(luò)結(jié)構(gòu)PSPNet的IOU

由圖5可見，在PSPNet模型的基礎(chǔ)上，改變卷積模塊所選擇的預(yù)訓(xùn)練模型，識別的準(zhǔn)確率基本都在93%以上。但ResNet-50預(yù)訓(xùn)練模型與ResNet-101預(yù)訓(xùn)練模型均出現(xiàn)了隨著訓(xùn)練輪數(shù)的增加準(zhǔn)確性逐漸下降的現(xiàn)象，這是因?yàn)橛?xùn)練圖片與測試圖片不同，訓(xùn)練輪數(shù)過多，模型出現(xiàn)了過擬合的現(xiàn)象。而對于裂縫識別的IOU而言，3種模型的裂縫IOU基本都大于0.4，最大值基本都在0.55左右。

3 結(jié)語

本文針對依據(jù)路面圖像的裂縫檢測，提出利用金字塔場景解析網(wǎng)絡(luò)PSPNet實(shí)現(xiàn)路面圖片中的裂縫區(qū)域檢測，實(shí)現(xiàn)像素級的裂縫區(qū)域識別。通過對不同語義分割網(wǎng)絡(luò)模型之間的對比，不僅證實(shí)了語義分割網(wǎng)絡(luò)模型可用于道路路面裂縫的像素級識別，且通過對比可發(fā)現(xiàn)不同語義分割模型中，PSPNet對裂縫的識別程度較高、魯棒性較強(qiáng)，對實(shí)現(xiàn)路面裂縫像素級識別的模型選取有一定的借鑒作用。在對不同網(wǎng)絡(luò)結(jié)構(gòu)的PSPNet模型進(jìn)行訓(xùn)練后，發(fā)現(xiàn)模型層數(shù)的增加對識別準(zhǔn)確度的提高效果并不是特別明顯，反而會由于訓(xùn)練輪數(shù)過多，相對層數(shù)少的模型更快出現(xiàn)了過擬合現(xiàn)象。同時(shí)本文的訓(xùn)練結(jié)果可作為路面裂縫識別的預(yù)訓(xùn)練模型，結(jié)合路面實(shí)拍圖片樣本，可針對不同檢測路面進(jìn)行下一步更有針對性的訓(xùn)練。