隧道表面圖像多目標(biāo)智能識(shí)別算法研究

許力之，王耀東，朱力強(qiáng)，史紅梅 ，余祖俊

(1.北京交通大學(xué) 機(jī)械與電子控制工程學(xué)院，北京 100044；2.北京交通大學(xué) 載運(yùn)工具先進(jìn)制造與測控技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100044；3.北京交通大學(xué) 智慧高鐵系統(tǒng)前沿科學(xué)中心，北京 100044)

裂縫和滲漏水是隧道襯砌常見的病害形式之一。當(dāng)前隧道巡檢，主要采用人工檢測或者半自動(dòng)檢測方法，用于隧道病害的檢測和養(yǎng)護(hù)，工作量繁重、效率低，難以適應(yīng)日益增長的檢測需求。隨著機(jī)器視覺和圖像處理技術(shù)的發(fā)展，圍繞隧道病害智能檢測的研究逐漸開展。然而，隧道表面圖像呈現(xiàn)多樣性和復(fù)雜性，影響圖像識(shí)別精度，也是科研人員遇到的一個(gè)難題。

國內(nèi)外在隧道圖像采集和處理方面有一系列的研究，但主要針對(duì)背景簡單的裂縫圖像[1-2]。復(fù)雜惡劣環(huán)境下，隧道表面圖像紋理特征呈現(xiàn)背景復(fù)雜、無規(guī)則的特點(diǎn)，包含大量的噪聲干擾。傳統(tǒng)算法主要從像素級(jí)處理，對(duì)簡單裂縫圖像的識(shí)別效果較好,但對(duì)直接用于復(fù)雜隧道圖像的檢測，識(shí)別率不高。

隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的研究和發(fā)展，軌道交通圖像智能識(shí)別提升了一個(gè)臺(tái)階[3]。當(dāng)前研究局限于構(gòu)建單一目標(biāo)數(shù)據(jù)集，缺少一種合理的隧道表面紋理分類方法，以適用于大部分復(fù)雜隧道圖像。本文通過采集整理隧道表面圖像數(shù)據(jù)，特別分析了隧道表面紋理的特點(diǎn)，第一次對(duì)隧道表面多種病害和固有紋理提出了分類方案，并構(gòu)建了目標(biāo)分類數(shù)據(jù)集，提出了基于深度卷積網(wǎng)絡(luò)的多目標(biāo)分類識(shí)別方法，針對(duì)隧道多種紋理特征改進(jìn)了多層深度網(wǎng)絡(luò)結(jié)構(gòu)，通過大量的數(shù)據(jù)樣本訓(xùn)練，實(shí)現(xiàn)了地鐵隧道表面圖像多種目標(biāo)的智能識(shí)別。

1 相關(guān)工作與多目標(biāo)識(shí)別原理

1.1 隧道表面病害圖像識(shí)別的相關(guān)研究

國內(nèi)外針對(duì)隧道裂縫病害的檢測，已轉(zhuǎn)向基于機(jī)器視覺和圖像處理的檢測和識(shí)別。朱力強(qiáng)等人設(shè)計(jì)了基于模板的分析法，基于Hough變換的線型結(jié)構(gòu)分析法和基于SVM近似裂縫結(jié)構(gòu)分析法對(duì)圖中裂縫成分進(jìn)行提取[4]。王耀東等[5]提出了分塊圖像局部紋理處理算法，設(shè)計(jì)了裂縫和虛假裂縫的差異性計(jì)算模型，可以濾除虛假裂縫的干擾。Amhaz等[6]提出了一種選擇一組最小路徑的方法，并引入兩個(gè)后處理步驟來提高裂縫檢測的質(zhì)量。Choudhary等[7]將圖像處理和邊緣檢測提取的特征，輸入到裂縫檢測模型中提升裂縫檢測的質(zhì)量。Lin等[8]用方向梯度直方圖檢測裂縫。Huang等[9]提出了一種基于局部圖像網(wǎng)格特征的隧道缺陷檢測算法。Yin等[10]提出了一種新的高斯快速中值濾波算法對(duì)隧道裂縫圖像進(jìn)行濾波。Chen等[11]開發(fā)了一種基于圖像處理和地面激光掃描技術(shù)相結(jié)合的裸露襯砌自動(dòng)檢測方法。Kong等[12]對(duì)基于小波變換模極大值法的隧道監(jiān)測結(jié)果進(jìn)行了分析。Yu等[13]提出了一種基于圖像局部結(jié)構(gòu)和灰度信息的幀差檢測方法來檢測隧道運(yùn)動(dòng)目標(biāo)。

深度學(xué)習(xí)在圖像識(shí)別上體現(xiàn)了優(yōu)勢(shì)，可用于海量數(shù)據(jù)樣本圖像的自動(dòng)識(shí)別[14]。Makantasis等利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)構(gòu)建高級(jí)特征，并選擇多層感知器作為檢測器[15]。Song等[16]建立了帶有分段標(biāo)注的隧道裂縫數(shù)據(jù)集，提出了一種客觀快速的隧道裂縫識(shí)別算法。Huang等[17]提出了一種基于FCN提取特征的地鐵盾構(gòu)隧道裂縫和滲漏缺陷圖像識(shí)別算法。Xue等[18]針對(duì)盾構(gòu)隧道襯砌缺陷提出了一種基于區(qū)域的FCN方法。Cha等[19]提出了一種基于CNN的快速區(qū)域結(jié)構(gòu)，用于檢測多種損傷類型。Dong等[20]提出將SegNet與焦點(diǎn)損失函數(shù)相結(jié)合，降低分配給隧道襯砌損傷的良好分類樣本的損失，來解決尺寸不平衡問題。Li等[21]提出了一種基于FCN結(jié)構(gòu)的像素級(jí)多損傷檢測方法。Doulamis-Anastasios等[22]將CNN和模糊譜聚類相結(jié)合，用于隧道中的實(shí)時(shí)裂縫檢測。

綜上所述，傳統(tǒng)算法需要人類專家對(duì)于隧道圖像特征進(jìn)行精心設(shè)計(jì)，而且往往只能針對(duì)圖像中的一種目標(biāo)進(jìn)行提取，比如裂縫或者滲漏水，雖然檢測精度較高，但是算法設(shè)計(jì)時(shí)間長，計(jì)算耗時(shí)長，特征難選擇。對(duì)于采用深度學(xué)習(xí)的方法來檢測隧道圖像，基于傳統(tǒng)CNN相比于基于全卷積網(wǎng)絡(luò)(FCN)的網(wǎng)絡(luò)檢測性能要較差，難以勝任像素級(jí)分割的任務(wù)。以上方法都沒有提出一種合理的隧道檢測方案，不能涵蓋隧道表面的大部分情況。基于以上問題，提出一種全面且有效的隧道表面圖像分類方案，建立語義分割標(biāo)簽的數(shù)據(jù)集，包含裂縫、滲漏水、附屬設(shè)備、電纜管道等，提出一種基于UperNet結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型，通過對(duì)已建立的數(shù)據(jù)集進(jìn)行訓(xùn)練，實(shí)現(xiàn)隧道海量圖像的多目標(biāo)智能識(shí)別[23]。

1.2 圖像采集與多目標(biāo)識(shí)別原理

隧道圖像采集與多目標(biāo)識(shí)別原理見圖1。通過研制的隧道移動(dòng)式圖像采集系統(tǒng)，獲取隧道表面圖像；結(jié)合隧道現(xiàn)場手動(dòng)拍攝的圖像和原有的隧道圖像，建立隧道表面圖像數(shù)據(jù)集。

圖1 地鐵隧道多目標(biāo)圖像采集與識(shí)別算法流程

研究隧道多目標(biāo)特征提取的深度學(xué)習(xí)算法，改造深度卷積網(wǎng)絡(luò)，對(duì)隧道圖像進(jìn)行智能識(shí)別。由于不同目標(biāo)的特征相差較大，故不對(duì)任何一種目標(biāo)進(jìn)行特征預(yù)提取，僅對(duì)隧道圖像進(jìn)行標(biāo)注，并建立隧道多目標(biāo)識(shí)別數(shù)據(jù)集。針對(duì)數(shù)據(jù)集改進(jìn)深度卷積網(wǎng)絡(luò)，進(jìn)行圖像智能識(shí)別算法和網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比試驗(yàn)，驗(yàn)證算法和網(wǎng)絡(luò)結(jié)構(gòu)的有效性。

2 隧道表面圖像處理與深度學(xué)習(xí)算法

2.1 圖像紋理特性分析

隧道表面圖像深度學(xué)習(xí)算法中，數(shù)據(jù)集的設(shè)計(jì)為一個(gè)重要的環(huán)節(jié)，需要對(duì)從隧道表面提取目標(biāo)以及如何建立相關(guān)目標(biāo)的數(shù)據(jù)集進(jìn)行分析。

隧道正線采集圖像過程中發(fā)現(xiàn)，隧道表面主要包含裂縫、滲漏水、襯砌脫落、盾構(gòu)塊螺栓孔、表面線纜和管道、配電箱、拼接縫、人工標(biāo)記、檢測設(shè)備、照明設(shè)備和逃生通道等情況。技術(shù)人員希望在檢測裂縫、滲漏水等隧道病害過程中，能同時(shí)檢測隧道表面固有紋理，如線纜管道、設(shè)備設(shè)施等，并進(jìn)行輔助分析。根據(jù)以上分析，為使算法識(shí)別結(jié)果盡可能包含隧道表面情況以及實(shí)現(xiàn)實(shí)際檢測需要，將隧道中包含的病害、固有紋理采取了以下分類檢測方案：裂縫、滲漏水、盾構(gòu)塊螺栓孔、表面線纜和管道、配電箱、拼接縫，以及包含背景在內(nèi)檢測目標(biāo)共7類。

不同檢測目標(biāo)紋理特征相差大。其中，裂縫、線纜管道和拼接縫屬于細(xì)長型目標(biāo)，經(jīng)常能橫跨整幅圖像，但是三者又有區(qū)別。裂縫走向復(fù)雜，邊緣不規(guī)則，經(jīng)常被其他目標(biāo)和背景噪聲干擾，占圖像面積小，檢測最為困難；線纜管道基本是直線或者彎曲，邊界明顯，占圖像大部分像素，檢測相對(duì)容易；拼接縫形狀、寬度相對(duì)固定，但不同隧道結(jié)構(gòu)拼接縫有一定差別，邊界檢測難收斂。滲漏水形狀不固定，區(qū)域邊界難確定，給網(wǎng)絡(luò)判別造成困難。其余固有紋理：盾構(gòu)塊螺栓孔和配電箱形狀大小都固定，與其他目標(biāo)差異較為明顯，在樣本充足的情況下，較容易檢測。

根據(jù)隧道圖像檢測目標(biāo)的紋理分析和實(shí)際檢測需要，確定隧道圖像標(biāo)注方法為像素級(jí)的語義標(biāo)注，并建立語義分割數(shù)據(jù)集。

2.2 圖像數(shù)據(jù)集建立

通過對(duì)獲得的隧道圖像進(jìn)行處理并標(biāo)注，采集得到的原始分辨率為4 288×2 848，數(shù)量為552張。為提高標(biāo)注精度，突出單個(gè)目標(biāo)特征，減少網(wǎng)絡(luò)計(jì)算壓力，對(duì)圖像進(jìn)行了16等分，即網(wǎng)絡(luò)輸入分辨率為1 072×712，數(shù)據(jù)集樣本總數(shù)為8 832張，標(biāo)注示例見圖2。

從圖像空間轉(zhuǎn)換到標(biāo)簽空間，標(biāo)簽空間通過三通道8位位圖表示，RGB分別為紅、綠、藍(lán)三原色。以裂縫滲漏水和背景為例，裂縫區(qū)域映射為紅色通道像素值為128, 綠色通道像素值為0, 藍(lán)色通道像素值為0；滲漏水區(qū)域映射為紅色通道像素值為0, 綠色通道像素值為128, 藍(lán)色通道像素值為0；背景映射為紅色通道像素值為0, 綠色通道像素值為0, 藍(lán)色通道像素值為0；其余映射和數(shù)據(jù)集細(xì)節(jié)見表1。

圖2 隧道多目標(biāo)數(shù)據(jù)集示例

表1 數(shù)據(jù)集信息

2.3 卷積網(wǎng)絡(luò)結(jié)構(gòu)

隧道表面情況復(fù)雜，不同檢測目標(biāo)的大小、尺寸和紋理差異較大，對(duì)于區(qū)域跨度大的線纜管道、滲漏水和拼接縫，高層網(wǎng)絡(luò)需要有足夠的感受野獲得目標(biāo)的全部特征。然而，裂縫相對(duì)于其他目標(biāo)，紋理信息少，特征稀疏，隨機(jī)性和無規(guī)則性明顯，需要網(wǎng)絡(luò)在小尺度區(qū)域中實(shí)現(xiàn)高精度識(shí)別，同時(shí)兼顧全局信息，避免裂縫區(qū)域的割裂，所以在選擇深度卷積網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，需要有足夠深的網(wǎng)絡(luò)層提取高級(jí)語義特征，同時(shí)具備多尺度空間信息提取能力。設(shè)計(jì)改進(jìn)的UperNet網(wǎng)絡(luò)，針對(duì)隧道多目標(biāo)特征，建立語義數(shù)據(jù)集，通過選取和設(shè)計(jì)特征提取器，多尺度空間信息提取器和特征融合模塊，對(duì)隧道病害數(shù)據(jù)集進(jìn)行訓(xùn)練和測試，網(wǎng)絡(luò)結(jié)構(gòu)見圖3。

圖3 改進(jìn)的UperNet深度卷積網(wǎng)絡(luò)結(jié)構(gòu)圖

圖4 ResNet和ResNeSt基本結(jié)構(gòu)

(2)空間金字塔池化模塊[25]：為能在高級(jí)特征上高效的獲取更多信息，將特征提取器獲得的最高級(jí)特征池化成4個(gè)不同尺度，經(jīng)過卷積、上采樣后再將4個(gè)特征圖拼接，模塊結(jié)構(gòu)見圖5。

圖5 空間金字塔池化模塊

(3)特征融合模塊：將特征提取器獲得的不同尺度、層級(jí)的特征圖進(jìn)行融合，能有效利用多尺度的信息。隧道圖像中包含大尺度的滲漏水、管道等，小尺度的裂縫、拼接縫等，通過多尺度特征融合能有效提升深度卷積網(wǎng)絡(luò)的識(shí)別能力。其中不同層級(jí)的特征融合的權(quán)重不同于直接的線性相加，而是采取可學(xué)習(xí)參數(shù)方案，通過反向傳播進(jìn)行更新，這樣網(wǎng)絡(luò)能更好的選擇不同層級(jí)特征之間的權(quán)重。

(1)

y=f[Concat(yconf)]

(2)

式中：{wii,wii+1}為第i層特征圖Li與下一層特征圖Li+1進(jìn)行融合時(shí)的權(quán)值，權(quán)值是網(wǎng)絡(luò)自學(xué)習(xí)的；f為卷積、BatchNorm和ReLU激活函數(shù)的集和；Concat為將多個(gè)特征圖沿通道方向進(jìn)行拼接。

3 試驗(yàn)與數(shù)據(jù)分析

3.1 隧道多目標(biāo)識(shí)別試驗(yàn)

隧道多目標(biāo)識(shí)別試驗(yàn)，數(shù)據(jù)集中1 072×712的訓(xùn)練圖像，在網(wǎng)絡(luò)輸入時(shí)將尺寸修改為320×320以提高訓(xùn)練時(shí)的批數(shù)量；引入數(shù)據(jù)增強(qiáng)方法隨機(jī)翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)。試驗(yàn)設(shè)置及超參數(shù)設(shè)置為：優(yōu)化器采用SGD，總迭代輪數(shù)為500，采用Poly方法根據(jù)迭代次數(shù)對(duì)學(xué)習(xí)率進(jìn)行更新，公式為

(3)

式中：base_lr為初始學(xué)習(xí)率0.01；iter為當(dāng)前迭代的次數(shù)，max_iter為總迭代次數(shù)。學(xué)習(xí)率曲線的形狀主要由參數(shù)power來控制，為了在學(xué)習(xí)初期保證大的學(xué)習(xí)率，后期進(jìn)入收斂區(qū)域時(shí)有小的學(xué)習(xí)率，設(shè)置power為0.9。

引入L2正則值為1×10-5，損失函數(shù)FL計(jì)算式為[26]

FL(pt)=-(1-pt)γlog2(pt)

(4)

式中：pt為樣本分類正確的概率，-log2(pt)為計(jì)算預(yù)測結(jié)果的交叉熵?fù)p失cross entropy loss，(1-pt)γ為調(diào)制系數(shù)，其中，γ為關(guān)注參數(shù)，γ≥0，當(dāng)γ=0時(shí)focal loss即為交叉熵。當(dāng)一個(gè)樣本被錯(cuò)分時(shí)，此時(shí)pt很小，(1-pt)接近于1，-log2(pt)不被影響，而當(dāng)一個(gè)樣本pt接近1，屬于易分樣本時(shí)，(1-pt)接近于0，即-log2(pt)的權(quán)值降低，對(duì)總的loss貢獻(xiàn)減小。通過設(shè)置關(guān)注參數(shù)γ，使得學(xué)習(xí)過程中能更好的關(guān)注難分樣本，對(duì)于易分的樣本關(guān)注較少，試驗(yàn)設(shè)置γ為2.5。

最后，在上述模型訓(xùn)練收斂后，再通過引入Lovasz-Softmaxloss[27]對(duì)模型進(jìn)行微調(diào)，這是針對(duì)分割任務(wù)的評(píng)價(jià)指標(biāo)IoU，又稱Jaccard index用于模型優(yōu)化，計(jì)算式為

(5)

實(shí)際隧道檢測中，除了檢測質(zhì)量IoU的高低，技術(shù)人員還關(guān)心隧道病害的檢測率，檢測率公式為

(6)

式中：i為測試圖像的序號(hào),測試圖像總共n張，i從0到n；ai為測試圖像i中需要檢測目標(biāo)的個(gè)數(shù)；bi為測試圖像i中實(shí)際檢測出的目標(biāo)個(gè)數(shù)。目標(biāo)個(gè)數(shù)基于連通域計(jì)算，同屬于一個(gè)連通域?yàn)橐粋€(gè)目標(biāo)。

隧道圖像多目標(biāo)分割試驗(yàn)的計(jì)算平臺(tái)為RTX 2060SUPER的GPU卡、Windows系統(tǒng)與pytorch框架。訓(xùn)練好的模型在測試集上的試驗(yàn)結(jié)果見圖6～圖8，其中,圖6和圖7為典型病害裂縫和滲漏水，圖8為隧道固有紋理(管道、拼接縫、配電箱、螺栓孔)的識(shí)別情況。

圖6 測試集隧道圖像裂縫識(shí)別結(jié)果

圖7 測試集隧道圖像滲漏水識(shí)別結(jié)果

圖8 測試集隧道圖像固有紋理識(shí)別結(jié)果

由圖6可知，本文提出的深度卷積網(wǎng)絡(luò)較好地完成了隧道裂縫檢測這一重點(diǎn)任務(wù)，能夠較為完整分割圖中的裂縫目標(biāo)，并且分割質(zhì)量較好。由于在數(shù)據(jù)集的標(biāo)注過程中，標(biāo)注人員專業(yè)性不足，導(dǎo)致裂縫標(biāo)簽相比于真實(shí)情況還有一定差距，但是觀察圖6(c)裂縫分割結(jié)果，相比于標(biāo)簽更加合理，更加貼合真實(shí)裂縫，對(duì)噪聲也有一定的抗干擾能力，說明提出的網(wǎng)絡(luò)魯棒性好，具有一定的自適應(yīng)能力。

在滲漏水病害圖像的試驗(yàn)中，本研究提出的算法識(shí)別結(jié)果也很好，見圖7。滲漏水存在邊界定義困難的問題，實(shí)際邊界模糊，這一需求應(yīng)該緊密貼合一線工

作人員的需求。通過詢問相關(guān)工作人員進(jìn)行滲漏水標(biāo)注，選取較為合理的邊界，并將滲漏水中伴隨的裂縫一并標(biāo)注出來。觀察識(shí)別結(jié)果圖，滲漏水基本能完整分割出來，并且與拼接縫、管道相互干擾時(shí)同樣也能清晰的分割出邊界。裂縫與滲漏水混合情況時(shí)分割難度大，干擾多，分割結(jié)果存在一些噪聲。

在隧道圖像固有紋理試驗(yàn)中，將固有紋理加入檢測目標(biāo)進(jìn)行檢測，這樣可以更好地輔助隧道病害(裂縫、滲漏水)識(shí)別。固有紋理中管道樣本數(shù)量最多，分割最為容易，絕大多數(shù)情況能理想的分割出管道目標(biāo)，拼接縫、螺栓孔也廣泛存在于隧道結(jié)構(gòu)中，并且紋理、形狀大小固定，分割也較為容易，配電箱由于樣本較少，導(dǎo)致分割結(jié)果存在缺陷。

訓(xùn)練集和測試集是從同一采樣空間中隨機(jī)分化得到的。雖然測試集沒參與訓(xùn)練，但是與訓(xùn)練集存在樣本特征上的交集，為了檢驗(yàn)?zāi)Ｐ偷姆夯芰Γㄟ^采集隧道表面圖像，并利用提出的算法進(jìn)行分割試驗(yàn)。其中，隧道原圖未經(jīng)任何增強(qiáng)處理，反應(yīng)真實(shí)圖像結(jié)果，并且試驗(yàn)圖像盡量選取復(fù)雜背景和多目標(biāo)混合情況，測試模型真實(shí)性能，結(jié)果見圖9。盡管圖像質(zhì)量不高，紋理復(fù)雜，但是對(duì)隧道目標(biāo)依舊有較好的識(shí)別能力。由于圖像質(zhì)量較差，導(dǎo)致較多噪聲誤識(shí)別為拼接縫和滲漏水，并且配電箱紋理特征與數(shù)據(jù)集中差異較大，導(dǎo)致識(shí)別率較低，后續(xù)需要進(jìn)行改進(jìn)。

圖9 模型泛化性能檢驗(yàn)結(jié)果

通過對(duì)測試集裂縫、滲漏水、固有紋理的分割結(jié)果分析可以得出，本文提出的深度卷積網(wǎng)絡(luò)很好的完成了隧道檢測的任務(wù)。面對(duì)管道、滲漏水、拼接縫和螺栓孔等樣本個(gè)數(shù)較多或者紋理固定簡單的目標(biāo)，該網(wǎng)絡(luò)的檢測結(jié)果能接近標(biāo)簽。裂縫圖像樣本數(shù)量較少，分割困難，對(duì)于一些背景簡單的裂縫圖像，見圖6，分割結(jié)果較好，部分結(jié)果比標(biāo)簽的收斂性更高，但是對(duì)于圖7中的復(fù)雜隧道圖像，多目標(biāo)混合的情況，會(huì)對(duì)裂縫的分割造成較大干擾，導(dǎo)致分割出較多的噪聲，而圖8中的隧道固有紋理，分割準(zhǔn)確率很高，分割質(zhì)量好。經(jīng)過泛化性檢驗(yàn)(圖9)，驗(yàn)證了模型的泛化能力，確保模型可以在多種復(fù)雜隧道場景下完成多目標(biāo)分割任務(wù)。

3.2 試驗(yàn)數(shù)據(jù)分析

通過試驗(yàn)，將本文提出的算法與UperNet和其他語義分割高性能網(wǎng)絡(luò)進(jìn)行對(duì)比，由于不同網(wǎng)絡(luò)結(jié)構(gòu)不同，所以不同網(wǎng)絡(luò)試驗(yàn)設(shè)置不同，多次試驗(yàn)選取最佳結(jié)果。隧道圖像多目標(biāo)識(shí)別率見表2和表3，不同目標(biāo)的IoU、mIoU見表4。檢測識(shí)別率方面，對(duì)裂縫的識(shí)別率達(dá)到94.2%，滲漏水的識(shí)別率達(dá)到96.9%，管道為95.0%，配電箱為99.0%，拼接縫為95.7%，螺栓孔為99.0%；分割任務(wù)的評(píng)價(jià)指標(biāo)方面裂縫識(shí)別IoU達(dá)到39.3%，滲漏水達(dá)到65.6%，管道為89.7%，配電箱為27.7%，拼接縫為57.7%，螺栓孔為79.8%，相比于UperNet和其他語義分割網(wǎng)絡(luò)均有提升。

表2 隧道圖像測試集病害識(shí)別結(jié)果

表3 隧道圖像測試集固有紋理識(shí)別結(jié)果 %

表4 隧道圖像測試集多目標(biāo)識(shí)別IoU %

隧道檢測中最關(guān)注的是目標(biāo)的檢測率，從表2、3可以得到，提出的算法對(duì)隧道病害以及固有紋理的平均檢測率高于UperNet算法的1%，高于其他算法(PSPNet、DeeplabV3+、GCN)2%～4%，檢測性能有明顯提升，由于配電箱樣本過少，檢測結(jié)果不參與平均檢測率的計(jì)算。典型病害裂縫和滲漏水的檢測率分別為94.2%、96.9%，明顯優(yōu)于其他算法，且漏檢率小，能夠有效幫助隧道維護(hù)人員檢測隧道病害，而固有紋理中普遍檢測率較高，能有效輔助作業(yè)人員進(jìn)行隧道檢測。

從表4中可得，針對(duì)隧道病害改進(jìn)的算法達(dá)到了性能最佳，從檢測率來看，相比于其他網(wǎng)絡(luò)檢測率也更高，對(duì)于隧道典型病害裂縫和滲漏水病害漏檢更少；從分割任務(wù)的評(píng)價(jià)指標(biāo)來看，mIoU達(dá)到了65.3%，相比于UperNet增加了4%，相比于其他網(wǎng)絡(luò)有明顯提升。除了配電箱的IoU相比于UperNet略微下降了0.3%，其他目標(biāo)的IoU均超過了其他網(wǎng)絡(luò)，尤其裂縫和拼接縫的IoU分別增加了10.3%和9.3%，提升效果明顯，說明針對(duì)隧道病害識(shí)別的改進(jìn)作用明顯。

隧道圖像多目標(biāo)樣本比例與識(shí)別結(jié)果見圖10。

圖10 隧道圖像多目標(biāo)樣本比例與識(shí)別結(jié)果

從圖10可得，網(wǎng)絡(luò)識(shí)別IoU與目標(biāo)樣本個(gè)數(shù)相關(guān)，管道識(shí)別IoU非常高，一方面是因?yàn)楣艿浪嫉臉颖颈壤罡撸硪环矫媸且驗(yàn)楣艿兰y理簡單，與背景對(duì)比度大。由于滲漏水邊界定義困難，盡管樣本較多，但是識(shí)別IoU比管道低，而樣本少、特征復(fù)雜，易受背景噪聲干擾的裂縫樣本識(shí)別率最低，受限于標(biāo)注精度。其中，螺栓孔雖然樣本比例非常小，但是識(shí)別IoU僅比管道低，原因在于螺栓孔的大小、紋理等特征簡單，識(shí)別容易。

試驗(yàn)表明，隧道表面圖像多目標(biāo)識(shí)別中，通過引入分離注意力機(jī)制獲取多層特征，并以自學(xué)習(xí)的方式融合多層特征，可以有效的提升網(wǎng)絡(luò)對(duì)隧道目標(biāo)的識(shí)別能力，尤其是裂縫的識(shí)別能力。從識(shí)別結(jié)果與樣本比例間的關(guān)系可得，提升隧道目標(biāo)總體的識(shí)別能力，需要考慮數(shù)據(jù)集不同樣本間的比例問題，當(dāng)樣本不平衡情況嚴(yán)重時(shí)，會(huì)損害低樣本數(shù)量的識(shí)別IoU。

3.3 裂縫識(shí)別結(jié)果分析

裂縫作為隧道結(jié)構(gòu)的典型病害，一直是國內(nèi)外的研究重點(diǎn)，而且隧道環(huán)境惡劣復(fù)雜，導(dǎo)致裂縫識(shí)別困難，所以需要對(duì)深度學(xué)習(xí)模型的裂縫分割性能進(jìn)行針對(duì)性分析。裂縫的特征包含長度、寬度和走向等，而寬度最能反應(yīng)裂縫檢測質(zhì)量，寬度算法流程[28]見圖11，通過對(duì)裂縫圖像的檢測結(jié)果采取細(xì)化算法獲取裂縫骨架，然后在骨架點(diǎn)獲取局部鄰域，最后在鄰域內(nèi)計(jì)算骨架點(diǎn)法線方向的像素個(gè)數(shù)為該骨架點(diǎn)的寬度，最后統(tǒng)計(jì)所有骨架點(diǎn)計(jì)算的寬度求出裂縫的最大寬度和最小寬度。

圖11 裂縫寬度計(jì)算流程

根據(jù)表4可以看出，UperNet和改進(jìn)的網(wǎng)絡(luò)整體性能和裂縫檢測性能優(yōu)于其他網(wǎng)絡(luò)。通過對(duì)比這兩個(gè)網(wǎng)絡(luò)裂縫圖像分割結(jié)果，同樣為了驗(yàn)證網(wǎng)絡(luò)的裂縫識(shí)別泛化性能，裂縫圖像為單獨(dú)拍攝，不包含在數(shù)據(jù)集中。UperNet和改進(jìn)網(wǎng)絡(luò)裂縫圖像分割結(jié)果見圖12，為了更好對(duì)比檢測結(jié)果與真實(shí)裂縫，將檢測結(jié)果覆蓋在裂縫圖像上。

圖12 裂縫圖像檢測與寬度計(jì)算

從圖12和表4可以得到，改進(jìn)算法對(duì)裂縫的檢測性能要優(yōu)于UperNet算法，不僅裂縫的IoU增加了10.3%，檢測的寬度也要更小，最大寬度普遍要少10個(gè)像素左右，而實(shí)際裂縫寬度可能只占2～4個(gè)像素，所以檢測寬度減少是有意義的。通過對(duì)裂縫圖像的檢測結(jié)果進(jìn)行局部放大，進(jìn)一步分析裂縫檢測結(jié)果與真實(shí)裂縫之間的差距，局部放大圖見圖13。可以明顯觀察到改進(jìn)網(wǎng)絡(luò)裂縫檢測結(jié)果更貼近于真實(shí)裂縫，邊界收斂性更高，整體裂縫檢測完整性較好，驗(yàn)證了算法的有效性。

圖13 裂縫圖像檢測結(jié)果局部放大圖

3.4 算法分析與適用性條件

綜合分析，本文提出的基于深度卷積網(wǎng)絡(luò)的隧道圖像多目標(biāo)識(shí)別算法，對(duì)于隧道中的大目標(biāo)或標(biāo)簽數(shù)量豐富的目標(biāo)識(shí)別IoU較高，如管道、滲漏水，但是對(duì)于特征復(fù)雜、語義標(biāo)簽獲取困難的目標(biāo)識(shí)別IoU還是較低，尤其是裂縫目標(biāo)，雖然在簡單背景下識(shí)別結(jié)果與真實(shí)裂縫貼近，但是容易受背景噪聲的干擾，在測試集和泛化性能測試中背景復(fù)雜、多目標(biāo)混合的隧道圖像裂縫的分割性能表現(xiàn)一般。由于裂縫標(biāo)注質(zhì)量較低，部分識(shí)別的裂縫寬度大于實(shí)際寬度,但是裂縫檢測率較高。后續(xù)將基于弱監(jiān)督學(xué)習(xí)與全監(jiān)督學(xué)習(xí)結(jié)合的方式，間接性擴(kuò)展數(shù)據(jù)集和緩和樣本不平衡的問題，并對(duì)復(fù)雜背景下裂縫目標(biāo)的識(shí)別IoU和邊界收斂性進(jìn)行擴(kuò)展性研究。

4 結(jié)論

本文針對(duì)隧道表面典型病害和特定目標(biāo)自動(dòng)檢測的問題，提出了一套基于深度學(xué)習(xí)和語義分割的圖像多目標(biāo)智能識(shí)別理論模型，以及裂縫參數(shù)自動(dòng)檢測算法。通過采用ResNeSt結(jié)構(gòu)中的分離注意力機(jī)制，與多層特征自學(xué)習(xí)融合方式相結(jié)合的方法，重點(diǎn)關(guān)注目標(biāo)的同時(shí)充分利用多尺度多級(jí)語義信息，可明顯提升隧道多目標(biāo)特征的識(shí)別率。

本文在采集大量隧道圖像的基礎(chǔ)上，建立了一套隧道表面圖像多目標(biāo)數(shù)據(jù)集，并完成了7種隧道紋理的分類標(biāo)注。通過算法對(duì)比試驗(yàn)，以及2種典型病害和5種固有紋理目標(biāo)的識(shí)別試驗(yàn)，其中，對(duì)于隧道典型病害，裂縫的識(shí)別率達(dá)94.2%，滲漏水的識(shí)別率達(dá)96.9%，其他固有紋理檢測識(shí)別率平均為96.6%，充分驗(yàn)證了算法的有效性。通過真實(shí)地鐵隧道裂縫圖像對(duì)模型的泛化性能和裂縫檢測性能進(jìn)行了分析，驗(yàn)證了識(shí)別算法的魯棒性。未來，將繼續(xù)針對(duì)惡劣環(huán)境，復(fù)雜紋理和大噪點(diǎn)干擾下的隧道病害圖像智能識(shí)別理論，進(jìn)行深入研究。