地鐵隧道裂縫圖像采集與智能識(shí)別方法研究

王耀東，史紅梅，朱力強(qiáng)，周維楨

（1.北京交通大學(xué)智慧高鐵系統(tǒng)前沿科學(xué)中心，北京 100044；2.北京交通大學(xué)載運(yùn)工具先進(jìn)制造與測(cè)控技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100044）

1 引言

截至2021年12月31日，我國(guó)地鐵運(yùn)營(yíng)線路總里程超過7 000 km[1]，由于隧道施工和后期運(yùn)營(yíng)管理等諸多環(huán)節(jié)中的多種因素作用，地鐵隧道襯砌在投入運(yùn)營(yíng)后會(huì)出現(xiàn)病害。其中，裂縫病害為常見形式，并會(huì)引起隧道局部滲漏水，如圖1所示。隧道裂縫不僅對(duì)地鐵結(jié)構(gòu)本身安全性、耐久性構(gòu)成威脅，甚至?xí)苯佑绊懙罔F的運(yùn)營(yíng)安全，所以隧道病害檢測(cè)成為地鐵隧道周期性巡檢的重要任務(wù)。

圖1 地鐵隧道裂縫和滲漏水圖

傳統(tǒng)的隧道裂縫檢測(cè)方法以人工為主，檢測(cè)人員的安全作業(yè)難以保證，存在安全不確定性。利用機(jī)器視覺技術(shù)、數(shù)字圖像處理技術(shù)和人工智能理論相結(jié)合完成地鐵隧道裂縫的自動(dòng)檢測(cè)、智能分類和特征提取，已成為現(xiàn)今主要的研究方向。

2 相關(guān)工作

目前，國(guó)內(nèi)外對(duì)于裂縫檢測(cè)已取得了一定的研究成果。韓國(guó)Seung-Nam Yu等人設(shè)計(jì)制造了隧道裂縫檢測(cè)試驗(yàn)平臺(tái)。該設(shè)備可以進(jìn)行遙控操作，以5 km/h的速度運(yùn)行獲取0.3 mm的裂縫圖像，并采用最優(yōu)路徑的算法檢測(cè)裂縫[2]。Landstrom提出一種基于形態(tài)學(xué)的裂縫識(shí)別算法，分別對(duì)3種不同分辨率的裂縫圖像進(jìn)行了形態(tài)學(xué)處理[3]。Yichang Tsai等人提出一種基于最小路徑的半自動(dòng)裂縫檢測(cè)算法[4]。Protopapadakis等人研究了隧道內(nèi)自主機(jī)器人檢測(cè)技術(shù)[5]。Eftychios提出了一種用于隧道裂縫檢測(cè)的計(jì)算機(jī)視覺模塊，該模塊具有能見度低、裂縫曲率小、裂縫結(jié)構(gòu)深等特點(diǎn)，模塊嵌入在一個(gè)機(jī)器人上[6]。薛亞東等人在2018年提出采用一種全卷積網(wǎng)絡(luò)分類模型實(shí)現(xiàn)隧道襯砌病害自動(dòng)智能分類檢測(cè)的功能[7]。黃宏偉等人提出了一種基于深度學(xué)習(xí)（DL）的地鐵盾構(gòu)隧道裂縫和滲漏水缺陷圖像識(shí)別新算法，該算法利用全卷積網(wǎng)絡(luò)（FCN）提取的特征層次對(duì)裂縫和滲漏水缺陷進(jìn)行語(yǔ)義分割[8]。北京交通大學(xué)王耀東等人針對(duì)地鐵隧道復(fù)雜場(chǎng)景和弱光環(huán)境下，全局圖像檢測(cè)精度低的問題，提出分塊圖像局部紋理處理算法，基于圖像細(xì)化與骨架提取算法，提出裂縫和虛假裂縫紋理的差異性計(jì)算模型[9]。

在硬件系統(tǒng)研究中，目前研制出的隧道圖像采集系統(tǒng)可大致分為高速車載式大型系統(tǒng)和低速手推式小型系統(tǒng)兩大類。高速車載式大型圖像采集系統(tǒng)設(shè)備組成復(fù)雜、系統(tǒng)龐大、研發(fā)周期長(zhǎng)且成本高昂；低速手推式小型圖像采集系統(tǒng)集成度低、運(yùn)行速度慢、檢測(cè)效率低下。在此基礎(chǔ)上，本文提出一種基于自行走平臺(tái)的地鐵隧道圖像采集系統(tǒng)和裂縫精細(xì)化智能識(shí)別算法。

3 隧道圖像采集系統(tǒng)

本研究結(jié)合現(xiàn)有2種采集系統(tǒng)的優(yōu)勢(shì)，搭建了中低速基于自行走巡檢小車的隧道襯砌圖像同步采集系統(tǒng)，系統(tǒng)由面陣相機(jī)及閃光燈一體化模塊、供電系統(tǒng)和工控機(jī)等組成，如圖2所示。

圖2 地鐵隧道襯砌圖像采集系統(tǒng)示意圖

3.1 隧道圖像采集系統(tǒng)設(shè)計(jì)

標(biāo)準(zhǔn)地鐵盾構(gòu)隧道均為圓形，且隧道圓心距離軌道面的距離L固定，為1 840 mm，按照裂縫檢測(cè)要求，相機(jī)視野應(yīng)覆蓋逃生平臺(tái)以上隧道斷面，逃生平臺(tái)高L0為900 mm，計(jì)算得隧道圓心到逃生平臺(tái)所在平面的垂直距離L1為940 mm，隧道半徑R為2 700 mm，則隧道圓心和逃生平臺(tái)的連線與隧道圓心到逃生平臺(tái)所在平面的垂線之間的夾角θ為：

則逃生平臺(tái)以上隧道截面的圓弧對(duì)應(yīng)的圓心角（相機(jī)視場(chǎng)角總和需要達(dá)到的最小值）α為：

單臺(tái)相機(jī)的視場(chǎng)角β為19.7°，則覆蓋整個(gè)隧道斷面需要的相機(jī)數(shù)量N為：

因此，采集完整的隧道表面圖像共需要安裝12個(gè)面陣相機(jī)。本研究針對(duì)南方某隧道現(xiàn)場(chǎng)實(shí)際需求，主要拍攝逃生平臺(tái)以上的半隧道區(qū)域，所以設(shè)計(jì)為6個(gè)相機(jī)的圖像采集系統(tǒng)。本文通過串口實(shí)現(xiàn)了6個(gè)相機(jī)的同步觸發(fā)，可同時(shí)采集、同時(shí)停止。

系統(tǒng)將其中1臺(tái)工控機(jī)設(shè)為主機(jī)，命名為1號(hào)機(jī)，其余2臺(tái)工控機(jī)設(shè)為從機(jī)，分別命名為2號(hào)、3號(hào)機(jī)，主機(jī)通過串口通信的方式同時(shí)給自身和另外2臺(tái)從機(jī)發(fā)送開始采集和停止采集的指令，從而實(shí)現(xiàn)6個(gè)相機(jī)模塊同步觸發(fā)的功能，隧道襯砌圖像同步采集系統(tǒng)示意如圖3所示。

圖3 同步采集示意圖

在實(shí)際應(yīng)用場(chǎng)景中，可以利用相機(jī)獲得圖像中裂縫的像素寬度，通過相機(jī)標(biāo)定可以得到圖像中每個(gè)像素的實(shí)際寬度，即物理尺寸。將獲得的裂縫像素寬度，通過標(biāo)定系數(shù)得到的比例因子進(jìn)行尺寸單位轉(zhuǎn)換，即可獲得該裂縫的實(shí)際寬度。本文使用棋盤格角點(diǎn)檢測(cè)算法完成相機(jī)標(biāo)定，最終標(biāo)定的每個(gè)像素的實(shí)際尺寸為0.225 mm。

在獲得像素尺寸的基礎(chǔ)上，根據(jù)允許最長(zhǎng)拖影S和相機(jī)的曝光時(shí)間T可計(jì)算出系統(tǒng)運(yùn)動(dòng)速度v的上限。

則相機(jī)模塊最小采集幀率計(jì)算公式如下：

式（5）中，fmin為相機(jī)的最小采集幀率；w為相機(jī)視野實(shí)際寬度。

3.2 圖像采集實(shí)驗(yàn)

為驗(yàn)證多目相機(jī)隧道圖像采集系統(tǒng)的穩(wěn)定性和可靠性，測(cè)試采集到的圖像質(zhì)量，在南方某地鐵車輛段的盾構(gòu)隧道模型內(nèi)搭建了基于自行走平臺(tái)的隧道襯砌圖像采集系統(tǒng)樣機(jī)，依據(jù)現(xiàn)場(chǎng)對(duì)于隧道兩側(cè)和拱頂?shù)臋z測(cè)需求，實(shí)現(xiàn)半隧道圖像采集，如圖4所示。

圖4 隧道圖像采集系統(tǒng)樣機(jī)

完成功能測(cè)試后，整體檢測(cè)系統(tǒng)在夜間地鐵停運(yùn)后運(yùn)行到隧道現(xiàn)場(chǎng)區(qū)間，實(shí)驗(yàn)過程中采集到的部分裂縫圖像如圖5所示。多目相機(jī)模塊均可正常實(shí)現(xiàn)同步采集的功能，并且可以清晰地拍攝到精度為0.2 mm的隧道襯砌裂縫。

圖5 圖像采集實(shí)驗(yàn)結(jié)果

4 隧道裂縫智能識(shí)別算法

本文在采集到的海量隧道襯砌圖像的基礎(chǔ)上建立了裂縫圖像樣本庫(kù)，制作像素級(jí)的裂縫邊緣檢測(cè)數(shù)據(jù)集，提出一種基于邊緣檢測(cè)的裂縫識(shí)別網(wǎng)絡(luò)，并使用傳統(tǒng)圖像處理算法對(duì)網(wǎng)絡(luò)輸出的預(yù)測(cè)圖進(jìn)行后處理進(jìn)一步提取裂縫。

4.1 樣本庫(kù)的建立和數(shù)據(jù)集的制作

從實(shí)際地鐵隧道采集的圖像中篩選出含有裂縫的圖片，用于建立專門的地鐵隧道裂縫圖像樣本庫(kù)，并使用labelme標(biāo)注工具對(duì)樣本庫(kù)中的裂縫進(jìn)行像素級(jí)精細(xì)化標(biāo)注，用于制作裂縫邊緣檢測(cè)數(shù)據(jù)集。

隧道圖像分辨率為（5 760×3 840）dpi，為了方便網(wǎng)絡(luò)識(shí)別裂縫，將4個(gè)樣本庫(kù)中所有的圖片進(jìn)行分塊處理，分塊示意如圖6所示，分塊后的圖像分辨率為（720×480）dpi。地鐵隧道圖像樣本庫(kù)中共包含分塊后的圖像27 609張，最終從中篩選出3 000張裂縫圖像，從而建立包含不同走向、不同長(zhǎng)度和不同寬度的地鐵隧道裂縫原始圖像樣本庫(kù)，用于后期的數(shù)據(jù)集制作。

圖6 圖像分塊示意圖

本文使用labelme標(biāo)注工具對(duì)裂縫進(jìn)行標(biāo)注，將裂縫像素與背景像素分割開，剔除背景像素影響。

4.2 基于邊緣檢測(cè)的裂縫識(shí)別網(wǎng)絡(luò)

對(duì)裂縫特征進(jìn)行觀察和分析，總結(jié)如下：

（1）幾乎全部的隧道襯砌裂縫都呈現(xiàn)不規(guī)則的曲線形，而與裂縫特征最為相似的接縫和劃痕多為直線或平滑的短圓弧；

（2）隧道襯砌圖像中的背景噪聲多為斑點(diǎn)狀，裂縫則大多是細(xì)長(zhǎng)的形狀；

（3）地鐵隧道襯砌裂縫通常只有3～6個(gè)像素寬度，裂縫像素占比很小；

（4）裂縫圖像紋理不均勻，相對(duì)于裂縫周圍的背景像素存在灰度上的突變。

以上4個(gè)特征均與復(fù)雜物體邊緣極為相似。基于以上觀察和分析，本文嘗試將邊緣檢測(cè)網(wǎng)絡(luò)遷移到地鐵隧道襯砌裂縫檢測(cè)上來，提出一種基于邊緣檢測(cè)的裂縫識(shí)別網(wǎng)絡(luò)，實(shí)現(xiàn)裂縫像素級(jí)識(shí)別的同時(shí)，補(bǔ)全裂縫的邊緣信息，提高裂縫的識(shí)別精度。

本文提出的裂縫識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)以經(jīng)典邊緣檢測(cè)網(wǎng)絡(luò)（HED）為基礎(chǔ)，引入空洞卷積模塊（MSBlock），并加入特征金字塔，以此獲得更多的語(yǔ)義信息，網(wǎng)絡(luò)結(jié)構(gòu)示意如圖7所示。

圖7 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

采用經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)（VGG16）作為骨干網(wǎng)絡(luò)，在HED的每個(gè)階段（stage）和側(cè)邊輸出之間加入特征金字塔，以獲得不同尺度的語(yǔ)義信息，同時(shí)在融合層之前引入MSBlock，在較少的網(wǎng)絡(luò)計(jì)算量的基礎(chǔ)上，增大網(wǎng)絡(luò)的感受野，獲取多尺度上下文信息。本文提出的裂縫識(shí)別網(wǎng)絡(luò)在獲取充足的語(yǔ)義信息的基礎(chǔ)上，盡可能降低了結(jié)構(gòu)的復(fù)雜性，減少了網(wǎng)絡(luò)參數(shù)，使網(wǎng)絡(luò)能夠在保證裂縫識(shí)別精度的同時(shí)，提高識(shí)別效率。

該裂縫識(shí)別網(wǎng)絡(luò)的每個(gè)stage對(duì)應(yīng)VGG16的5個(gè)stage，每個(gè)stage輸出1張?zhí)卣鲌D，除最后一個(gè)stage外，其余stage的輸出均通過1個(gè)上采樣和上一個(gè)stage輸出的特征圖疊加，形成自上而下的特征金字塔結(jié)構(gòu)，將深層的語(yǔ)義信息傳入淺層。最后將5個(gè)stage的側(cè)邊輸出通過一個(gè)1×1的卷積和上采樣融合在一起，形成最終的融合層預(yù)測(cè)圖。

本文使用損失函數(shù)（Focal loss）代替?zhèn)鹘y(tǒng)的交叉熵?fù)p失函數(shù)，該函數(shù)是在交叉熵?fù)p失函數(shù)的基礎(chǔ)上進(jìn)行優(yōu)化和改進(jìn)后得到的，不僅能夠平衡正負(fù)樣本，還可以動(dòng)態(tài)調(diào)整樣本的損失（Loss）大小，使網(wǎng)絡(luò)在訓(xùn)練過程中更加注重對(duì)難識(shí)別樣本的學(xué)習(xí)。批量參數(shù)大小（Batch size）是網(wǎng)絡(luò)訓(xùn)練的重要參數(shù)之一，Batch size越大，越可以很好地代表樣本總體，從而更準(zhǔn)確地朝向極值所在方向。

本文采取以下3種方法增大Batch size：基于Apex的混合精度加速、梯度累加和分布式訓(xùn)練。此外，在網(wǎng)絡(luò)訓(xùn)練過程中容易發(fā)生過擬合的現(xiàn)象，即網(wǎng)絡(luò)在訓(xùn)練集上表現(xiàn)良好，在測(cè)試集上表現(xiàn)欠佳，這會(huì)導(dǎo)致網(wǎng)絡(luò)的泛化能力下降，本文采用數(shù)據(jù)增強(qiáng)的方式防止網(wǎng)絡(luò)過擬合。

4.3 圖像后處理

為將網(wǎng)絡(luò)輸出的裂縫預(yù)測(cè)概率圖轉(zhuǎn)化為二值圖像，本文設(shè)計(jì)了基于數(shù)字圖像處理的后處理算法對(duì)裂縫圖像進(jìn)行處理。裂縫圖像后處理算法流程如圖8所示，部分后處理效果圖如圖9所示。

圖8 裂縫圖像后處理算法

圖9 裂縫圖像后處理結(jié)果

裂縫圖像后處理算法主要包括4個(gè)步驟，具體如下：

（1）使用自適應(yīng)閾值分割算法將概率圖轉(zhuǎn)化為二值圖像，盡量完整的保留裂縫像素；

（2）使用連通域?yàn)V波算法將二值圖像中像素?cái)?shù)小于40的散點(diǎn)噪聲濾除，只保留裂縫像素；

（3）使用形態(tài)學(xué)方法中的閉運(yùn)算填補(bǔ)裂縫內(nèi)部的空缺像素；

（4）通過平滑邊緣改善裂縫邊緣鋸齒化嚴(yán)重的問題，這可以在一定程度上將復(fù)雜裂縫分岔點(diǎn)連接起來，避免出現(xiàn)裂縫斷裂的情況。

5 實(shí)驗(yàn)與結(jié)果分析

5.1 數(shù)據(jù)集、評(píng)價(jià)指標(biāo)和參數(shù)設(shè)置

使用深度學(xué)習(xí)的邊緣檢測(cè)算法，需要構(gòu)建像素級(jí)的邊緣檢測(cè)數(shù)據(jù)集。本文在構(gòu)建的地鐵隧道裂縫邊緣檢測(cè)數(shù)據(jù)集上進(jìn)行算法實(shí)驗(yàn)。數(shù)據(jù)集包含訓(xùn)練集1 780張、驗(yàn)證集509張和測(cè)試集254張，其中對(duì)于裂縫圖像設(shè)置了真實(shí)標(biāo)簽數(shù)據(jù)（Ground Truth），如圖10所示。

圖10 地鐵隧道裂縫數(shù)據(jù)集

為評(píng)價(jià)裂縫識(shí)別算法的效果，引入評(píng)價(jià)指標(biāo)平均交并比（mIoU）、準(zhǔn)確率、召回率和平均準(zhǔn)確率（AP）對(duì)裂縫檢測(cè)結(jié)果進(jìn)行評(píng)價(jià)。

5.2 圖像后處理實(shí)驗(yàn)結(jié)果

由于網(wǎng)絡(luò)檢測(cè)結(jié)果仍然不夠精細(xì)，且少部分圖像存在噪聲干擾的情況，因此本文使用傳統(tǒng)圖像處理方法對(duì)網(wǎng)絡(luò)輸出的圖像進(jìn)行后處理，進(jìn)一步精細(xì)化提取裂縫特征，如圖11所示。由圖可知，基于數(shù)字圖像處理的后處理算法可以進(jìn)一步提取裂縫，對(duì)裂縫的識(shí)別效果較好。

本文將邊緣檢測(cè)的評(píng)價(jià)指標(biāo)AP、單圖最佳尺度（OIS）下的平衡F分?jǐn)?shù)（F1-score）和全局最佳尺度（ODS）下的F1-score引入裂縫檢測(cè)中。經(jīng)過計(jì)算，隧道裂縫在OIS下的F1-score為0.828，ODS下的F1-score為0.886，均獲得了較高的得分。由于地鐵隧道裂縫背景復(fù)雜，占比小，多為細(xì)小裂縫，與用于訓(xùn)練網(wǎng)絡(luò)的路面裂縫相比識(shí)別難度更高，因此AP值為0.689，仍需提高，可使用精細(xì)化標(biāo)注的隧道裂縫數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)提高隧道裂縫檢測(cè)的AP值。

5.3 實(shí)驗(yàn)結(jié)果分析

基于邊緣檢測(cè)的裂縫自動(dòng)識(shí)別和特征提取方法可以對(duì)裂縫進(jìn)行初步提取，從結(jié)果圖（圖11）中可以看出，網(wǎng)絡(luò)提取到的裂縫區(qū)域很亮，因此，深度學(xué)習(xí)具有一定的優(yōu)越性。使用基于數(shù)字圖像處理的后處理方法能夠?yàn)V去背景中的噪聲，進(jìn)一步將裂縫提取出來。本文使用深度學(xué)習(xí)和數(shù)字圖像相結(jié)合的方法實(shí)現(xiàn)了地鐵隧道裂縫的自動(dòng)識(shí)別和特征提取，對(duì)于采集到的裂縫圖像，實(shí)現(xiàn)了裂縫紋理的提取，檢測(cè)效果良好。

圖11 地鐵隧道裂縫后處理

6 結(jié)論

本文設(shè)計(jì)了一種基于自行走平臺(tái)的地鐵隧道圖像采集系統(tǒng)和裂縫圖像識(shí)別方法。通過串口通信方式實(shí)現(xiàn)多個(gè)相機(jī)的同步采集，搭建了隧道圖像同步采集系統(tǒng)，并進(jìn)行隧道現(xiàn)場(chǎng)圖像采集實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文提出的方法可以同步采集隧道襯砌圖像，且圖像辨識(shí)精度達(dá)到 0.2 mm。

同時(shí)，本研究提出一種帶有多尺度檢測(cè)模塊的雙向級(jí)聯(lián)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，采用深度學(xué)習(xí)算法和傳統(tǒng)圖像處理算法相結(jié)合的方法可實(shí)現(xiàn)地鐵隧道裂縫的精細(xì)化智能識(shí)別，AP為0.689，OIS下的F1-score為0.828，ODS下的F1-score為0.886，均取得了較好的識(shí)別效果。相關(guān)研究為后續(xù)的現(xiàn)場(chǎng)應(yīng)用示范提供了技術(shù)和理論支持。