基于圖像和點(diǎn)云的路面缺陷檢測(cè)研究

施 洋 馮首道 曹 遠(yuǎn)

（中國(guó)人民解放軍32127部隊(duì)，遼寧 大連 116600）

0 引言

面對(duì)我國(guó)龐大的公路網(wǎng)絡(luò)，對(duì)路面缺陷進(jìn)行人工檢測(cè)已經(jīng)無(wú)法滿足檢測(cè)需求，不僅耗時(shí)耗力，而且還存在因各種因素影響而無(wú)法保證精準(zhǔn)度的問(wèn)題，同時(shí)存在極大的安全隱患。自21世紀(jì)初，隨著三維掃描技術(shù)及相關(guān)采集設(shè)備的發(fā)展，基于點(diǎn)云的路面缺陷檢測(cè)方法得到廣泛認(rèn)可[1]。

隨著數(shù)字圖像處理技術(shù)、激光雷達(dá)技術(shù)、紅外深度圖像技術(shù)及CCD攝像等技術(shù)的發(fā)展推動(dòng)了路面缺陷檢測(cè)設(shè)備的快速發(fā)展[2]。2008年哈工大與國(guó)暢智能交通技術(shù)有限公司共同研發(fā)了道路檢測(cè)車，該檢測(cè)車屬于多功能應(yīng)用型監(jiān)測(cè)車，可檢測(cè)路面的粗糙程度，其標(biāo)準(zhǔn)基本達(dá)到國(guó)際領(lǐng)先水平。隨著檢測(cè)設(shè)備的發(fā)展，國(guó)內(nèi)外學(xué)者相繼提出基于圖像和點(diǎn)云的優(yōu)秀算法，用以檢測(cè)路面缺陷[3]。

通過(guò)設(shè)備采集的路面點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)，使用基于圖像特征的路面裂縫檢測(cè)以及基于點(diǎn)云的路面坑槽和涌包檢測(cè)方法，并以點(diǎn)云形式修復(fù)檢測(cè)出的缺陷。具體研究?jī)?nèi)容如下：1）研究設(shè)備采集數(shù)據(jù)的2種方式和《公路技術(shù)狀況評(píng)定標(biāo)準(zhǔn)》（JTG 5210—2018）對(duì)路面缺陷的分類及破損評(píng)級(jí)標(biāo)準(zhǔn)。2）對(duì)路面裂縫圖像進(jìn)行預(yù)處理、裂縫區(qū)域增強(qiáng)以及裂縫區(qū)域分割等處理，準(zhǔn)確檢測(cè)路面裂縫及相關(guān)裂縫幾何信息計(jì)算。

1 路面缺陷數(shù)據(jù)采集方法和缺陷評(píng)定標(biāo)準(zhǔn)

1.1 路面缺陷數(shù)據(jù)采集方法

所需數(shù)據(jù)由實(shí)驗(yàn)室車載移動(dòng)測(cè)量系統(tǒng)中激光掃描儀與線陣相機(jī)采集生成。通過(guò)激光傳感器不間斷地掃描路面，從而獲取路面的三維點(diǎn)云數(shù)據(jù)，通過(guò)線陣相機(jī)獲取路面的圖像數(shù)據(jù)，2種不同的數(shù)據(jù)采集方式可根據(jù)不同類型的路面缺陷進(jìn)行選取。

1.2 路面缺陷分類與采集方式

根據(jù)《公路技術(shù)狀況評(píng)定標(biāo)準(zhǔn)》（JTG 5210—2018）可以將路面缺陷分為裂縫類、涌包類和坑槽類。

1.2.1 裂縫類

路面裂縫類缺陷主要是受材料和路基的填料、氣候等因素的影響，其表現(xiàn)為路面表面出現(xiàn)橫向、網(wǎng)狀等裂縫。

由于裂縫寬度過(guò)窄，且裂縫深度存在不確定性，因此使用線陣相機(jī)采集的裂縫圖像信息能清晰反應(yīng)裂縫特征。

1.2.2 涌包類

路面涌包類缺陷主要是因路面老化而導(dǎo)致的，熱脹冷縮或在外力作用下易出現(xiàn)路面涌包。

由于涌包表現(xiàn)為路面鼓起，缺陷區(qū)域有明顯現(xiàn)象，因此通過(guò)路面涌包點(diǎn)云可以看出，適合采用激光掃描儀采集點(diǎn)云數(shù)據(jù)。

1.2.3 坑槽類

路面坑槽形成主要是因路面厚度不足或有水份侵入而導(dǎo)致的，表現(xiàn)為部分下沉或出現(xiàn)坑洼現(xiàn)象。

由于坑槽區(qū)域點(diǎn)云數(shù)據(jù)的高程值明顯小于路面其他區(qū)域的高程值，因此應(yīng)使用激光掃描儀采集其點(diǎn)云數(shù)據(jù)。

2 基于圖像特征的路面裂縫檢測(cè)

2.1 路面裂縫圖像預(yù)處理

對(duì)圖像進(jìn)行預(yù)處理，最大程度地簡(jiǎn)化圖像數(shù)據(jù)的同時(shí)，去除圖像數(shù)據(jù)中的噪聲干擾，提高裂縫圖像的可檢度，圖像預(yù)處理主要包括圖像去噪和圖像增強(qiáng)2個(gè)部分。

2.1.1 圖像去噪

2.1.1.1 圖像灰度校正

在圖像中時(shí)常出現(xiàn)不均勻光照的現(xiàn)象，灰度值的不穩(wěn)定導(dǎo)致難以區(qū)分圖像中的裂縫和背景，使裂縫檢測(cè)不精確，給路面裂縫提取帶來(lái)困難。為使圖像數(shù)據(jù)的光照分布均衡，可以利用局部閾值對(duì)不均勻光照進(jìn)行補(bǔ)償。

2.1.1.2 去除圖像陰影

路旁的燈桿、樹(shù)木和建筑物在光照條件會(huì)形成倒影，容易將陰影區(qū)誤認(rèn)為路面裂縫缺陷，給檢測(cè)帶來(lái)困難。為去除陰影，該小節(jié)采用最大最小濾波的方法，其原理是將中心像素值與鄰域內(nèi)像素值進(jìn)行比較，如果中心像素比鄰域內(nèi)像素最小值小，或者比最大值大，則用鄰域內(nèi)像素的最小值或最大值代替中心像素。

2.1.1.3 高斯—中值濾波去噪

高斯濾波的原理是經(jīng)加權(quán)平均后，獲取圖像每點(diǎn)像素值和鄰域內(nèi)其他點(diǎn)像素值，對(duì)服從正態(tài)分布的噪聲有較好的過(guò)濾效果，能夠保持圖像的整體細(xì)節(jié)；中值濾波法將圖像劃分為多個(gè)正方形區(qū)域，以正方形內(nèi)的像素中值代替該區(qū)域的像素值，對(duì)裂縫圖像的邊緣起到很好的保護(hù)作用，但是它會(huì)使正體圖像變得模糊。綜合高斯濾波與中值濾波，基于各自優(yōu)點(diǎn)實(shí)現(xiàn)裂縫圖像噪聲濾除。圖像中像素點(diǎn)的灰度值與其相鄰像素點(diǎn)的灰度值是非常接近的，裂縫區(qū)域的灰度值比其背景灰度值要低，如果一個(gè)像素點(diǎn)的灰度值小于或遠(yuǎn)大于相鄰點(diǎn)的灰度值，則該像素點(diǎn)很可能是噪聲。

2.1.2 圖像增強(qiáng)

該文使用灰度拉伸進(jìn)行裂縫圖像增強(qiáng)，如公式（1）所示。

式中：f（x，y）為經(jīng)去噪后圖像的灰度值；g（x，y）為灰度拉伸后的圖像灰度值。

根據(jù)裂縫圖像實(shí)際情況，將灰度等級(jí)劃分為[0，x1]、[x1，x2]和[x2，255]，將灰度值位于[x1，x2]的圖像拉伸至[y1，y2]，這樣其他區(qū)域的灰度值將被降低，從而達(dá)到抑制噪聲的效果。

2.2 路面裂縫圖像分割

圖像分割技術(shù)作為圖像處理中的核心步驟，在路面裂縫圖像檢測(cè)中有非常重要的作用，常用方法主要基于閾值、邊緣等。該文將結(jié)合圖像的閾值分割和邊緣分割方法并加以改進(jìn)。

2.2.1 Canny邊緣檢測(cè)算法

Canny算子對(duì)裂縫圖像邊緣檢測(cè)有較好的準(zhǔn)確性，具體步驟如下：1）按照上文的高斯濾波方法對(duì)圖像進(jìn)行去噪，設(shè)原圖像為f（x，y），濾波處理后的圖像為h（x，y）。2）計(jì)算梯度的幅值和方向。采用Canny算法計(jì)算像素在2×2鄰域內(nèi)的水平與垂直方向上的偏導(dǎo)數(shù)。3） 抑制非極大值的梯度幅值。在Canny邊緣檢測(cè)算法中，抑制非極大值的梯度幅值，可以找到梯度幅值最大的像素點(diǎn)，通過(guò)該方法去除絕大部分裂縫邊緣之外的點(diǎn)。4）設(shè)定雙閾值確定裂縫邊緣像素點(diǎn)。Canny算法設(shè)置一高一低2個(gè)閾值，高閾值一般是低閾值的2倍，用于遍歷所有像素點(diǎn)。比較邊緣像素的梯度值和設(shè)置的高低閾值，如果梯度值大于高閾值，則該像素點(diǎn)為邊緣強(qiáng)像素點(diǎn)，像素值為255；如果梯度值介于高低閾值之間，則該像素點(diǎn)為邊緣弱像素點(diǎn)，像素點(diǎn)值暫先不變；如果梯度值小于低閾值，則被抑制，像素值為0，可根據(jù)圖像內(nèi)容合理選取閾值。

2.2.2 基于邊緣檢測(cè)的自適應(yīng)閾值分割方法

在抑制非極大值的梯度幅值后，可以得到三類邊緣候選點(diǎn)數(shù)據(jù)，令第一類候選點(diǎn)為C1，表示裂縫圖像中非邊緣點(diǎn)，包括梯度值為{t1,t2,…,ta}的像素；令第二類候選點(diǎn)為C2，表示裂縫圖像不確定的邊緣點(diǎn)，包括梯度值為{ta+1，ta+2,…,tb}的像素；令第三類候選點(diǎn)為C3表示裂縫圖像中邊緣點(diǎn)，包括梯度值為{tb+1，tb+2,…,tL}的像素。

當(dāng)裂縫圖像有M個(gè)像素時(shí)，令梯度幅值范圍為[1，L]，則梯度值為ti對(duì)應(yīng)的像素個(gè)數(shù)為mi，那么占總像素?cái)?shù)的比例可為則各類的均值和概率如公式（2）～公式（3）所示。

裂縫圖像類間方差如公式（4）所示。

針對(duì)裂縫圖像，通過(guò)梯度直方圖可求得ti、Pi，將梯度等級(jí)設(shè)置為64個(gè)等級(jí)，便可得出關(guān)于a、b的二元二次函數(shù)，a的取值區(qū)間為[1，L]，b的取值區(qū)間為[a，L]，通過(guò)搜索類間方差σ2（a，b）最大值對(duì)應(yīng)的ta、tb的值，則ta、tb就是C1、C2和C3各類區(qū)間的分界點(diǎn)，這樣就可以自適應(yīng)的確定Canny邊緣檢測(cè)算法中的高、低閾值。

Canny邊緣檢測(cè)算法對(duì)裂縫邊緣有較好的檢測(cè)效果。結(jié)合它們各自的優(yōu)點(diǎn)，疊加2種方法獲取的結(jié)果，即可獲得邊緣信息完整且噪聲較小的裂縫圖像分割結(jié)果，具體步驟如下：1）利用分割裂縫圖像得到噪聲較少的二值化圖像h1。2）利用改進(jìn)后Canny邊緣檢測(cè)算法分割裂縫圖像，得到具有裂縫邊緣信息圖像h2。3）由于圖像h1白色代表背景像素，黑色代表裂縫像素，因此為保證圖像h1跟圖像h2的背景和裂縫像素顏色一致，將圖像h1灰度值反轉(zhuǎn)，標(biāo)記為圖像h3。4）對(duì)應(yīng)圖像h2和圖像h3檢測(cè)出來(lái)的裂縫邊緣像素點(diǎn)，疊加圖像h3與圖像h2，標(biāo)記為圖像h4，所得到的圖像h4即滿足2種算法的各自優(yōu)點(diǎn)。

2.2.3 連通域去噪和斷裂區(qū)域連接

通過(guò)應(yīng)用形態(tài)學(xué)中的閉運(yùn)算和開(kāi)運(yùn)算，閉運(yùn)算消除圖像中微小間斷和排除小型孔洞，開(kāi)運(yùn)算消除多余毛刺，綜合連通域去噪及形態(tài)學(xué)上開(kāi)閉運(yùn)算操作，得到最終的裂縫圖像分割結(jié)果。

2.3 路面裂縫圖像檢測(cè)

2.3.1 裂縫類別判斷

裂縫圖像經(jīng)過(guò)圖像分割后，需要對(duì)其進(jìn)行特征提取，因?yàn)閷?duì)裂縫的不同種類有不同的評(píng)定標(biāo)準(zhǔn)，所以要先對(duì)圖像中的裂縫進(jìn)行類別判斷。該文采用連通域數(shù)量分析的方法判斷圖像中裂縫是線性裂縫還是網(wǎng)狀裂縫。裂縫連通域個(gè)數(shù)如圖1所示。

通過(guò)試驗(yàn)可知，線性裂縫與網(wǎng)狀裂縫在連通域數(shù)量上存在較大差異，對(duì)很多路面裂縫圖像進(jìn)行試驗(yàn)分析后，將連通域數(shù)量閾值設(shè)定為5，當(dāng)裂縫連通域數(shù)量小于5時(shí)，判定為線性裂縫，當(dāng)裂縫連通域數(shù)量大于或等于5時(shí)，判定為網(wǎng)狀裂縫。

可以采用投影法判斷橫向裂縫和縱向裂縫，分別對(duì)線性裂縫圖像向X軸與Y軸方向上進(jìn)行投影，通過(guò)投影結(jié)果進(jìn)行區(qū)分，如圖2所示。

圖2 橫向裂縫和縱向裂縫判斷示意圖

綜上可知，目標(biāo)范圍內(nèi)像素點(diǎn)為裂縫，橫向裂縫水平方向的投影最大值點(diǎn)清晰并數(shù)值相對(duì)較大，波動(dòng)劇烈，垂直方向的投影圖形相對(duì)比較平緩、峰值小且遍布很均勻；縱向裂縫圖像特征與之相反。

圖1 線性裂縫和網(wǎng)狀裂縫判斷示意圖

2.3.2 線性裂縫長(zhǎng)度和寬度計(jì)算

裂縫長(zhǎng)度和寬度是評(píng)估裂縫損壞程度的2個(gè)重要指標(biāo)，裂縫長(zhǎng)度反映裂縫的延伸狀況，裂縫寬度反映裂縫的開(kāi)裂程度。

2.3.2.1 骨架細(xì)化

對(duì)裂縫圖像進(jìn)行骨架細(xì)化，提取裂縫圖像的中心像素輪廓，細(xì)化為單像素寬度，骨架提取時(shí)要滿足以下3個(gè)要求：1） 骨架不能出現(xiàn)斷裂。2） 裂縫內(nèi)部像素點(diǎn)不可刪除。3） 不可刪除像素端點(diǎn)，刪除端點(diǎn)會(huì)導(dǎo)致整條裂縫骨架被刪除。

Zhang Suen細(xì)化算法是一種經(jīng)典的細(xì)化算法，擁有較高的細(xì)化精度和較快的運(yùn)行速度，應(yīng)用范圍較廣，該文利用該算法進(jìn)行裂縫骨架細(xì)化，如圖3所示。

圖3 裂縫細(xì)化效果圖

2.3.2.2 裂縫長(zhǎng)度計(jì)算

細(xì)化后的裂縫骨架均為單一像素，即每行每列只有一個(gè)像素值，只要求取骨架長(zhǎng)度即為裂縫的長(zhǎng)度。骨架長(zhǎng)度可以理解為相鄰像素點(diǎn)之間的距離之和，令（xi，yi）和（xi+1，yi+1）為相鄰像素，則相鄰像素點(diǎn)之間的距離之和l如公式（5）所示。

裂縫骨架總長(zhǎng)度為L(zhǎng)，即所有相鄰像素距離之和如公式（6）所示。

2.3.2.3 裂縫寬度計(jì)算

根據(jù)《公路技術(shù)狀況評(píng)定標(biāo)準(zhǔn)》（JTG 5210—2018）可知，裂縫的最大寬度是影響結(jié)構(gòu)損傷和使用極限的重要因素，因此需要求取的裂縫寬度應(yīng)該為裂縫兩邊緣像素上的最大距離。該文采用邊界點(diǎn)切垂線法來(lái)計(jì)算裂縫最大寬度。

具體計(jì)算方法如下：1）首先遍歷裂縫圖像，設(shè)裂縫左邊界點(diǎn)p的坐標(biāo)為（xa，ya）。2）確定與p相鄰的上、下行的左邊界點(diǎn)，分別記為（xb，yb）和（xc，yc），則這3點(diǎn)可以確定拋物線y=ax2+bx+c，計(jì)算該拋物線在點(diǎn)P處切線斜率k。3）設(shè)與點(diǎn)p切線的垂線如公式（7）所示。

垂線相交于右邊界點(diǎn)的坐標(biāo)為（xd，yd），則（xa，ya）和（xd，yd）之間距離d即為點(diǎn)p處裂縫的寬度，如公式（8）所示。

采用邊界點(diǎn)切垂線法即可獲得裂縫圖像最大寬度dmax。

2.3.3 網(wǎng)狀裂縫面積計(jì)算

該文通過(guò)獲得裂縫圖像凸包的方法，可以更接近網(wǎng)狀裂縫的面積。具體方法主要基于Opencv進(jìn)行操作，首先，提取分割好的路面網(wǎng)狀裂縫圖像。其次，使用Opencv的convexHull函數(shù)獲取圖像裂縫區(qū)域的凸包。最后，同樣使用Opencv中的convexArea函數(shù)獲取裂縫圖像凸包面積S，則圖像中網(wǎng)狀裂縫分布面積即為S×a2。

2.4 采集結(jié)果與分析

基于該章節(jié)對(duì)路面裂縫圖像的處理方法，通過(guò)線陣相機(jī)采集和交通部發(fā)布的路面裂縫圖像數(shù)據(jù)進(jìn)行檢測(cè)，線性裂縫長(zhǎng)、寬單位為mm，網(wǎng)狀裂縫面積單位為m2，試驗(yàn)結(jié)果見(jiàn)表1。

表1 裂縫分類結(jié)果統(tǒng)計(jì)表

路面裂縫類型的判定是路面裂縫檢測(cè)的基礎(chǔ)，對(duì)其幾何特征參數(shù)的計(jì)算是路面裂縫檢測(cè)的關(guān)鍵評(píng)價(jià)指標(biāo)，為驗(yàn)證該文所提出的算法的有效性，在線性裂縫與網(wǎng)狀裂縫中隨機(jī)挑選6 幅，根據(jù)該文計(jì)算路面裂縫幾何特征方法進(jìn)行分析比較，結(jié)果見(jiàn)表2～表4。其中，線性裂縫長(zhǎng)度為L(zhǎng)，最大寬度為W，網(wǎng)狀裂縫的面積為S。

表2 橫向裂縫檢測(cè)結(jié)果表

表3 縱向裂縫檢測(cè)結(jié)果表

通過(guò)對(duì)裂縫圖像試驗(yàn)結(jié)果分析發(fā)現(xiàn)：1）在對(duì)線性裂縫長(zhǎng)度的檢測(cè)中，相對(duì)誤差為負(fù)值，說(shuō)明檢測(cè)值小于實(shí)際值，這是因?yàn)樵诹芽p骨架提取時(shí)，雖然保證了裂縫的基本形狀，但是每行每列只提取單個(gè)像素點(diǎn)，所以導(dǎo)致整體長(zhǎng)度稍受影響。2）在對(duì)線性裂縫最大寬度的檢測(cè)中，相對(duì)誤差為正值，說(shuō)明檢測(cè)值大于實(shí)際值，因?yàn)殚]運(yùn)算可以將微小間斷和細(xì)小孔洞與裂縫相連接，導(dǎo)致檢測(cè)裂縫最大寬度的偏移會(huì)增大。3）在對(duì)網(wǎng)狀裂縫面積的檢測(cè)中，相對(duì)誤差為負(fù)值，說(shuō)明檢測(cè)值小于實(shí)際值，因?yàn)榫W(wǎng)狀裂縫的部分細(xì)小裂縫分支，灰度值接近圖像背景，在獲取凸包時(shí)沒(méi)有將該部分檢測(cè)出來(lái)，所以導(dǎo)致網(wǎng)狀裂縫面積檢測(cè)值小于真實(shí)數(shù)值。

表4 網(wǎng)狀裂縫檢測(cè)結(jié)果表

3 結(jié)語(yǔ)

該文圍繞基于圖像和點(diǎn)云的路面缺陷檢測(cè)及點(diǎn)云修復(fù)技術(shù)進(jìn)行研究，所取得的主要研究成果如下：1）該文研究了車載移動(dòng)測(cè)量系統(tǒng)采集路面缺陷的2種數(shù)據(jù)形式，即圖像和點(diǎn)云，然后根據(jù)《公路技術(shù)狀況評(píng)定標(biāo)準(zhǔn)》（JTG 5210—2018）對(duì)路面缺陷進(jìn)行分類和破損分級(jí)，結(jié)合實(shí)際路面缺陷特征選擇合適的采集方式。2）提出基于圖像特征的路面裂縫檢測(cè)。通過(guò)改進(jìn)高斯與中值濾波的方法，在去除大量噪聲的同時(shí)，保留更多裂縫邊緣細(xì)節(jié)，Canny邊緣檢測(cè)算法根據(jù)路面裂縫缺陷的評(píng)定標(biāo)準(zhǔn)對(duì)其幾何特征進(jìn)行分析。

在后續(xù)研究中還須解決以下問(wèn)題：檢測(cè)精度問(wèn)題。無(wú)論從圖像還是點(diǎn)云進(jìn)行檢測(cè)，受到設(shè)備抖動(dòng)、環(huán)境以及人為等因素的干擾對(duì)檢測(cè)精度有較大影響，還需進(jìn)一步對(duì)相關(guān)檢測(cè)算法進(jìn)行研究。