鋼橋橋面細(xì)小裂縫圖像特征動態(tài)識別仿真

謝君利,郭魏源,張春生

(1. 黃河科技學(xué)院應(yīng)用技術(shù)學(xué)院,河南 濟(jì)源 459000;2. 河南理工大學(xué)土木工程學(xué)院,河南 焦作 454003)

1 引言

我國交通運(yùn)輸業(yè)的迅速發(fā)展使公路橋梁被大量建造并投入使用[1],鋼橋是公路橋梁的典型形式之一,具有受力明確、跨越能力大等優(yōu)點(diǎn),但在長期降雨和風(fēng)沙等自然環(huán)境侵蝕下,鋼橋難免出現(xiàn)劣變情況,橋面裂縫是最常見的鋼橋劣變問題,裂縫不但會降低鋼橋的路用性能,而且對鋼橋受力也存在很大的負(fù)面影響,導(dǎo)致鋼橋整體性能下降[2]。因此,建立科學(xué)有效的鋼橋橋面圖像細(xì)小裂縫動態(tài)識別方法至關(guān)重要。

胡成雪等人[3]利用灰度校正和形態(tài)學(xué)重建降低外界干擾和噪聲影響,通過顯著性差異提取圖像鄰域顯著特征,引入方向可調(diào)濾波器獲取方向各異的梯度顯著特征,融合鄰域顯著特征和梯度顯著特征生成特征融合顯著圖并采用閾值分割,得到可能的裂縫聚集區(qū)域,采用聚類算法依據(jù)區(qū)域內(nèi)不同幾何特征篩選裂縫候選區(qū)域,定位候選區(qū)域端點(diǎn),剔除無端點(diǎn)區(qū)域子集,將不同區(qū)域端點(diǎn)連接,實(shí)現(xiàn)鋼橋橋面圖像細(xì)小裂縫動態(tài)識別。常惠等人[4]混合傳統(tǒng)卷積塊和空洞卷積塊,構(gòu)建金字塔空洞卷積模塊作為殘差網(wǎng)絡(luò)底部模塊,通過改進(jìn)的殘差網(wǎng)絡(luò)實(shí)現(xiàn)鋼橋橋面圖像細(xì)小裂縫動態(tài)識別。謝雄耀等人[5]采用基于深度學(xué)習(xí)算法的Faster R-CNN網(wǎng)絡(luò)識別原始鋼橋橋面圖像裂縫目標(biāo),判定裂縫存在與否,若存在,標(biāo)記裂縫區(qū)域并裁剪裂縫區(qū)域,進(jìn)而得到全部裂縫圖像,去除圖像干擾背景后通過U-Net語義分割網(wǎng)絡(luò)實(shí)現(xiàn)鋼橋橋面圖像細(xì)小裂縫動態(tài)識別。以上方法沒有在識別到細(xì)小裂縫后對裂縫優(yōu)化處理,導(dǎo)致誤差較大。

為了解決上述方法中存在的問題,提出鋼橋橋面圖像細(xì)小裂縫最優(yōu)化動態(tài)識別方法。通過Mask勻光法和灰度級腐蝕法,提高圖像質(zhì)量。采用改進(jìn)Canny算子,提取細(xì)小裂縫邊緣。通過形態(tài)學(xué)方法實(shí)現(xiàn)裂縫最優(yōu)化動態(tài)識別。

2 鋼橋橋面圖像細(xì)小裂縫粗提取

2.1 鋼橋橋面細(xì)小裂縫圖像預(yù)處理

鋼橋橋面圖像中往往存在由橋面顆粒紋理、積水水漬、拋灑物、光照不均、對比度較低等因素造成的圖像質(zhì)量低問題,在識別鋼橋橋面圖像細(xì)小裂縫前務(wù)必對圖像預(yù)處理。

2.1.1 圖像勻光處理

采用Mask勻光法平衡鋼橋圖像整體光強(qiáng)。

用Ig(x,y)表示原始圖像,Ig(x,y)表示高斯濾波法濾波后得到的背景圖像[6],Ib(x,y)表示線性拉伸前圖像,(x,y)表示圖像中任意像素,φ表示灰度偏移量,則存在以下關(guān)系式:

Ir(x,y)=Ig(x,y)-Ib(x,y)+φ

(1)

在[0,255]范圍內(nèi)對Ib(x,y)的像素值拉伸處理,用ε表示線性拉伸因子,得到勻光后圖像Im(x,y)如下所示:

Im(x,y)=255×[Ir(x,y)-ε]/(255-2×ε)

(2)

2.1.2 圖像對比度增強(qiáng)處理

由于拍攝環(huán)境和拍攝設(shè)備等因素影響,鋼橋橋面圖像對比度較低,因此采用灰度級腐蝕法增強(qiáng)圖像對比度。

用H(x′,y′)表示結(jié)構(gòu)元素[7],H(x′,y′)表示結(jié)構(gòu)元素中任意像素,Gs表示H(x′,y′)的定義域,得到經(jīng)灰度腐蝕增強(qiáng)對比度后圖像Ie(x,y)如下所示:

Ie(x,y)=min[Im(x+x′,y+y′)-H(x′,y′)]

(3)

2.2 圖像細(xì)小裂縫粗提取

在經(jīng)過圖像預(yù)處理得到高質(zhì)量鋼橋橋面圖像后,引入模糊C均值聚類算法(FCM)對圖像細(xì)小裂縫粗提取[8]。

(4)

FCM算法主要流程如下:

①選取大于0的一個小數(shù)作為停止閾值θ,初始化隸屬度矩陣記作U0,迭代次數(shù)t設(shè)置為0;

因?yàn)樵阡摌驑蛎鎴D像中光線被細(xì)小裂縫所吸收,所以裂縫所處區(qū)域反射作用較弱,即對應(yīng)圖像區(qū)域像素灰度值較低。將灰度值作為聚類特征,記作xi,將聚類中心zj的最小值對應(yīng)索引記作j=J,若第i個像素點(diǎn)對于第J個聚類中心的隸屬度μiJ在{μij|1≤j≤c}中為最大值,則將xi判定為裂縫。完成對全部像素點(diǎn)的判斷,即可實(shí)現(xiàn)鋼橋橋面圖像細(xì)小裂縫的粗提取。

3 細(xì)小裂縫最優(yōu)化動態(tài)識別

3.1 細(xì)小裂縫邊緣提取

鋼橋橋面圖像細(xì)小裂縫可視為不規(guī)則曲線段組合,存在一定的邊緣性質(zhì),基于粗識別結(jié)果提取細(xì)小裂縫邊緣有助于后續(xù)對細(xì)小裂縫的分析和識別,采用改進(jìn)Canny算子提取鋼橋橋面圖像細(xì)小裂縫邊緣[9]。

傳統(tǒng)Canny算子的濾波對非線性噪聲沒有濾波效果,濾波能力受標(biāo)準(zhǔn)差σ的直接影響,其一階差分會造成部分圖像信息的丟失[10],并且其采用人工定義閾值,會導(dǎo)致結(jié)果出現(xiàn)一定偏差。因此所提方法對傳統(tǒng)Canny算子加以改進(jìn)。

采用非線性中值濾波替代高斯濾波作為濾波算法,中值濾波依據(jù)升序排列鋼橋橋面圖像像素值并選取中間值實(shí)現(xiàn)濾波[11]。

引入Sobel算子的8方向模板計算圖像梯度[12],假設(shè)存在鋼橋橋面圖像f(x,y),(x,y)表示圖像中任意像素值,則經(jīng)Sobel算子計算得到方向梯度Sx和Sy如下所示:

(5)

通過Otsu法替代人工閾值選取[13],假設(shè)鋼橋橋面圖像中共存在Y個灰度級,每級灰度出現(xiàn)次數(shù)記作mi,對于一幅尺寸為M×N的鋼橋橋面圖像,每級灰度出現(xiàn)概率pi計算方式如下所示:

pi=mi/(M×N),i∈[0,1,…,Y-1]

(6)

設(shè)置閾值K用于劃分圖像背景和邊緣區(qū)域,基于該閾值計算背景和邊緣區(qū)域在圖像中的概率Pb和Po,如下所示:

(7)

(8)

(9)

在[0,Y-1]范圍內(nèi)不斷調(diào)節(jié)閾值K,重復(fù)計算不同閾值下的類間方差,其中,類間方差最大值對應(yīng)的閾值即為所求閾值,通過該閾值即可區(qū)分鋼橋橋面圖像細(xì)小裂縫邊緣區(qū)域與背景區(qū)域,實(shí)現(xiàn)細(xì)小裂縫邊緣提取。

3.2 細(xì)小裂縫識別

區(qū)域生長法通過合并相鄰且具有近似屬性的像素點(diǎn)為一個區(qū)域?qū)崿F(xiàn)細(xì)小裂縫識別[14],依據(jù)灰度閾值制定生長規(guī)則,將生長點(diǎn)灰度值記作p,生長點(diǎn)8鄰域內(nèi)像素點(diǎn)灰度值記作qi,i∈[1,2,…,8],生長閾值記作Td,則有:

|p-qi|

(10)

通過區(qū)域生長法動態(tài)識別鋼橋橋面圖像細(xì)小裂縫的主要流程如下所示:

①在粗識別區(qū)域內(nèi),將通過改進(jìn)Canny算子提取到的鋼橋橋面圖像細(xì)小裂縫邊緣點(diǎn)設(shè)定為種子點(diǎn)集合;

②設(shè)定種子點(diǎn)生長規(guī)則,根據(jù)式(10)確定生長閾值;

③以種子點(diǎn)為起始生長點(diǎn),標(biāo)記種子點(diǎn)所在區(qū)域?yàn)槟繕?biāo)區(qū)域Q;

④對生長點(diǎn)8鄰域內(nèi)全部像素點(diǎn)加以搜索,保留不屬于Q的像素點(diǎn)和未超出粗識別區(qū)域像素點(diǎn);

⑤對比保留像素點(diǎn)和相應(yīng)生長點(diǎn),將滿足生長規(guī)則的像素點(diǎn)記作新生長點(diǎn),添加至Q中;

⑥若新生長點(diǎn)個數(shù)0,則算法結(jié)束,最終得到的區(qū)域Q即為鋼橋橋面圖像細(xì)小裂縫區(qū)域;反之返回步驟④重復(fù)執(zhí)行直到滿足終止要求。

3.3 細(xì)小裂縫動態(tài)識別結(jié)果最優(yōu)化處理

由于鋼橋橋面圖像中存在無法避免的噪聲,識別到的細(xì)小裂縫可能會出現(xiàn)不連續(xù)、空洞或毛刺等問題,因此對識別到的細(xì)小裂縫進(jìn)一步處理,通過形態(tài)學(xué)方法去除細(xì)小裂縫圖像毛刺和空洞[15],依據(jù)像素位置信息拼接細(xì)小裂縫。

引入形態(tài)學(xué)方法中的開操作和閉操作處理細(xì)小裂縫圖像,前者負(fù)責(zé)去除比結(jié)構(gòu)元素更小的毛刺,后者負(fù)責(zé)填補(bǔ)比結(jié)構(gòu)元素更小的空洞或缺口,進(jìn)而使得細(xì)小裂縫邊緣更為平滑。

識別到的細(xì)小裂縫圖像中可能存在不連續(xù)的問題,同一條細(xì)小裂縫斷開區(qū)域間距離較近,所提方法基于該特征拼接細(xì)小裂縫,主要流程如下所示:

①將通過區(qū)域生長法得到的細(xì)小裂縫均標(biāo)記為候選裂縫,由左上至右下排列全部裂縫,生成候選裂縫集合,選取首個裂縫作為當(dāng)前待拼接裂縫;

②由該待拼接裂縫端點(diǎn)開始判斷裂縫走向,遍歷該裂縫端點(diǎn)方向附近像素點(diǎn),如果在端點(diǎn)指定像素點(diǎn)距離內(nèi)存在其它候選裂縫,則將該裂縫與待拼接裂縫拼接;

③完成當(dāng)前裂縫拼接后選取下一個候選裂縫作為待拼接裂縫執(zhí)行步驟②,直到完成全部候選裂縫拼接。

所提方法具有計算過程簡單、效率高等特點(diǎn),采用所提方法對不斷更新的鋼橋橋面圖像持續(xù)識別、監(jiān)測,即可實(shí)現(xiàn)對鋼橋橋面圖像細(xì)小裂縫的實(shí)時最優(yōu)化動態(tài)識別。

4 實(shí)驗(yàn)與結(jié)果

為了驗(yàn)證鋼橋橋面圖像細(xì)小裂縫最優(yōu)化動態(tài)識別方法(所提方法)的整體有效性,需要對其測試。實(shí)驗(yàn)選取362幅鋼橋橋面細(xì)小裂縫圖像,構(gòu)建裂縫數(shù)據(jù)庫。采用鄰域與梯度顯著特征融合的裂縫檢測方法(參考文獻(xiàn)[3]方法)和基于改進(jìn)殘差網(wǎng)絡(luò)的鐵路隧道裂縫檢測算法(參考文獻(xiàn)[4]方法)為對照檢測所提方法的有效性。任意選取4幅圖像對比所提方法、參考文獻(xiàn)[3]方法和參考文獻(xiàn)[4]方法的細(xì)小裂縫識別結(jié)果,測試結(jié)果如圖1所示。

圖1 三種方法細(xì)小裂縫識別結(jié)果視覺對比圖

由圖1可以看出,所提方法的細(xì)小裂縫識別結(jié)果更為清晰,邊緣更為明確,而參考文獻(xiàn)[3]方法和參考文獻(xiàn)[4]方法雖然能夠識別到細(xì)小裂縫,但與背景區(qū)別較小,難以區(qū)分,識別效果不理想。

為了更加客觀的評估所提方法、參考文獻(xiàn)[3]方法和參考文獻(xiàn)[4]方法的檢測結(jié)果,采用ROC曲線、AUC值、平均絕對誤差量化362幅鋼橋橋面圖像細(xì)小裂縫檢測結(jié)果,測試結(jié)果如圖3所示。

1)ROC曲線和AUC值

ROC曲線圖能夠用來衡量裂縫識別的準(zhǔn)確性,ROC曲線與橫縱坐標(biāo)圍成的面積越大,即AUC值越大,則對應(yīng)方法的裂縫識別準(zhǔn)確性越高,不同方法的檢測結(jié)果如圖2所示:

圖2 ROC曲線和AUC值檢測結(jié)果

由圖2可以看出,在相同假陽性率處,所提方法真陽性率高于參考文獻(xiàn)[3]方法和參考文獻(xiàn)[4]方法,說明所提方法檢測出的點(diǎn)是真實(shí)裂縫點(diǎn)占比最高,同時所提方法的AUC值高于參考文獻(xiàn)[3]方法和參考文獻(xiàn)[4]方法,因?yàn)樗岱椒ㄔ谧R別到鋼橋橋面細(xì)小裂縫后采用形態(tài)學(xué)方法和像素位置信息拼接方法解決細(xì)小裂縫不連續(xù)、空洞或毛刺等問題,優(yōu)化識別效果。

2)平均絕對誤差

ROC曲線主要衡量的是潛在識別目標(biāo),為了全面評估裂縫識別性能,引入平均絕對誤差進(jìn)一步檢測所提方法、參考文獻(xiàn)[3]方法和參考文獻(xiàn)[4]方法的可靠性與準(zhǔn)確性。

用M和N表示圖像長和寬,(x,y)表示任意像素值,G(x,y)表示真實(shí)像素值,H(x,y)表示不同方法檢測下像素值,則平均絕對誤差MAE計算方法如下所示:

(11)

通過式(11)計算三種方法在不同鋼橋橋面圖像細(xì)小裂縫類別中識別結(jié)果的平均絕對誤差,如下表所示。

表1 平均絕對誤差檢測結(jié)果

由圖3可以看出,所提方法在不同裂縫類別中的平均絕對誤差始終保持在0.015以下,參考文獻(xiàn)[3]方法的平均絕對誤差均已超過在0.02,參考文獻(xiàn)[4]方法的平均絕對誤差總體趨勢雖略低于參考文獻(xiàn)[3]方法,但明顯高于所提方法,說明所提方法具有一定的有效性和優(yōu)越性。

圖3 不同方法的運(yùn)行時間檢測結(jié)果

為了進(jìn)一步檢測三種方法在細(xì)小裂縫識別中的性能,統(tǒng)計三種方法在識別362幅鋼橋橋面圖像細(xì)小裂縫時的平均運(yùn)行時間,結(jié)果如圖3所示。

由圖3可以看出,所提方法的運(yùn)行時間在0.5s以下,參考文獻(xiàn)[3]方法運(yùn)行時間在1.5s以上,參考文獻(xiàn)[4]方法運(yùn)行時間接近3s,所提方法的運(yùn)行時間明顯少于參考文獻(xiàn)[3]方法和參考文獻(xiàn)[4]方法,說明在相同時間內(nèi)所提方法能夠完成更多的裂縫識別任務(wù),更符合動態(tài)識別需求。

5 結(jié)束語

為了保障鋼橋使用壽命和運(yùn)行安全,對鋼橋橋面裂縫及時檢測識別并維護(hù)至關(guān)重要。為此,提出鋼橋橋面圖像細(xì)小裂縫最優(yōu)化動態(tài)識別方法。采用Mask勻光法和灰度級腐蝕法預(yù)處理圖像,利用改進(jìn)的Canny算子提取細(xì)小裂縫邊緣,通過區(qū)域生長法識別細(xì)小裂縫并結(jié)合形態(tài)學(xué)方法和像素位置信息拼接方法緩解細(xì)小裂縫不連續(xù)、空洞或毛刺等問題,不斷分析、識別持續(xù)更新的鋼橋橋面圖像細(xì)小裂縫信息,完成細(xì)小裂縫最優(yōu)化動態(tài)識別。該方法能夠有效地增大AUC值、減小平均絕對誤差、縮短運(yùn)行時間,為鋼橋的安全運(yùn)行奠定基礎(chǔ)。