基于三維虛擬路面的裂縫自動檢測算法

彭 博，蔡曉禹，李少博，張有節

(重慶交通大學 交通運輸學院,重慶 400074)

0 引 言

裂縫是路面各類破損中最常見、最易發生和最早期產生的病害之一，它伴隨著道路的整個使用期，并隨著路齡的增長而加重。路面裂縫不但影響路容美觀和行車舒適性，而且容易擴展，造成路面的結構性破壞，縮短路面使用壽命。因此應及時檢測路面裂縫破損狀況，制定和實施養護措施，否則雨水及雜物會沿裂縫進入面層結構及路基，導致路面承載能力下降，加速路面局部或成片損壞，降低行車安全性及道路通行能力。

最初，人們采用人工檢測方法獲取路面裂縫信息，不僅勞動強度高、效率低下，且影響交通、難以保障檢測人員安全。20世紀80年代，美國、加拿大等發達國家紛紛開展路面裂縫自動檢測系統的研發工作[1]，以滿足急劇增長的路面養護管理需求。之后30年間，許多基于超聲波技術、探地雷達和攝像測量等技術的路面檢測系統先后面世。其中，攝像測量法能全面地采集路面裂縫、坑槽、松散、車轍、平整度等信息，已逐漸成為路面破損檢測的主流技術[2]。

盡管如此，現今絕大部分路面裂縫檢測系統仍只能采集路面二維信息(主要是路面灰度圖像)。2010年以來，路面三維信息采集系統才開始嶄露頭角并顯示出廣闊的前景，如路面綜合檢測車DHDV(Digital Highway Data Vehicle)[3]和路面三維掃描系統[4]，在路面信息采集方面實現了由灰度圖像向三維數據的變革，彌補了傳統二維圖像質量易受車道標線、陰影及油污等影響的缺陷，顯著地提高了路面數據質量。

隨著路面三維數據采集技術的研發和應用，基于三維數據的裂縫自動識別研究也應運而生：Y. TSAI等[5]評估和驗證了3D激光技術在不同光照和弱對比度情形下檢測裂縫的可行性；X.M.SUN等[6]基于稀疏矩陣和深度圖像(路面三維數據的存儲與表達方式之一，其像素值代表深度值)進行裂縫檢測；A.ZHANG 等[7]基于路面高精三維數據提出了檢測裂縫的匹配濾波算法；H.Y.GUAN等[8]根據激光掃描高密度點云數據提取裂縫；B.PENG等[9]根據1 mm精度3D激光掃描數據提出了基于多種子融合的裂縫識別算法；彭博等[10]根據1 mm精度路面深度圖像提出基于各向異性測度的裂縫識別算法。這些方法基于路面三維數據和傳統的二維圖像處理方法識別裂縫，一定程度上提高了裂縫檢測的準確率和全面性。

綜觀路面裂縫識別算法研究，基于灰度圖像的裂縫識別(如閾值分割法[11]、邊緣檢測法[12-13]、種子識別算法[14]、基于變換處理的方法[15]、基于紋理分析[16]和全局優化[17]的裂縫識別算法)受到數據質量缺陷的限制，算法性能難有本質上的提升；基于三維數據的裂縫檢測得益于高精數據的支撐，算法性能有較大改善，但其仍以二維圖像處理方法檢測裂縫，并未考慮路面三維空間特征。為進一步挖掘有利于裂縫檢測的路面三維信息，有必要在路面三維數據的基礎上對考慮三維特征的路面裂縫檢測展開研究。

為推動路面裂縫識別朝著三維檢測方向發展并快速、準確、完整地識別裂縫，筆者基于DHDV[3]的三維虛擬路面進行4個角度的觀察與分析，設計具有并行框架的裂縫識別算法捕捉這4個角度的投影圖像裂縫信息，然后進行融合與去噪處理、獲得裂縫識別結果。最后，應用Visual C++和OpenCV實現算法并進行測試分析。

1 算法總體介紹

根據1 mm/像素的路面深度圖像(由DHDV采集的精度為1 mm/像素、尺寸為4 096像素×2 048像素的路面圖像，表示4 096 mm× 2 048 mm的一塊路面，由于其像素值代表路面各點的深度，為與傳統的路面灰度圖像相區別，被稱為深度圖像或路面三維圖像)，DHDV主要應用消隱處理[18]和明暗效應處理[19](又稱為光照模型處理)獲得了具有真實感的三維虛擬路面，如圖1。按照圖1的4個角度(相互對稱且均位于路面斜上方，光照1為左→右，光照2為右→左，光照3為前→后，光照4為后→前)對路面進行光照時可獲得4幅投影圖像，相當于從不同角度觀察路面。因此，在平面圖像中難以看到的裂縫，有可能在投影圖像得到較為清晰的顯示。(由于投影圖像主要由光照模型投射產生，筆者將投影圖像統稱為光照強度圖像，其像素值為強度值) 。

圖1 生成光照強度圖像Fig.1 Generation of lighting intensity images

結合路面深度圖像和4幅光照強度圖像(Ω1～Ω4)設計具有并行運算框架的裂縫識別算法。首先，識別4幅光照強度圖像Ω1～Ω4的裂縫信息并進行融合；然后，結合深度圖像G對所獲得的裂縫像素進行深度驗證；最后進行去噪處理獲得裂縫圖像，總體流程如圖2。

圖2 算法總體流程Fig.2 Overall process of algorithm

2 光照強度圖像裂縫識別

2.1 裂縫識別思想

光照強度的圖像特征與深度圖像及傳統的路面灰度圖像具有顯著的區別，主要體現在：①在深度或灰度圖像中，裂縫主要表現為深度或灰度值較低的不規則帶狀，而光照強度圖像中的裂縫可能表現為較強的帶狀反光區域或帶狀陰影，如圖3；②富有立體感的光照強度圖像凸顯了裂縫目標，也增強了噪聲。因此，需要設計新的算法檢測光照強度圖像中的裂縫。

圖3 裂縫圖像特征Fig.3 Crack image features

在光照強度圖像中，路面裂縫特征為：強度值較低(陰影區)、方向性較強、條帶狀，或強度值較高(反光區)、方向性較強、條帶狀。于是，1張光照強度圖像的裂縫檢測可分為陰影區和反光區裂縫檢測兩部分。由于有4張路面光照強度圖像，則可形成8條并列的裂縫信息檢測流程，最終檢測出8份裂縫初步圖像Ωs1～Ωs4(陰影區裂縫，分別來自于Ω1～Ω4)和Ωr1～Ωr4(反光區裂縫，分別來自于Ω1～Ω4)。最后，將這8幅裂縫圖像進行融合與去噪等處理，獲得裂縫識別結果。

2.2 裂縫識別過程

以根據Ω1檢測陰影區裂縫Ωs1為例，裂縫識別過程如圖4。

圖4 陰影區裂縫檢測(Ω1)Fig.4 Crack detection at the shadowed area (Ω1)

裂縫識別過程主要有4個步驟：

1)圖像預處理：首先進行中值濾波去噪，接著以起點像素=(0,0)將光照強度圖像Ω1劃分為8像素×8像素的子塊，降維圖像Ω10的每個像素則對應于一個8像素×8像素的子塊，且其像素值為這8×8個像素的像素值均值。Ω11的獲得過程類似，只是8像素×8像素子塊劃分的起點像素為(4,4)。后續操作基于Ω10和Ω11進行裂縫檢測、連接、融合與去噪處理。

2)裂縫種子識別：檢測降維圖像Ω10和Ω11中各個像素是否具有強度值較低和方向性較強兩項特征(具體方法：強度驗證和對稱性檢測)，符合這些特征的像素稱為裂縫種子，其余的則為非裂縫像素。

3)裂縫連接：先基于最優路徑連接強度相似的裂縫種子，然后將方向相似的裂縫種子連接起來，增強裂縫的整體性和連續性。

4)裂縫種子融合與去噪處理：將來自于降維圖像Ω10和Ω11的2幅裂縫初步識別結果融合在一起(取裂縫像素的并集)，然后進行滑動窗口去噪處理，獲得裂縫圖像Ωs1。

獲得Ωs2～Ωs4及Ωr1～Ωr4的過程與此類似，只是，由于需要分別檢測陰影區裂縫和反光區裂縫，且光照強度圖像來自于4個不同的光照角度，其裂縫種子識別的方法又有所區別。

強度驗證方面：陰影區和反光區在其鄰域范圍內強度值規律不同，因此強度驗證方法不同，分別編號為I(陰影區強度驗證)和II(反光區強度驗證)加以區別。即獲得Ωs1～Ωs4時應用強度驗證I，檢測Ωr1～Ωr4時則應用強度驗證II，具體方法詳見2.3節。

對稱性檢測方面：光照強度圖像Ω1和Ω2來源于光照1和光照2，由于是左右方向的光照，大多數情況下可突出縱向裂縫，而Ω3和Ω4來源于前后方向的光照3和光照4，通常能突出橫向裂縫，因此，Ω1和Ω2特征相似，Ω3和Ω4特征相似。相對應地，對稱性檢測方法也有所不同，根據Ω1和Ω2獲得Ωs1～Ωs2、Ωr1～Ωr2時應用對稱性檢測I，根據Ω3和Ω4獲得Ωs3～Ωs4、Ωr3～Ωr4時應用對稱性檢測II，具體方法詳見2.3節。

2.3 裂縫種子識別方法

2.3.1 強度驗證

強度驗證I：中心像素(i,j)為需要強度驗證的像素，在半徑為r=4的鄰域內，強度應滿足[14]：

(1)

(2)

強度驗證II與強度驗證I相仿，只是中心像素在其半徑為r=4的鄰域內，其強度應滿足：

(3)

2.3.2 對稱性檢測

1)對稱性檢測I

針對光照強度圖像Ω1和Ω2。基于圖5的模板(每個方格代表降維圖像的一個像素)檢測每個像素在0°、45°、90°和135°方向上的強度變化情況[14]，判斷其是否存在顯著的差異。

①分別計算中心像素(i,j)兩側r=4個像素的強度均值mw1和mw2，w=1、2、3、4，分別表示0°、45°、90°和135°這4個方向；

(4)

(5)

式中：I(n)為對稱性檢測模版的中心像素兩側第n個像素的深度值，n∈[-r,-1]或n∈[1,r]。

圖5 對稱性檢測模板Fig.5 Template of symmetry check (r=4)

②計算各方向深度變化δw，μw表示方向w的2×r+1個像素中的最低強度值：

δw=min{mw1-μw,mw2-μw}

(6)

③獲得最大和最小的強度變化值δmax和δmin：

δmax=max{δw}

(7)

δmin=min{δw}

(8)

④裂縫像素在不同方向上的強度變化應存在顯著的差異，因此需滿足：

δmax≥t1

(9)

δmax-δmin≥s1

(10)

式中：t1，s1為閾值參數。

2)對稱性檢測II

與對稱性檢測I類似，針對Ω3和Ω4進行對稱性檢測，其區別在于步驟②和④。

①分別計算中心像素(i,j)兩側r=4個像素的強度均值m’w1和m’w2；

②計算各方向強度變化δ’w，μ’w表示方向w的2×r+1個像素中的最低強度值：

δ’w=min{|m’w1-I(i,j)|,|m’w2-I(i,j)|}

(11)

③獲得最大和最小的強度變化值δ’max和δ’min；

④裂縫像素在不同方向上的強度變化應存在顯著的差異，需滿足：

δ’max≥t2

(12)

δ’max-δ’min≥s2

(13)

式中：t2，s2為閾值參數。

3 算法實現

算法輸入為深度圖像G〔圖6(a)〕和光照強度圖像Ω1～Ω4(圖7)，基于光照強度圖像的裂縫識別結果為Ωs1～Ωs4和Ωr1～Ωr4，如圖8。為了最大程度保留裂縫信息，對Ωs1～Ωs4和Ωr1～Ωr4進行并集處理，得裂縫初步識別結果Ω’〔圖6(b)〕。由于Ω’是根據光照強度獲得的裂縫圖像，任意裂縫像素(i,j)還應該滿足相應的深度驗證條件〔圖6(c)為深度驗證結果〕：

(14)

圖6 裂縫識別過程(Kh=0.984, K1=9, t1=15, s1=9, t2=24, s2=10)Fig.6 Crack detection process (Kh=0.984, K1=9, t1=15, s1=9, t2=24, s2=10)

圖7 光照強度圖像Ω1～Ω4Fig.7 Lighting intensity images Ω1～Ω4

圖8 裂縫圖像Ωs1～Ωs4和Ωr1～Ωr4Fig.8 Crack images Ωs1～Ωs4and Ωr1～Ωr4

最后，將Ω’與深度驗證結果取交集，并進行滑動窗口去噪處理，消除散落的像素和不規則的孤立區域，得到裂縫圖像Θ。

圖6～圖8為算法檢測實例，根據大量測試和經驗判斷，推薦參數值為Kh=0.984,K1=9,t1=15,s1=9,t2=24,s2=10。可以看出，圖8的陰影和反光區裂縫斷續情況嚴重；經過裂縫融合，圖6(b)提高了裂縫完整性，體現了并行框架算法的優越性；最后進行深度驗證及去噪處理，獲得了較為滿意的裂縫識別結果，如圖6(d)。

4 算法性能測試與分析

為定性并定量地評價算法性能，分別應用DHDV檢測系統的ADA3D裂縫檢測算法[20]和筆者算法對255張實地采集的不同質量的路面圖像(寬4 096像素×高2 048像素)進行裂縫識別，并手動標注出真實的裂縫圖像。然后，對比檢測結果和真實裂縫圖像，計算裂縫識別的準確率(P，Precision，反映檢測結果的準確程度)、召回率(R，Recall，反映檢測結果的全面性)和F值[21]。

(15)

圖9展示了算法準確率、召回率和F值的累計頻率分布曲線(255張圖像的測試結果)，對比分析情況如表1。

圖9 算法性能測試Fig.9 Algorithm performance test

對比這兩種算法，筆者算法準確率較低、召回率較高，ADA3D算法準確率較高、召回率較低。DHDV之所以采用ADA3D算法，主要是它更重視檢測準確率，在一定程度上犧牲了召回率水平。綜合而言，筆者算法以80.47%的F值優于ADA3D算法。由此也可以看出，單獨以準確率或召回率評價算法優劣均有不足之處，用F值衡量裂縫識別算法性能更全面合理。

圖10為裂縫檢測實例(為了增強顯示效果，以寬2 048像素×高2 048像素的路面圖像展示測試情況)。從圖10(b)、圖10(c)可看出，與ADA3D算法相比，筆者算法檢測的裂縫更連續、完整，因此召回率較高，這主要是因為融合了4幅光照強度圖像的裂縫識別結果，有效避免了裂縫漏檢情況；但也正是這個原因，筆者算法積累了較多噪聲，準確率下降。ADA3D算法應用較大尺寸的去噪模板濾除了許多潛在噪聲，也刪掉了一些短小的裂縫枝節，因此檢測結果較為準確卻不夠連續、完整。

最終，針對255張深度并不均勻的路面三維圖像，筆者算法能以80.34%的準確率識別83.89%的裂縫，比較接近手動繪制的真實裂縫圖像。

在運算速度方面，筆者算法按并行框架進行設計，與傳統串行(單流程)算法相比，更容易實現并行化程序運算。經測試，并發處理10個子流程的耗時約為串行處理10個子流程的0.1～0.2倍，因此可有效提高運算速度。

圖10 裂縫識別結果對比Fig.10 Comparison of crack detection results

5 結 語

基于1 mm/像素的路面深度圖像建立了三維虛擬路面并利用多角度立體投影獲得4幅光照強度圖像，然后對它們進行圖像降維、裂縫種子識別與連接(形成8個并列的子流程)，最后通過裂縫圖像融合、深度驗證與滑動去噪獲得裂縫識別結果。測試表明，算法可獲得較高的準確率和召回率，優于DHDV系統的ADA3D算法；此外，算法按并行框架進行設計，容易實現程序并行化運算，可有效提高計算速度。

從不同角度投影產生光照強度圖像可提供更豐富的視覺信息，算法在此基礎上識別裂縫，考慮了路面本身的三維特征，跳出了傳統二維圖像處理的范疇，有利于推動路面裂縫三維識別方法的研發，改善裂縫識別準確率、完整性和穩定性，進而為路面養護管理、路面性能評價與預測、路面結構和材料設計奠定堅實的基礎。

筆者對考慮路面三維特征的裂縫識別進行了探索，由于路面狀況的復雜多樣性，裂縫漏檢錯檢情況仍較為嚴重，準確率、召回率及檢測穩定性還不令人滿意，因此需要對基于路面二維和三維特征的裂縫自動檢測展開進一步研究。

[1] 王榮本, 王起, 初秀氏. 路面破損圖像識別研究進展[J]. 吉林大學學報(工學版), 2002, 32(4): 91-97.

WANG Rongben, WANG Qi, CHU Xiushi. Developments of research on road pavement surface distress image recognition[J].JournalofJilinUniversity(EngineeringandTechnologyEdition), 2002, 32(4): 91-97.

[2] 蔣陽升, 彭博, 韓世凡, 等. 路面破損狀況檢測、評價、預測與管理系統研究進展[J]. 交通運輸工程與信息學報, 2013,11 (4):1-9.

JIANG Yangsheng, PENG Bo, HAN Shifan, et al. Review of research on inspection, evaluation, prediction and management systems of pavement distress condition[J].JournalofTransportationEngineeringandInformation, 2013, 11(4):1-9.

[3] WANG K C P, HOU Z Q, GONG W G. Automated road sign inventory system based on stereo vision and tracking[J].Computer-AidedCivilandInfrastructureEngineering, 2010, 25(6): 468- 477.

[4] LI Q, YAO M, YAO X, et al. A real-time 3D scanning system for pavement distortion inspection[J].MeasurementScience&Technology, 2010, 21(1):015702.

[5] TSAI Y, LI F. Critical assessment of detecting asphalt pavement cracks under different lighting and low intensity contrast conditions using emerging 3D laser technology[J].JournalofTransportationEngineering, 2012, 138(5): 649- 656.

[6] SUN X M, HUANG J P, LIU W Y, et al. Pavement crack characteristic detection based on sparse representation[J].EURASIPJournalonAdvancesinSignalProcessing, 2012, 2012:191.

[7] ZHANG A, LI Q J, WANG K C P, et al. Matched filtering algorithm for pavement cracking detection[J].JournaloftheTransportationResearchBoard, 2013, 2367(1): 30- 42.

[8] GUAN H Y, LI J, YU Y T, et al. Iterative tensor voting for pavement crack extraction using mobile laser scanning data[J].IEEETransactionsonGeoscienceandRemoteSensing, 2014, 53(3): 1527-1537.

[9] PENG B, WANG K C P, CHEN C. Automatic crack detection by multi-seeding fusion on 1mm resolution 3D pavement images[C]//SecondTransportation&DevelopmentCongress.Orlando, Florida, USA:[s.n.], 2014: 543-552.

[10] 彭博, WANG K C P,陳成,等.基于各向異性測度的路面三維圖像裂縫識別[J].西南交通大學學報, 2014, 49(5): 888- 895.

PENG Bo, WANG K C P, CHEN Cheng, et al. 3D pavement crack image detection based on anisotropy measure[J].JournalofSouthwestJiaotongUniversity, 2014, 49(5): 888- 895.

[11] OTSU N. A threshold selection method from gray-level histograms[J].Systems,ManandCybernetics,IEEETransactionson, 1979, 9(1): 62- 66.

[12] CANNY J. A computational approach to edge detection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1986, 8(6): 679- 698.

[13] WANG H, ZHU N, WANG Q. Segmentation of pavement cracks using differential box-counting approach[J].JournalofHarbinInstituteofTechnology, 2007, 39(1): 142-144.

[14] GAVILáN M, BALCONES D, MARCOS O, et al. Adaptive road crack detection system by pavement classification[J].Sensors, 2011, 11(10): 9628-9657.

[15] TSAI Y, KAUL V, MERSEREAU R M. Critical assessment of pavement distress segmentation methods[J].JournalofTransportationEngineering, 2010, 136(1): 11-19.

[16] HU Y, ZHAO C X, WANG H N. Automatic pavement crack detection using texture and shape descriptors[J].IETETechnicalReview, 2010, 27(5): 398- 405.

[17] ZOU Q, CAO Y, LI Q Q, et al. CrackTree: automatic crack detection from pavement images[J].PatternRecognitionLetters, 2012, 33(3): 227-238.

[18] 李景仲,盧艷軍. 三維圖形消隱方法的研究[J]. 遼寧省交通高等專科學校學報, 2001, 3(4): 11-14.

LI Jingzhong, LU Yanjun. Study of the hiding technology about 3D drawing[J].JournalofLiaoningProvincialCollegeofCommunications, 2001, 3(4): 11-14.

[19] 沈沉, 沈向洋, 馬頌德. 基于圖像的光照模型研究綜述[J]. 計算機學報, 2000, 23(12): 1261-1269.

SHEN Chen, SHEN Xiangyang, MA Songde. A survey of image-based illumination model[J].ChineseJournalofComputers, 2000, 23(12): 1261-1269.

[20] WANG K C P, HOU Z Q, WILLIAMS S. Precision test of cracking surveys with the automated distress analyzer[J].JournalofTransportationEngineering, 2011, 137(8), 571-579.

[21] LI Q Q, ZOU Q, LIU X L. Pavement crack classification via spatial distribution features[J].EURASIPJournalonAdvancesinSignalProcessing, 2011, 6854(5): 589-597.