基于滲流和區域生長聯合分析的紅外圖像裂縫病害檢測方法

嚴世強 張宇峰 劉寧寧 馬月輝 劉明靜 韓澤夏

摘? 要： 裂縫病害是影響混凝土結構耐久性的重要因素之一，然而在復雜服役環境下，既有裂縫視覺檢測方法難以保證算法的魯棒性和高效性。基于此，文章提出一種基于滲流和區域生長聯合分析的裂縫病害檢測模型。首先，為了抑制不均勻光照和背景雜波的干擾，文章選用紅外熱圖像作為裂縫病害感知源。針對紅外裂縫圖像數據，提出大津閾值分割和邊緣檢測相結合的裂縫區域種子點提取方法，提高裂縫病害檢測效率。基于選取的種子點區域，展開裂縫病害滲流與區域生長聯合分析，在保證裂縫檢測精度的前提下，進一步提升裂縫病害檢測速度。利用紅外熱成像儀對現場混凝土結構進行裂縫圖像采集，實驗結果表明，相比于既有裂縫視覺檢測方法，文章算法在裂縫病害檢測精度和效率兩方面均取得了較為滿意的結果。

關鍵詞： 裂縫病害檢測; 紅外圖像; 滲流模型; 區域生長; 種子點提取; 檢測分析

中圖分類號： TN247?34; TP391? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）18?0006?05

Abstract： The crack damage is one of the most crucial factors affecting the durability of concrete structures. However， in the complex service environment， the existing crack visual detection methods are difficult to guarantee the robustness and high?efficiency of the algorithm. Based on this， a model of infrared image crack disease detection based on conjoint analysis of percolating and region growing is proposed. The infrared thermal image is used as the crack disease sensing source to suppress the interference of uneven illumination and background clutters. The crack damage region seed point extraction method combined with Otsu threshold segmentation and edge detector is proposed according to the data of infrared crack image to improve the efficiency of the crack disease detection. The conjoint analysis of percolating and region growing for the crack disease is performed based on the selected seek point region， so as to further improve the speed of crack disease detection on the premise of guaranteeing the crack detection precision. The crack images of the concrete structure on site are collected by means of the infrared imaging device. The experimental results show that， in comparison with the existing crack visual detection methods， this algorithm has achieved satisfactory results in both accuracy and efficiency of crack disease detection.

Keywords： crack disease detection; infrared image; percolating model; region growing; seed point extraction; detection analysis

0? 引? 言

隨著交通事業的飛速發展，橋梁、公路等混凝土結構安全問題的重要性逐漸提升。裂縫是混凝土結構表面常見的病害之一，然而針對混凝土結構病害檢測問題，目前我國仍以人工巡檢方式為主。人工巡檢方法存在效率低、成本高、主觀性強等缺陷。隨著近幾年圖像處理與人工智能的高速發展，利用計算機視覺技術對混凝土結構表面圖像進行分析，逐漸成為土木結構安全領域的研究熱點之一。目前，國內外學者已先后提出多種基于圖像分析的混凝土裂縫檢測方法[1?2]。

由于裂縫區域灰度值較小且與背景區域圖像灰度差異較大，王睿提出將Prewitt邊緣算子與Otsu閾值分割相結合并利用形態學分析去噪的方法檢測裂縫病害[3]，進一步增強了算法的魯棒性。劉一等人利用區域生長模型對建筑物外墻紅外熱圖像進行檢測[4]，雖然紅外熱圖像相比可見光圖像有更好的抗干擾能力，但由于該方法對種子點提取與相似性生長閾值計算方法不夠精準。Wang等人提出一種基于Canny邊緣算子與K?means聚類相結合的橋梁裂縫病害檢測模型用于裂縫的精細提取[5]。2006年，Yamaguchi等首次將滲流模型應用于圖像處理領域[6]，滲流模型借鑒了自然界中液體的擴散規律，模擬了自某一中心點按一定規則向其鄰域逐漸滲透的過程。然而該方法需要對圖中全部像素點逐個滲流以得到最終檢測結果。因此，該方法在檢測效率方面并不理想。后續，瞿中等人利用裂縫區域灰度值較低的特點，從圖像中提取暗點作為種子點進行滲流檢測[7]。該方法在一定條件下能夠提升算法效率，但在光照不足或背景雜波顏色較深的情況下，難以保證算法的魯棒性。

近幾年深度學習快速發展，有學者將深度學習框架應用于混凝土裂縫檢測。Zhang等人利用4層卷積神經網絡提取圖像隱層特征，并利用全連接神經網絡進行裂縫檢測[8]。Cha等人將圖像進行重疊分塊，同樣利用4層卷積神經網絡提取圖像子塊特征，最后利用Softmax分類器實現裂縫檢測[9]。相比于基于灰度特征表達的裂縫檢測模型，深度學習方法能夠提取裂縫圖像更深層的語義特征，因而更好地處理一些背景雜波干擾。然而深度學習網絡結構相對復雜且隨著網絡層數的增加，網絡參數的訓練過程異常復雜，在少量的圖像樣本數據集下，該模型容易出現過擬合，進而出現裂縫檢測漏檢或背景虛警。

基于此，本文提出一種基于滲流和區域生長聯合分析的紅外圖像裂縫病害檢測方法，其流程圖如圖1所示。本文采用紅外熱圖像作為裂縫病害感知源，首先對輸入的紅外熱圖像進行增強，抑制由于相機紅外傳感器不均勻采集產生的溫度畸變對后期裂縫病害檢測的影響。而后，針對種子點提取問題，本文提出了一種邊緣檢測與閾值分割相結合的種子點提取方法。結合2種方法優點實現最優種子點提取，提升算法效率及精度。基于上述方法，本文進一步對滲流模型進行改善并結合區域生長方法構建滲流與區域生長聯合分析模型，實現混凝土結構表面裂縫區域精準檢測。現場實驗結果表明，相比既有裂縫病害視覺檢測方法，本文算法在裂縫病害檢測精度和效率兩方面均取得了較為滿意的結果。

1? 算法概述

1.1? 紅外裂縫圖像增強

紅外熱圖像通過利用不同物體間的熱輻射差異性完成對目標對象的檢測。正常混凝土結構表面基本沒有破損，熱輻射率相近。當混凝土表面出現裂縫時，由于裂縫凹陷處存有少量空氣，考慮空氣與混凝土結構的熱輻射率有較大差異，因此利用紅外熱像儀能夠較好地探測混凝土表面裂縫病害。

一般而言，混凝土結構表面的熱輻射率差異較小，因此紅外熱圖像對混凝土結構表面的背景雜波有較好的抑制作用。此外，熱輻射率受光照變化影響較小，即使在光照條件不理想的檢測環境下仍能保證圖像質量，為后續病害檢測提供良好的數據基礎。然而，紅外熱圖像雖有上述優點，但由于相機內部原因，在成像過程中可能出現溫度畸變現象，即熱圖像中某些探測點溫度遠高于實際溫度，導致圖像溫度區間增大，溫度分布失衡。在利用溫度信息對圖像進行分析時將出現由于溫度分布失衡而導致的畸變點亮度極高，正常溫度點亮度偏低，裂縫與背景區域對比度較低的現象，增大了后續裂縫病害的檢測難度。

本文在對溫度畸變現象進行分析的基礎上，提出一種紅外圖像增強模型，以克服溫度畸變現象對后期裂縫病害檢測產生的不利影響，具體如下。

1） 從紅外熱圖像中提取出各點溫度信息，設圖中像素總數為[G];

2） 對全部像素點溫度信息進行升序排序得到溫度序列[L={l1，l2，…，lG}]，從[L]中提取出溫度較高的[λG]個像素點構建溫度畸變序列[L′={l（1-λ）G，l（1-λ）G+1，…，lG}]，并對[L′]中畸變點在圖像中的位置進行還原;

3） 以各個畸變點為中心進行大小為[5×5]的最小值濾波，整合得到增強后的溫度信息圖;

4） 對溫度信息圖進行線性變換，將其轉化為8位深度的單通道圖像。

上述過程中，[λ]為畸變系數，由相機參數決定。相機穩定性越好，溫度畸變發生概率越小，[λ]越小，反之亦然。

1.2? 紅外裂縫區域種子點提取

種子點提取是裂縫病害滲流檢測的重要環節之一。裂縫病害滲流檢測過程中，每次選取一個種子點進行開窗，并在此基礎上對窗口區域展開滲流病害檢測，最終通過局部滲流結果形狀特征判別所選種子點區域是否屬于裂縫區域。因此，所選種子點的數量及質量將直接影響算法性能。針對種子點提取問題，部分學者提出采用邊緣檢測方法，提取裂縫邊緣作為關鍵區域種子點。然而邊緣作為裂縫與背景區域的連接處，其灰度差異比裂縫中心區域更小，由此導致后期滲流裂縫檢測的誤檢率上升。綜上所述，種子點提取的最優位置應為與背景區域灰度差異最大的裂縫中心區域。

圖2為本文提出的一種邊緣檢測與大津閾值分割相結合的種子點提取方法。大津閾值分割法通過尋找前景與背景的最大類間方差，計算圖像最優分割閾值，實現前景與背景的分離。實際應用中裂縫與背景區域灰度差異較大，大津閾值分割法能夠有效提取出完整裂縫，但在光照不均條件下會存在虛警，因此本文將邊緣檢測結果與大津閾值分割結果相結合。利用邊緣檢測剔除閾值分割結果中的虛警，利用閾值分割填充邊緣檢測結果裂縫內部縫隙，再對融合結果進行連通體、形態學處理，最終提取出最優種子點區域。

1.3? 滲流模型與區域生長聯合分析

滲流模型描述了自然界中液體在孔隙介質中的流動過程。在裂縫滲流檢測過程中，以種子點為中心的窗口區域內按某種相似性準則逐漸滲透，重復迭代滲流過程直至滲流區域鄰域像素點均不滿足相似性準則，最后通過式（1）求得局部滲流結果形狀特征值以判定所選種子點區域是否屬于裂縫區域。

式中：[Ccount]為窗口滲流結果中流體區域的像素點個數;[Cmax]表示流體區域的最大長度。不難看出，[Fcircle]的取值范圍為0～[4π]，其值越接近[4π]，表明以[Cmax]為邊長的方形區域中的流體像素點數越多、方形區域填充率越高、流體形狀越接近于方形或圓。而[Fcircle]越接近于0，則表明以[Cmax]為邊長的方形區域中的流體像素點數越少，方形區域填充率越低，流體形狀越接近于線形。考慮裂縫在形態上大多呈條形狀，因此[Fcircle]越小，則表示流體形狀越接近線形，流體區域為裂縫區域的概率越大，滲流迭代次數越少，停止閾值對當前區域適用性越強。反之，流體區域有較大概率為背景。

經典滲流模型中每次滲流檢測僅對單個像素點進行判別，即使種子點選取結果中不含噪聲點，巨大的迭代次數仍需消耗大量時間，嚴重影響算法效率。基于此，本文提出一種滲流模型與區域生長聯合分析方法，利用滲流模型計算裂縫種子點衍生流體區域滲流停止閾值[T]。再以該裂縫種子點為中心，[T]為停止生長閾值，在更大范圍內對裂縫區域進行相似性生長，最后對局部結果進行整合，得到最終的裂縫病害檢測結果。本文方法中，每次滲流過程可實現區域檢測，相比經典滲流模型的單像素點檢測大幅提升了算法效率。考慮本文是基于滲流模型原理展開裂縫病害檢測的，因此本文將早期Yamaguchi等人提出的滲流裂縫病害檢測算法[6]作為主要對比算法，并在后文中稱為“經典滲流算法”。

由于在區域生長過程中增大了裂縫病害檢測范圍，滲流模型得到的停止閾值有可能不適用于擴增后的檢測范圍。因此，本文通過[Fcircle]（見式（1））對局部檢測結果進行判別，僅有當檢測結果較為理想時，才利用區域生長模型對擴增區域進行檢測。具體如下：若[Fcircle≥Tp]，則判定該種子點為背景點;若[Tg

2? 實驗結果與討論

本文利用FLIR T420紅外熱成像儀采集部分混凝土破損結構，如橋墩、簡支梁、墻面等。圖像采集過程中，盡可能使相機與混凝土結構表面距離保持不變。在此基礎上，本文共采集了可見光圖像與紅外熱圖像各150張，2種圖像的分辨率均為240×320。本文從數據集中隨機挑選100張紅外熱圖像作為實驗數據，用于調整本文算法參數，使裂縫檢測模型達到最優檢測效果。剩余圖像集則作為測試數據，用于驗證本文方法的可行性。在圖像數據采集中，為了保證實驗數據的多樣性與真實性，采集數據中包含了不同形狀和尺寸在各種干擾條件下的裂縫圖像。為了更加直觀地體現算法性能，本文進一步對文中算法與其他裂縫病害檢測方法進行對比總結。為保證實驗公平性，上述方法均采用同一平臺（Intel i7?6700 3.40 GHz CPU， 16 GB內存，WIN10系統，Matlab 2016a）進行仿真。

2.1? 定性分析

為了更加直觀地體現本文算法的裂縫檢測效果，圖3對比展示了4種裂縫病害檢測算法與本文算法在6種復雜干擾下的裂縫檢測結果。圖3中的第1行為可見光拍攝圖像，第2行為對應的紅外裂縫圖像。圖3中第3行為算法1采用的Canny邊緣檢測方法易受背景雜波干擾（見圖3c）中紅色虛線圈標注部分，下同），且只檢測到了裂縫邊緣區域。圖3中第4行算法2采用Otsu方法利用圖像直方圖計算裂縫與背景的分割閾值，對小面積噪聲有較好的抑制作用，但當背景干擾面積較大時，檢測效果不夠理想。圖3中第5行算法3利用深度卷積網絡提取圖像子塊特征并利用分類模型進行裂縫檢測，取得了較為理想的檢測效果。但由于深度學習網絡較為復雜，在訓練過程中易產生過擬合現象，導致在實際檢測中對于細小裂縫容易產生漏檢，見圖3e）。圖3中第6行算法4為經典滲流算法，該算法能夠較為完整地提取出裂縫區域，但在背景噪聲較為復雜的情況下會出現裂縫檢測虛警。圖3中第6行為本文方法的裂縫檢測結果，由實驗結果可以看出，相比其他4種算法，本文方法能夠取得更為理想的檢測效果。即使在光照條件不理想的情況下見圖3g），也能保證算法的裂縫病害檢測精度。

2.2? 定量分析

為了更加精準地體現算法性能的提升，本文分別采用準確率[PR]與召回率[RE]作為檢測指標對算法進行測試。其中，[PR]為算法檢測到且正確的裂縫區域像素點數與檢測到的像素總數之商，[RE]為算法檢測到且正確的裂縫區域像素數與人工標記的裂縫像素點總數之商。圖4與表1共同對比展示了本文算法與經典滲流算法的檢測性能。

圖4展示了不同檢測條件下本文算法與經典滲流算法的檢測精度。不難看出，基于滲流模型的混凝裂縫病害檢測方法在各種干擾條件下能保持較好的魯棒性。同時也可看到，在多數情況下，本文算法可以取得與經典滲流裂縫檢測方法基本一致的檢測精度，驗證了本文算法在復雜檢測條件下的魯棒性。表1對不同檢測條件下2種算法的檢測時間與滲流迭代次數進行了統計。由對比結果可知，本文算法能有效減少非必要滲流迭代數，從而大幅縮短裂縫病害檢測時間。綜上所述，本文算法能夠在保證檢測精度與經典滲流算法幾乎一致的基礎上，提升裂縫病害檢測效率，取得魯棒高效的裂縫檢測效果。

3? 結? 論

本文提出一種基于滲流和區域生長聯合分析的紅外圖像裂縫病害檢測方法。首先對紅外熱圖像溫度畸變產生規律進行分析，得到一種可有效抑制其干擾的紅外熱圖像增強方法。然后對裂縫區域種子點提取的最優位置進行討論，并依據討論結果建立種子點精準提取模型，提升了裂縫病害的檢測效率。在上述基礎上，本文進一步利用區域生長模型對滲流裂縫病害檢測模型進行優化，增大了單次滲流過程的檢測范圍，大大地減少了裂縫病害檢測所需的滲流迭代次數，使裂縫病害檢測速度進一步提升。經大量真實裂縫病害圖像測試，實驗結果表明，本文算法能取得良好的檢測效果，相比既有裂縫病害檢測模型，能夠在保證檢測精度的前提下顯著提升檢測效率。

參考文獻

[1] YEUM C M， DYKE S J. Vision?based automated crack detection for bridge inspection [J]. Computer?aided civil and infrastructure engineering， 2015， 30（10）： 759?770.

[2] NEOGI N， MOHANTA D K， DUTTA P K. Review of vision?based steel surface inspection systems [J]. EURASIP journal on image and video processing， 2014（1）： 50.

[3] 王睿，漆泰岳，雷波，等.隧道襯砌裂縫特征提取方法研究[J].巖石力學與工程學報，2015，34（6）：1211?1217.

[4] 劉一，劉欣，趙永強，等.紅外熱成像在建筑物外墻裂縫檢測上的應用研究[J].科技經濟導刊，2016（2）：96.

[5] WANG G， TSE P W， YUAN M. Automatic internal crack detection from a sequence of infrared images with triple?threshold Canny edge detector [J]. Measurement science and technology， 2017， 29（2）： 103?111.

[6] YAMAGUCHI T， HASHIMOTO S. Image processing based on percolation model [J]. IEICE transactions on information and systems， 2006， 89（7）： 2044?2052.

[7] 瞿中，郭陽，鞠芳蓉.一種基于改進滲流模型的混凝土表面裂縫快速檢測算法[J].計算機科學，2017，44（1）：300?302.

[8] ZHANG L， YANG F， ZHANG Y D， et al. Road crack detection using deep convolutional neural network [C]// IEEE International Conference on Image Processing. Phoenix： IEEE， 2016： 3708?3712.

[9] CHA Y J， CHOI W， ORAL B. Deep learning?based crack damage detection using convolutional neural networks [J]. Computer?aided civil and infrastructure engineering， 2017， 32（5）： 361?378.

[10] HAN Te， LIU Chao， YANG Wenguang， et al. A novel adversarial learning framework in deep convolutional neural network for intelligent diagnosis of mechanical faults [J].? Knowledge?based systems， 2018， 165： 474?487.