基于SVM和改進區域生長法的橋梁裂縫分割算法

何 昊, 賀福強, 謝 丹，紀家平

(貴州大學 機械工程學院，貴州 貴陽 550025)

0 引言

隨著我國交通的高速發展，橋梁的數目日益增多，橋梁的安全問題得到了巨大的關注。由于橋梁狀況的檢測手段多為人工檢測，效率非常低，檢測的準確性也很難得到保證。貴州作為山區，其橋梁的數量已經達到20 000多座，光靠人工檢測會浪費許多的人力物力，開發橋梁缺陷自動檢測系統能很好的解決這一難題。其中裂縫是橋梁的主要缺陷之一，裂縫的分割是完成自動檢測的關鍵技術，裂縫分割的準確性[1]決定了后續裂縫長度、寬度等特征分析和裂縫分類的可靠性。

近年來，國內外學者提出了很多的裂縫檢測算法。Frangi等[2]提出基于使用多尺度二階局部結構-海森矩陣的特征值來構建響應函數，能夠極大增強線性結構，但對于噪聲十分敏感，濾波需要對圖像平滑處理。Tsai等提出了一種評分指標客觀定量的評價分割性能。Sorncharean等[3]針對不均勻光照和強紋理的圖像，將圖像分為網格單元，通過比較裂紋單元的特征和預先設置的閾值，識別出裂紋單元和非裂紋單元，Yun等[4]提出了一種基于對比度增強和多重自適應濾波相結合的圖像預處理方法，提高了背景噪聲的去除效果，結合改進的Sobel算子過濾孤立噪聲點，提取裂紋邊緣信息，但對信噪比低的圖像提取效果較差。李灝天等[5]提出了一種基于雙邊濾波的改進Frangi濾波，相較于傳統frangi濾波更能保留并增強裂縫邊緣特征。Jenkins等[6]提出了一種基于CNN的語義分割算法，對圖像進行像素級的分類，并提供大量道路裂縫數據集，對深度學習在裂縫分割的研究有很大的促進作用，但運算時間太長。Shu等[7]提出了一種基于輪廓線域的多方向、多層次的裂縫檢測算法，利用輪廓線變換對圖像進行分解，利用方向性和各向異性增強圖像的奇異性。賀福強、平安等[8]提出了一種聯合局部特征網格聚類和區域增長的算法來檢測裂縫，根據裂縫點的空間相關性實現裂縫點聚類，并利用形狀特征和結構相似性剔除區域生長后的噪聲。

本研究以Bilateral-Frangi濾波、Otsu[9]預處理后的圖像為基礎，利用支持向量機去除非裂縫連通域，在裂縫連通域中提取高質量種子點集，對種子點進行檢驗保證種子點都位于裂縫區域，用篩選后的種子點進行區域生長，最后根據裂縫連通域間方向一致性和相對位置信息連接裂縫。

1 圖像預處理

1.1 圖像灰度化

為降低運算量，按式(1)將RGB圖像轉化為單通道的灰度圖像。

Gray=0.114B+0.587G+0.299R,

(1)

式中B，G，R分別為RGB 3通道灰度值。

1.2 圖像背景去噪及結構增強

拍攝過程中由于光照、溫度、雜物、油污等原因，圖像質量較差，獲得的圖像具有較大的背景噪聲，需要對圖像進行濾波去噪。增強裂縫結構，增加裂縫的對比度，減少辨識難度，能讓后續的工作更好地完成。

本研究采用一種結合雙邊濾波的Bilateral-Frangi濾波增強裂縫結構、去噪。雙邊濾波[10]的原理和高斯濾波很相近，同高斯濾波一樣采用周邊像素的亮度值高斯分布的加權平均，但雙邊濾波除了考慮了像素歐式距離，還考慮了像素周圍的輻射差異。相較于傳統的Frangi濾波采用高斯濾波去噪，保留了相同的結構增強、去噪效果，同時保留了更多的邊緣信息，雙邊濾波的空間域高斯核函數可以表示為：

(2)

灰度值域高斯核函數可以表示為：

(3)

雙邊濾波的高斯核函數表示為：

G(x,y,k,l)=G1(x,y,k,l)·G2(x,y,k,l)

(4)

式中，(x,y)為目標像素點坐標；(k,l)為卷積核的其他像素的坐標；I(x,y)和I(k,l)分別為像素點(x,y)，(k,l)的灰度值；σd和σr分別為空域和灰度值域核函數的標準差。

Frangi濾波利用圖像海森矩陣[11]的特征值來構建傳遞函數，使線性目標的像素對傳遞函數有較高的響應值。

海森矩陣的計算公式為：

(5)

式中，Ixx，Iyy分別為圖像在x，y方向上的2階偏導數，Ixy為圖像先對x方向求偏導，再對y方向求偏導，Iyx值與Ixy相等。

結合雙邊濾波高斯核后圖像的2階偏導數可以表示為：

(6)

(7)

Ixy=I?[G(x,y,k,l)?▽x▽y]=

(8)

二維圖像的海森矩陣H有2個特征值：λ1和λ2(λ1≤λ2)，和該點特征向量方向的梯度大小成正相關，特征值越大，對應梯度越大。λ1對應特征向量方向為該點較小的梯度方向，λ2對應特征向量方向為該點較大的梯度方向。 據此構造變量：

構造相應函數：

(9)

式中，β為條形區域敏感系數；c為整體平滑系數；λ1和λ2(λ1≤λ2)為海森矩陣的特征值。經過去噪和增強后的結果如圖1所示。

圖1 去噪、增強結果Fig.1 Denoising and enhancement result

1.3 裂縫預分割

為方便后續裂縫區域提取，還需要對圖像進行二值化處理，常用的二值化算法有：全局閾值、局部閾值、自適應閾值法、Niblack、P-分位數、迭代、熵方法、最大類間方差法等。

本研究采用(迭代、熵方法、最大類間方差法、Niblack)方法經過多組試驗對比，發現迭代法和最大類間方差法雖然有大量的噪點，但基本能將裂縫區域分割出來，而迭代法耗時較長，故本研究采用最大類間方差法。最大類間方差法又名大津法(Otsu)，算法假設圖像被閾值分割為前景和背景，若背景和前景之間的方差越大，則分割效果越好。分割結果如圖2所示，噪聲比較多，并且擴寬了實際裂縫寬度。

圖2 粗分割結果Fig.2 Rough segmentation result

2 裂縫區域提取

為了將預分割中的噪聲去除，獲得裂縫區域，本研究利用連通域的特征區別裂縫區域和非裂縫區域。提取出預分割的各連通域，計算出特征向量，采用基于支持向量機的分類方法對裂縫和非裂縫區域進行分類。將圖像中8-領域像素值為255的像素鄰接，記連通域為Pi，i為連通域序號。

2.1 裂縫特征

裂縫特點[12]如下：(1)裂縫像素較暗，垂直方向灰度呈亮-暗-亮。(2)裂縫方向性較強。(3)一定的線性結構。(4)裂縫長度較長。基于對裂縫特征分析，構造裂縫連通域如下特征：

(1)最小外接矩形長寬比

最小外接矩形長寬比Ts是區分細長矩形和方形的形狀度量。縫一般有細長的特點，故可以利用連通域長比來區分。以連通域每一個邊界線做其外接矩形，其中面積最小的外接矩形為最小外接矩形。

(10)

式中l，w分別為最小外接圓長和寬。對于部分裂縫(龜狀裂紋、環形裂紋等)，最小外接矩形長寬比表現不好，不能很好區分裂紋和噪聲，但可以根據其他特征(面積、結構相似性、圓形度等)區分。

(2)面積(0階矩)

利用連通域面積特征可以直接篩除大部分噪聲，面積公式表示為:

S=m00，

(11)

式中，m00為連通域0階矩；S為連通域面積(像素點數目)。

(3)圓形度

圓形度[13]是描述指定區域緊湊度、圓形度的一個指標，圓形度Tc的計算公式為：

(12)

式中,S為連通域面積；C為連通域輪廓周長；圓形度取Tc值范圍0～1，當Tc越接近1時，連通域越接近圓形。圓形度和最小外接矩形長寬比在一些方面有相似，但圓形度對龜狀裂紋、環形裂紋有很高的識別能力。

(4)標準差

標準差等于方差的算術平均數的算術平方根，是衡量數據波動程度的指標。在原圖中裂縫區域和背景區域的的灰度值波動程度是不一樣的。標準差表示為：

(13)

2.2 基于連通域基礎特征的去噪

為減少運算量，可以利用連通域的部分特征去除掉圖像部分噪聲，考慮連通域面積、圓形度特征計算速度快，區分效果好，最終選擇連通域面積、圓形度特征進行初篩選。經過多組試驗，擬定的特征閾值為：

圓形度：Tc≤0.2；面積：S≥10。基礎特征去噪結果如圖3所示。

圖3 基礎特征去噪結果Fig.3 Denoising result of basic feature

2.3 基于支持向量機裂縫分類

支持向量機是一種經典的2分類模型，通過尋找一個使類別間間隔最大的超平面對數據樣本進行分割。

2.3.1 訓練

本研究選取56張預處理后的圖像作為樣本，共2 436個連通域，其中裂縫連通域152個。為了解決正負樣本比例失調問題，采用SMOTE算法對正類(裂縫類)樣本進行過采樣添加到數據集中。計算每個正類樣本x的k近鄰，設置采樣倍率N為2 436/152≈16，從每個正類樣本x的k近鄰選擇N-1個近鄰p。則對于每個選擇的近鄰p，按照式(14)構造新的正類樣本。

xnew=x+rand(0,1)×|x-p| 。

(14)

獲得正類新樣本2 280個，正類樣本共計2 432個，負類樣本2 436個。將樣本隨機打亂，數據樣本集為：

{(x1,y1)(x2,y2),…,(x4 868,y4 868)},

(15)

式中，xi為第i個連通域特征向量，xi=(Ts,S,Tc,σ)，并對xi做歸一化處理；yi為類標記yi∈{1,-1}，yi=1時，為此連通域為裂縫區域。

以樣本集{(x1,y1)(x2,y2),…,(x2 000,y2 000)}作為訓練集，以{(x2 001,y2 001),…,(x4 868,y4 868)}作為測試集。通過sklearn庫對訓練集進行訓練，采用徑向基(RBF)作為核函數，采用基于網格搜索的交叉驗證的方法對懲罰因子C、損失系數ε和核函數參數g進行尋優。

2.3.2 測試

將測試集樣本特征數據代入訓練好的SVM分類模型，將輸出結果和類標記ym對比，該SVM模型在測試集上獲得的正確率為98.85%。按分類結果，將非裂縫類的連通域刪除，結果如圖4所示。

圖4 SVM分類結果Fig.4 SVM classification result

3 改進區域生長法

大多分割算法在裂縫邊緣處不能取得很好的準確度，區域生長法的邊緣分割效果較好，故本研究利用區域生長提取更精準的裂縫邊緣。區域生長法需要預先選擇種子點，人工選擇種子點效率低下，種子點質量不穩定；區域生長后的圖像有噪聲，并且一些裂縫會不連續。針對上述問題，本研究提出一種自動選擇高質量種子點的方法。然后對區域生長后的圖像進行去噪、裂縫連接的后處理。

3.1 種子點選擇與檢驗

3.1.1 種子點的選擇

一般來講，種子點選擇在裂縫邊緣及毛刺會使后續區域生長的效果不佳，反之，選擇裂縫中心作為種子點，生長效果普遍較好。故對經過SVM分類后的圖像進行形態學腐蝕，以減少毛刺、排除掉裂縫邊緣，獲得裂縫絕對區域。

為保證種子點與ROI的相似性，選擇的種子點像素值應該靠近ROI像素值均值。像素值要求如下：

(16)

3.1.2 種子點的檢驗

如果所選擇的種子點在絕對的裂縫區域，那么以種子點為中心，沿著裂縫垂直方向各像素的深度值大致呈高-低-高的形態。計算出種子點在0°，45°，90°，135°方向上的深度變化，判斷其變化是否呈高低高形態。種子點左右兩側r個像素的灰度平均值分別為：

(17)

各方向的灰度變化為：

(18)

深度形態變化判定：

max(dw)≥T1。

(19)

裂縫方向性判定：

max(dw)-min(dw)≥T2，

(20)

式中，I(u)為檢測模板中第u個像素的灰度值；w=1,2,3,4，分別代表0°，45°，90°，135°方向；mwm為w方向兩側的最小灰度值；T1，T2分別為形態變化閾值和方向性閾值。如果種子點不滿足深度形態變化判定或者方向性判定，則去除該種子點。結果如圖5所示，局部細節圖如圖6所示，方框內為展示的種子點。

圖5 種子點集示意圖Fig.5 Schematic diagram of seed point set

圖6 局部細節Fig.6 Local details

3.2 區域生長

區域生長的思想就是把領域(4領域、8領域等)的相同性質化為一個區域。首先頂出種子地點集中一個種子點作為生長的開始，然后將種子點鄰域內滿足相似準則要求的像素點合并到種子的區域，將這個區域的像素都作為種子點加入種子點集，在種子點集中重新頂出一個種子點，繼續進行生長，直到種子點集中沒有種子地安，生長結束，所有頂出的種子點像素作為生長的區域。上文已經選擇好種子點集，相似準則為：

|gray(seed)-gray(4_neibour)|≤Thresh,

(21)

式中，gray(seed)為本輪種子點的灰度值；gray(4_neibour)為其4鄰域各點的像素值；Thresh為設置的閾值。

區域生長的具體流程如下：

(1)將各個連通域選擇的種子點集坐標放入種子點集seeds。

(2)頂出種子點集中的一個種子點，對種子點8鄰域的像素點進行相似準則判斷；滿足相似準則條件的點，視為種子點放入種子點集seeds。

(3)將頂出的種子點存入種子集S。

(4)如果種子點集內沒有元素，則跳到步驟(5)；如果種子點集中還有元素，則跳到步驟(2)。

(5)生成一張和輸入圖像長寬一致，像素值全為0的圖像I。

(6)將圖像I中對應種子集S坐標的像素值置為255，得到分割圖像I′。

獲得的圖像有毛刺，并且有些斷連。但相對于預處理，裂縫沒有被擴寬，邊界處的分割更準確，區域生長后的結果如圖7所示。

圖7 區域生長結果Fig.7 Regional growth result

3.3 裂縫連接

經過區域生長后的裂縫由于噪聲的影響，會出現毛刺、空洞甚至裂縫斷裂的情況，故需要對區域生長后的裂縫圖像進行去噪和裂縫連接。本研究首先對經過區域生長后的裂縫圖像進行形態學開運算處理去除毛刺、再進行形態學閉運算去除空洞，過濾掉面積小于10的孤立區域。然后根據連通域之間的方向性和位置信息對裂縫進行連接。

經過區域生長后的裂縫存在的毛刺般比較細，空洞比較小，形態學開運算只需要對很小的結構元就能剔除毛刺和空洞。但開運算也會過濾掉本來相連接的細小裂縫，再加上區域生長的局限性所產生的裂縫不連續，對裂縫進行連接就變得更加重要了。

本研究根據裂縫區域間方向一致性和相對位置距離來連接裂縫。

上文中得到各最優擬合橢圓的旋轉角為θi;相鄰的裂縫區域Pj最優擬合橢圓的旋轉角為θj;lij為裂縫區域Pi和Pj的最近距離。當兩個裂縫連通域生長方向基本一致并且距離也比較近時，就可以判定兩裂縫區域需要連接，否則不連接。當滿足式(22)時，將距離最近的兩個像素直接連接，線寬為3。

(22)

4 試驗與分析

對20張包括各種裂縫的圖像進行檢測，利用labelme對圖像進行人工標注。

4.1 算法參數

算法需要確定深度形態變化判定閾值T1、裂縫方向性判定閾值T2、區域生長閾值Thresh、像素均值偏置a、檢測模板半徑r這5個參數。經觀察，多數裂縫的寬度為4～6，要盡可能避免檢測模板未跨越裂縫，需要滿足2r+1>16，考慮到r越小靈敏度越好，合理選擇T1=4，T2=3，經過試驗比較，當檢測模板半徑r=8時取得較好結果。此外，由于選擇的一系列點作為種子點，嚴格的生長條件也能獲得不錯的邊界，但連續性受影響，綜合考慮選擇Thresh=5。為保證種子點與ROI的相似性，又盡可能多保留像素作為種子點，設置a=10。

4.2 試驗結果

選取的20張不同類型的裂縫圖像作為試驗圖像，圖像背景包括滲水、混凝土砂漿黏結等干擾，圖像尺寸為1 024×1 024像素。測試平臺硬件處:Intel(R) Core(TM) i5-8500 CPU @3.00GHz; 安裝內存(RAM): 16.0GB; 操作系統: Ubuntu 16.04，軟件編程語言: Python。

本研究分別對分水嶺法[14]～[15]、文獻[16]～[17]的FFA算法、本研究算法、Frangi濾波后進行基礎特征濾。

圖8中，圖8(a)為對應圖像的人工標注圖像，圖8(b)為對應圖像分水嶺算法分割結果，圖8(c)為對應圖像FFA算法分割結果，圖8(d)為對應圖像本研究算法分割結果,圖8(e)為對應圖像算法F的分割結果。從圖中對比可以看出本研究算法由于使用SVM預先選出裂縫區域，誤判較少，噪聲較少；區域生長法的邊緣分割較準確。

圖8 各算法分割結果對比Fig.8 Comparison of segmentation results obtained by different algorithms

對比標注圖像，計算分割圖像各算法的準確率A、精確率P、召回值R，F1值[18]，進行分割效果客觀比較。

準確率:

(23)

精確率：

(24)

召回率：

(25)

F1值：

(26)

式中TP，TN，FP，FN分別為正類判定為正類數目、負類判定為負類數目、負類判定為正類數目、正類判定為負類數目。

根據各算法分割結果計算的準確率、精確率、召回率、F1值繪制折線圖。由于分水嶺算法結果較差，為更好顯示折線圖細節，不展示分水嶺評價對比。各算法分割結果評價如圖9所示，圖9(a)為各算法準確率圖，圖9(b)為各算法精確率圖，圖9(c)為各算法召回率圖。

圖9 各算法分割結果評價Fig.9 Evaluation of segmentation result obtained by each algorithm

從圖9可以看出，本研究算法在準確率、精確率、F1值方面表現較好，并且波動較小；在召回率方面，算法F較本研究好。因為在本研究算法中，召回率表示正確預測的裂縫點占總的裂縫點比例，算法F在增加TP數目同時拓寬了實際裂縫，雖然實際效果并不好，但能獲得較好召回率。

表1 各算法性能比較Tab.1 Comparison of performance of different algorithms

從表1可以看出，本研究算法在準確率、精確率、F1值優于其他算法，召回率均值上表現不如算法F。本研究算法各指標均方差都最小，說明本研究算法波動較小，泛化更好。

5 結論

(1)本研究針對復雜背景下的裂縫，提出裂縫分割算法，進行了Bilateral-Frangi濾波、支持向量機訓練、種子點集選擇、區域生長、去噪、裂縫連接。經過測試，本研究算法在準確率、召回率和F1值方面表現良好，總體上優于其余3種算法。

(2)本研究對于各種裂縫有更好的泛化性，但運行速度不夠理想，可以利用多線程等手段加速運行速度。

(3)裂縫人工標注具有主觀性，標注沒有形成標準，所測結果隨標注不同而表現不同，后續可以對標注標準進行研究。由于背景和裂縫種類繁多，單一圖像包含信息有限，可以進一步結合更多信息，開發新的裂縫分割方法。