無人機視覺技術在道路裂縫分類中的應用

袁依文，雷 斌

（武漢科技大學機械自動化學院，湖北 武漢 430081）

1 引言

近年來，全國多發道路安全事故，造成了重大的人員傷亡與經濟損失。調查結果顯示大多數的道路安全事故是由裂縫引起的，裂縫作為道路工程中最嚴重的病害［1］之一，需有效監測，及時修繕?；炷恋缆妨芽p分為四類：縱向裂縫，橫向裂縫，斜向裂縫和網狀裂縫。不同的裂縫類型關系到不同的壞裂發展方向，不同的壞裂發展方向對道路安全造成的影響也是不同的。有效判斷類型能預判裂縫壞裂發展走向，就能有針對性地進行道路修繕工作。

目前道路裂縫分類檢測主要依靠人工檢測或大型的檢測車，人工檢測勞動強度高且誤差率高，大型橋梁檢測車成本高。所以這里提出采用四旋翼無人機結合機器視覺技術對道路裂縫進分類檢測，采用了支持向量機［2］的學習分類算法，算法關鍵在于設計合適的裂縫特征。國內外學者對于裂縫特征展開了一些研究工作。文獻［3］提出將裂縫分布密度特征作為分類依據，此特征不能很好的將斜向裂縫與網狀裂縫進行區分。文獻［4-5］提出了通過圖像背景連通域數量設置閾值來分類網狀裂縫和線性裂縫，后通過比較裂縫在X軸與Y軸投影長度來分類橫向裂縫與縱向裂縫，此方法不能分類斜向裂縫，且閾值判別法適應性較差。文獻［6］選取裂縫的傾角，長寬比和空洞對裂縫進行分類，此法需確定三個相關的閾值，算法適應性較差。文獻［7］提出根據裂縫曲率對裂縫進行分類的方法，此算法需還原裂縫三維圖，算法計算量大，不適用快速分類。文獻［8］提出將裂縫長度，寬度和角度作為特征對裂縫進行分類，但不能分類網狀裂縫。文獻［9］提出用裂縫方向角，塊度和孔洞等特征進行分類，但不能將斜向裂縫進行分類。

上述采用的特征均能在一定程度上將裂縫進行分類，但因裂縫的復雜多變性，每種方法都不具有普遍適應性。文中提出了裂縫投影的方向性特征，裂縫骨架端點特征N，以及裂縫骨架與橫縱網格交點數目比的特征R這三類特征進行裂縫分類，可有效區分這四類裂縫，精度高，速度快，適應性強。并進行了特征的對比實驗，通過對裂縫分類正確率的對比分析，裂縫區域面積特征Area不能較好的將裂縫分類。結果表明，提出的這三類特征能達到較好地分類裂縫的目的。

2 無人機視覺檢測方案設計

2.1 實驗平臺

針對于目前道路裂縫分類檢測成本高，人工勞動強度大等問題，采用了四旋翼無人機作為分類檢測的平臺，四旋翼無人機體積小，便捷，且成本低?？赏ㄟ^遙控裝置控制其飛行和懸停，飛行范圍廣且穩定，搭載相關硬件裝置可對道路裂縫進行檢測。

將攝像頭、樹莓派等設備裝載在四旋翼飛行器上。攝像頭接入樹莓派，樹莓派相當于一臺微型計算機，可連接電腦的局域網，通過局域網筆記本電腦上的遠程桌面軟件可以控制樹莓派這臺微型計算機，可實時操作這臺樹莓派微型計算機，在樹莓派上編寫視頻拍攝程序，筆記本電腦上就可實時顯示拍攝畫面并進行拍攝視頻的操作。控制四旋翼無人機飛行，拍攝道路裂縫的視頻，傳輸至電腦進行分類檢測。即可通過控制無人機飛行，來實現道路裂縫的分類檢測。四旋翼無人機進行裂縫分類的工作狀態，如圖1所示。

圖1 實驗平臺Fig.1 Experimental Platform

2.2 裂縫分類流程

通過四旋翼飛行器獲取裂縫圖像或視頻，獲取圖像后對圖像進行預處理，并分割裂縫目標區域，進一步提取裂縫骨架，提出了三類裂縫特征組成特征向量，采用了基于支持向量機分類器的學習算法。在機器學習中，支持向量機可以用于分類、回歸、異常值或離群點檢測。SVM 模型具有較好的學習和泛化能力且理論基礎較扎實。起初SVM設計是為了解決二分類問題，對于線性可分的兩類數據，支持向量機就是一條直線（對于高維數據點就是一個超平面），兩類數據點的分割線有無數條，SVM 的目的就是通過學習找到最完美的這條直線或超平面。如圖2 所示，將距離超平面最近的兩個不同類別的樣本點稱為支持向量（support vector），構成兩條平行于超平面的長帶，二者之間的距離稱為margin。學習的目標就是使得margin 最大，如此分類正確的確信度更高。數學上，通過優化目標函數：

圖2 SVM二分類Fig.2 SVM Dichotomy

來確定最終的超平面wTx+b=0。其中，

表示樣本點x到超平面的最短距離，式中：y—數據點標簽，用1或-1表示。

SVM算法最初是為二分類問題設計的，當處理多類問題時，需構造合適的多類分類器，主要是通過組合多個二分類器來實現多分類器的構造，常見的方法由一對多法（One-Versus-Rest）和一對一法（One-Versus-One）。一對多法即是訓練時將某個類別的樣本歸為一類，其他剩余樣本歸為另一類，這樣k各類別樣本就構造k個SVM，這種分類方法當訓練樣本增加時訓練速度會急劇減慢；一對一方法是在任意兩個樣本之間設計一個SVM，因此需要設計k(k-1)/2 個SVM，這種方法針對于樣本類別數較少的情況，分類速度快。在這里的實驗中，裂縫的樣本類別標簽為四類，采用了一對一分類的方法訓練多個二分類器，然后根據投票規則找到最終的預測分類標簽。四類樣本的分類決策過程，如圖3所示。

圖3 四種樣本分類Fig.3 Four Categories of Samples

為充分驗證這里提出的三類特征的普遍適應性，采集了同類裂縫的不同形態圖像，以縱向裂縫為例，如圖4所示。

圖4 縱向裂縫數據集Fig.4 longitudinal Crack Data Set

圖像訓練數據集選取了每類裂縫處于不同光照，拍攝高度與角度的圖像，因此圖像訓練數據集具有一般性和典型性。實驗共選取了1200張裂縫圖像，這四類裂縫圖像各300幅，將1200張裂縫圖像分為四組，每組300張圖像，其中，每類裂縫圖像為75副。實驗采用了留一法（記為K-CV）進行交叉驗證，將圖像樣本集分為四組，每次選擇其中一組樣本作為測試集，剩余三組樣本作為訓練集，交叉實驗共進行了四次，這樣會得到四個分類模型，用這四個模型最終的測試集分類正確率的平均數作為分類器的性能指標。這樣訓練得到的結果相對有說服力，能準確反應裂縫測試集分類的正確率。這種交叉驗證的方法也適用于這里樣本數較少的情況。無人機視覺技術分類裂縫方法的流程，如圖5所示。

圖5 裂縫分類流程圖Fig.5 Flow Chart of Crack Classification

3 裂縫特征選取

圖像經過預處理和裂縫目標區域分割及提取骨架后，提出了運用以下三類特征：裂縫投影的方向性特征Xd與Yd，裂縫骨架端點特征E，以及裂縫骨架與橫縱網格交點數目比的特征R來對裂縫進行分類。

3.1 投影方向性特征

一副大小為M×N的裂縫數字圖像，通過圖像預處理轉化為二值圖像時，裂縫區域顯示為白色，灰度值為1，非裂縫區域顯示為黑色，灰度值為0。

分別統計裂縫區域沿X軸與Y軸方向上的灰度值為1的像素點的累積分布，即像素值f(i，j)=1的累計分布：

沿X軸方向與Y軸方向上灰度值為1的分布最大差值的計算公式如下：

將沿軸向最大灰度分布差值Xd和Yd作為裂縫投影的方向性特征。

分別沿X軸方向與Y軸方向統計灰度值為1的像素點即裂縫區域的分布情況。反映了這四類裂縫的方向性特征，如圖6 所示。中從左至右依次為裂縫原圖，如圖6（a）所示。裂縫的二值圖，裂縫在X軸方向上的裂縫灰度分布圖，裂縫在Y軸方向上的裂縫灰度分布圖，圖6（b），圖6（c），圖6（d）同圖6（a）。

圖6 方向性特征對比圖Fig.6 Contrast Diagram of Directional Features

從上圖6 對裂縫投影的方向性特征對比分析可知，圖6（a）的縱向裂縫在X軸方向上灰度分布存在明顯突起，而在Y軸方向上灰度分布較為平緩；圖6（b）中在X軸方向上灰度分布較為平緩，而在Y軸方向上灰度分布存在明顯突起；圖6（c）中斜向裂縫和圖6（d）中網狀裂縫在X軸方向上與Y軸方向上的灰度分布較橫向裂縫與縱向裂縫均無明顯突起，分布較為平緩。因此選取Xd與Yd作為裂縫投影的方向性特征，它既可以將橫向和縱向裂縫同斜向網狀裂縫區分開，也可將橫向裂縫和縱向裂縫進行區分。

3.2 裂縫骨架化端點數目特征

骨架［13］提取能剔除非裂縫的虛假信息，準確的顯示出裂縫的形狀特征，且根據形狀特征可有效判別裂縫的類別。因此對裂縫圖像進行預處理后提取了裂縫骨架。橫向裂縫，縱向裂縫，斜向裂縫骨架一般為單一骨架，只有兩個端點，而網狀裂縫一般有多條骨架，具有明顯的分支點，且網狀裂縫骨架端點數一般大于兩個。因此可根據裂縫骨架端點將網狀裂縫同其他三類裂縫進行區分。

由上述理論分析設計裂縫骨架和端點提取算法對四類裂縫進行端點提取，如圖7所示，每一類裂縫選取了兩張典型的圖像進行骨架端點提取的檢測。結果顯示不同形狀的橫向裂縫，縱向裂縫，斜向裂縫的端點數均為2，而網狀裂縫的端點數至少為3。因此選取裂縫骨架的端點數E作為第二種分類特征，可將網狀裂縫同其他三類裂縫進行有效區分。

圖7 裂縫骨架的端點Fig.7 The End Point of Crack Skeleton

3.3 裂縫骨架與橫縱網格交點數目比特征

由于裂縫的形成特性［10］，裂縫一般為線性的連貫區域，因此可將裂縫圖像用16條水平方向直線進行等分，統計裂縫骨架與水平直線的交點數H；用16條豎直方向直線將裂縫圖像進行等分，統計裂縫骨架與豎直方向直線的交點數V。將H與V的比值定義為R：

四類裂縫的網格劃分提取交點的結果示意圖，如圖8所示。每一類的裂縫選取兩張典型的裂縫圖像進行骨架交點的特征分析。

圖8 骨架與網格的交點Fig.8 The Intersection of The Skeleton and The Grids

圖8數據依次顯示了骨架與豎直網格交點數目V，骨架與水平網格交點數目H，以及H與V的比值R。觀察縱向裂縫的網格交點特征可知，縱向裂縫的豎直交點數V遠小于水平交點數H，且R值遠小于1；橫向裂縫的豎直網格交點數目V遠大于水平網格交點數目H，且R值遠大于1；斜向裂縫的豎直網格交點數V與水平網格交點數H接近，且橫縱網格交點數目比值R約為1；網狀裂縫的豎直網格交點數V與水平網格交點數H接近，比值約為1。

綜上分析可知，裂縫骨架與橫縱網格交點數目比值R可將橫向和縱向裂縫同斜向和網狀裂縫進行區分，且R能將橫向裂縫與縱向裂縫進行區分，區分度較高。

3.4 裂縫特征分析

將這四類裂縫進行分類的三種特征分析表格參數，如表1所示。

表1 三種特征分析Tab.1 Three Feature Analyses

4 分類效果與對比實驗

4.1 裂縫分類識別圖

三類特征進行裂縫分類的識別效果圖，如圖9所示。

圖9 分類效果圖Fig.9 Classification of The Rendering

在訓練集圖像數據進行學習之后，對測試集圖像進行分類測試，分類正確率結果，如表2所示。結合圖9分類識別圖分析可知，選取的裂縫投影方向性特征Xd與Yd，裂縫骨架端點特征E，及裂縫骨架與橫縱網格交點數目比特征R能較好的將這四類裂縫進行分類，且具有較高的正確率。

表2 裂縫分類正確率Tab.2 Correct Rate of Crack Classification

4.2 特征對比試驗及分析

為驗證文中提出特征的優越性，進行了特征對比試驗。對比實驗選取了裂縫常見的分布區域面積特征［11］Area：

面積特征Area表示裂縫分布的區域面積。它一般用來將網狀裂縫同其他三類裂縫進行區分。保持裂縫的方向性特征Xd和Yd，裂縫骨架與橫縱網格交點數目比R特征不變，將這三類特征對相同的圖像數據集進行實驗測試，如表3所示。

表3 對比試驗的結果Tab.3 Classification Results ofComparative Experiments

結合表2與表3的實驗正確率數據對比分析可知，裂縫區域面積特征Area對于將斜向裂縫與網狀裂縫的分類正確率較低，只有65.33%，66.67%的正確率。分析可知斜向裂縫與網狀裂縫的裂縫面積無較大的區分性，斜向裂縫與網狀裂縫的面積較為接近，易造成混淆，所以裂縫區域面積特征Area對于網狀裂縫與斜向裂縫的分類正確率偏低。

對比表2 與表3 的橫向裂縫與縱向裂縫分類正確率可知，分析表2 與表3 中的橫向裂縫與縱向裂縫分類正確率，正確率均較高說明裂縫投影的方向性特征Xd與Yd及裂縫骨架與橫縱網格交點數目比特征R可較好的將這橫向裂縫和縱向裂縫進行分類，對比表2 與表3 中的斜向裂縫與網狀裂縫分類正確率可知，裂縫骨架端點特征E可較好的將斜向裂縫和網狀裂縫進行區分，進一步說明了這里提出的這三類特征進行裂縫分類的優越性。

5 結論

搭建了相應的實驗平臺，運用四旋翼無人機視覺檢測技術進行裂縫分類的檢測實驗，檢測了提出此法的可行性。這里采用了支持向量機分類器的方法對裂縫進行分類，提出了裂縫投影的方向性特征Xd與Yd，裂縫骨架端點數目特征E，及裂縫骨架與橫縱網格交點數目比特征R作為裂縫分類的特征依據。實驗結果表明提出的這三類特征能將四類裂縫進行有效區分，分類識別正確率高。并進行了特征選取的對比實驗，進一步說明文章提出的三類分類特征的優越性。