無人機影像輔助下的路橋病害智能檢測

彭瑤瑤，王思遠，傅興玉，申 明，游永發(fā)

(1. 中國科學院遙感與數(shù)字地球研究所，北京 100094； 2. 中國科學院大學，北京 100049； 3. 中國科學院電子學研究所，北京 100190)

無人機影像輔助下的路橋病害智能檢測

彭瑤瑤1,2，王思遠1,2，傅興玉2,3，申 明1,2，游永發(fā)1,2

(1. 中國科學院遙感與數(shù)字地球研究所，北京 100094； 2. 中國科學院大學，北京 100049； 3. 中國科學院電子學研究所，北京 100190)

路橋表面病害狀況評估是路橋養(yǎng)護的一項重要內容。目前病害檢測主要基于移動測量車和目視判斷，具有工作量大、獲取危險度高的缺點，而低空飛行的六旋翼無人機能夠拍攝到人工無法獲取到的多角度路橋照片，在路橋檢測方面具有巨大的優(yōu)勢。本文基于無人機影像開展路橋病害檢測相關研究，提出了一種新的路橋病害檢測方法。首先通過多部件形變模型模擬病害目標，并在無人機影像中全局搜索，檢測出潛在路橋病害區(qū)域。試驗表明，本文算法在復雜背景下能夠有效檢測病害，目標檢測精度達80%，具有很高的效率和魯棒性。

無人機影像；病害檢測；多部件形變模型；特征金字塔

據(jù)不完全統(tǒng)計，路橋的損壞90%以上是由裂縫引起的，作為路橋初級病害，坑洞、裂縫的檢測和處理對于公路養(yǎng)護管理具有非常重要的意義。而在道路管理和養(yǎng)護方面專業(yè)技術人員缺乏、養(yǎng)護經(jīng)費方面投入有限的情況下，道路橋梁的巡檢周期通常比較長，不及時進行精細檢測會導致路橋破損程度加劇及養(yǎng)護費用進一步增加[1]。因此，研究路橋病害特性和自動化檢測方法，對于快速檢測病害、建立起路橋病害預警系統(tǒng)、指導路橋及時檢修、降低道路養(yǎng)護成本、延長道路使用壽命具有重要意義。

路橋病害的檢測已經(jīng)從主要依靠人工巡檢和目視判斷過渡至自動檢測和人工輔助相結合，如借助移動測量檢測車，通過搭載多鏡頭和GPS/POS等傳感器采集路面信息。但檢測車只能獲取路面的病害信息，對于道路橋梁側面或橋墩等結構處的勘測依然需要有經(jīng)驗的檢測員目視判斷和人工量測，成本高耗時長且安全度小。近空六旋翼無人機能夠貼近橋梁飛行，并從人工難以到達的高空視角來觀測路橋，輕松拍攝到高精度的路橋側面和橋墩影像，減少檢測員的時間成本并降低檢測的危險性[2]。本文利用傳回地面工作站的無人機影像研究先進的路橋影像病害檢測方法，實現(xiàn)病害的高效定位和信息提取。

1 研究現(xiàn)狀

國內外研究路橋病害檢測的方法主要有：①基于顯著性和統(tǒng)計特性：Zou提出了用張量投票建立概率圖，從概率圖上標記種子點，并通過圖模型來代表種子，循環(huán)掃描樹邊緣修剪來定義理想的裂縫[3]；②基于模板匹配：Xu將裂縫種子模板用8×8的像素表示，并通過裂縫種子的位置和方向判斷是否歸屬于同一條裂縫[4]；③基于閾值分割：Li提出了一種利用F*Seed growing方法來自動化提取裂縫線[5]，Koch基于形狀閾值直方圖將圖像分割為缺失和非缺失區(qū)域提取坑洞[6]；④基于小波變換：Sun用多尺度小波變換移除路面不規(guī)則背景提取道路裂縫[7]；⑤機器學習方法：錢彬以子塊為單位，根據(jù)裂縫呈現(xiàn)的稀疏特性，并結合深度學習采用稀疏自編碼SAE對局部子塊進行學習，識別提取出裂縫子塊[8]。總體來看，目前路橋病害的檢測主要是基于閾值或邊緣，但無人機拍攝到的影像中可能存在汽車、行人、水漬、陰影等復雜物體，真實復雜場景下的路橋病害檢測目前為止并沒有很好的解決辦法[9]。檢測難度主要體現(xiàn)在：現(xiàn)有方法很難區(qū)分裂縫和其他結構性地物或物體的邊緣；線狀裂縫等病害在無人影像中占比面積非常小，特征不明顯且形狀不固定。

在充分理解無人機影像特征和病害特征的基礎上，本文利用路橋病害的背景信息和結構特性，提出一種基于多部件形變模型的路橋病害檢測方法。首先采用基于弱監(jiān)督分類的多部件形變模型[10]，通過自動發(fā)現(xiàn)訓練數(shù)據(jù)的有效區(qū)域來提高清晰度，訓練獲取常規(guī)視覺元素和顯著對象，并結合標準全局特征生成具有多尺度的模型，高效地進行無人機路橋病害的檢測與識別。

2 路橋病害檢測方法

路橋病害的檢測主要分為病害多部件模型和病害檢測兩個步驟，首先利用路橋病害影像數(shù)據(jù)訓練病害模型，然后根據(jù)生成的病害模型檢測無人機影像數(shù)據(jù)，檢測出路橋病害。

2.1 病害建模

多部件形變模型由覆蓋整目標的根濾波器和n個高分辨率的部件濾波器構成。根濾波器定位目標位置描述總體特征，部件濾波器描述目標的細部特征和形狀走勢。實際使用中，裂縫可以根據(jù)彎曲程度和走向分為多個方向的子模型，結合不同子模型之間的空間關系可以很好地描述裂縫的結構，也充分利用了路面背景特征。

2.1.1 特征金字塔

為了提高裂縫模型的泛化能力，在不同尺度實現(xiàn)目標的特征和形狀的表達，本文采用改進的多尺度HOG特征金字塔。計算出局部圖像的一階微分圖像梯度后，每個像素的梯度方向離散到p=9個方向通道上，將像素級特征聚合來獲得基于cell的特征映射C(i,j)，對特征向量C(i,j)用了4種不同的歸一化因子，即

每個因子都是對包含(i,j)在內的4個cell組成的block的梯度能量的度量。對基于cell的特征映射C進行歸一化并截斷，串起來得到HOG特征映射。對特征向量作PCA分析、歸一化和限幅，最終獲得表達特征向量的三維特征。金字塔的最小單位是cell，分辨率從上到下由低到高，金字塔上層可以大范圍捕捉粗糙的梯度直方圖和特征，底層捕捉到的主要是精細尺度特征直方圖和局部特征。

2.1.2 多部件形變模型

一個有n個部件的目標模型被定義為(n+2)維向量,其中F0表示根濾波，Pi表示第i部件的模板，b為真實偏項。引入b是為了在將多個模型組成混合模型時，使多個模型的得分具有可比性。第i部件的模板定義為(Fi,vi,di)，其中Fi是第i部件的濾波器，vi是第i部件相對于根位置的二維向量，di是與錨位相關的每個可能位置形變損失的四維相關系數(shù)。

空間位置的得分是每個部件濾波器的位置得分減去形變損失再加上偏移，形變損失由每個部件濾波器和根濾波器的相對位置關系決定。空間位置得分z的表達式如下

空間位置的得分也可以表示為z=β·ψ(H,z)，即模型參數(shù)向量β和向量ψ(H,z)的點積，可以通過訓latent SVM框架求取模型的根濾波器和部件濾波器。

2.2 模型參數(shù)訓練

假定圖像為I，預測裂縫區(qū)域為B，正樣本為P，負樣本為N，總樣本集D為正負樣本之和；假定裂縫結構模型為M，β定義為模型參數(shù)；令每個(x,y)∈D均對應一張圖像和特征金字塔H(x)。正樣本(I,B)∈P意味著目標檢測器在B處高于閾值，預測B處存在裂縫；在負樣本N上，不存在裂縫區(qū)域。在正樣本中根濾波器和部件濾波器的位置看作隱藏變量，在訓練中學習，訓練時允許根濾波器的位置存在不確定性，一定程度上提高了系統(tǒng)的泛化能力和表現(xiàn)。

訓練所需要的數(shù)據(jù)為正樣本集P={(I1,B1),(I2,B2)，…,(In,Bn)}、負樣本集N={J1,J2，…,Jm}和初始模型，訓練結果為新模型參數(shù)β，訓練過程為：

(1) 在指定的迭代次數(shù)下(如5000次)，循環(huán)訓練。

(2) 假設特征向量集Fp=φ，在正樣本集P上循環(huán)detect-best(β,Ii,Bi)發(fā)現(xiàn)I上根濾波值最高的地方并將結果存儲在Fp中。

(3) 假設向量集Fn=φ，在負樣本集N上循環(huán)detect-best(β,Ii,Bi)發(fā)現(xiàn)根位置，選擇得分高于t的存儲在Fn中。

(4)β=gradient-descent(Fp∪Fn)，用訓練出的特征向量集Fp和Fn訓練模型向量β。

模型訓練在構造latent SVM中進行參數(shù)學習，用坐標下降法和梯度下降公式作用于緩存的特征向量上。但訓練模型時使用坐標下降算法容易受到局部最小值的影響，對初始化很敏感，需要擇優(yōu)選取訓練數(shù)據(jù)。

2.3 病害區(qū)域檢測

基于無人機影像的檢測方法的主要思路為:首先建立無人機影像的全局hog特征金字塔；然后采用滑動窗口法，將病害模板在各個尺度上進行全圖搜索；最后將高響應值區(qū)域判定為病害。目標總體得分為

用動態(tài)規(guī)劃和廣義距離變換來計算部件的最佳位置，每一層根位置的綜合響應值可以表示為該層根濾波器響應值加上經(jīng)過變換和子采樣的部件濾波器響應值，在l層的綜合響應值得分為

一般將病害模板在全圖的綜合響應值得分按照從高到低的順序排列，得分越高表示為病害區(qū)域的可能性越大。本試驗將檢測出的大于給定閾值的高分區(qū)域判定為病害區(qū)域。

3 試驗開展

3.1 試驗數(shù)據(jù)

本試驗的數(shù)據(jù)集由正樣本集P、負樣本集N和檢測影像集H組成，且模型訓練數(shù)據(jù)集D=P∪N。正樣本集N為手持相機在北京海淀區(qū)道路路面拍攝采集到的99張帶有裂縫的影像，通過手工標注出病害目標的外接矩陣；負樣本集P為從PASCAL樣例集中隨機選取出的460張影像；檢測影像集H為無人機在試驗場地飛行拍攝的無人機拍攝得到100幅道路橋梁數(shù)據(jù)。注意到D和H完全不同，主要有兩方面的原因：一是訓練樣本要有一定的數(shù)量和多樣性，而無人機病害影像數(shù)據(jù)缺乏，需要手持拍攝補充；二是在實際場景檢測多部件形變模型的應用效果，通過計算泛化誤差來評估泛化特性。

模型訓練是在2.8GBCPU的Ubuntu系統(tǒng)下進行的，平臺為MatlabR2014a；病害檢測是在VS2013平臺下用C++實現(xiàn)，單張影像的檢測速度在1s以內。

3.2 模型訓練

準備好模型訓練需要的數(shù)據(jù)后，通過latentSVM模型對正負樣本數(shù)據(jù)進行訓練，將標準SVM的最大化樣本間距擴展為最大化樣本集間距，將正樣本集中響應度最高的樣本區(qū)域用作訓練，同樣取負樣本集中離分界面最近的負樣本用作訓練。路橋表層主要病害類型為線狀裂縫、網(wǎng)狀裂縫、坑洞等，本試驗中選用部件模型和部件濾波器均為8的情況下訓練出病害模型，如圖1所示，從上到下分別為坑洞、線狀裂縫、網(wǎng)狀裂縫的模板。

圖1 訓練出的路橋病害模型

模型由覆蓋整目標的根濾波器和高分辨率的部件濾波器構成。根濾波器定義了檢測窗口，描述整體特征，部件濾波器是根濾波器的2倍分辨率，能夠更準確地描述局部特征和特征細部。訓練出的模型可以模擬目標的形狀特征和紋理特征，在坑洞、線狀裂縫和網(wǎng)狀裂縫特征非顯著的情況下，充分利用病害的背景較規(guī)則且紋理統(tǒng)一的特點將病害與結構性邊緣及其他復雜地物區(qū)分開，并且用多部件模型來模擬病害的形變。下面將對模型的泛化能力進行度量。

3.3 病害區(qū)域預測

在檢測影像集H上分別對不同類型的病害訓練出的模型進行檢測，檢測結果如圖2所示。從圖中可以看出，多部件形變模型對于復雜環(huán)境具有更好的普適性，在病害區(qū)域上檢出率顯著，對于非路橋地物的排除效果很好，但也存在一定的誤檢和漏檢，如將坑洞病害檢測出來的同時，將某一平整路面處也判定為病害。

圖2 基于無人機影像的路面病害檢測效果

在真實場景中檢測的試驗表明，本算法能夠克服光照、陰影、復雜背景地物的影響，在不同尺度和角度下均有較好的泛化特性，在提取病害時具有很好的普適性。算法充分利用了路橋病害特征和道路背景數(shù)據(jù)，這也是將病害與其他結構邊緣區(qū)分開的顯著特點之一；但算法也存在一定的誤判性，需要后續(xù)加以排除。

另外，在不同響應度閾值下，檢測病害目標的精度和準確度也隨之變化。要從大量無人機影像中檢測出攜帶裂縫信息的影像，要求較高的檢全率，可以有較低的檢準率。經(jīng)過反復試驗，在閾值設定為0.6時，可以達到80%的檢全率，以滿足實際使用。

3.4 檢測結果分析

用精度-召回率曲線(precision-recall)評估模型的泛化能力，如圖3所示，可以看出在同樣的召回率下準確率的變化。

圖3 模型性能度量

總體來說，多部件形變模型在坑洞病害的模型訓練上效果最好，特別是對于坑洞、線狀裂縫這兩類，可以提取出特征；對于網(wǎng)狀裂縫的檢測效果較差。而由于路橋病害的復雜性，在保證檢全率的情況下依然會有漏檢，這也是未來需要提高的方向。本文算法在北京路橋集團病害檢測中進行了初步應用，取得了良好的應用效果。

4 結 語

路橋病害檢測在學術界和工業(yè)界已經(jīng)進行了多年的研究，不是一個全新的問題，但檢測方法的準確率一直有待提高。本文針對無人機采集的路橋數(shù)據(jù)，提出了無人機影像檢測復雜環(huán)境下路橋病害檢測的方法，通過建立多層特征金字塔和多部件形變模型來提高病害模型的普適性，在復雜背景下提取不固定形態(tài)病害——路橋裂縫和坑洞等。無人機單次飛行獲取的影像有成千上萬幅，采用本文方法能從中檢測出路橋病害，極大地減少了工作量。大量試驗結果表明，本文的檢測方法相比于其他基于邊緣結構等信息的道路病害提取方法更加高效，對于不同環(huán)境、光照情況下的路橋病害提取具有更高的魯棒性。未來的研究中，還將進一步提高病害識別的精度，以及進一步開展病害完整形態(tài)的提取和參數(shù)的計算。

[1] 朱國祥. 基于道路橋梁的養(yǎng)護技術與措施分析[J]. 交通世界(運輸車輛), 2015(6)：212-213.

[2] 畢凱，李英成，丁曉波,等. 輕小型無人機航攝技術現(xiàn)狀及發(fā)展趨勢[J]. 測繪通報, 2015(3): 27-31，48.

[3] ZOU Q, CAO Y, LI Q, et al. CrackTree: Automatic Crack Detection from Pavement Images [J]. Pattern Recognition Letters, 2012, 33(3): 227-238.

[4] XU B. Automatic Inspection of Pavement Cracking Distress [J]. Journal of Electronic Imaging, 2006, 15(1): 185-188.

[5] LI Q, ZOU Q, ZHANG D, et al. FoSA: F* Seed-growing Approach for Crack-line Detection from Pavement Images [J]. Image and Vision Computing, 2011, 29(12): 861-872.

[6] KOCH C, BRILAKIS I. Pothole Detection in Asphalt Pavement Images [J].Advanced Engineering Informatics, 2011, 25(3): 507-515.

[7] SUN L, ZHANG Y M. Weighted Neighborhood Pixels Segmentation Method for Automated Detection of Cracks on Pavement Surface Images [J]. Journal of Computing in Civil Engineering, 2016, 30(2): 11.

[8] 錢彬, 唐振民, 徐威,等. 子塊鑒別分析的路面裂縫檢測[J]. 中國圖象圖形學報, 2015,20(12): 1652-1663.

[9] KOCH C, GEORGIEVA K, KASIREDDY V, et al. A Review on Computer Vision Based Defect Detection and Condition Assessment of Concrete and Asphalt Civil Infrastructure [J]. Advanced Engineering Informatics, 2015, 29(2): 196-210.

[10] FELZENSZWALB P F,GIRSHICK R B, MCALLESTER D, et al. Object Detection with Discriminatively Trained Part-based Models [J]. IEEE Transactions on Software Engineering,2010,32(9):1627-1645.

Intelligent Road and Bridge Disease Detection Method Based on UAV Images

PENG Yaoyao1,2，WANG Siyuan1,2，F(xiàn)U Xingyu2,3,SHEN Ming1,2，YOU Yongfa1,2

(1. Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences,Beijing 100094, China; 2. University of Chinese Academy of Sciences,Beijing 100049, China; 3. Institute of Electronics, Chinease Academy of Sciences, Beijing 100190, China)

Disease assessment is an important aspect of roads and bridges maintenance. Current disease detection is mainly based on automatic measuring vehicles and visual judgments, with the shortcomings of heavy workload and high risk. Correspondingly, the low-flying six-rotor unmanned aerial vehicles (UAV) can take photos of roads and bridges from multi-angles, which has great advantages on roads and bridges detection. Based on UAV images, this paper developed a new method in disease detection of roads and bridges. First, the multi-component deformation model was used to simulate the disease target. Then the global image was searched to detect the potential disease areas. Finally, the disease areas were detected from UAV images. Experiments showed that the proposed algorithm could effectively detect the disease in complex background, and the target detection accuracy was over 80%, with high efficiency and strong robustness.

unmanned aerial vehicle images；disease detection；multi-component deformation model；feature pyramid

彭瑤瑤，王思遠，傅興玉,等.無人機影像輔助下的路橋病害智能檢測[J].測繪通報，2017(8)：67-70.

10.13474/j.cnki.11-2246.2017.0256.

2016-12-27

北京市電子信息技術創(chuàng)新與新興產(chǎn)業(yè)培育項目(Z15110003615007;Z15110100360000)

彭瑤瑤(1991—)，女，碩士，主要從事智能化道路檢測研究與設計等工作。E-mail：pengyy@radi.ac.cn

P237

A

0494-0911(2017)08-0067-04