無人機在路橋病害檢測中的設(shè)計與實現(xiàn)

陳顯龍，陳曉龍，趙　成，賀志剛

(北京恒華偉業(yè)科技股份有限公司，北京 100011)

?

無人機在路橋病害檢測中的設(shè)計與實現(xiàn)

陳顯龍，陳曉龍，趙成，賀志剛

(北京恒華偉業(yè)科技股份有限公司，北京 100011)

Design and Implementation of Unmanned Aerial Vehicle in the Bridge and Road Disease Detection

CHEN Xianlong,CHEN Xiaolong,ZHAO Cheng,HE Zhigang

摘要：設(shè)計和開發(fā)了一種基于無人機的路橋病害檢測系統(tǒng)，分別對無人機軟硬件系統(tǒng)進行了相應(yīng)開發(fā)，形成了具有自主知識產(chǎn)權(quán)的無人機自動避障系統(tǒng)、病害識別系統(tǒng)和路橋巡檢管理系統(tǒng)等，實現(xiàn)了對路橋病害等目標信息的高精度提取和變化檢測。與傳統(tǒng)路橋病害檢測相比，具有經(jīng)濟性、高效性、全面性和安全性等特點，實現(xiàn)了路橋病害檢測的智能化、信息數(shù)據(jù)化和可視化，為公路橋梁養(yǎng)護提供了有力支撐。

關(guān)鍵詞：無人機; 路橋巡檢; 病害識別; 三維重建

交通運輸部發(fā)布公報稱，截至2014年底全國公路總里程達446.39萬km，橋梁超過73.5萬座。作為國民經(jīng)濟的重要保障，目前中國40%的橋梁已經(jīng)進入使用超過25年的老齡期，橋梁檢測與監(jiān)測、巡檢與養(yǎng)護顯現(xiàn)出諸多問題，如檢測范圍不夠全面細致、影響交通、作業(yè)效率低下、成本高昂、檢測人員存在人身安全隱患等。如何及時有針對性地進行路橋巡查是路橋相關(guān)部門面臨的現(xiàn)實問題。無人機通過掛載照相機和多種傳感器設(shè)備，輔以高精度導(dǎo)航系統(tǒng)和避障系統(tǒng)，通過地面工作站病害識別和三維重建系統(tǒng)，從而實現(xiàn)為路橋檢修提供科學(xué)和精準的判別，有效彌補了傳統(tǒng)路橋病害檢測過程中存在的不足。

一、系統(tǒng)總體結(jié)構(gòu)

一套完整的旋翼無人機航攝檢測系統(tǒng)主要由系統(tǒng)硬件和系統(tǒng)軟件兩部分構(gòu)成[1]。本文所設(shè)計的無人機系統(tǒng)中，高清相機、IMU(慣性測量單元)和激光雷達以無人機為載體，通過控制掛載在無人機上的高清相機獲取目標圖像信息，運用移動站實時追蹤無人機位置及監(jiān)控?zé)o人機拍攝畫面，無人機借助激光雷達設(shè)備和飛控系統(tǒng)實現(xiàn)對障礙物的識別和躲避達到自動巡檢的效果。巡檢完成后通過無人機影像處理及三維重建軟件系統(tǒng)實現(xiàn)對所獲取的影像數(shù)據(jù)進行影像濾波、增強、融合、拼接、影像糾正，最后完成病害識別，同時利用激光雷達設(shè)備的三維點云數(shù)據(jù)實現(xiàn)對目標道路、橋梁的三維建模功能。如果發(fā)現(xiàn)異常情況，根據(jù)時間標記控制無人機回到可疑區(qū)域，對可疑區(qū)域進行進一步巡查，必要時由操作人員對無人機進行手動控制。通過路橋巡檢管理系統(tǒng)對路橋的基本信息、無人機巡檢信息進行精細化管理，并具備路橋健康狀況信息匯總統(tǒng)計、路橋檢修智能決策、三維模型展示等功能。其結(jié)構(gòu)框架如圖1所示。

圖1　系統(tǒng)總體架構(gòu)

二、系統(tǒng)硬件實現(xiàn)

無人機硬件平臺采用RaspberryPi作為旋翼無人機的主控制板，利用TMS320F28335型DSP通過McBSP接口(EMIF)，以DMA方式傳輸及處理來自激光雷達和傳感器的密集數(shù)據(jù)。為了保障旋翼無人機與機載傳感器的正常運行，另使用一片STM32F103VBT6型ARM芯片輔助控制檢測各個器件的運行狀況。IMU可獲取無人機的三軸加速度及三軸偏轉(zhuǎn)角，地面站使用XBee[2]發(fā)送控制指令，工作頻率為2.4 GHz，進而通過控制旋翼轉(zhuǎn)速從而對無人機的速度與偏轉(zhuǎn)角進行控制。激光雷達通過高速旋轉(zhuǎn)得到的掃描數(shù)據(jù)經(jīng)過處理可得到三維平面及上下空間上各障礙物的坐標與障礙物的大小。無人機機載相機選用索尼ILCE-7R，相機利用增穩(wěn)云臺進行支撐固定，使其能夠保持穩(wěn)定的拍攝。增穩(wěn)云臺的俯仰角可以由多旋翼無人機控制，同時加裝光線傳感器與補光光源，當(dāng)檢測到光線強度較低時自動開啟補光光源。相機將拍攝視頻、圖像等信息以4∶2∶0或4∶2∶2等高質(zhì)量編碼圖像的MPEG-2，采用超視距視頻傳輸系統(tǒng)傳輸于地面站。無人機硬件組成如圖2所示。

圖2　無人機硬件結(jié)構(gòu)

1. 避障

無人機在橋梁等復(fù)雜目標區(qū)域飛行時，由于地域狹窄、線纜分布密集，為保證無人機能夠安全可靠地飛行，需要在前進方向與升降方向分別進行避障控制。避障流程如圖3所示。

圖3　無人機避障流程

(1) 前進方向上的主動避障

無人機避障一般考慮前方10 m的距離，距離過近可能會使無人機響應(yīng)滯后，而過遠使得探測范圍有所縮小且對探測設(shè)備性能有更高要求。本系統(tǒng)通過安裝在無人機幾何中心的激光雷達經(jīng)高速旋轉(zhuǎn)，在探測范圍內(nèi)根據(jù)反射回來的激光束可算出二維平面上儀器距離障礙物反射面的距離，即

(1)

式中，c為光速；Δt為發(fā)射激光束到接收到該激光束所歷時間；s為儀器距離障礙物反射面的距離，即無人機距離障礙物反射面的距離。當(dāng)無人機位置發(fā)生移動時，可逐漸得到障礙物正面輪廓。高速旋轉(zhuǎn)的激光雷達產(chǎn)生大量距離數(shù)據(jù)，為有效降低數(shù)據(jù)量，本系統(tǒng)通過擴展卡爾曼濾波進行篩選數(shù)據(jù)。此外，激光雷達探測數(shù)據(jù)為極坐標系下的數(shù)據(jù)，需要轉(zhuǎn)換到世界坐標系中。首先轉(zhuǎn)換為笛卡爾坐標系

(2)

式中，ri及εi分別為激光雷達每周期返回的距離值與角度值；(xi,yi)為轉(zhuǎn)換后的笛卡爾坐標。

投影到世界坐標系的變換矩陣為

(3)

式中，θ為無人機的俯仰角；φ為翻滾角；T為世界坐標系的變換矩陣，即T與無人機姿態(tài)有關(guān)。試驗表明，這種投影變換在相對封閉且垂直墻體分布較多的空間中具有良好效果。

激光雷達掃描數(shù)據(jù)與IMU數(shù)據(jù)通過基于擴展卡爾曼濾波器數(shù)據(jù)融合濾波器進行數(shù)據(jù)融合處理得到高精度位移估計和速度估計，具備較高的估計頻率，能滿足預(yù)估無人機位姿信息的實時性。

為進一步減少運算量，本系統(tǒng)采用一種基于碰撞圓錐的避障技術(shù)，如圖4所示。

圖4　前進方向上避障示意圖

無人機飛行過程中，每個障礙物可近似視作二維圓錐，如果相對速度向量位于碰撞圓錐內(nèi)，則這個障礙物有可能被撞擊。在實際應(yīng)用中，考慮無人機體積，需與每個障礙物保持最小間隔距r，即碰撞安全線是一個半徑為r+r′、圓心在障礙物位置中心的空間球面，那么避障航跡是由從無人機到障礙物碰撞安全線的切線的集合來確定的。因無人機沿碰撞圓錐的方向初速度v到達碰撞安全線需要一定的時間t，如果時間t的絕對值大于無人機快速機動響應(yīng)的閾值時間t′，則無人機不一定要做出規(guī)避機動，否則要緊急制動或轉(zhuǎn)向。無人機飛行速度過快或障礙物過多，有可能導(dǎo)致運算負載大而造成時延，本系統(tǒng)采用PMW控制，即隨障礙物距離減小而降低飛行速度，以等待最優(yōu)路線的確定。此外，若無人機運動前方存在多個障礙物，根據(jù)障礙物之間空間位置關(guān)系，嘗試解算可否從障礙物中穿行，若多解，則規(guī)劃出最優(yōu)路徑；若無解，則據(jù)當(dāng)前位置最先達時間的障礙物選為最緊急的障礙，一旦確定需要采取相應(yīng)機動。

(2) 升降方向的主動避障

針對路橋檢測特點，升降方向障礙物相對較少，為了降低無人機的功耗和負載，升降方向通過反射棱鏡將激光雷達的兩束光線分別反射到無人機的上方和下方，如圖5所示。由于升降方向數(shù)據(jù)較少，濾掉誤差數(shù)據(jù)，然后求平均值即可估算出距離值。此外，當(dāng)無人機的飛行高度在激光雷達可探測范圍內(nèi)時還可以估算出無人機的飛行高度。

圖5　激光雷達反射棱鏡

2. 自主導(dǎo)航

無人機在空曠區(qū)域依靠GPS可實現(xiàn)無人機定位，結(jié)合IMU、激光雷達及建立的電子地圖可實現(xiàn)自主導(dǎo)航，一旦無人機進入橋底等相對狹小的空間，可能會導(dǎo)致GPS信號丟失，此時需要結(jié)合激光雷達和IMU進行自主導(dǎo)航。

在GPS信號丟失情況下，確定無人機位置需要獲取無人機位置變化矢量。當(dāng)無人機發(fā)生位移時，激光雷達掃描障礙物的輪廓將發(fā)生變化，經(jīng)過掃描匹配算法對相鄰兩幀數(shù)據(jù)處理可以估計無人機相對運動，即

S=(ΔX,ΔY,ΔZ)

(4)

式中，(ΔX,ΔY,ΔZ)為無人機三維空間位移增量；S為增量運動估計矢量。確定無人機位移信息后，進而確定無人機當(dāng)前位置。

掃描匹配過程中，如果僅比較某時刻掃描數(shù)據(jù)與上一時刻掃描數(shù)據(jù)會產(chǎn)生較大誤差，并且誤差具有累積效應(yīng)，直接導(dǎo)致無人機位姿估計可信度降低，本系統(tǒng)通過匹配時間t到t-τ時間段內(nèi)掃描數(shù)據(jù)，使其滿足

(5)

式中，Pt為t時刻掃描數(shù)據(jù)；Pt-τ為τ幀的集合；δ為吻合度閾值，大于δ時即停止迭代。迭代過程使用牛頓迭代法，以減少迭代次數(shù)，滿足實時性的要求。

此外，本系統(tǒng)中存在較小的位置漂移，在能捕獲3顆及以上的GPS衛(wèi)星時，可利用GPS絕對坐標相互補償。

三、系統(tǒng)軟件實現(xiàn)

本系統(tǒng)通過高分辨率遙感影像數(shù)據(jù)結(jié)合數(shù)字高程模型可分析路橋所處地形特征，以制定遠景飛行最優(yōu)飛行計劃，利用遠景拍攝的影像建立路橋三維模型作為空間數(shù)據(jù)基礎(chǔ)，利用近景拍攝病害，結(jié)合病害特征，進行識別和分析。其整體路橋病害檢測流程如圖6所示。

圖6　無人機拍攝流程

1. 巡檢方案制定

鑒于橋梁巡檢比較復(fù)雜，無人機需要具備一定先驗知識才能較好地完成自動巡檢。新環(huán)境中首次巡檢應(yīng)通過操作人員手動操縱無人機飛行，以期相機視角可覆蓋整個目標橋梁，同時通過IMU、GPS與激光雷達掃描并記錄了無人機的航跡，并對周圍的環(huán)境建立電子地圖，完成同步定位與構(gòu)圖。地圖建立完成后，無人機根據(jù)學(xué)習(xí)的飛行路線進行自動巡航。遇障躲避后返回原來的航線，基本無須人工干預(yù)。

2. 三維重建

目前，SIFT方法[3]和多視立體重建[4-5]為核心的三維重建方法比較成熟。本系統(tǒng)使用SIFT算法從無人機飛行過程中所拍攝的大量影像中提取路橋相關(guān)特征點。其中處理對象為經(jīng)過系統(tǒng)進行校正、裁剪、重采樣后所生產(chǎn)的無人機影像。該方法具有尺度不變、旋轉(zhuǎn)不變和光照不變的特點，有很好的魯棒性，非常適用于寬基線的匹配，因此能夠在一定程度上解決采集圖像姿態(tài)不穩(wěn)定的問題。特征點匹配過程使用KD樹提高搜索效率，同時采用由粗到精的匹配策略，以處理冗余度較高的數(shù)碼照片集，得到空間中各個點在兩幅圖像中的對應(yīng)投影點，即獲得優(yōu)化精度匹配的特征點，進而使用非線性優(yōu)化方法回算相機參數(shù)并稀疏獲得的三維點云，運用貪婪搜索運動獲取結(jié)構(gòu)方法，結(jié)合五點法[6]初始相機對的標定，避免非線性收斂到局部極值而得到錯誤的相機標定結(jié)果。由已標定的多視角照片進行三維重建，確定立體圖像對進行深度圖恢復(fù)，并將可靠性高的多深度圖融合得到密集三維點云[7]，最后經(jīng)過泊松重構(gòu)的方法能夠生成高精度3D表面格網(wǎng)模型。該方法不僅具備高分辨率圖像下復(fù)雜目標快速建模能力，而且具有真實可測量功能。

3. 病害識別

基于無人機圖像與地面DEM及其他相關(guān)資料相結(jié)合，面向道路、橋梁信息的智能化提取與變形監(jiān)測；基于面向?qū)ο蟮挠跋穹治龇椒ǎㄟ^對高分辨率圖像上的地物對象進行特征建模[8]，通過影像的多尺度分割與多特征識別等關(guān)鍵技術(shù)，構(gòu)建智能信息提取模型，完成對路橋關(guān)鍵目標信息的高精度提取與變化檢測，其中病害識別具體技術(shù)流程為：

1) 通過目視解譯建立病害特征群，作為已知類別的樣本。

2) 利用一定數(shù)量的已知類別的病害樣本的特征值確定判別函數(shù)中的待定參數(shù)。

3) 利用特征參數(shù)對無人機影像進行病害識別與提取。

4) 建立技術(shù)先進、普及性強的無人機圖像路橋分析的框架體系。

4. 路橋巡檢管理系統(tǒng)

路橋巡檢管理系統(tǒng)實現(xiàn)與無人機影像處理及三維重建系統(tǒng)的業(yè)務(wù)和數(shù)據(jù)有效集成，有效地實現(xiàn)對道路橋梁基礎(chǔ)信息維護管理，提供專題圖展示、三維模型展示、統(tǒng)計分析、智能決策等功能，道路養(yǎng)管部門可通過路橋巡檢管理系統(tǒng)獲取橋梁的定期巡檢影像數(shù)據(jù)和巡檢結(jié)果，為橋梁后續(xù)的養(yǎng)管和維修決策的制定提供數(shù)據(jù)支持。

四、結(jié)束語

本系統(tǒng)設(shè)計了基于無人機路橋病害檢測系統(tǒng)，從硬件軟件兩方面詳細介紹了無人機巡檢的實現(xiàn)過程。初步測試結(jié)果表明，系統(tǒng)可以進行無人機避障、三維重建和病害識別，具有較強的魯棒性。

目前無人機研發(fā)在國內(nèi)外不斷推進，無人機檢測已深入到多方面，但對于路橋病害檢測還有很多不足之處，小型化、自動化、自主化、智能化、模塊化、集成化等程度有待提高[9]，影像校正、拼接、融合、分析等處理中算法和技術(shù)缺乏針對性[10]。本系統(tǒng)的設(shè)計對于路橋病害定期檢測提出一套完整的、可實現(xiàn)的檢測流程和管理方案，具有很高的實際應(yīng)用價值，同時對于特定的無人機圖像處理算法的改進具有一定意義。

參考文獻：

[1]畢凱, 李英成, 丁曉波,等. 輕小型無人機航攝技術(shù)現(xiàn)狀及發(fā)展趨勢[J]. 測繪通報, 2015(3): 27-31.

[2]FALUDIR.BuildingWirelessSensorNetworks:withZigBee,XBee,Arduino,andProcessing[M].AseeOrgSebastopol：[s.n.]，2010.

[3]YANK，SUKTHANKARR.PCA-SIFT:AMoreDistinctiveRepresentationforLocalImageDescriptors[J].Proc.cvpr.volume, 2004，2(2)：506-513.

[4]HIEPVH,KERIVENR,LABATUTP,etal.TowardsHigh-resolutionLarge-scaleMulti-viewStereo[C]∥IEEEConferenceonComputerVision&PatternRecognition.[S.l.]：IEEE，2005:1430-1437.

[5]FURUKAWAY,PONCEJ.Accurate,Dense,andRobustMulti-ViewStereopsis[J].IEEETransactionsonPatternAnalysis&MachineIntelligence, 2010, 32(8):1362-1376.

[6]SCHNABELR,WAHLR,KLEINR.EfficientRANSACforPoint-CloudShapeDetection[J].ComputerGraphicsForum, 2007，26(2)：214-226.

[7]郭復(fù)勝, 高偉. 基于輔助信息的無人機圖像批處理三維重建方法[J]. 自動化學(xué)報, 2013, 39(6):834-845.

[8]史華林. 無人機航測系統(tǒng)在公路帶狀地形測量中的應(yīng)用[J]. 測繪通報, 2014(6):60-62.

[9]晏磊, 呂書強, 趙紅穎,等. 無人機航空遙感系統(tǒng)關(guān)鍵技術(shù)研究[J]. 武漢大學(xué)學(xué)報(工學(xué)版)，2005, 37(6):67-70.

[10]李德仁, 李明. 無人機遙感系統(tǒng)的研究進展與應(yīng)用前景[J]. 武漢大學(xué)學(xué)報(信息科學(xué)版)，2014, 39(5):505-513.

中圖分類號：P237

文獻標識碼：B

文章編號：0494-0911(2016)04-0079-04

通信作者：賀志剛

作者簡介：陳顯龍( 1976—)，男，碩士，教授級高級工程師，研究方向為3S 技術(shù)在智能電網(wǎng)、智能交通領(lǐng)域的應(yīng)用與系統(tǒng)集成。E-mail：along798@sina.com

基金項目：北京市電子信息技術(shù)創(chuàng)新與新興產(chǎn)業(yè)培育項目(Z151100003615007;Z15110100360000)

收稿日期：2015-11-30

引文格式： 陳顯龍，陳曉龍，趙成，等. 無人機在路橋病害檢測中的設(shè)計與實現(xiàn)[J].測繪通報，2016(4)：79-82.DOI:10.13474/j.cnki.11-2246.2016.0126.