基于圖像三維建模技術(shù)的橋梁病害巡檢定位技術(shù)

陳國強(qiáng)

（杭州市公路管理局，浙江 杭州 310004）

0 引言

隨著大規(guī)模公路設(shè)施，尤其是橋梁隧道等結(jié)構(gòu)物從建設(shè)期過渡到運(yùn)營期，公路資產(chǎn)面臨著日益嚴(yán)峻的養(yǎng)護(hù)任務(wù)，設(shè)施損壞狀況的精準(zhǔn)檢查與定位是科學(xué)合理的養(yǎng)護(hù)決策與執(zhí)行的前提[1]。公路養(yǎng)護(hù)技術(shù)標(biāo)準(zhǔn)JTG H10—2018規(guī)定[2]橋梁檢查分為經(jīng)常性檢查、定期檢查和特殊檢查。日常巡檢主要服務(wù)于設(shè)施的養(yǎng)護(hù)以及結(jié)構(gòu)損壞和安全問題的發(fā)現(xiàn)。日常巡檢是檢測(cè)環(huán)節(jié)中最為日常瑣碎且高頻率的檢測(cè)項(xiàng)目，其檢測(cè)內(nèi)容最為復(fù)雜，但是其檢測(cè)數(shù)據(jù)卻無法被有效的保存和分析并服務(wù)于后續(xù)的工作[3]。國內(nèi)外養(yǎng)護(hù)管理現(xiàn)狀對(duì)比發(fā)現(xiàn)國內(nèi)養(yǎng)護(hù)管理的問題主要是現(xiàn)行的“重建輕養(yǎng)”、“事后養(yǎng)護(hù)型”管理模式、落后的橋梁養(yǎng)護(hù)技術(shù)和缺少養(yǎng)護(hù)專業(yè)隊(duì)伍[4]。

對(duì)橋梁結(jié)構(gòu)狀況的準(zhǔn)確判斷離不開歷史損壞數(shù)據(jù)的積累與跟蹤[5]。影像三維建模技術(shù)在建筑及測(cè)繪領(lǐng)域的應(yīng)用逐漸證明了其應(yīng)用于空間建模的可行性[6]。方留楊等人提出了一種基于無人機(jī)三維建模技術(shù)的橋梁檢測(cè)方法[7]，然而，由于控制難度、續(xù)航及價(jià)格等原因，此方法不適用于網(wǎng)級(jí)橋梁管理。因此，該研究探索日常手機(jī)、普通相機(jī)如何應(yīng)用于巡檢管理。即二維序列影像數(shù)據(jù)應(yīng)用于橋梁結(jié)構(gòu)三維建模及表觀病害巡檢的可行性，包括應(yīng)用于橋梁三維模型構(gòu)建的二維圖像采集方法、三維建模、巡檢貼圖以及示例工程巡檢數(shù)據(jù)匹配與分析。

1 巡檢邏輯與數(shù)據(jù)設(shè)計(jì)

1.1 流程設(shè)計(jì)

具體流程設(shè)計(jì)見圖1。包括研究用于建立橋梁三維信息模型所需要的橋梁二維圖像采集方法、二維圖像解析建模并建立三維模型空間、巡檢圖像三維空間匹配、病害識(shí)別定位4個(gè)部分。

圖1 巡檢流程設(shè)計(jì)

全景影像量測(cè)的目的是在全景影像中點(diǎn)擊物體的表面，獲取長(zhǎng)度、面積、坡度等信息，從而將拍攝的序列制作成360°的全景影像。制作一張完美的360°全景影像是一個(gè)很復(fù)雜的過程，包括圖像投影、影像匹配、特征點(diǎn)提取、圖像變換、色彩融合等內(nèi)容，限于篇幅，本文簡(jiǎn)要介紹制作全景影像過程中用到的主要方法。以全景二維影像為基礎(chǔ)，基于OpenGL將做好的全景影像投影到一個(gè)球體上。

1.2 圖像采集

選用專用3D羅盤搭載數(shù)碼相機(jī)（見圖2），羅盤用于輔助攝影測(cè)繪的高精度定位、定向、定姿。通過拍照時(shí)的閃光燈熱靴觸發(fā)信號(hào)獲取拍照瞬時(shí)的定位坐標(biāo)、方位角、傾斜角、翻滾角、海拔高程等信息并顯示在機(jī)器屏幕上，同時(shí)存入本機(jī)閃存。采取高精度差分修正的方法修正坐標(biāo)信息，將坐標(biāo)信息寫入照片文件。根據(jù)該動(dòng)態(tài)采集系統(tǒng)記錄的采集信息，對(duì)數(shù)據(jù)進(jìn)行分組分站等歸類操作。

圖2 數(shù)碼單反相機(jī)搭載3D羅盤

已建成的橋梁在橋梁的兩邊拍攝，對(duì)于在江面上的橋梁部分可以通過無人機(jī)拍攝和通過橋檢車，對(duì)橋梁底部進(jìn)行拍攝影像，見圖3。

圖3 橋梁圖像采集方案

選擇了3座橋梁作為代表橋梁：（1）江東大橋以3跨連續(xù)箱梁（長(zhǎng)約115 m）為試驗(yàn)對(duì)象，采用全景云臺(tái)、影像RTK進(jìn)行數(shù)據(jù)采集。影像RTK攝站22個(gè)，采集數(shù)據(jù)22張；全景云臺(tái)攝站21個(gè)，采集影像468張。（2）東吳大橋以預(yù)應(yīng)力連續(xù)箱梁（68 m+120 m+68 m）段中跨為試驗(yàn)對(duì)象。采用全景云臺(tái)進(jìn)行數(shù)據(jù)采集，共布置攝站148個(gè)，采集影像1280張。（3）道冠山大橋選取2跨作為本次試驗(yàn)對(duì)象，長(zhǎng)約40 m。采用全景云臺(tái)進(jìn)行數(shù)據(jù)采集，共布置攝站53個(gè)，采集影像793張。布設(shè)方案示例見圖4。

圖4 東吳大橋布設(shè)方案

1.3 三維建模

（1）影像預(yù)處理

原始拍攝影像存在很多問題，諸如失真變形、色彩不均勻等，同一物體因?yàn)樵诓煌嵌扰臄z，造成在不同影像中的視覺不一致性，因此需要找到不同圖像的同名點(diǎn)并計(jì)算出轉(zhuǎn)換矩陣，但是僅僅轉(zhuǎn)換到同一矩陣后是無法完全吻合的，需要做圖像變換處理。鑒于相機(jī)攝站的規(guī)則排列，影像之間的相對(duì)關(guān)系可以預(yù)先測(cè)定出，投影到以立體相機(jī)為中心的柱面上會(huì)保證視覺上的一致性。

（2）影像匹配

影像匹配的目的在于在兩張不同的影像之間通過每個(gè)點(diǎn)的特征找出特征點(diǎn)最相似的兩個(gè)點(diǎn)，即尋找同名點(diǎn)，根據(jù)的是點(diǎn)的相似度，可以利用周邊點(diǎn)的信息，通常稱為影像窗口，在另一影像中開辟同大小的窗口進(jìn)行相似度匹配。一般利用灰度、梯度等信息進(jìn)行匹配。

（3）特征提取

特征提取，在圖像處理領(lǐng)域是一種最常用的手段，從數(shù)學(xué)的角度講是將圖像中的每個(gè)點(diǎn)獨(dú)有的特征信息表示出來，將高維度的信息降維到低維度來表示一個(gè)點(diǎn)的信息，理論上每個(gè)點(diǎn)在不同圖像上特征是相同的。通俗地講就是人們“感興趣”的點(diǎn)。因?yàn)榇嬖诟魇礁鳂拥南鄼C(jī)，從不同角度、不同位置拍攝影像，因此要求這個(gè)點(diǎn)的特征需要有不隨平移、縮放、旋轉(zhuǎn)而改變的特點(diǎn)。

（4）參考面選取

參考平面選擇的好壞會(huì)嚴(yán)重影響捆綁調(diào)整的質(zhì)量，如果只是隨機(jī)的選擇輸入圖像中的一幅作為參考平面，那么很有可能會(huì)因?yàn)槔塾?jì)誤差過大而造成捆綁調(diào)整的失敗。從輸入圖像中選取初始參考平面應(yīng)考慮以下三個(gè)因素的影響：

a.與該圖像重疊的圖像的數(shù)量；

b.與該圖像重疊區(qū)域的大小和特征匹配特征點(diǎn)對(duì)的數(shù)量；

c.所有待拼圖像與該圖像的變換矩陣級(jí)聯(lián)次數(shù)。

綜合上述因素，需用下式計(jì)算每幅圖像的影響值：

式中：Ei表示圖像參考面選取中的影像因子；ki表示第i個(gè)圖像與其他圖像有所重疊的影像數(shù)量；Tij表示圖像i和j之間影像匹配中的特征點(diǎn)對(duì)數(shù)；λTij表示兩張影像i和j重疊面積區(qū)域的大小（重疊面積比例的十倍，如1/2比例的重疊，為5）；I（n）表示需要拼接的原始影像；Dip表示兩張影像之間坐標(biāo)變化所需要的迭代次數(shù)。

λD是一個(gè)調(diào)節(jié)參數(shù)，其目的在于將放大，一般取得最大值。綜合考慮了各方面的影響因子，ki考慮了重疊的影像數(shù)量的作用考慮了兩張影像匹配點(diǎn)數(shù)量的影響則將變換矩陣的迭代次數(shù)納入考慮范圍，因此其可以代表作為參考面影像的影響因子，取max（Ei）最大值作為參考平面。

（5）全景影像拼接

以上步驟根據(jù)影像匹配求出不同影像之間的同名點(diǎn)，并由序列影像中Ei的最大值作為圖像參考面的初始面進(jìn)行拼接，求出序列影像中兩兩的變換矩陣即可將序列影像轉(zhuǎn)換到同一坐標(biāo)系下。拼接處理包括以下兩部分：

a.根據(jù)模板匹配的方式，可得到圖片見的平移（或者包括縮放）參數(shù)，繼而根據(jù)參數(shù)進(jìn)行圖像拼接操作；

到了定遠(yuǎn)縣城，蔣海峰在賓館安置下來，先獨(dú)自一人前往水仙芝家里。他進(jìn)屋拜見伯母，噓寒問暖，特地給她帶來一個(gè)景泰藍(lán)花瓶、兩盒燕窩。

b.根據(jù)特征點(diǎn)匹配的方式，則利用這些匹配的點(diǎn)來估算“單應(yīng)矩陣”，也就是把其中一張通過個(gè)關(guān)聯(lián)性和另一張匹配的方法。單應(yīng)矩陣H（Homography Estimation）效果如下：

通過單應(yīng)矩陣即可將序列影像轉(zhuǎn)換到同一坐標(biāo)系下，變換后的影像統(tǒng)一輸出即為拼接好的全景影像，可直接用于存儲(chǔ)，變換，管理。

（6）圖像融合

因?yàn)樵谔卣鼽c(diǎn)提取，左邊變換中總會(huì)出現(xiàn)像素坐標(biāo)的非整數(shù)化，因此會(huì)難免造成圖像重疊區(qū)拼接出現(xiàn)接縫、色彩模糊等問題。因此圖像融合技術(shù)顯得至關(guān)重要，使接縫處過渡更加自然，色彩更加均衡。圖像融合技術(shù)主要分為像素級(jí)、特征級(jí)和決策級(jí)3種層次，基于像素級(jí)的圖像融合技術(shù)在三者中具有最優(yōu)的性能。研究者們?cè)谘芯肯袼丶?jí)融合技術(shù)的過程中，提出了線性加權(quán)法、小波變換法、彩色空間法、主成分分析法等圖像融合的技術(shù)方法來減少明顯的接縫。

多通道融合相對(duì)于線性融合，其優(yōu)勢(shì)在于將圖像進(jìn)行分層處理，通過建立圖像金字塔，將圖像分為輪廓信息，一級(jí)細(xì)節(jié)信息，二級(jí)細(xì)節(jié)信息等多層次的方式，在不同層上采用針對(duì)不同細(xì)節(jié)程度的融合步長(zhǎng)以及融合方法，來提高最終的拼接效果。例如，在輪廓區(qū)域，采用線性融合的方式，這樣能夠最大程度的保留圖像的輪廓信息，同時(shí)保證圖像主要輪廓信息的自然過渡，而在圖像的細(xì)節(jié)信息上，改用改進(jìn)的線性融合方式，針對(duì)圖像的位置，對(duì)像素差異大的圖像進(jìn)行取舍，從而既能夠保證圖像全景影像的平滑過渡，又保證在細(xì)節(jié)處基本不出現(xiàn)重影，能夠大大提高圖像的最終拼接效果。在建立高斯金字塔的過程中，多通道融合算法與SIFT算法相同，首先利用DOG對(duì)圖像進(jìn)行不同分辨率信息的分層，而對(duì)于每一個(gè)分辨率層，利用DOG算子對(duì)圖像的細(xì)節(jié)信息進(jìn)行分離。最終得到一組關(guān)于圖像輪廓和細(xì)節(jié)信息的高斯金字塔。對(duì)于相同分辨率的圖像，將得到相同規(guī)模的高斯金字塔，且金字塔中的圖像位置而是一一對(duì)應(yīng)的，對(duì)于每一幅分圖像進(jìn)行單獨(dú)的融合之后，將得到一組新的高斯金字塔，通過高斯金字塔的反運(yùn)算重新疊加即能夠得到融合后的完整圖像。多通道融合算法在由于需要針對(duì)每幅圖像建立單獨(dú)的圖像金字塔，且需要對(duì)每幅金字塔中的圖像都金融圖像融合，因此其計(jì)算量從建立的過程來看，是非常大，而對(duì)于魚眼圖像等像素值較高的圖像來說，其計(jì)算速度較慢。

1.4 巡檢圖像檢索與定位

首先采用SIFT算子提取影像特征點(diǎn)的描述子，然后采用K-means聚類算法生成視覺單詞并構(gòu)建詞匯樹，最后通過改進(jìn)TF-IDF方法對(duì)視覺單詞進(jìn)行加權(quán)并檢索相似影像。

檢索出與巡檢影像相重疊的圖像后，與其進(jìn)行相對(duì)定向就可以求得影像間的相對(duì)位置，恢復(fù)影像位姿，因?yàn)闄z索出的影像在建模過程中的位置和姿態(tài)已經(jīng)解算完成，根據(jù)其在數(shù)據(jù)庫中的位姿，就可以將破損影像進(jìn)行圖像轉(zhuǎn)換，使其與系統(tǒng)中的基礎(chǔ)坐標(biāo)系一致，從而解算其三維坐標(biāo)。在遞增式重建過程中，初始影像姿態(tài)的精度影響整個(gè)重建三維模型的精度。為了逐步剔除粗差，采用自適應(yīng)RANSAC算法與五點(diǎn)法相結(jié)合來恢復(fù)圖像的相對(duì)位姿。

1.5 病害識(shí)別與跟蹤

（1）病害定位

橋梁結(jié)構(gòu)作為一個(gè)相對(duì)復(fù)雜的空間結(jié)構(gòu)，往往根據(jù)部件、構(gòu)件進(jìn)行管理及評(píng)價(jià)。復(fù)雜的空間結(jié)構(gòu)對(duì)于巡檢人員確定橋梁結(jié)構(gòu)構(gòu)件編號(hào)及損壞所在位置做成了一定的難度。基于三維空間系統(tǒng)，本研究采用圖形匹配的方式可以確定病害圖片的空間位置，進(jìn)而匹配其所在構(gòu)件，具體到每一片梁上的具體位置。其病害位置匹配流程見圖5：首先，在初始檢測(cè)階段利用實(shí)際拍攝機(jī)位作為參考信息以提高識(shí)別效率；其次，通過病害圖像匹配確定所述構(gòu)件及病害圖像與構(gòu)件展開平面的坐標(biāo)關(guān)系；最后，將病害在圖像中的坐標(biāo)換算為實(shí)際構(gòu)件上的坐標(biāo)，見圖 6，將像素坐標(biāo)（i，j）換算為空間平面坐標(biāo)（x，y），圖 7為病害定位識(shí)別結(jié)果。

圖5 基于構(gòu)件的橋梁病害坐標(biāo)計(jì)算流程

圖6 害像素坐標(biāo)與實(shí)際構(gòu)件平面坐標(biāo)換算示意

圖7 破損影像裂縫三維坐標(biāo)展示

（2）病害跟蹤

通常來講，巡檢所拍攝病害圖像往往缺乏參照及尺度信息，除非額外輔助測(cè)量工具。本系統(tǒng)設(shè)計(jì)通過病害圖像的定位及姿態(tài)校準(zhǔn)，將不同拍攝角度的圖像校準(zhǔn)到同一視角，并進(jìn)行病害嚴(yán)重程度在時(shí)間上的比較，從而跟蹤病害的發(fā)展，見圖8。

圖8 檢測(cè)結(jié)果多期數(shù)據(jù)對(duì)比

2 結(jié)果分析

對(duì)3座示例橋梁進(jìn)行建模解析，其數(shù)據(jù)采集方式、建模情況的對(duì)比見表1及圖9，解析時(shí)間對(duì)比見表2。

表1 三維建模情況對(duì)比

圖9 三維模型對(duì)比

表2 三維建模解算時(shí)間對(duì)比

通過模型可以看出，江東大橋自動(dòng)匹配建模效果較差。經(jīng)分析，失敗原因主要有：本次試驗(yàn)中，由于管理單位對(duì)江東大橋混凝土表面做了涂裝，混凝土表面光滑，無明顯特征點(diǎn)，導(dǎo)致在計(jì)算機(jī)自動(dòng)建模過程中，數(shù)據(jù)匹配失敗；拍攝距離遠(yuǎn)，無法將細(xì)微病害拍攝清楚，缺少可識(shí)別特征信息。

本次試驗(yàn)自動(dòng)建模結(jié)果表明：

光滑涂裝表面不適用采用一般橋梁的拍攝及自動(dòng)拼接方法，需要更為近距離的數(shù)據(jù)支撐；

RTK影像采集技術(shù)在橋梁及隧道中的應(yīng)用受到限制；

全景云臺(tái)攝站間距設(shè)置為3m較為合理，由此采集的數(shù)據(jù)生成的三維模型效果較好。

建模解析時(shí)間的對(duì)比表明：

建模時(shí)間受到采集數(shù)據(jù)的來源影像，單一設(shè)備建模速度更快；

圖像解算分析時(shí)間同圖片數(shù)量正相關(guān)，有GPS數(shù)據(jù)輔助的情況下解算效率更高；

數(shù)據(jù)質(zhì)量及解析效果受到拍攝環(huán)境及設(shè)施結(jié)構(gòu)復(fù)雜性影像，針對(duì)具體設(shè)施應(yīng)設(shè)置不同的數(shù)據(jù)采集要求，一般中型梁橋平均0.6 m一個(gè)拍攝站，每站拍攝16張照片可以滿足高精度建模需求。

選擇建模較好的東吳大橋進(jìn)行巡檢，對(duì)比東吳大橋損壞識(shí)別和人工調(diào)查結(jié)果見表3和圖10，對(duì)比道冠山大橋損壞識(shí)別和人工調(diào)查結(jié)果見表4和圖11。

表3 東吳大橋巡檢損壞識(shí)別與定位對(duì)比表

通過位置的對(duì)比分析可以看出，巡檢匹配的方式所獲得的位置信息基本滿足要求。

3 結(jié)論

本文研究分析了圖像三維建模技術(shù)應(yīng)用于橋梁病害巡檢定位的具體辦法，確定了用于建立橋梁三維信息模型所需要的橋梁二維圖像采集方法，包括設(shè)備選擇、設(shè)站、拍攝距離、拍攝密度；形成了二維圖像解析建模并建立三維模型空間的成套算法；確定了巡檢圖像三維空間匹配及病害識(shí)別定位的方法，并進(jìn)行了驗(yàn)證。研究表明，序列圖像三維建模技術(shù)應(yīng)用于橋梁日常巡檢是可行的。此外，本研究還確定了一般巡檢圖像的多期數(shù)據(jù)對(duì)比用于橋梁表觀病害的跟蹤方法的有效性。

圖10 損壞位置對(duì)比關(guān)系圖（人工與系統(tǒng)）

表4 道冠山大橋部分病害檢查明細(xì)表

圖11 損壞位置對(duì)比圖