無人機與三維激光掃描融合的拱橋三維重建

張玉濤, 孫保燕, 莫春華, 薛偉

(桂林電子科技大學建筑與交通工程學院, 桂林 541004)

隨著實景三維中國建設進程的不斷加快,其作為國家的新型基礎設施,為數字中國建設提供了統一的空間分析框架和分析基礎。2022年2月25日,自然資源部發布的《關于全面推進實景三維中國建設的通知》更是指明地方層面建設任務,在獲取優于5 cm分辨率的傾斜攝影影像、激光點云等數據基礎上完成基礎地理實體數據制作。高鐵橋梁作為國家交通系統中的重要組成部分,自然也是信息化、數字化建設的重要目標,另外,橋梁精細化實景三維模型在輔助橋梁病害檢測、缺陷監控、結構施工模擬等方面均有良好表現[1-4],因此建立其精細化三維模型有著重要的現實意義。

目前,橋梁精細化實景三維模型生產多依靠多旋翼無人機貼近攝影方式,需要高精度定位技術輔助完成。劉洋等[5]提出“先整體后局部,分層拍攝,促使多個不同分辨率的影像融合為一體”的貼近攝影航線規劃方法建立斜拉橋精細三維模型。Pepe等[6]融合地面及無人機影像建立小型砌體石拱橋的完整精細的三維模型。He等[7]提出融合整體和局部的無人機航線的采集方法,使得重構模型質量提升46.7%。孫保燕等[8]針對斜拉細部橋塔節點建模通過設計階梯式環繞航線得到高精度實景三維模型。貼近攝影方式的出現一定程度上增加實景三維模型的精細度,但由于橋梁位置的局限性,缺乏航線規劃的安全空間,可能因為航攝角度不合理設置,造成橋梁節點、凹槽、錨具等細節部位紋理缺失,并且由于橋梁底部與外界的光線差異,極易采集到過曝影像,使得影像空中三角測量計算失敗造成橋梁底部模型錯位或者大面積紋理缺失。

利用三維激光掃描儀快速獲取高精度地面三維信息的優勢,解決了地面近景數據采集效率低下以及密度不足的問題。Mohammad等[9]針對小型雙跨木桁架橋分別以航空攝影及地面激光掃描兩種建模方式建立精細化點云模型并分析兩種建模方法優劣。王樹臻等[10]融合攝影測量及三維激光掃描實現建筑物精細化建模。曹明蘭等[11]針對起伏頻繁、紋理單一、形狀復雜的森林景觀利用傾斜攝影技術及三維激光掃描,實現森林景觀的精細化建模。由此看來,融合無人機影像和三維掃描技術來建立精細化三維模型是可行,并且可以突破三維激光掃描儀易造成目標頂面紋理信息缺失的局限性,同步操作的特點更是可以提高精細建模的效率。

鑒于以上問題,立足建設實景三維中國的大背景,為提升拱橋實景三維模型的精度及完整度,本文研究將無人機航攝影像與三維激光掃描數據融合建立拱橋實景三維模型,通過與單一無人機建模結果進行精度及紋理完整性對比,驗證該方法的有效性及優越性,為精細化建模提供方案參考。

1 拱橋精細化數據采集方案

拱橋精細化數據采集方案以拱橋橋面為分界線,橋體上部數據依靠無人機經區域環繞航攝與細節近景攝影獲取,橋下部分數據通過站點式三維激光掃描儀采集獲得。

1.1 拱橋橋體上部數據采集方法

拱橋橋體上部數據采集方式分為區域環繞航攝和細節近景攝影,區域環繞航攝以獲取拱橋主體及周圍環境的影像數據,近景攝影以獲取拱橋立面和細節節點的紋理數據。

1.1.1 區域環繞航攝方案

環繞航攝是一種多基線旋轉拍攝目標區域的航攝方式,通過設置相對攝影基準面航高、環繞半徑、環繞重疊率、環繞間重疊率、相機俯仰角等航攝基本參數,經人機交互操作完成飛行器數據采集任務。

區域環繞航攝以拱橋橋面為航攝基準面,橋面中心線為環繞航攝圓心基準,在此基礎上,航線布設及航攝基本參數如圖1所示。飛行參數的合理設置影響所得航攝像片的質量。據航空攝影影像地面分辨率基本公式[式(1)]所示,地面分辨率數值與相對基準面航高成正比,地面分辨率愈大代表所獲取的影像數據質量愈差,因此獲取較優的影像分辨率需要設置較低的相對攝影基準面航高。

(1)

式(1)中:GSD為影像地面分辨率,m;f為鏡頭焦距,mm;υ為像元尺寸,mm;H為相對基準面的高度為,m。

R為環繞航攝圓半徑;S為環繞航攝高度絕對高度;h為補償高度;θ為像片傾角;k為環繞間重疊率圖1 環繞航攝示意圖Fig.1 Schematic diagram of surrounding aerial photography

為獲取較為完整的拱橋主體數據,環繞航攝需聚焦于拱橋橋面,并且因在航線規劃軟件中設置的無人機航高S為絕對高度,因此在設置無人機像片傾角θ時需考慮補償高度h。補償高度h為相對航攝基準面至地面的實際距離,上述參數之間的關系為

(2)

式(2)中:θ為像片傾角,(°);R為環繞圓半徑,m;S為環繞航攝絕對高度,m;h為補償高度,m。

1.1.2 近景攝影方案

近景攝影受實時光線條件影響較大,當拱形骨架位于陰面且無人機距拱面較遠時,出現逆光現象,極易造成影像眩光,如圖2所示,并且由于明亮光源直射的影響,次要拍攝部分較主體拍攝部分突出,在實景三維模型生產時易造成圖像特征點無法識別而建模失敗。

圖2 眩光影像Fig.2 Glare image

因此根據現場光線條件、拱橋外立面形狀以及凹凸狀況,每架拱設計三層弓形航線,每層航線俯仰角之間以30°左右的變化率定距近景拍攝,如圖3所示。拍攝對象主體需占據畫幅的80%～90%,像片之間需保持60%～80%的重疊度。

圖3 拱肋近景弓形航線示意圖及像片角度示意圖Fig.3 Schematic diagram of arched rib close-up archway route and photo angle diagram

1.2 拱橋橋體下部數據采集方法

拱橋橋體下部數據采集依靠三維激光掃描儀。三維激光掃描利用激光測距的原理,通過測量物體表面密集點的三維坐標、反射率及顏色信息,復建被測目標物體的高精度三維模型。采集流程為根據拱橋橋型、橋底環境,制定站點布設方案,站點之間保證足夠的重疊度,一般為30%～40%。根據三維激光掃描儀自身精度,以及數據采集密度要求,測站之間設置合適的距離,一般為20 m左右。拱橋數據采集現場布設5個測站,站點布設狀況如圖4所示。

圖4 掃描站點布設Fig.4 Scan site layout

2 數據融合基本原理

2.1 影像數據融合

影像匹配主要依靠特征描述子實現特征數據的對比,通過尺度不變特征變換(scale invariant feature transform,SIFT)算法[12]生成描述子向量計算參考特征點與所有待匹配特征點之間的歐式距離[式(3)],與設定距離閾值進行對比,若小于此閾值則將參考特征點與最鄰近特征點進行匹配以實現最終的影像匹配效果[13]。

(3)

式(3)中:(x,y)為圖像關鍵像素點坐標;A、B分別為n維空間中的特征點。

環繞航攝影像與拱橋細部近景影像因拍攝主體間的極大視角差造成影像特征描述子發生變化而無法進行影像匹配造成實景三維模型分層。因此提出通過增加公共區域連接影像來減小影像特征描述子變化以實現圖像成功匹配,后經密集匹配實現數據融合。環繞航攝與近景攝影因角度不同,為保證影像重疊率,在增加影像密度時以近景立面正射影像為基準,以影像重疊度p為約束,定點以角度Δφ逐漸變化將像片傾角轉變至環繞航攝的像片傾角θ,如圖5所示,保持像片傾角不變,改變航高拍攝直至到達區域環繞航高,漸變角度Δφ計算公式為

(4)

式(4)中:a為相機視野,m;b為改變角度后與初始影像的重疊視野,m;l為近景正射影像曝光點與目標物體的距離,m;Δφ為漸變角度,(°);FOV為相機視場角,(°);p為影像重疊率。

單張像片絕對航高Si計算需考慮航高逐漸抬升的過程中的影像重疊度,影像采集實際獲取的地物數據為梯形區域,如圖6所示。

實際地物影像重疊度為重疊區域面積與梯形面積的比值,為降低計算難度,將影像重疊度簡化為c1c2與c1c3的比值,則根據相似三角形原理,易知絕對航高Si計算如式(5)所示。

圖5 定點漸變角度示意圖Fig.5 Schematic diagram of fixed point gradient angle

G為近景攝影的視點;M為第一張連接影像視點;c1為相機聚焦點;c2、c3分別為相機G視點與M視點的相機視野邊界點圖6 連接影像計算示意圖Fig.6 Schematic diagram of connection image calculation

(5)

式(5)中:Si為第i張連接影像絕對航高,m;Hi-1為第i-1張連接影像相對基準面航高,m;p為影像重疊率;h為補償高度,m。

2.2 無人機影像與點云數據融合

無人機影像與點云數據融合采取點云+點云的融合模式,其整體點云生成三角網平面部分規則光滑[14],節點處棱角分明,對于拱橋此種建筑結構尤其受用;并且后期生產實景三維模型無需人工再次干預,減少人工作業流程,在高性能圖形工作處理器加持下有效提高數據處理效率。

點云數據處理分為兩個方面:一是不同站點間的點云拼接,二是影像密集匹配點云與多站點拼接后的點云配準。因三維激光掃描各站點坐標系、無人機航攝影像地理坐標系均非同一坐標系,均需通過坐標平移和旋轉變換[15]將點云坐標統一實現粗配準,坐標轉換如式(6)所示。坐標統一后據ICP算法[16]對點云進行最小二乘迭代優化,通過最優剛性變換完成兩組點云的精準匹配以實現無人機影像與點云數據融合。將精準配準后的點云導入Context Capture中生產實景三維模型以得到最終的高精度成果。

(6)

F(β,γ,ψ)=

(7)

式中:(Xi,Yi,Zi)為統一坐標系下的點云坐標;(xi,yi,zi)為各站點點云坐標;(β,γ,ψ)為坐標旋轉參數;(u,v,w)為坐標平移參數。

3 實驗驗證及質量評估

3.1 實驗概況

試驗選擇光線條件良好的日期進行數據采集,試驗目標選擇桂林某段高鐵復雜拱橋,為雙軌單跨下承式混凝土拱橋,橋梁跨徑約74 m,整體高度約30 m,拱矢凈高約14 m,橋面寬約15 m,橋墩高約為10 m,兩側連接隧道口,隧道口上方為山體邊坡,與相關部門溝通后獲得飛行特權。無人機影像采集設備選擇DJI Phantom 4 Pro 1.0,相關技術指標如表1所示,掃描儀選擇FARO 3DX130,主要技術指標如表2所示。

表1 無人機主要技術指標Table 1 Main technical indicators of UAV

表2 FARO 3DX130主要技術指標Table 2 FARO 3DX130 main technical indicators

3.2 實驗數據采集

首先通過實地勘察在橋梁兩側布設3個控制點,5個檢查點,由RTK測得其絕對坐標;使用全站儀測得拱橋立面22個檢測點的站心坐標以評估拱橋的相對精度。

依1.1.1節所述區域環繞理論,以拱橋為主體目標,設置單圓交叉的環繞航線一列,考慮隧道上方山體高度及無人機飛行安全性,航高設定120 m,補償航高為10 m,環繞半徑以橋面中心線外擴60 m為宜,由此據式(2)計算航攝像片傾角為28°。公共區域選擇兩拱肋頂部側面位置,影像重疊度以60%為作業要求,據式(4)和式(5),計算所得各連接影像絕對航高Si與像片傾角θi參數如表3所示,共獲得連接影像12張。

環繞重疊率設置60%,環繞間重疊率為50%,在某航線規劃軟件中進行參數設定后開始自動化影像采集,共采集影像156張。近景細節紋理采集依據1.1.2節所述理論進行,距拱肋1 m分三層進行采集,獲得高質量近景影像3 512張。三維激光掃描儀依序在5個站點上進行橋下數據采集。

表3 連接影像參數表Table 3 Connection image parameter table

3.3 數據處理

無人機航攝影像經影像預處理、圖像特征點匹配、基于運動恢復結構的稀疏點云重建、基于CMVS-PMVS方法的密集點云重建后生成拱橋上部數據,如圖7(a)所示;將三維激光掃描儀多站點云數據導入SCENE軟件中進行拼接、賦色,如圖7(b)所示;將拼接后的橋體下部點云與無人機航攝影像生成的點云進行精準配準形成完整的拱橋點云數據,如圖7(c)所示;最后將點云數據導入Context Capture,通過控制點與檢查點的添加,不規則三角網的構建、紋理自動映射生成最終的高精度實景三維模型,如圖7(d)所示。

圖7 無人機影像及三維激光數據處理結果圖Fig.7 UAV image and 3D laser data processing results

3.4 質量評估

為驗證無人機影像與三維激光掃描融合方法構建實景三維模型的有效性,將其與單一利用無人機影像建模結果進行對比分析。評估指標分為精度與紋理完整性兩方面。

3.4.1 精度評價

目標拱橋棱角分明,此種單體結構建模和研究工作更注重本身的尺寸、結構與紋理信息,因此精度評價選擇從絕對精度與相對精度兩方面評估以體現成果的價值。

(1) 絕對精度評價。實景三維模型絕對精度評價包括平面精度及高程精度兩方面。由5個檢查點的RTK實測絕對坐標與模型量測坐標差值據式(8)計算所得,精度計算結果如表4所示。

(8)

式(8)中:εs、εh分別為平面精度及高程精度,m;n為檢查點個數;(Xi,Yi,Zi)與(Xj,Yj,Zj)分別為實測值與量測值經緯度坐標。

由單一無人機影像建模與融合建模方法相比,模型平面絕對精度提高約29.6%,高程絕對精度提高約38.8%,有效建立了絕對精度較高的實景三維模型。

(2)相對精度評價。拱橋相對精度依據22個檢測點計算了9個兩點距離值與12個高差值,同時量測單無人機影像建模與融合建模兩種建模方法所得實景三維模型對應檢測點的距離值與高差值,相對精度計算結果如圖8所示,數據分析如表5所示。

由相對精度分析結果可知,在檢測點數據離散程度極為接近的情況下,融合建模的相對距離精度在(-0.02±0.03) m,高度差值在(0.03±0.02) m;單一利用無人機影像建模精度在(-0.03±0.03) m,高度差值在(0.04±0.02) m,表明融合三維激光掃描的建模方法相對精度表現較優;從兩種建模方法距離及高差數據橫向對比來看,兩種建模方法所得實景三維模型對距離的描述性較好,水平精度較高。

表4 絕對精度統計表Table 4 Absolute precision statistics table

圖8 檢查點相對精度Fig.8 Checkpoint relative accuracy

表5 拱橋建模方法數據對比分析Table 5 Comparison and analysis of arch bridge modeling method data

參考《城市三維建模技術規范》中對建筑細節層次(LOD標準)的規定,平面尺寸及高程精度高于0.2 m即可判定為LOD4精細模型。融合建模精度遠超0.2 m,鑒定拱橋精度等級為LOD4級別,滿足精細化建模指標。

3.4.2 紋理完整性評價

圖9 融合建模與單一無人機影像建模方法對比Fig.9 Comparison of fusion modeling and single UAV image modeling methods

紋理完整性以拱橋錨頭、表面病害、橋底面等代表性節點位置進行查看,如圖9所示。融合三維激光掃描點云的建模方法與單一利用無人機影像建模方法相比,結構完整,消除了拱橋底部的大面積紋理缺失情況,如圖9(a)和圖9(b)所示;沒有出現橋墩與橋梁交叉節點粘連情況,如圖9(c)和圖9(d);結構清晰真實,表觀病害清晰識別、錨頭細節紋理完整,如圖9(e)和圖9(f)區域①、②、③所示;并由于設備協同作業,沒有因作業時間過長而造成光線條件變化過大使得實景三維模型色調差異明顯。

為量化分析紋理完整性,將“完整”定義為實景三維模型不存在紋理缺失及與實體結構不符的情況,以“完好率”指標進行表達[17],即不存在紋理缺失區域的面積單元占比率。將拱橋兩個立面,一個頂面,一個橋梁底面分別用均勻的平面網格劃分,如圖10所示,將每一個網格單元作為面積單元,估算各個單位面的完好率,取4個單位面的平均值作為整個拱橋實景三維模型的完整度。經計算,單一利用無人機影像建模結果完好率為0.72,融合三維激光掃描建模結果完好率為0.95,后者極大提升了拱橋實景三維模型的完整性。

圖10 頂面均勻平面網格劃分示意圖Fig.10 Schematic diagram of uniform plane meshing on the top surface

4 結論

針對復雜高鐵拱橋精細化建模提出三維激光數據與無人機影像融合的三維重建方法,由實驗分析得出以下結論。

(1)無人機結合三維激光掃描儀的數據采集方式,解決了單一數據采集方式造成的地面近景數據采集效率低下以及密度不足或者目標頂面紋理缺失的問題,數據獲取更為全面。

(2)從精度對比來看,融合三維激光掃描儀的建模方法相較于單一無人機建模方法生成的實景三維模型平面絕對精度提高約29.6%,高程絕對精度提高約38.8%,相對精度表現也略優。

(3)從建模完整度來講,單一利用無人機影像建模結果完好率為0.72,融合三維激光掃描建模結果完好率為0.95,完整度提高約31.9%;融合三維激光掃描建模方法細節描述也更好。

(4)無人機與三維激光掃描數據融合的三維建模方法完成了對拱橋數據的完整精細化表達,建立了幾何精度高、完整性好、紋理真實的拱橋實景三維模型,此種融合建模方法為類似底部脫空建筑精細化建模提供參考,具有較好的工程應用價值。