傾斜影像與LiDAR點云數據融合關鍵技術應用探討

齊磊剛

〔摘 要〕通過基于傾斜攝影測量與機載LiDAR點云數據的融合關鍵技術探討，詳細分析并給出了“絕對坐標法”與“手動控制點法”的具體應用要求與場景，并借助某個具有異形結構的建筑物作為測試案例，進行了傾斜攝影、機載LiDAR掃描與融合處理，結果表明：融合后的實景模型在分辨率、精細化程度、結構完整性等方面均優于融合前；精度上，融合后的模型在平面點位中誤差與高程中誤差上均得到了大幅提高，且高程精度較平面精度提升更為顯著，獲得了較好的測試效果。該融合方案也可為同類建模工作提供參考。

〔關鍵詞〕傾斜攝影；機載LiDAR；點云；融合；精細化

中圖分類號：P237 ? ? ? ?文獻標志碼：Ｂ 文章編號：1004-4345（2023）01-00４４-0５

Discussion on the Application of Key Technologies of Oblique Image

and LiDAR Point Cloud Data Fusion

QI Leigang

（China Chemical Geology （Henan） Survey Planning and Design Institute Co.， Ltd.， Zhengzhou， Henan 450011， China）

Abstract ?According to the discussion on the key integration technology based on ?oblique photography measuring and airborne LiDAR point cloud data， the paper makes a detailed analysis and provides the specific application requirements and scenarios of “absolute coordinate method” and “manual control point method” in detail. The oblique photography and airborne LiDAR scanning and integration processing are carried out with the help of a building with special-shaped structure as a test case. The results show that the real-scene model after integration is superior to the model before integration in terms of resolution， refinement and structural integrity. ?In terms of accuracy， the model after integration has been greatly improved in terms of error of plane point location and elevation， and the elevation accuracy has been significantly improved compared with the plane accuracy， which has achieved good test results. The integration scheme can also be a reference for similar modeling operation.

Keywords ?oblique photography; airborne LiDAR; point cloud; integration; refinement

1 ? 傾斜攝影與機載LiDAR技術原理

隨著我國計算機、芯片、5G、無人機等高新科技的迅猛發展，測繪及其相關學科、領域也發生了多次技術革新。其中，傾斜攝影測量技術與機載激光雷達（LiDAR）技術，已成為近年來測繪領域的重要突破。

基于多鏡頭傾斜攝影測量理論、無人機技術的跳躍式發展形成的傾斜攝影測量技術使測繪人員從根本上擺脫了傳統純野外GPS-RTK、全站儀等繁重的測量模式，大大提高了測繪項目的工作效率。借助多視角航拍與同名特征點匹配技術，傾斜攝影測量可實現三維實景模型的構建，在測繪線劃圖的立體采集、工程設計、應急處理等領域大有可為。測繪工作的重心已從人力密集型、高成本、周期長的野外工作，轉移到了人員少、高效率、周期短的自動化內業數據處理上來。傾斜攝影多鏡頭測量原理見圖1。

與此同時，將無人機飛行器作為航飛平臺，搭載激光雷達掃描設備的機載激光雷達（LiDAR）技術也得到了快速地發展與普及。機載LiDAR掃描系統是一種集全球定位系統、紅外激光測距模塊及慣性導航系統等技術于一身的激光點云測量系統。該系統屬于一種主動式觀測系統，其紅外激光測距模塊通過多次發出紅外脈沖信號與光信號的接收，對目標進行距離測量，從而實現對現實世界絕大多數目標物（水域除外）的掃描與測量。機載LiDAR技術在地形測繪、高精度DEM數據的采集與制作、地質構造的結構識別與勘察、地質災害形變監測等相關工作中有可觀的發展前景。許多學者亦給出了較為豐碩的相關測試、應用等研究成果。DV-LiDAR40激光雷達模塊見圖2。

傾斜攝影與機載LiDAR各具優勢，又各有缺點。如，傾斜攝影的實景三維模型雖是多鏡頭采集地物影像，但在采集異形建、構筑物或房檐下等隱蔽位置影像時，容易出現結構變形、表面拉花等現象，在模型的精細度上尚存不足，且高程精度較差；而機載LiDAR的多回波脈沖技術具有超強的穿透能力，測量點云點位精度高，但所獲取的點云數據不具備光譜屬性，尤其缺乏側面紋理信息。因此，將傾斜攝影數據與機載LiDAR點云數據或地面三維激光掃描數據進行融合處理，是當前構建高精度三維模型的重要途徑。本文擬利用傾斜攝影測量、機載LiDAR及其自帶正攝影像進行實地測試與精度評定，探討傾斜攝影測量與機載LiDAR點云數據之間融合處理的關鍵技術。

2 ? 數據準備與融合流程

測繪多源數據的融合已成為現代精細化建模的主要解決方案，許多學者已探討過并給出了不同的使用經驗與方法。如，李曉斌等[6]基于傾斜攝影與地面三維激光掃描數據，探討了兩種數據相似特征點匹配、點云粗配準與精配準等關鍵融合技術；陳立波等[7]提出一種基于機載LiDAR點云與傾斜影像的高精度幾何定向技術，提高了傾斜影像的空三精度；雷志秋等[8]借助ICP算法提高了固定翼載LiDAR數據與傾斜影像之間的融合精度，實現了實景三維的重現。而本研究則側重于談論控制點的融合處理方法，該方法更為實用、便捷與高效。

2.1 ?點云數據的準備

數據的準備包括了傾斜攝影測量空三解算與機載LiDAR點云數據的預處理。

傾斜攝影空三解算中，原始影像數據與POS數據文件的密集匹配解算后，剔除與主作業采集數據焦距差異較大的影像，如地面起飛點試拍數據、空中非規劃航跡拍攝等，再提交第一次空三計算，從而降低采樣率，快速完成概略空三運算。該步完成后即可進行地面控制點刺點，提交二次空三解算。此時恢復初始采樣率，待空三完成后檢查時，再剔除個別未能參與空三解算以及小范圍的分層數據。至此，傾斜攝影的空三解算環節完成。

而機載LiDAR在空三解算時不同于傾斜攝影測量，無需像控點，它利用POS文件直接解算空中三角測量，對基本定向點的指標進行系統評價與分析，所以機載LiDAR在經過慣導數據、流動數據、原始采集數據的點云軌跡、數據差分以及點云解算后，即可獲取用于后期融合處理的LAS數據。

2.2 ?點云融合技術流程

點云融合技術流程如圖3所示，整個融合過程涉及3種數據、2個步驟。

具體步驟如下：首先，將機載LiDAR點云數據與其自身攜帶相機拍攝的正攝點云進行融合，形成LiDAR正攝點云數據，將正攝紋理信息賦予機載LiDAR點云；其次，將LiDAR正攝點云數據與傾斜攝影空三數據進行融合，形成融合點云數據，使傾斜紋理信息賦予LiDAR正攝點云數據。

3 ? 數據融合技術

數據融合建模能夠改善三維模型地物扭曲的問題，修補缺失的影像點云，提高三維模型的精細度。其主要包含3個技術環節：1）不同原始數據的配準與套合；2）正攝影像與機載LiDAR點云數據的融合；3）LiDAR正攝點云數據與傾斜攝影空三數據的融合。

3.1 ?多源數據的套合

多源數據之間的套合是指多種采集數據通過某種匹配方法，使之配準在一起。只有數據基準一致，才能實現不同數據間的融合。這里可通過兩種數據套合方案實現：1）不同數據使用同一絕對坐標系，即具有統一數據基準；2）不同數據間無統一絕對坐標系，以手動添加控制點的形式，固定其中一類點云數據空間坐標不變，使其它點云數據通過手動控制點向固定數據配準。兩種方法均可實現多種數據間的套合處理，使用哪一種應依據具體情況而定。若方便布設地面像控點，可使用方案一；若地形復雜，但地表特征明顯，亦可使用后者。

3.2 ?正攝影像與機載LiDAR點云數據的融合

機載LiDAR在航飛掃描的同時，正攝相機也參與了垂直角度的拍攝，形成正攝影像數據，此過程即將機載LiDAR點云與正攝影像之間的融合，賦予空間三維點云以光譜信息。攝影測量共線方程[9]見公式（1）、公式（2）。

從兩個公式中可以看出，由空間坐標（X，Y，Z）向平面坐標（x，y）轉換相對容易解算。由于正攝影像與LiDAR點云數據共有統一坐標系，利用公式（1）、公式（2），以及相機參數與POS數據，可以解算出點云數據在像素平面下的平面坐標（x，y），繼而賦予該坐標下的像素（RGB）值，完成正攝影像與機載LiDAR點云數據的融合，形成LiDAR點云影像數據。該數據有助于實現高精度、真正射影像圖。在該環節的融合處理中，由于二者具有統一坐標系，所有融合處理時不涉及不同數據間的配置與套合問題。

3.3 ? LiDAR影像點云與傾斜影像點云的融合

LiDAR影像點云與傾斜影像點云的融合是在傾斜攝影做完空三解算后進行的。該過程是為了賦予LiDAR空間三維點云側面紋理信息，從而實現在精準的三維結構上進行紋理映射，形成精細化三維實景模型。其思路是將上述兩種數據納入同一套絕對坐標系中，完成點云融合。但這樣仍然可能會出現兩種數據分層的現象，這也是多源數據融合需要解決的關鍵問題。

導致數據分層的原因，一是任何點云數據均含有觀測噪點，在數據采集過程中均會受到外界干擾；二是多源數據采集系統的精度不一致，差異較大，從而形成了不可避免的系統誤差。為了避免點云融合數據分層的情況出現，可以通過使用相同絕對坐標或手動添加控制點這兩種具體方案[10-11]進行解決。

１）使用相同坐標系，地面統一布設像控點，或分開單獨布設均可，只要兩者具有相同的平面坐標系與高程基準，其點云融合精確度較高，能夠有效避免融合后點云分層。2）若采用方案二手動添加控制點，一般是由于前期沒有布設地面控制點，而是通過后期室內手動添加。這樣則需要在手動添加控制點后進行概略解算，然后經多次空三解算以精確融合。需要說明的是，手動控制點應選擇較為平坦的特征點，而具有一定高度或特征不明顯的點位不宜作控制點使用。當然，無論使用哪種方案，在數據融合前均需要對自身數據進行去噪處理，以精化有效數據，避免分層，到達更好的融合效果。

本研究主要側重探討空中機載LiDAR與傾斜攝影數據間的融合，未討論空地間的融合。在某些特殊情況下，由于地面植被、屋檐等遮擋嚴重，需要地面補拍，或使用地面三維激光掃描，此時除了會出現地面LiDAR點云與傾斜融合分層的情況（該情況與機載LiDAR融合情況類似，不在贅述），還會出現近景補拍影像不能參與到傾斜空三解算中去的情形，這是由于兩者影像分辨率差異過大，不能完成特征點匹配所致，因此在融合過程中，近景影像與傾斜影像的分辨率控制在2至3倍關系為宜。

3 ?案例分析

3.1 ?多源數據的融合

為了更好地驗證上述多源數據融合方案的可靠性，借助實例進行了測試。測試場景特意選擇了具有一定異形構造的建筑物——某GPS接收機檢校場。該場地由9個圓形柱體觀測墩呈矩陣式排列。在LiDAR影像點云與傾斜影像點云的融合方案選擇上，選擇了由統一絕對坐標系與手動添加控制點結合的綜合融合方式。此次飛行航高均為80 m，機載雷達掃描設備采用了DV-LiDAR40，正攝相機檢校見圖4，具體性能參數見表1。

傾斜攝影影像分辨率設為1.5 cm，旁向與航向重疊度分別為80%、70%，垂直鏡頭焦距28 mm，傾斜鏡頭焦距40 mm，傳感器尺寸為23.5 mm×15.6 mm，五鏡頭總有效像素為1.2億。數據處理與建模，采用了20臺GPU高性能集群服務器，單臺顯存11 GB，內存128 GB。此外，布設6個地面控制點，18個地物檢查點。機載LiDAR點云原始數據見圖5，正攝影像點云數據與機載LiDAR點云數據的融合效果見圖6。圖7表現了LiDAR影像點云與傾斜影像點云的融合過程。圖8為測區異形結構融合前后的實景模型。

由圖8可以明顯看到，融合后的模型從分辨率與精細度上，均優于融合前的模型。

3.2 ?精度分析

為了對比傾斜攝影點云與LiDAR影像點云數據融合前后的量化精度，在外場布設了18個地物檢查點，計算、分析了點云融合前與融合后的模型精度。具體統計結果見表2。計算結果見式（3）～式（6）。

由式（3）～式（6）的計算結果可以看出：融合前平面點位中誤差為±8.2 cm、融合后平面點位中誤差為±4.6 cm、融合前高程中誤差為±11.4 cm、融合后高程中誤差為±6.5 cm。從結果上看，融合后的平面與高程中的誤差，均小于融合前的；從精度的提高幅度上看，高程精度相對于平面精度，得到了更大的提升。

4 ? 結語

多源數據的融合處理方案，是目前應對有高精度三維實景建模要求的較好的解決方案。本研究鑒于當代愈來愈多建筑風格的多樣性與異形結構的抽象化等發展趨勢，針對具有特殊頂部構造的建筑，探討了傾斜攝影、正攝影像及機載LiDAR點云數據間的融合處理方案；同時通過測試案例，給出了機載LiDAR影像點云與傾斜影像點云的融合結果，并進行了精度對比。融合后的實景模型在構造的完整性與模型的分辨率上，均好于融合前；精度上亦是如此，融合后的模型平面點位中誤差與高程中誤差均優于融合前，且高程精度提升更為顯著。

在建筑風格多元化的今天，測繪數據融合處理方案在一定程度上確實解決了精細化實景建模的技術瓶頸，而從融合類別上看，本研究尚未探討空地融合，空三分層與融合穩定性仍是目前多源數據融合技術所面臨的重要問題，這也是后續有待重點開展相關測試、研究、總結的方向。

參考文獻

[1] 任小強，溫俊麗，孟勇飛，等. 山區無人機傾斜攝影實景三維建模質量控制[J]. 工程勘察，2021（3）：68-72.

[2] 丁偉. 傾斜攝影測量技術應用于農村不動產權籍調查[J].工程勘察，2020（12）：58-62.

[3] 魯麗.傾斜攝影在旅游風景區三維建模的應用探討[J].江西測繪，2020（2）：19-21.

[4] 李通. 基于機載LiDAR技術的DEM快速更新關鍵技術研究[J]. 江西測繪，2019（4）：20-22.

[5] 廉福綿. LiDAR技術在高速公路改擴建中的應用及精度分析[J]. 江西測繪，2020（1）：23-26.

[6] 李曉斌，林志軍，楊璽，等. 基于激光掃描和傾斜攝影技術的三維實景融合建模研究[J]. 激光雜志，2021，42（8）：167-170.

[7] 陳立波，聶倩，陶鵬杰. 基于LiDAR點云控制的傾斜攝影高精度幾何定向技術研究[J]. 測繪地理信息，2021，46（1）：49-52.

[8] 雷志秋，馬強，李杉格，等. 基于固定翼載小型LiDAR與傾斜攝影數據融合的三維測圖[J].測繪地理信息，2022，47（2）：101-104.

[9] 張劍清，潘勵，王樹根. 攝影測量學[M]. 武漢：武漢大學出版社，2002.

[10] 鄧非，楊海關，李麗英. 基于互信息的LIDAR與光學影像配準方法[J]. 測繪科學，2009（6）：51-52.

[11] 譚仁春，李鵬鵬，文琳，等. 無人機傾斜攝影的城市三維建模方法優化[J]. 測繪通報，2016（11）：39-42.