多源數據融合的三維建模技術研究

杜世立，付 貴，陶 嘉，樊 亞，鄭遠楊

（1.貴陽市城市管理信息中心，貴陽 551400；2.貴州建設職業技術學院，貴陽 551400；3.中國建筑材料工業地質勘查中心貴州總隊，貴陽 551400；4.安徽理工大學 空間信息與測繪工程學院，安徽 淮南 232001）

“數字城市”與“智慧城市”的建設，增加了社 會對三維空間信息的需求，三維模型構建越來越受到人們的關注。一般三維重建技術包括二維圖像結合幾何造型技術、激光雷達技術、近景攝影測量技術和無人機傾斜攝影測量技術［1-4］。

基于單一數據源的三維模型構建存在一定的局限性，采用地面三維激光掃描技術對建筑物進行三維重建，由于掃描儀自身掃描角度問題，導致建筑物頂部點云數據無法獲得，產生數據空洞，使得后期進行模型重建時，整體模型頂部空缺，建模效果欠佳［5］；采用無人機傾斜攝影測量技術對建筑物三維重建時，由于無人機鏡頭無法獲取建筑物房檐底部數據，導致數據缺失，建出的模型效果失真［6］。而采用地面掃描儀和無人機傾斜攝影測量技術可以解決此類問題。在多數大型三維重建工作中采用空地結合技術進行建模，可以解決許多因遮擋導致數據缺失問題。顧斌［7］將影像數據與激光點云進行融合，通過查找影像一定數量的同名點，并將查找的影像對應點與激光掃描對應點進行配準，從而找到兩種異源數據的連接關系，但對于同名特征點匹配需進行人工目視選擇，存在一定的選點誤差。崔水軍［8］提出一種基于法向量特征匹配的方法進行點云配準，實現點云之間的自動配準，獲取的激光點云存在漏洞，而影像數據可以彌補缺失的部分，以點云模型為基礎，利用不同尺度間的點集數據配準辦法，將二者完美融合，最后經軟件構建出三維模型。文獻［9-11］也是以激光掃描數據和無人機測量數據構建三維模型。

綜上所述，利用多源數據進行模型構建比單一方法較好，可解決單體化建模的弊端，但在多數據源配準融合研究中還有許多待改進的地方，對于融合效率以及模型精度方面有所欠缺，配準融合耗時較長，模型精度未進行檢核等。因此，本文采用三維重建技術建模，通過地面三維激光掃描儀獲取建筑物立面點云數據，通過無人機傾斜攝影測量技術獲取頂部影像數據，將二者數據進行融合處理，獲取建筑物的三維模型。

1 技術路線

利用激光點云和無人機影像數據融合構建三維模型，將目標物用站地式掃描儀進行多站掃描，利用多站點云拼接建筑物的整體輪廓；無人機影像數據獲取可通過設定航線或手動環繞式飛行，獲取的影像數據利用Context Capture 軟件生成點云數據。兩種不同的點云數據進行融合，首先將點云數據過濾噪聲，采用統計濾波（Statistical Out?lier Removal，SOR）方法；接著進行點云數據融合，即點云數據的初配準和精配準，分別采用改進SAC-IA 粗配準算法和改進ICP 算法的精配準；融合點云導入Geomagic studio軟件進行建模并進行此方法的可行性分析。其技術路線如圖1所示。

圖1 點云融合三維模型構建技術路線

2 多源數據融合技術

數據融合一般包括原始數據的預處理、預處理數據后的坐標系統的統一以及數據源的整體融合。多源數據融合一般通過算法進行，即數據的粗配準和數據的精配準［12］。

2.1 點云數據粗配準

多源數據進行精配準前，首先對數據進行粗配準。掃描儀數據和無人機數據是以各自站點為原點進行觀測的，因此在二者數據生成點云數據后，利用采樣一致性算法進行二者點云數據的初始配準。

2.1.1 ISS關鍵點提取

關鍵點提取方法包括ISS、SIFT以及Harris，本文采用ISS算法進行關鍵點提取，其算法原理可參見文獻［13］，設下采樣后的點云為P1 和Q1，其具體流程如下:

1）對任一點云中的每個點pi設定一個搜索半徑r。

2）計算點云中每個點pi在設定的半徑r內所有點的歐氏距離，并解算出權值ωij。

3）計算每個點pi與半徑內臨近點的協方差矩陣cov（pi）。

4）計算協方差矩陣cov（pi）的特征值，并按照大小順序排列。

5）設定閾值η1和η2，若結果符合下列公式則視為ISS特征點。

2.1.2 關鍵點的FPFH特征描述

快速點特征直方圖（Fast Point Feature Histo?grams，FPFH）是點特征直方圖（Point Feature His?togram，PFH）的改進算法，其改進的主要部分在于PFH是計算查詢點pq在搜索半徑r內所有點兩兩連線之間的計算，其復雜度為O（nk2），而FPFH 則進行查詢點pq在搜索半徑k 內pq與pk之間的連線計算，其復雜度為O（nk），其具體算法流程如下:

1）設定查詢點為pq，在以查詢點為球心，半徑為r 的球內有k 個近鄰點，在該半徑內所有點兩兩連接，如圖2 所示。計算任意兩點ps和pt之間的法向量ns和nt，以兩點中的任一點構建一個局部坐標系uvw，如圖3所示。在該坐標系中，點ps和pt存在法線差異，以法線nt來表示如下:

圖2 PFH原理

圖3 局部坐標系

其中d為ps和pt兩點之間的歐氏距離，用公式（3）四組值來表示兩點之間的法線偏差。計算搜索半徑r內任意兩點之間的四組值，并將所有計算值通歸程直方圖，進而構成特征描述子。

2）在PFH 的基礎上進行改進的FPFH 特征描述子降低了計算量，使得更加便捷。根據查詢點pq構建的FPFH直方圖如圖4所示。

圖4 FPFH計算原理

該特征描述子的算法步驟如下:

1）以查詢點pq為球心，基于搜索半徑為k 的kd-tree 搜索算法，得到半徑為k 搜索范圍內pk個點，計算pq和pk兩點之間的（?,α,θ），即計算圖中紅色線連接點，忽略鄰域內pk點之間的角特征計算，稱為該點的SPFH。

2）重新確定Pk的k 領域及計算點的SPFH，利用計算結果得到最終的FPFH，公式如下:

式中，wk表示pq和pk之間距離的權重因子。

2.1.3 SAC-IA算法

采樣一致性初始配準算法（Sample Consen?sus Initial Aligment，SAC-IA）算法的基本流程如下:

2）利用kd-tree搜索算法在點云pt中尋找與采樣點具有相似特征的點云，并例舉出具有代表點的對應關系。

3）將上一步確定好的對應關系計算出剛體變換矩陣，并利用下列公式來衡量轉換矩陣的質量。

式中，D（ei）表示第i組對應的最小誤差，ei表示變換后第i 組對應點之間的誤差，te為設定的誤差閾值。

2.2 基于改進ICP算法的精配準

融合建模一般將多源點云數據利用配準算法匹配起來，并在點云編輯過程中將多源點云數據質量差的部分進行剔除。通過站地式掃描儀獲取的點云數據中含有空洞，在建模過程中，這部分空洞無法構建出建筑物的三維模型，因此融合無人機點云數據可以彌補這一問題，得到完整的模型。

經粗配準過后，為提高點云的配準精度，一般對其進行精配準。點云模型重建技術最重要的部分是點云數據精確配準，目前主流的點云數據融合配準是迭代最近點算法（Iterative Cloest Point，ICP）［14］。ICP算法的基本原理是:已知二個待配準點云P 和Q，按照歐氏距離的原則，從點云P 中一點pi到點云Q 中查找最臨近一點qi即找到最鄰近點（pi，qi），然后計算出最優匹配參數R和t，使得誤差函數最小。誤差函數為E（R，t）為:

式中，R 為旋轉變換矩陣，t 為平移變換矩陣。經過不斷迭代運算，將誤差不斷縮小，最終得到最優化解，使得多源數據完美重合。

本文采用改進ICP算法進行點云的精配準，其改進部分為利用雙向kd-tree 方法加速點云的配準，具體步驟為:

將高氨氮滲瀝液原水完全汽化后的冷凝液作為本實驗的原水，塔底燒瓶保留約1/3體積水樣，開始加熱后，塔頂冷凝器開啟全回流，待精餾過程穩定后開始緩慢進料，首次實驗控制回流比為4∶1，采出的氨水進行收集。記錄實驗過程中塔底燒瓶料液溫度和塔頂冷凝溫度，記錄各段運行狀況。實驗結束前需確保塔底殘液氨氮含量≤300 mg/L，塔頂液氨濃度≥10%。實驗結束后，分別對原水、塔底殘液、采出液氨和吸收液進行水質分析。以上述試驗為模板，考察不同回流比對精餾的影響。

1）根據點云P、Q構建其kd-tree；

2）在Q內搜索pi的最近點qi；

3）若在P內搜索qi的最近點為pi，則說明pi和qi為一對具有一一對應關系的最近點；

4）若步驟3）沒有搜索成功，則繼續搜尋下一點qi+1在Q內的最近點；

5）重復3）、4）步驟，直到搜索完P 中所有點云。

2.3 算法實驗分析

2.3.1 關鍵點提取

為驗證本文關鍵點算法的有效性，采用PCL庫開放數據集進行實驗對比，同時利用實測數據進行分析。實驗所用數據集為bunny、dragon 和nan，其中數據nan為實測數據，結合本文算法以及SIFT 和Harris 算法進行特征點提取比較，如圖5所示。

圖5 不同算法提取的點云特征點

由圖5特征點提取可知，基于本文算法提取的特征點輪廓較為清楚，而采用SIFT 算法和Harris算法提取的特征點輪廓模糊，存在多個混亂特征點云。SIFT算法提取的特征點誤將平面點當做特征點，Harris 算法提取的特征點缺失，無法完整提取特征點輪廓線，這會導致后期點云的匹配效率。

2.3.2 基于點云數據的配準分析

為了驗證本文算法的有效性，利用斯坦福大學的公開數據集進行仿真實驗，并結合文獻［15］進行對比，來驗證本文算法。依據算法計算的結果如圖6所示，其精度分析見表1和表2。

表1 初始算法精度分析

表2 精配準算法精度分析

圖6 實驗數據算法結果

從圖6可知，本文算法和文獻［15］的算法在仿真實驗數據差異較小，但在實測數據上差異明顯。實測數據nan 上可以明顯觀察出文獻［15］算法出現較大誤差，而本文算法在最終配準結果上點云分布均勻，整體性能上看，本文點云配準算法優于文獻［15］的算法。

從精度上看，本文算法在精度上未有較大提高，實測數據在精配準誤差上與文獻［13］相比提高了56%；從配準耗時上觀察，仿真數據與實測數據在耗時上遠遠短于文獻［13］算法，點云集bun 和dragon 配準總耗時分別提高82.0%和86.1%，實測數據則相對提高97.0%。對于數據量龐大的目標物來說，采用本文算法可以有效縮短時間。

3 試驗區概括及數據獲取

3.1 測區概況

安徽理工大學南門位于淮南市泰豐大街上，校門始建于2010年，坐落在校區南北軸線上，具有一定的代表意義，校門東西長28 m，高10 m，建筑面積為140 m2，周圍地勢開闊，整體建筑呈方形，線條比較清晰，且沒有曲線。

3.2 地面三維激光掃描儀測量

根據本次實驗的精度要求，結合南門的地理環境，考慮到中海達HS650掃描儀的硬件功能，擬采用公共點（標靶紙）數據拼接方式對南門進行多站掃描。按照掃描儀的最大掃描射程及后期拼接要求，標靶紙和掃描儀之間的距離控制在10 m 之內，共設置8 測站，且相鄰測站之間的掃描重疊區至少有30%，測站之間的公共標靶不少于3個。

點云數據拼接工程采用中海達的HD_3LS_SCENE 軟件，采用同名點（人機交互式）進行測站之間的拼接，每站拼接精度控制在0.05m之內來確保整體拼接精度，由于本次實驗所用掃描儀無紋理信息，拼接后的點云數據按照Z 值顯示，實驗場地及拼接效果如圖7所示。

圖7 南門試驗地及點云拼接圖

點云數據拼接結束后，因測量過程中會產生某些噪聲，因此將噪聲點云進行過濾。本文采用SOR 濾波器移除離群點，該濾波方法基于在輸入點云數據時，對點到臨近點的距離分布的計算，該計算的距離為點到臨近點的平均距離。由高斯分布的特性可知，一般由均值和標準差決定其形狀，平均距離在標準范圍之外的點，可被定義為離群點，并在數據集中刪除這部分數據。

3.3 無人機傾斜攝影測量

無人機傾斜攝影測量技術是三維建模的關鍵一步，數據分辨率的高低取決于無人機飛行的高度，航測越高，影像數據越差，航測越低，獲取的影像數據分辨率越高。無人機航測的一般步驟包括:航線設計、航攝準備、航空影像數據采集、多視影像密集匹配、點云構建TIN、構建白體三維模型、自動紋理貼片映射和生成實景三維模型。

本次實驗利用大疆精靈4RTK進行航攝，采用環繞式飛行方法進行照片采集。空中三角測量的主要目的是將測區航攝的影像歸一到同一坐標系，該原理為提取影像特征點和匹配特征點，隨后將特征點進行連接，從而計算出外方位元素，圖8（a）為本次實驗采集的影像照片，圖8（b）為生成的空中三角測量結果。

圖8 航攝照片及無人機點云數據

本次實驗對象在校區，無人機航測時無需進行相關部門報備。本測區為一單獨建筑物，導入影像為177張，產生37297個連接點可全部用于重建，從質量報告中得出平均每張影像提取出15938個關鍵點，重投影誤差為0.6個像素。空三解算完成后，可將空三結果生成三維模型和點云數據，利用Context Capture 生成的南門TIN 及白模模型如圖9所示。

圖9 南門TIN+白模模型

4 實驗結果與分析

本次實驗對地面掃描儀點云數據和無人機影像處理的點云數據進行配準融合。經點云數據的粗配準RMS 為0.344m，在粗配準的基礎上進行精配準RMS為0.0022m。異源點云數據融合后，將點云數據導入Geomagic 中進行建模，由于本次實驗采用的地面掃描儀無相機，無法獲取觀測物的紋理信息，因此采用Geomagic軟件進行建模，本次融合效果如圖10所示。

圖10 點云頂部數據融合效果圖

4.1 南門實景三維建模

基于Geomagic 軟件三維建模，該軟件自動化建模效果穩定，輸出的效果圖貼近于實體。Geo?magic 軟件進行建模前，將融合點云.las 格式數據轉換成.pts格式數據。數據導入該軟件后，首先進行點云數據采樣，一般采用“曲率”方式進行采樣，采樣結束后可進行點云數據的“封裝”，形成多個三角形；對封裝后的數據進行“修補”，即采用“網格醫生”對三角形進行自動修復、刪除釘狀物和去除特征等，最后對模型進行“松弛”，使得獲取的三維模型更加美觀。

4.2 建模效果對比

為了驗證本次實驗建模的優勢，本文通過兩種方式進行建模，即地面三維激光掃描儀點云數據和掃描儀數據+無人機數據融合兩種模式，建模效果如圖11所示。

圖11 實驗對比結果

由圖11（a）可知，基于單一的地面點云數據建模，可獲取高精度的立面模型，但整體模型會因外界條件和掃描儀自身原因導致部分缺失；從圖11（b）可知，利用無人機點云數據可彌補單一掃描儀建模帶來的問題，即將模型中缺失的空洞修補，建模精度更高，模型更加美觀。圖12（a）建模效果可知，激光點云建模時，存在拐角處無法建成完整模型，產生建模空洞；圖12（b）結合無人機影像點云建模，將掃描儀建模空洞填充，建模效果良好。經軟件建模結束后，進行紋理信息的貼圖，經紋理貼圖后的效果如圖13所示。

圖12 點云建模細部展示

圖13 三維模型實景圖

4.3 模型精度分析

1）基于點之間的對比。本次實驗模型采用計算中誤差的方式來檢核精度，以全站儀數據為真值，量測出模型點數據，從而計算出其中誤差。模型平面中誤差計算公式為:

其中，mx和my計算公式分別為:

模型高程中誤差計算公式:

式中，（Δx，Δy，Δz）為三維坐標X、Y、Z 之間的差值，n為檢查點總數。

通過對空地數據結合進行處理，得到真實三維模型。以全站儀采集的數據為真實三維坐標，通過南門三維模型上對點集的采集，比較二者之間的差值，計算出平面和高程的中誤差，作為衡量本次建模精度的指標，其計算結果如表3 和圖14所示。

表3 實測點與模型點及二者差值

圖14 實測點與模型點坐標差值分布

從圖14 中可以看到，X 方向上的中誤差為±2.130 cm，Y 方向上的中誤差為±2.228 cm，平面中誤差為±3.082 cm，X和Y方向上的誤差絕對值大部分在0～3 cm 之間；高程中誤差為±3.050 cm，高程誤差絕對值大多數在0～3 cm 之間，只有3 個點在3～5 cm之間。整體建模精度達到實驗要求。

2）基于線長之間的對比。將建立的南門三維模型導入Geomagic 中，通過該軟件可測量出模型的邊長，利用全站儀測量的真實三維坐標計算出點之間的線長。將模型的線長與真實測量的線長進行對比，最大邊長誤差為3.7 cm，最小邊長誤差為3.4 cm。實測邊與模型邊及邊長誤差ΔL 如表4所示，繪制柱狀圖如圖15所示。

表4 實測邊長與模型邊長及二者誤差

圖15 實測邊與模型邊誤差值分布

5 結論

本文對基于南門多源數據融合建模進行探討。實驗結果表明，與單一建模相比，多源數據融合技術使得模型更加美觀，解決掃描儀建模導致的空洞問題。與傳統融合算法相比，利用改進的SAC-IA 和ICP 算法在精度上提高了56.0%，在融合耗時上提高了97.0%，有利于在工程實際案例中縮短時間，提高效率。三維模型精度檢核方面，從多角度出發，利用點的中誤差和邊長誤差進行檢核，點的中誤差基本在±2 cm～±3 cm 之間，邊長誤差最大為3.7 cm，有力證明本次模型的精度較高。在整個實驗過程中，總結出一套從數據獲取到處理的流程，同時利用多個軟件處理數據以達到最后建模目的。