基于無人機遙感影像拓撲分析的三維重建

劉 軍，許志華，劉小陽，王 鶴 ，孫廣通

(1.防災科技學院 防災工程系，河北 燕郊 101601；2.中國礦業大學 地球科學與測繪工程學院，北京 100083；3.北京師范大學 環境演變與自然災害教育部重點實驗室，北京 100875)

基于無人機遙感影像拓撲分析的三維重建

劉 軍1,2，許志華3，劉小陽1，王 鶴1，孫廣通1

(1.防災科技學院 防災工程系，河北 燕郊 101601；2.中國礦業大學 地球科學與測繪工程學院，北京 100083；3.北京師范大學 環境演變與自然災害教育部重點實驗室，北京 100875)

在無需任何地面控制點或其它先驗知識前提下，探索一種基于無人機遙感影像的三維重建方法。利用無人機飛控數據建立的影像拓撲結構，依次通過特征點提取、影像匹配、從運動恢復結構等步驟估計出相機位置和姿態參數，并恢復出場景特征點云信息，最后對重建精度進行分析。試驗結果表明，文中提出的方法可快速、可靠地實現較高精度的三維模型重建。

無人機；飛控數據；影像拓撲分析；三維重建；精度分析

由于衛星遙感和載人航空攝影測量獲取影像時受時空分辨率、外界環境及使用成本等影響，無法滿足地理空間數據的需求。隨著材料科學和自動控制工程的發展，低空無人機(Unmanned Aerial Vehicle，UAV)遙感以其機動靈活、實時性強、成本低等優勢，利用其搭載相機可以對同一目標、場景進行多角度、多位置成像，成為快速獲取地理數據的有效平臺[1-2]，可滿足精細獲取三維信息方面的要求。而如何高效、全自動處理無人機獲取的低空遙感影像，是一項急需解決的關鍵技術。

本文以特定地形為試驗區，結合無人機影像數據特點，利用飛控系統提供的輔助信息，提出了一種低成本、快速魯棒處理無人機高分辨率遙感影像三維重建方法。

1 試驗設計與數據獲取

試驗區選擇在山東省臨沂市羅莊區(見圖1)。區內地貌特征明顯，且因建筑施工多處發生小面積滑坡。

圖1 研究區域空間位置與全景影像

試驗采用小型固定翼無人機飛行平臺，預設飛行相對航高120 m，南北向4條航帶。航向重疊為90%，旁向重疊為60%。利用平臺搭載的輕巧型、高分辨率非量測數碼相機(傳感器尺寸8.72 mm×6.54 mm，相機焦距為24 mm)，共拍攝56幅影像(見圖2)，影像大小為4320像素×3240像素，對應地面分辨率達到厘米級。

圖2 無人機影像序列

2 基于影像拓撲分析的三維重建算法

利用影像序列進行立體重建步驟，具體包括：特征點提取、影像匹配、從運動恢復結構等，該算法可以自動估計相機位置、姿態參數，并恢復出場景三維特征點云信息[3]，其技術流程如圖3所示。

圖3 無人機遙感影像數據處理流程

2.1 特征點提取

試驗采用Lowe的SIFT[4]算法提取無人機影像特征點。但該算法在處理高分辨率無人機影像時易出現計算機內存溢出等問題。為此，本文采用影像分塊處理的方法。具體做法是：將原始影像分成大小相同的圖塊，每次取一小塊影像提取特征點，即分別對影像塊依次建立尺度空間、檢測極值點和生成特征描述符，并保存子塊特征點文件，然后合并子塊生成最終結果。圖4為影像分塊示意圖，依次將影像從左到右，從上到下劃分為小圖塊。試驗中選取影像塊大小為500像素×500像素(具體要結合計算機性能調整)，如果影像右側或下側像素個數不足500，但仍大于0，也算作一個圖塊。此外，為確保在塊交界處檢測到SIFT特征點，避免特征信息丟失，相鄰塊之間需保持一定的重疊度(>10%)。

圖4 影像分塊示意圖

2.2 影像匹配

基于SIFT描述子進行影像匹配，需要依次遍歷全局待匹配影像，并對每一組影像以歐式距離作為特征向量的相似性準則對特征點進行粗匹配，筆者稱之為全局遍歷影像匹配法，該算法非常耗時，重建效率低。

針對上述問題，本文利用無人機飛控系統提供的輔助信息(觸發相機快門時間、飛機位置以及姿態數據)，判斷影像間重疊關系，建立影像拓撲結構，排除非關聯影像的干擾，減少誤匹配，降低影像匹配算法復雜度，提高匹配效率。本文稱這種算法為基于影像拓撲關系匹配法。具體步驟包括：①依據攝影測量學中影像外方位元素定義，由于飛控數據與相機實際姿態、位置間仍然存在微小差異，需先經過一系列坐標系統旋轉將飛控系統中IMU直接獲取的傳感器位置、姿態角轉換成影像的6個外方位元素[5]，使其真正反映相機拍攝時的姿態、位置。②利用共線條件方程分別計算每張影像對應4個角點在地面攝影測量坐標系中的投影坐標。③根據計算機圖形學知識判斷影像重疊關系，建立如圖5所示影像拓撲連接圖，其中結點表示單幅影像，直線表示影像間有重疊關系。

圖5 影像拓撲結構

利用圖5拓撲結構，基于K-D樹的近似最鄰近(Approximate Nearest Neighbors，ANN)算法對影像進行粗匹配；最后采用隨機抽取一致性(Random Sample Consensus，RANSAC)[6]策略和8點算法[7]相結合，估計出一個魯棒的基本矩陣，進一步剔除誤匹配點，最終得到滿足對極幾何約束的匹配特征點對。表1為全局遍歷影像匹配和基于影像拓撲關系匹配效率對比情況。由表1可知，基于影像拓撲結構匹配的次數明顯少于全局匹配策略，很大程度上降低了匹配的復雜度，且影像數目越多，算法效率優勢越明顯。圖6所示為單張影像特征匹配耗時曲線。圖中全局遍歷影像匹配時單張影像匹配耗時隨影像序號的增加呈線性增長趨勢，而基于影像拓撲結構的單張影像因其匹配過程中，影像搜索范圍僅局限于有拓撲連接的影像，故耗時曲線近似保持平穩。因此，該算法可為無人機遙感影像快速、穩健匹配提供支撐。另外，圖中出現的耗時高值點(如38，40，47等點)主要受兩個因素影響：①與該幅影像有重疊區域的影像數目，即匹配次數有關，次數越大耗時越多；②兩幅影像的特征點匹配對數，如果兩幅影像的重疊部分大且特征信息豐富，則提取的特征點數目多，匹配耗時就越多。

表1 全局遍歷影像匹配和基于影像拓撲關系匹配效率

圖6 每張待匹配影像耗時情況

2.3 從運動恢復結構

計算機視覺中，從運動恢復結構(Structure from Motion，SfM)是指從二維圖像或視頻序列中恢復出相應的三維信息，包括成像攝像機運動參數、場景的結構信息等。

本文參照Bundler[3]開源軟件包，采用基于Levenberg-Marquardt (LM)算法的通用稀疏光束法平差(Sparse Bundler Adjustment)法解決了目標函數的非線性最小二乘問題。通過逐步迭代不斷最小化投影點和觀測圖像點之間的重投影誤差，解算出最佳相機位置、姿態，進而得到試驗區三維點云坐標(見圖7)。由于在冬季，試驗區地物之間對比度較低，特征點不夠明顯，這給序列影像特征提取和匹配帶來了挑戰，使得重建點云數量相對稀疏。為得到高分辨率場景模型，試驗采用PMVS算法作進一步加密處理[8]，得到更加稠密的三維點云(見圖8)，恢復測區精細地物三維信息。

圖7 無人機遙感影像三維重建點云模型

圖8 試驗區稠密點云模型

3 重建三維點云精度分析

由于該重建算法無需任何地面控制點信息，因此得到攝像機坐標系下的點云坐標。如果有地面控制點，可以選取至少3個控制點利用布爾莎七參數轉換模型將局部點云坐標轉換到統一坐標系下，通過與地面控制點真值作比較，定量評估重建模型誤差。為此，筆者事先在地面均勻布設控制點，并用GPS測得坐標，作為基準評價點云精度[9]。表2給出了重建點云與控制點對比統計得到的精度信息。

表2 重建三維點云誤差統計 m

分析誤差產生原因主要有：①求解轉換模型中七參數計算誤差；②受重建方法及影像質量影響，還存在影像三維重建誤差。根據誤差傳播定律，這些誤差都會影響重建點云的絕對誤差。

4 結束語

本文介紹了一種基于低空無人機遙感影像的三維重建方法，并對重建點云精度進行了評價。試驗結果表明，該方法在無需任何地面控制點的情況下，借助飛行平臺輔助信息建立的影像拓撲結構，自動生成了精度較高的三維點云模型，具有速度快、視覺效果直觀且成本低等特點，適用于低空攝影測量、環境動態監測、文物考古保護、地質災害調查等應用領域。需要指出的是，該方法在SIFT分塊間重疊度取舍、影像匹配算法復雜度以及SFM重建效率等方面還可以做進一步研究與完善。

[1]IRSCHARA A, KAUFMANN V, KLOPSCHITZ M, et al. Towards fully automatic photogrammetric reconstruction usin g digital images taken from UAVs [A]. ISPRS TC VII Symposium-100 Years ISPRS [C]. 2010.

[2]李隆方，張著豪，鄧曉麗，等.基于無人機影像的三維模型構建技術[J].測繪工程，2013,22(4)：85-89.

[3]SNAVELY N. Scene reconstruction and visualization from internet photo collections [D]. University of Washington, 2008.

[4]LOWE D G. Distinctive image features from scale-invaiant interest points [J]. International Journal of Computer Vision, 2004,60(2): 91-110.

[5]袁修孝，張雪萍，付建紅.高斯-克呂格投影坐標系下POS角元素的轉換方法[J]．測繪學報，2011，40(3)：339-344.

[6]FISCHLER M A, BOLLES R C. Random Sample Consensus: a paradigm for model fitting with applications to image analysis and automated cartography [J]. Communications of ACM, 1981,24(6): 381-395.

[7]HARTLEY R, ZISSERMAN A. Multiple View Geometry in Computer Vision[M]. Cambridge University Press, March 2004.

[8]FURUKAWA Y, PONCE J. Accurate, dense, and robust multi-view stereopsis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(8): 1362-1376.

[9]李 鑫，李廣云，王 力，等.移動測量系統誤差整體模型推導與精度分析[J]．測繪工程，2012,21(2)：21-28.

[責任編輯：劉文霞]

Topology analysis-based 3D reconstruction from UAV images

LIU Jun1, 2, XU Zhi-hua3, LIU Xiao-yang1, WANG He1, SUN Guang-tong1

(1. Department of Disaster Prevention Engineering, Institute of Disaster Prevention Science and Technology, Yanjiao 101601, China; 2.School of Earth Science and Surveying Engineering, China University of Mining and Technology, Beijing 100083, China; 3. Key Laboratory of Environmental Change and Natural Disaster of MOE, Beijing Normal University, Beijing 100875, China)

It presents a low-cos t, automated 3D-reconstruction approach without a previous camera calibration or any other prior knowledge of the scene to generate 3D scene based on unmanned aerial vehicle system (UAVs) images. For scene reconstruction, the camera location and orientation parameters, as well as a sparse 3D point cloud through feature extraction, image matching and an iterative, robust Structure from Motion (SfM) procedure are recovered from digital sequence images based on image topology analysis with flight-control data acquired by the UAVs. Results show that the proposed method is fast and reliable for 3D reconstruction which has higher accuracy.

unmanned aerial vehicles; flight-control data; image topology analysis; 3D reconstruction；accuracy analysis

2013-12-03

中國地震局教師科研基金資助項目(20120102)

劉 軍(1986-)，男，助教，碩士研究生.

V279；P237

：A

：1006-7949(2014)08-0032-04