大區域無人機影像全自動拼接的三維重建

韋程文

（深圳市建設綜合勘察設計院有限公司，廣東 深圳 518000）

0.引言

在空間信息科學技術不斷發展的過程中，遙感影像數據在各社會領域中被廣泛使用。無人機（UAVs）遙感的主要優勢為投入低、操作方便、靈活、適用范圍廣等，解決了航空遙感在指定應用范圍中快速得到高分辨率影像需求中的空間問題。目前，我國低空域逐漸對民用開放，無人機遙感技術也在不斷地發展，其使用具有較大的潛力，如何實現無人機數據量圖像快速魯棒全自動三維處理尤為重要[1]。早特征點檢測、魯棒性估計算法、運動恢復結構重建算法等不斷發展的過程中，基于圖像的三維重建技術也在不斷發展，從而使基于圖像的自動三維重建技術被廣泛使用[2]。以此，本文針對無人機圖像數據特點，提出基于三維重建的大區域無人機影像全自動拼接方法，實現大數據無人機圖像快速三維重建。

1.無人機圖像數據的特點

無人機搭載相機大部分都是固定鏡頭非量測型普通數碼相機，在得到圖像的時候還會對圖像對應經緯度坐標進行記錄，并且記錄飛行速度、方向角和高度等信息。無人機為了對飛行穩定性進行保證，要實現穩定平臺信息的設計，并且提供俯仰角、橫滾角信息。因為無人機載和和成本的限制，裝載導航GPS 精度為10m 左右，輔助數據記錄角信息精度比較低。無人機在飛行前要設計航線規劃軌跡，實際航飛軌跡不規則，部分飛行任務偏離原本的航線，并且在飛行過程中姿態并不穩定，傾斜比較大。對于拍攝地形來說，能夠利用Google Earth 數據或者公開DSM 數據得到此區域相應精度在30m 左右的地形高程數據。為了避免飛行過程中漏拍，無人機影像的重疊率比較高，在重建圖像過程中得到航向重疊在70%以上，旁向重疊在30%以上，以此飛行任務得到大量的影像，部分大場景都會拍攝得到千張影像[3]。

無人機圖像數據特點為：（1）在使用過程中得到無人機定焦鏡頭，固定焦距值，并且利用嚴格標定消除畸變，得到相機內參數信息；（2）有10m 左右精度位置輔助信息；（3）存在粗略地形高程數據；（4）存在低精度姿態輔助信息，一般在10°以內；（5）具有豐富地面圖像數據紋理，適合自動匹配重建；（6）保證高重疊率[4]。

2.高光譜影像拼接的三維重建

2.1 影像拼接流程

無人機高光譜影像拼接流程，整體拼接流程根據處理影像波段數包括三部分（如圖1 所示）。因為不同波段成像傳感器位置不同和成像時間的不同，高光譜影像不同波段具有配準誤差，所以在拼接前實現影像配準處理，配準之后同幅影像各個波段數據利用統一姿態參數進行描述。因為后續步驟目的就是對影像姿態參數進行計算，得到拍攝區域中空間信息密集點云，利用單波段數據處理得到幾何信息。通過數字微分實現影響波段數據幾何糾正，鑲嵌得出拍攝區域拼接影像[5]。

圖1 無人機高光譜影像拼接流程

為了實現全自動波段配準，本文方案將中間波段數據作為基準數據，通過二次多項式將其他波段和基準波段幾何關系充分描述，實現各波段數據和基準數據的特征點匹配，以匹配特征點坐標實現二次多項式系數擬合，以此實現各波段數據幾何配準。高光譜數據波段配準前后的對比，（如圖2 所示）。通過圖2 可以看出來，配準之前具有配準誤差，影像重影，通過二次多項式配準之后的各個波段影像具有良好的重疊，沒有重影問題，同個高光譜數據各個波段利用統一姿態參數對空間位置姿態進行描述。選擇波段能夠在高光譜數據中選擇一個波段數據，生成后續點云，一般在豐富紋理波段中能夠提取大量的特征點數量，但是本文并沒有使波段數據量作為選擇波段評價標準，主要是因為對大區域影像序列分析，某個影像中某波段信息量豐富，并不代表此區域全部影像中此波段信息量都比較豐富。所以，本文選擇高光譜影像中間段選擇后續特征點[5]。

圖2 高光譜數據波段配準前后的對比

2.2 提取特征點

本文利用改進SIFT方法將特征點進行提取，SIFT特征點的主要特點為光照、旋轉、尺度等不發生改變，具有良好魯棒性，能夠滿足寬基線匹配，所以滿足MAV采集圖像姿態不穩定問題。特征點匹配過程中利用KD樹使搜索效率得到提高，并且使用從粗到精的匹配策略，對高冗余度數碼照片集進行處理[6]。

2.3 分析運動獲取結構

SFM屬于計算機視覺領域標準技術，針對照片之間特征點的匹配關系，利用非線性優化方法對相機參數和稀疏三維點云進行計算。通過貪婪搜索SFM方法和遞進方法逐臺的添加相機，初始相機對標標定使用五點法對穩定初值進行確定，避免非線性在局部極值中收斂，得出錯誤相機標定結果[7]。

2.4 多視立體三維重建

MVS為近幾年發展的計算機視覺技術，通過已標定多視角照片實現三維重建，一般方法為深度圖、基于法向量、面片融合的方法。本文使用深度圖融合三維重建方法，重點為對立體圖像深度圖的恢復進行確定，并且使高可靠性的多深度圖進行融合，從而得出密集三維點云，以下為具體過程：

給定某圖像對為Yi=(Is，It)，基線比較大，利用DAISY描述子和極限量測相識度，對稠密深度圖。DAISY為通過一系列梯度直方圖串聯構成，計算劃分成為多個獨立方向梯度計算，之后使每個方向梯度模值綜合構成方向直方圖，此計算過程利用各方向梯度實現不同尺度高斯濾波。DAISY得出與SIFT直方圖計算過程相類似的不變性，但是效率比較高，滿足圖像逐個像素點對描述子進行計算，所以滿足密集匹配生成深度圖。

為了使計算效率得到提高，直接利用DAISY匹配度分支對一幅圖像像素x具有深度d概率進行計算：

式中，指的是圖像像素x對應描述子；在另一幅圖像中的描述子，假設深度為d。分布函數陡峭度通過進行控制；Z指的是歸一化常數，保證概率和為1。為了決定是否使深度值為某像素賦予，根據對極線均勻采樣得到最大概率前兩位，對兩者比值進行計算：

在RΧ 比某閾值要大的時候，此深度值也是有效的，本文實驗中所使用的閾值為0.75，結果表示所產生外點比較少。生成稠密點云，通過泊松重構方法生成3D表面格網模型[8]。

2.5 建筑物紋理重建

收集數據，得出描述圖像輪廊的便捷模型。但是要創建真實三維模型，并且實現建筑物表面紋理重建。本文對簡單建筑物模型進行考慮，通過多邊形頂面和矩形側面構成。所以，紋理重建要和其對應，也就是頂面紋理與側面紋理的重建。通過序列影像重建建筑物模型在兩幅或者更多影像中出現，所以要在多幅影像中選擇建筑物重建最優紋理。不管是頂面或者側面紋理選擇，都要在建筑物某個紋理可見時，紋理區域面積越大，那么重建紋理圖像就會越清晰，能夠將建筑物表面紋理特征展現出來。

3.實驗結果

本文實現無人機系統數據的實驗，提供實驗數據無人機系統包括環境調查、資源調查、災害測量系統，使用不同小型固定翼無人機飛行平臺，無人機飛行高度為200-2000m，無人機平臺掛載定位精度為5-15m左右動態單點定位GPS與定位10°之內陀螺儀。飛行前通過航線規劃軟件設置拍攝重疊與旁向重疊，避免圖像模糊，相機曝光時間不超過1/500s。

3.1 實驗結果

本文實現Bundler中GPU并行化，對比增量式重建方法與批處理方法標定結構差異，給出實驗數據，一組數據包括通過專業攝影測量軟件Inpho標定結果，將此結果作為參考，使批處理方法實驗結果對比。

對比Inpho測量軟件，數據共有2037 幅圖像，飛行高度為1000m，數據輔助部分（如表1 所示）。對比結果（如圖3 所示）。本文絕對定向使用方法為標定位置信息與輔助信息GPS 位置信息絕對定向，所以GPS 位置信息具有誤差。圖3表示批處理方法標定結果與Inpho 標定結果差距為10m，此記錄GPS 坐標精度相當，所以標定結果處于合理誤差范圍。

表1 數據輔助部分

圖3 對比結果

對相機位置信息各分量進行統計，方向角信息各分量誤差均值、最大值、外點個數與90%誤差范圍進行統計。對比結果（如表2 所示）：外點信息指的是誤差超過均值誤差5 倍的誤差個數，90%誤差范圍指的是90%誤差中最大誤差值。本組數據在CPU版本運行時間在10 天以上，此數據在使用CPU版本運行中出錯，標定過程中出現中斷，結果出現嚴重錯誤。推測主要是因為增加某幅圖像位置估計優化過程中出現錯誤，從而在添加后續圖像的時候整體結構出現錯誤。GPU版本中Bundler，因為顯存原因，在捆綁調整時無法通過，簡單來說此實驗使用增量式重建方法標定。處理此數據合理方法就是實現原始數據分組調整，使增量式重建方法改變成為分步重建思路。

表2 對比結果

3.2 結果分析

批處理方法和增量式重建對比，在大數據無人機圖像處理能管理方面有所提高，并且此攝影軟件Inpho標定結果對比，整體精度處于10m之內。根據GPS坐標絕對定向，GPS坐標自身具有10m誤差，所以批處理標定結果在合理標定范圍中。此數據表示，在無人機圖像攝像機投影矩陣估計與場景重建過程中，批處理方法對比重建Bundler方法在處理效率、能力和穩定性方面具有一定優勢，本文算法在無人機圖像重建和標定過程中具備可行性[9]。標定結果位置與角度誤差統計結果（如表3 所示）：

表3 標定結果位置與角度誤差統計結果

4.結束語

本文提出了三維重建無人機影像全自動拼接方法，此方法通過密集點云方式重建拍攝區域，并且不需要其他的輔助數據，在拼接過程中不需要人工干預。通過實驗結果表示，無人機影像全自動拼接方法能夠及時得到高精度拼接影像。本文算法能夠過濾顯著離散點，但是對邊緣點誤認為離散點過濾，對拼接精度造成影響。因為拼接數據為高光譜影響，本文不對拼接輻射一致性問題考慮，上述問題在后續研究過程中改進。