消費型無人機傾斜序列影像三維重建研究

馬國吉，馬國斌，馬國寶，孫曉霞

（1. 青海省測繪科學技術研究院,青海 西寧 810001；2.青海省地理空間和自然資源大數據中心,青海 西寧 810001； 3.青海省基礎測繪院,青海 西寧 810001；4.青海地理信息產業有限公司,青海 西寧 810001）

隨著“數字地球”、“智慧城市”等概念的提出,人們對城市空間信息的需求變得更加強烈,城市空間信息也變得更加復雜,給城市管理效率來了嚴峻考驗,急需為城市管理、規劃提供可視化的實景三維數字模型數據。如何快速獲取實景三維模型成為國內外學者研究的熱點[1-2]。

三維模型重建是攝影測量的主要目標之一。實現三維目標重建的數據主要包括光學影像和激光雷達兩種[3]。王建強[4]等以傳統的攝影測量手段獲取影像數據,再利用三維制作軟件（Smart3D、Context Capture）生成三維模型,該方法建模速度快、自動化程度高、成本較低,但獲取三維模型框架精度較低,密集建筑物區域的模型較模糊,難以區分建筑物邊界信息；為了快速獲取高精度的三維模型邊緣信息,孫保燕[5]等采用影像數據、激光雷達數據以及已有高精度的矢量數據構建城市三維模型,再利用激光數據快速獲取噪聲低、精度高的白膜數據,然而激光數據缺少紋理信息,通過無人機影像數據和輔助參數可獲取建筑物頂部與部分側面紋理信息,但仍不能滿足三維模型對側面紋理的要求,且該方法成本較高；張春森[6]等利用傳統的航空攝影測量獲取了地物的紋理信息和高程信息,能提供高精度、輪廓明顯的建筑物模型,是目前城市建筑物三維模型主要的獲取方式之一,但傳統的航空攝影測量方式無法獲得建筑物的側面紋理信息,在密集建筑物區域存在地物遮擋現象。上述三維建模方法具有成本高、生產工藝復雜、作業效率低等特點,在一定程度上制約了城市三維重建技術的發展與推廣。鑒于此,本文提出了消費型無人機傾斜序列影像三維重建的方法。該方法首先利用消費型無人機獲取無人機傾斜影像；再采用Agisoft PhotoScan軟件的影像匹配模塊自動獲取多視傾斜影像同名點坐標；然后通過GodWork軟件的AT模塊進行引入曝光延遲的GPS光束法區域網平差,生成高精度的影像外方位元素信息；最后為了獲取豐富的紋理信息,采用Smart3D軟件構建三維模型,為無人機傾斜序列影像三維建模提供一種思路。

1 關鍵技術

無人機傾斜序列影像一般具有幾何變形大、不同視角變化較大、影像側面信息豐富等特點。構建三維模型時,需針對無人機傾斜影像的特點,在影像匹配、空三加密處理、密集匹配和紋理映射等方面采用區別于傳統攝影測量的方法進行處理,以獲取精度較高、紋理清晰的實景三維模型。

1.1 傾斜影像匹配與定位

由于不同視角的無人機傾斜影像存在較大的視角差異,因此同一地物在不同視角影像上表現出很大差異。采用通用的SIFT無人機影像匹配方法獲取同名點存在以下問題[7]:①缺少對無人機傾斜影像地物遮擋以及影像幾何變形的考慮,以固定的局部窗口獲取的特征點描述信息不能真實反映地物情況,地物起伏較大區域易匹配失敗；②影像分辨率較高導致地物高差較大區域投影差變化較大,因此難以確定正確的匹配搜索區域；③缺少對獲取點位分布以及定量的精度檢驗與分析,使得在實際工程應用中精度難以滿足需求。

SIFT無人機傾斜影像匹配方法的影像預處理主要包括傾斜影像的近似水平校正和影像均勻分塊。由于無人機影像分辨率較高、一景影像覆蓋的區域較小,因此高差變化可近似認為水平。通過影像的POS數據以及公開的SRTM數據將無人機傾斜影像投影到一個固定的高程面上進行近似水平校正,可在一定程度上減弱影像幾何變形的影響[8]；然后利用影像的地理信息計算影像的重疊區域,并對重疊區域進行均勻劃分；最后采用參考文獻[9]提出的特征點提取方法,確保提取的同名點分布均勻。

利用近似水平影像提取的特征點能有效避免影像幾何變形的影響,描述子生成后以特征向量的歐式距離作為特征點相似程度的判斷依據,再通過選用合適的閾值,確定影像匹配點的粗匹配過程。由于匹配結果存在大量錯誤點,難以保證同名點的精確位置,因此可利用RANSAC算法剔除誤匹配點。通過RANSAC算法剔除粗差后,頂層誤匹配點已基本剔除,但金字塔下層影像的分辨率較高、紋理信息較豐富,提取的特征數量大大增加,將出現誤匹配現象,因此在底層匹配過程中除了利用核線約束外,還需借助傾角迥異的核線關系進行約束匹配[10]。

為了加快匹配速度、減少誤匹配點,一方面利用POS數據進行水平校正處理,消除影像的幾何變形影響,并通過分塊提取特征點數量確保同名點分布均勻合理；另一方面通過在不同層影像匹配時采用不同的約束策略來剔除誤匹配、限制適當搜索空間。本文采用金字塔匹配策略,將原始影像縮小為1/2和1/4。頂層影像為原始影像的1/4,影像分辨率較低,匹配精度較高,因此無需進行粗差剔除策略；第二層影像采用RANSAC算法優化匹配結果,剔除誤匹配點。采用兩組不同的15對同名點計算兩組傾角迥異的核線參數,在原始影像上進行傾角迥異的核線引導匹配,不僅可提高算法的匹配效率,還可提高同名點的定位精度,為空三加密處理提供數據支撐。

通過上述匹配過程,可在重疊影像上獲取分布均勻、精度高、誤匹配少的稀疏匹配點；再利用影像內外方位元素和高精度的連接點進行像對定向、立體模型連接,完成自由網的構建。統一整個區域的影像坐標后,將利用連接點多片前方交會方法獲得的地面點物方空間坐標作為光束法區域網平差的初值。針對無人機飛行速度不穩定而導致的平差結果比理論估值偏低的問題,本文采用參考文獻[11]提出的估計曝光延遲GPS輔助光速法區域網平差方法對曝光點的曝光延遲進行逐點補償,再將曝光延遲參數作為未知參數與其他系統誤差參數一并代入誤差方程統一求解,以提高GPS光束法區域網平差的整體精度。同時借助大量地面控制點,對整個誤差方程矩陣進行循環分塊,求解改正參數,進而獲取每張影像高精度的外方位元素、連接點的空間物方坐標。

1.2 密集匹配

將影像匹配、空三加密處理獲取的影像精化后的外方位元素、相機參數作為多視密集匹配的輸入,通過考慮多視待匹配影像的多余觀測生成物方點。建立參考影像上某一像素的初始物方面元patch（normal 法向量、position位置）,由物方位置、法向量參數唯一確定物方面元；再將物方面元反算到參考影像上,通過參考影像局部窗口與待匹配影像的局部窗口的相似度函數來完成多余觀測的物方匹配[12]。

多視影像密集匹配算法的整體流程包括4個步驟:①特征提取,在影像DOG空間上均勻劃分32像素×32像素大小的格網,采用Harris算子提取格網內4個響應值最大的點,再利用多視影像特征點匹配的方法確定特征點集合的稀疏匹配點,構建初始物方面元集合,并對面元參數進行初始化；②物方面元優化更新,利用面元局部灰度相似度函數的極值參數求解,精化初始物方面元信息,再以物方點在參考影像的法向量為約束條件減少面元參數的相關性,并將目標函數的自由度減少到3,刪除可見影像單元Ck對應的特征點；③物方面元的擴散,從完成優化的面元P到其領域未包含的物方面元Cj擴散,以物方面元Cj的中心射線與影像攝影中心和優化面元P的交點為新物方面元P＇的位置初始值,法向量參數采用優化面元P來迭代、更新、優化,直到物方面元Ck遍歷完成；④點云剔除,利用物方與像方空間鄰域關系剔除不一致面元,并過濾掉懸浮空中或低于地面過低的錯誤點。通過上述步驟,可生成與無人機傾斜影像同等分辨率的數字表面模型數據。

1.3 紋理自動映射

紋理自動映射能解決不同影像塊之間的顏色過渡和最佳影像面選擇問題。本文采用泊松融合的方法處理不同影像塊拼接處的影像融合問題[13-14]。首先為每個需要映射的影像面塊計算一個得分,選擇分數最高的面塊作為紋理映射的候選面塊；再利用三角格網面表達三維空間模型,紋理映射的本質是為了建立格網與影像紋理空間信息的一一對應關系。對于復雜節點構建密集格網面的三維模型而言,首先計算每個三角形面片的頂點坐標和影像紋理中像素的對應值（行列號）；再利用影像旋轉矩陣和空間投影矩陣將三維模型上的坐標轉換到原始影像上,獲得每個頂點的紋理信息；然后在模型渲染時,每個三角格網面的顏色取3個頂點顏色的平均值。在本文實驗中,首先從傾斜航空影像密集匹配的點云結果中獲得每個點的坐標、紋理信息和法向量,再通過找尋對應的影像平面坐標和利用空三處理后影像姿態信息找到三維點云與傾斜影像之間的對應關系,然后優化紋理映射模型,最終獲得紋理信息較真實的三維實景模型。

2 實驗結果與分析

2.1 數據采集系統介紹

本文采用大疆DJI M600Pro無人機搭載的DG3 Pros傾斜攝影測量系統獲取影像數據,具有多視角高清影像采集、成本低、機動靈活等優點。Pros光學鏡頭采用了低色散 ED 鏡片,能大幅提高影像的線對數,有效提升航片質量、降低空三分層概率；相機左右傾斜鏡頭角度從45°提高到50°,可大幅提高模型旁向建模效果,在保證模型精度和效果的前提下,能實現更高的作業效率；五鏡頭增加了高同步曝光技術,有利于空三加密解算。

2.2 航攝設計

本文采用Altizure軟件進行航線規劃設計,重疊率為60%～80%（由地面高度決定）,沿某一方向來回往返,呈帶狀按次序逐步覆蓋全部場地,實現對地形邏輯有序的全覆蓋航攝（圖1）。設計航高為100 m,地面分辨率（GSD）為1.4 cm,航飛面積為6.25 km2,航向重疊度為80%,旁向重疊度為70%,單架次飛行時間約為46 min,共獲取影像14 902張。影像清晰、色彩均勻,多視影像數據能提供影像下視和建筑物側面豐富的紋理信息,為后續建筑物三維重建以及側面紋理信息提取提供數據支撐。

圖1 航線設計

2.3 空三加密精度驗證

為了消除影像內部系統誤差,保證影像整體精度的一致性,避免生成的密集點云出現分層現象,在密集匹配前需對獲取的影像進行空三加密處理。Agisoft PhotoScan軟件影像匹配模塊利用POS數據對待匹配的影像進行近似水平校正,以消除傾斜影像的幾何變形；再采用分塊金字塔匹配策略通過SIFT算法從多視影像中提取分布均勻的同名點,并在不同金字塔影像上采用不同的約束策略剔除誤匹配點,獲取高精度的同名點坐標。通過GodWork軟件的AT模塊進行引入曝光延遲的GPS輔助光束法區域網平差,利用分區域平差與區域間的整體一致性平差獲取定位精度一致的影像外方位元素信息,并生成測區稀疏點云。空三加密示意圖如圖2所示。

圖2 空三加密示意圖

空三加密精度分析如表1所示,可以看出,利用GodWork軟件的AT模塊進行引入曝光延遲的GPS輔助光束法區域網平差,經過分區域與整體一致性平差處理后的控制點平面中誤差為0.025 m,高程中誤差為0.038 m；檢查點的平面最大誤差為0.093 m,高程方向的最大誤差為0.126 m,滿足1∶500大比例尺地形圖控制點、檢查點的平面中誤差與高程中誤差的指標要求。

表1 空三加密精度分析/m

2.4 模型精度驗證

由于空三加密獲取的初始點云密度過于稀疏,難以保證高精度的三維模型生成,因此需基于無人機多視傾斜數據,采用Smart3D提供的多視密集匹配方法對初始稀疏點云進行擴展、濾波和優化,生成最終的密集點云。首先采用多視密集匹配方法擴展稀疏點云的局部鄰域像素,獲得相對密集的點云數據；由于生成的密集點云數據存在一定的誤差點,再采用濾波方法剔除偏離地物三維模型過大的誤差點[15]；最后根據局部地物高程的變化程度,對密集點云數據進行優化處理,利用軟件內部矢量函數關系算法,在保證模型精度的同時剔除冗余數據,并構建不同層級的三角網模型。具體三角網模型效果如圖3所示,可以看出,土山上樹木頂部修飾結構復雜,點云和三角網較密集；而建筑物頂面、田地和路面的結構簡單,點云和三角網較稀疏。

圖3 三角網模型

Smart3D首先將不同視角的深度圖像匹配到同一坐標下；再通過深度圖像融合獲得物體完整的幾何模型；然后確定深度圖像與紋理圖像的映射關系,并定義復合權重進行紋理融合,從而獲取整個紋理的映射圖；最后進行模型的紋理映射,構建具有真實感的三維模型。具體模型如圖4所示,可以看出,三維建筑物模型邊界清晰、側面紋理信息豐富、地面上的物體能清楚地展現出來,三維模型整體效果較好。

圖4 實景三維模型

為了驗證生成的三維立體模型精度,將三維模型導入DP-Mapper軟件進行立體模型下典型地物特征值的量測,獲取地物空間的三維坐標,并與外業采集的特征點坐標、特征邊長進行統計分析,得到三維模型的絕對定位精度和相對定位精度。驗證結果如表2、3所示,可以看出,三維模型的平面中誤差為0.042 m,高程中誤差為0.045 m,滿足1∶500大比例尺測圖要求；三維模型上地物間的相對距離誤差分布在0.01 m以內,誤差值分布合理,表明構建的三維模型內部相對精度一致。

表2 三維模型精度統計/m

表3 特征邊測量精度統計/m

3 結 語

本文嘗試采用大疆DJI M600Pro消費型無人機搭載的DG3 Pros傾斜攝影系統獲取了不同視角的傾斜影像數據,并結合不同軟件的優勢模塊構建了精度較好的建筑物三維模型；以西寧某區為例,進行了數據采集與三維模型構建實驗,得出以下結論:

1）利用Agisoft PhotoScan的影像匹配模塊對無人機傾斜影像進行近似水平校正,以消除幾何變形的影響,通過金字塔分塊匹配策略提高影像匹配速度并確保同名點分布均勻,為后期空三加密處理提供可靠的同名點坐標。針對不同層的影像采用不同的約束策略,確保誤匹配點能被有效剔除,避免因誤匹配點而導致的空三加密失敗或結果精度較差。

2）通過對整個區域進行分區域空三加密處理,避免因高差較大而出現的空三加密失敗現象；對分區域的空三加密結果進行整體一致性平差處理,確保區域間影像上地物的無縫銜接；通過引入曝光延遲的光束法區域網平差對每張影像進行逐曝光點的延遲補充,進一步提高影像平差定位精度,為后期密集匹配提供精化的影像外方位元素參數。

3）將空三加密結果和影像數據輸入Smart3D軟件,全自動構建高精度的城鎮三維模型。構建的模型整體效果較好、符合真實場景、區域間能無縫拼接、紋理較細膩、整體成本較低,為消費型無人機構建城鎮三維模型提供了一種經濟高效的方法。