SURF算法在無人機傾斜攝影測量三維建模中的應用

明國輝，委民正

(1.福建省電力勘測設計院,福建 福州 350003;2.福建省地質測繪院，福建 福州 350011)

SURF算法在無人機傾斜攝影測量三維建模中的應用

明國輝1，委民正2

(1.福建省電力勘測設計院,福建 福州 350003;2.福建省地質測繪院，福建 福州 350011)

針對無人機傾斜攝影測量影像的特點，采用一種影像特征點自動提取匹配算法，解決影像之間的比例尺不一致、分辨率不一致等問題，實現影像的自動精確匹配，最終構建具有精確地理信息的三維模型。實驗結果表明構建的三維模型滿足數字城市建設的需求，可為城市基礎設施建設提供一種科學可靠的依據。

無人機；傾斜攝影測量技術；圖像匹配 ；SURF；三維建模

傳統的三維地形建模主要依靠衛星遙感影像和航空遙感影像提供基礎數據，人工地面采集所需控制點，經內業處理后構建三維地形，此種作業方式成本高、耗時費力、數據分辨率不高、作業周期較長，不利于實時快速構建精細三維地形。三維激光掃描利用激光測距原理可以快速獲取大量的地面三維幾何數據，但該方法無法獲取地物的紋理數據，仍需依靠大量的人機交互作業來完成三維地物的紋理貼圖，其構建三維地形的效率和逼真度較低。

無人機技術和傾斜攝影測量技術的出現為三維地形構建提供了一種新型的技術方法[1-3]。利用無人機技術獲取數據，操作便利、高效，大大降低作業風險和成本；傾斜攝影測量技術改變了傳統的影像獲取模式，其利用不同角度的相機同步獲取地形地物的影像，批量自動提取地形地物的紋理信息，極大地提高了三維地形模型的逼真程度。

李軍等[4]人利用無人機影像制作了分辨率高、逼真程度高的地震災區三維景觀圖，為災區的震后重建提供詳細的三維地理信息；曲林等[5]人基于無人機傾斜攝影測量數據，利用商用軟件實現了實景三維建模，為智慧城市的三維建模提供一種解決方案；譚仁春等[6]人將傾斜攝影測量技術和MAX技術相結合實現了城市三維建模，并對建模方法進行部分優化，取得理想的效果。孫宏偉[7]基于傾斜測量技術實現城市三維建模的快速化，為實際生產操作提供一種可借鑒且有效的技術方案。上述文獻大多探討了無人機傾斜攝影測量技術的操作流程，多使用專業的商用軟件來實現三維建模，其中影像特征點的匹配算法多涉及商業機密，且軟件具有一定的局限性，故無法有針對性地對傾斜攝影測量存在的問題如影像比例尺不一致、分辨率不一致等進行深入分析與研究。本文在深入研究無人機傾斜攝影測量數據處理技術的基礎上，采用一種傾斜影像特征點自動匹配算法，有效剔除數據中的粗差，提高影像的匹配精度，最終實現精度和逼真度較高的三維模型。

1 傾斜攝影技術原理

傳統航空攝影只能從正下方角度拍攝影像，而傾斜影像為相機主光軸在一定傾斜角時拍攝的影像[8-10]。具體操作為：在飛機正下方垂直角度、前后左右4個傾斜角度搭載5臺傳感器，采集如下數據：航向重疊度、旁向重疊度、坐標值、飛行航向、航速及航高，為后續的三維建模提供精確的基礎數據，圖1為傾斜攝影測量原理示意圖。同時傾斜攝影與GNSS、地理信息等技術相結合，可實現多種類信息的融合，從而進一步提高三維模型分辨率和幾何精度，使得構建的三維模型逼真程度高，用戶體驗感強。

圖1 傾斜攝影測量原理示意圖

2 無人機傾斜攝影三維建模流程

無人機傾斜攝影三維建模主要涉及3個關鍵內容：①自動空三：依據測區內均勻分布的地面控制點，利用立體測圖技術，解算匹配加密點的平面坐標和高程；②密集匹配：將多張影像上的同一特征點進行匹配，計算影像之間的空間變換模型；③影像拼接：依據計算得到的空間變化模型對影像進行拼接處理，使得同名特征點能夠準確疊合，消除影像比例尺不一致、分辨率不一致對三維模型的影響。圖2為無人機傾斜攝影測量三維建模流程圖。

圖2 無人機傾斜攝影測量三維建模流程

3 SURF算法原理及特征點匹配

SURF(Speeded Up Robust Features)[11-13]算法包括：特征點檢測和特征點描述兩個部分。特征點檢測是利用積分對圖像進行處理以獲取積分圖像，通過積分圖像對尺度空間的響應來尋找特征點的位置；特征點描述是指利用特征矢量來描述特征點及其方向。

3.1 SURF特征點檢測

利用Hessian矩陣行列式的極大值來檢測，假設I為圖像，X(x,y)為圖像中的一點，尺度為σ，則點X處的Hessian矩陣為

(1)

其中：Lxx(X,σ)為點X處的高斯二階微分與圖像I的卷積，其余各項含義相似。

SURF算法將近似Hessian矩陣的行列式作為X(x,y,σ)處的斑點響應，以加快運算效率，具體算式為

Det(Happrox)=DxxDyy-(0.9Dxy)2.

(2)

具體算法如下：計算圖像中每一個點的斑點響應值，組成響應圖像。通過比較某一點在本尺度空間和上下尺度空間的響應值的大小，來判斷某一點是否為候選特征點，若響應值比26個鄰域值都大或者都小，則將該點作為最終的候選特征點，并計算其位置和尺度參數。

3.2 SURF特征點描述

3.2.1 特征點主方向分配

首先進行Haar小波運算，具體參數為：6 s為半徑，特征點為中心，邊長為4 s，獲取點在x，y方向上的Harr小波響應值，其中s為空間尺度。

然后進行高斯加權運算，具體參數為：張角為π/3的扇形滑動窗口，步長為0.2弧度滑動窗口，對窗口內圖像的Harr小波響應值dx，dy進行累加，獲得矢量(mw,θw)為

(3)

(4)

求取Harr小波響應值累加值在多個方向中值最大的一個方向，則該方向作為特征點的主方向。

3.2.2 特征點特征矢量生成

構建以20 s為邊長，特征點為中心，方向與特征點主方向保持一致，大小為 4×4的規則子窗口。采用邊長為2σ的Harr小波對圖像進行處理，以獲得x，y方向上的響應值dx，dy，利用高斯加權計算每一個子窗口的響應值，以獲得每一個子窗口的特征矢量。

(5)

一組描述子特征矢量共包含4×4×4=64維特征矢量，這樣可獲取一個特征點的完整信息：空間尺度、坐標、64維矢量特征，圖3為SURF描述子特征矢量組成示意圖。

圖3 SURF描述子特征矢量組成

3.3 特征點匹配

初始匹配點對中通常不可避免地含有粗差點[14-15]，故需剔除粗差點。為此采取雙重匹配算法，具體為先對初始匹配點對進行粗略匹配，剔除明顯的粗差點對，再采用RANSAC算法進行精確匹配，構建轉換模型，最后使用未參與計算的匹配點對空間轉換模型進行驗證和優化，進一步提高匹配精度和可靠性。圖4為特征點匹配流程。

圖4 特征點匹配流程

4 實驗分析

實驗所用數據來源于福州某地電力工程建設中采集的無人機影像。技術參數如下：無人機相對飛行高750 m，航向重疊度為70%，旁向重疊度為50%，共拍攝600多張無人機傾斜影像。硬件系統選取GeoVison的SWDC-5，該系統由1個垂直相機和4個傾斜相機構成，相機選用哈蘇相機，焦距為50～100 mm， 像元大小6 μ，傾斜角度45°，最短曝光間隔2.5″。

首先對影像進行歸一化、均光、均色處理，以消除影像在飽和度、亮度、色相等方面的差異；再對影像進行相對定向、絕對定向、區域網平差，以獲取每張影像的外方位元素；最后使用SURF算法對影像進行特征點檢測，如圖5、圖6所示，圓心點為特征點的位置，半徑為特征點所在的空間尺度，半徑所指的方位為特征點的主方向。圖7為粗略匹配結果圖，圖8為剔除錯誤匹配點對形成的粗略匹配特征點對集合，圖9為精確匹配結果圖

圖5 原始圖像(左)與特征點檢測結果(右)

圖6 原始圖像(左)與特征點檢測結果(右)

圖7 粗略匹配效果

圖8 剔除粗差后匹配效果圖

圖9 精確匹配效果圖

圖5檢測出336個特征點，圖6檢測出362個特征點，通過SURF算法自動搜尋同名特征點組成粗略匹配點對，如圖7中綠色線條標記的匹配點對，可以看出其中包含少數明顯錯誤的匹配點，圖8為剔除錯誤匹配點對后的匹配效果圖。表1為SUFR算法與某商用軟件算法匹配點檢測效果對比，從表中可以看出SURF算法計算出的特征點個數要少于商用軟件算法計算的特征點個數，但商用軟件算法耗時要遠遠高于SURF算法。若匹配點過多往往會造成數據冗余，降低運算效率，而SURF算法在耗時方面要遠遠優于商用軟件算法，這有助于提高影像匹配的整體效率。

表1 SURF算法與某商用軟件算法比較

實際應用中并非匹配點對越多越好，匹配點對過多反而會降低運算效率，為此對匹配點對進行優化，從中尋找出最優的匹配點對，為計算精確的空間變化模型參數提供依據，降低數據冗余，提高運算效率。圖9為經過匹配點對尋優后的精確匹配效果圖，可以直觀地看出，匹配點對位置清晰準確，無錯誤匹配點對，無數據冗余。

表2為匹配點對優化前后匹配效果對比，優化前共檢測到匹配點對167對，匹配率為89.8%，共耗時5.836 s；優化后共檢測到匹配點對89對，匹配率為96.2%，共耗時2.628 s。可以看出，優化后的算法運算效率明顯優于優化前的算法。

表2 匹配點對優化前后效果對比

經過影像精確匹配之后，形成數字表面模型DSM,將紋理圖像映射到DSM模型表面，形成初始的三維模型。針對模型中缺失較為明顯的區域和目標，進行必要的幾何修復和紋理修補。區域和目標的缺失主要由以下兩個方面引起：底部植被的遮擋和水體空洞。

針對植被遮擋問題，利用數碼相機采集一定數量多角度的照片，構建建筑物底部模型，將其與前面構建好的三維模型進行精確拼接，最終形成完整的三維模型。

針對水體空洞問題，利用AutoCAD3DMESH軟件，對問題區域的TIN文件進行人工交互編輯，編輯完成之后將其替換，再重新進行紋理貼圖，最終改善水面空洞。

經過以上處理之后，進一步對模型進行完善，最終構建出三維數字模型，如圖10、圖11所示。

圖10 三維模型效果圖之一

圖11 三維模型效果圖之二

從圖10和圖11可以看出，構建的三維模型形象逼真，細節呈現豐富，沒有出現信息缺失的現象。通過精確三維模型的建立，可快速實現目標物長、寬、高的測量，通過緩沖區的建立及通視分析，可實現城市道路、電力工程等基礎設施的科學規劃及升級改造，為數字城市提供一種科學的、精確的基礎數據。

5 結束語

本文采用SURF算法有效地解決了傾斜影像匹配過程中的比例尺不一致、分辨率不一致等問題，實現了影像間的自動精確匹配，通過某電力工程實測數據分析對比了SURF算法與商用軟件算法在匹配效率和匹配準確率兩方面的表現，結果表明SURF算法優于商用軟件的算法。通過對匹配點對的優化，進一步提高了SURF的運算效率，最后基于SURF算法和其他輔助手段實現了高精度的三維建模，實驗效果表明上述技術方法和思想的正確性。

[1] 劉慶元，徐柳華，沈彩蓮，等.基于無人飛行器遙感影像的數字攝影測量關鍵技術研究[J].測繪科學，2010, 35(9):28-30.

[2] 周曉敏，孟曉林，張雪萍，等.傾斜攝影測量的城市真三維模型構建方法[J].測繪科學，2016, 41(9):159-163.

[3] 朱國強，劉勇，程鵬正.無人機傾斜攝影技術支持下的三維精細模型制作[J].測繪通報，2016(9):151-152.

[4] 李軍，李永樹，蔡國林．利用無人機影像制作地震災區三維景觀圖[J].測繪工程,2012,21(1):50-53.

[5] 曲林，馮洋，支玲美，等.基于無人機傾斜攝影數據的實景三維建模研究[J]. 測繪與空間地理信息, 2015, 38(3):38-43

[6] 譚仁春，李鵬鵬，文琳，等.無人機傾斜攝影的城市三維建模方法優化[J]. 測繪通報, 2016(11):39-42.

[7] 孫宏偉.基于傾斜攝影測量技術的三維數字城市建模[J]. 現代測繪, 2014, 37(1):18-21.

[8] 楊國東，王民水 .傾斜攝影測量技術應用及展望[J]. 測繪與空間地理信息, 2016, 39(1):13-15

[9] 丁志廣，嚴新生，陳輝光.無人機傾斜攝影用于江門市快速三維建模的探討[J]. 城市勘測, 2016(4):72-78.

[10] 李德仁，劉立坤，邵振峰.集成傾斜航空攝影測量和地面移動測量技術的城市環境監測[J]. 武漢大學學報(信息科學版), 2015, 40(4):427-435.

[11] BAY H,TUYTELAARS T,VAN G L.SURF:Speeded Up robust features[C].In ECCV,2006.

[12] BAY H,FASEL B,VAN G L.Interactive museum guide:fast and robust recognition of museum objects[C].Processings of the First International Workshop on Moblie Vision,2006.

[13] BAY H, TUYELAARS T,VAN G L.Speeded-Up Robust Features(SURF)[C].Computer Vision and Image Understanding,2008,110.

[14] 高放，陸頻頻，王旭.基于相似特征點集的SIFT匹配改進算法[J].測繪工程，2016,25(6):19-23.

[15] 胡小青，程鵬根，陳曉勇，等.基于領域投票和Harris-SIFT特征的低空遙感影像匹配. [J]. 測繪工程, 2016, 25(2): 33-37.

[責任編輯：張德福]

Research on 3D modeling based on SURF for oblique photogrammetric technique

MING Guohui1,WEI Minzheng2

(1.Fujian Electric Power Survey & Design Institute, Fuzhou 350003，China;2.Fujian Geologic Surveying and Mapping Institute, Fuzhou 350011，China)

This paper introduces the features of the oblique photogrammetric, proposes an automatic approach of image matching based on SURF to provide a set of matched points, and finally achieves a 3D modeling with high precision geographic information. The result shows the method is reliable and suitable for 3D modeling which can provide an accurate base data for power infrastructure construction.

UAV；oblique photography measurement；image registration；SURF；3D modeling

2017-02-20

國家專項資助項目(KLMMR-2016-A-13)

明國輝(1976-)，男，高級工程師.

著錄：明國輝，委民正.SURF算法在無人機傾斜攝影測量三維建模中的應用研究[J].測繪工程，2017，26(9)：41-45.

10.19349/j.cnki.issn1006-7949.2017.09.009

P23

A

1006-7949(2017)09-0041-05