無地面控制的無人機(jī)影像全自動快速拼接

陳繼溢，孫杰，張力，許彪，唐曉霏

（1.中國測繪科學(xué)研究院，北京100830；2.湖北省測繪工程院，武漢430074）

無地面控制的無人機(jī)影像全自動快速拼接

陳繼溢1，孫杰1，張力1，許彪1，唐曉霏2

（1.中國測繪科學(xué)研究院，北京100830；2.湖北省測繪工程院，武漢430074）

為了滿足地理國情監(jiān)測、災(zāi)害應(yīng)急保障需要快速響應(yīng)和服務(wù)的應(yīng)用需求，該文提出一種無地面控制的無人機(jī)影像全自動快速拼接方法。該方法利用尺寸不變特征匹配和相關(guān)系數(shù)匹配獲取分布均勻且高精度的像點(diǎn)觀測，通過自由網(wǎng)光束法平差獲取定向參數(shù)和加密點(diǎn)物方坐標(biāo)，最后通過結(jié)合影像的色彩一致性處理和顧及重疊的面Voronoi圖接縫線網(wǎng)絡(luò)快速拼接獲取測區(qū)影像圖。實(shí)驗(yàn)結(jié)果表明：所提出的方法可有效解決無人機(jī)影像的快速拼接問題，獲取的影像圖具有較高的拼接精度，同時色彩過渡自然。

無人機(jī)影像；SIFT匹配；自由網(wǎng)光束法平差；影像色彩一致性處理；快速拼接；無地面控制

1 引 言

無人機(jī)低空航測遙感具有機(jī)動快速響應(yīng)、任務(wù)執(zhí)行靈活、高精度影像獲取等特點(diǎn)，已被廣泛應(yīng)用到地理國情監(jiān)測、災(zāi)害應(yīng)急保障、地形圖測繪、農(nóng)業(yè)、林業(yè)、電力等領(lǐng)域。隨著硬件系統(tǒng)的不斷發(fā)展與成熟，海量影像數(shù)據(jù)的快速獲取已成為可能，但如何有效解決無人機(jī)低空影像重疊度不規(guī)則、像幅小、旋偏角大、畸變明顯問題，快速獲取滿足業(yè)務(wù)部門各種應(yīng)用需求的成果數(shù)據(jù)具有重要的現(xiàn)實(shí)意義，同時也是目前的研究熱點(diǎn)。

針對無人機(jī)影像的快速拼接問題，目前大多數(shù)處理方法都是采用不同的優(yōu)化算法在像方空間做尺度不變特征匹配（Scale－invariant feature transform，SIFT），然后根據(jù)匹配的同名點(diǎn)進(jìn)行全景拼接。劉民選［1］著重研究了無人機(jī)影像同名點(diǎn)匹配策略和基于GPU的加速方法；胡慶武等［2］采用基于SIFT特征的單應(yīng)約束影像匹配算法，計算相鄰影像的最優(yōu)變換矩陣，采取多分辨率融合拼接全景影像；宮阿都等［3］首先進(jìn)行數(shù)據(jù)分塊，其次運(yùn)用SIFT算子對分塊影像進(jìn)行自動拼接，最后基于輔助數(shù)據(jù)對分塊拼接影像進(jìn)行整體二次多項(xiàng)式糾正。上述方法本質(zhì)上都是基于像方空間的拼接，對同名點(diǎn)匹配精度和分布的依賴性較高，另外，如果測區(qū)地形起伏較大可能會出現(xiàn)明顯的拼接錯位；劉春等［4］提出基于光束法平差的無人機(jī)影像快速拼接方法，并推導(dǎo)了相應(yīng)的數(shù)學(xué)模型，但仍然依賴于稀少控制信息。

本文針對地理國情監(jiān)測、災(zāi)害應(yīng)急保障等應(yīng)用需求，提出一種無地面控制的無人機(jī)影像快速拼接方法。該方法通過結(jié)合SIFT特征匹配、相關(guān)系數(shù)匹配、分級多層金字塔影像匹配等策略獲取分布均勻且高精度的像點(diǎn)觀測；利用自由網(wǎng)光束法平差獲取影像的定向參數(shù)和加密點(diǎn)物方坐標(biāo)；加密點(diǎn)三角構(gòu)網(wǎng)并內(nèi)插獲取數(shù)字高程模型DEM，利用數(shù)字微分糾正獲取單片正射影像；最后通過結(jié)合基于Wallis濾波器的整體勻色處理和顧及重疊的面Voronoi圖接縫線網(wǎng)絡(luò)［5］快速拼接獲取測區(qū)影像圖數(shù)據(jù)。

2 無人機(jī)影像全自動快速拼接

目前，無人機(jī)飛行作業(yè)時可獲取航攝影像及概略的導(dǎo)航POS數(shù)據(jù)，兩者和相機(jī)參數(shù)作為快速拼接的原始數(shù)據(jù)；其次，通過初始匹配和數(shù)據(jù)整理建立測區(qū)航帶列表；然后進(jìn)行自動空三處理獲取影像的外方位元素和加密點(diǎn)的物方坐標(biāo)；最后糾正拼接處理獲取測區(qū)影像圖數(shù)據(jù)。本文方法的總體流程如圖1所示。

圖1 快速拼接總體流程圖

2.1 初始匹配

（1）SIFT特征匹配

1999年，Lowe提出SIFT算法［6］，并于2004年進(jìn)一步改進(jìn)該算法，它是一種基于尺度空間的影像局部特征描述算子，對影像的旋轉(zhuǎn)、尺度縮放、仿射變換等保持一定程度的穩(wěn)定性，可作為較理想的無人機(jī)影像初始匹配方法。

利用SIFT進(jìn)行影像匹配主要分為特征點(diǎn)探測、特征點(diǎn)描述、特征點(diǎn)匹配、誤匹配點(diǎn)粗差剔除4個部分。實(shí)際應(yīng)用中為了提高匹配速度，SIFT特征匹配在金字塔影像上進(jìn)行，同時利用導(dǎo)航POS數(shù)據(jù)結(jié)合全球航天飛機(jī)雷達(dá)地形測繪使命（Shuttle Radar Topography Mission，SRTM）數(shù)據(jù)計算目標(biāo)影像的鄰接關(guān)系以確定搜索影像。誤匹配點(diǎn)粗差剔除使用模型參數(shù)為透視變換的隨機(jī)抽樣一致性（Random Sample Consensus，RANSAC）方法［7］。

（2）相關(guān)系數(shù)匹配

盡管SIFT特征匹配具有很多優(yōu)勢，但其特征點(diǎn)定位精度不高，特征分布存在不均勻的現(xiàn)象。為了提高匹配精度同時保證匹配點(diǎn)的均勻分布，本文基于SIFT特征匹配的結(jié)果，利用在影像上按規(guī)則格網(wǎng)提取的Harris特征點(diǎn)進(jìn)行更高精度的相關(guān)匹配以獲取初始匹配像點(diǎn)觀測。

無人機(jī)影像存在旋轉(zhuǎn)、變形等問題，而在級別較高的金字塔影像上可認(rèn)為其“視差”具有分段連續(xù)平滑的特點(diǎn)。因此，相關(guān)匹配時可利用透視變換重采樣搜索窗口的灰度數(shù)據(jù)，變換參數(shù)的計算基于目標(biāo)點(diǎn)鄰近匹配成功的SIFT特征點(diǎn)。

通過SIFT特征匹配和相關(guān)系數(shù)匹配，可獲取點(diǎn)位分布和精度均較為理想的初始匹配點(diǎn)。一方面可用于自由網(wǎng)光束法平差的像點(diǎn)觀測數(shù)據(jù)，另一方面，可作為后續(xù)分級多層金字塔影像匹配的初值使用。

2.2 測區(qū)整理

無人機(jī)機(jī)載飛行控制系統(tǒng)的POS數(shù)據(jù)記錄了像片攝影時的概略外方位元素，測區(qū)整理時基于攝站的三維坐標(biāo)（X，Y，Z），同時根據(jù)攝影曝光時間的先后順序排列影像。算法的基本原則為：航帶內(nèi)相鄰像片的方向向量與航帶方向的向量積為正，如圖2（a）、圖2（b）所示。具體步驟如下：

（1）依次計算相鄰兩張像片攝影中心的方向向量并單位化，記為：

（3）對下一個攝站點(diǎn)，計算向量積s：

（4）根據(jù)s判斷攝站點(diǎn)的航帶歸屬：

s＞0，將該點(diǎn)加入到當(dāng)前航帶，同時更新航帶方向向量

其中，→lnew為更新后的航帶方向向量，同時將其單位化，m為當(dāng)前航帶內(nèi)的像片數(shù)量。實(shí)質(zhì)是將航帶內(nèi)所有相鄰像片方向向量的加權(quán)值作為航帶的方向向量，進(jìn)而增強(qiáng)航帶方向計算的穩(wěn)健性和適用性；

s≤0，當(dāng)前航帶創(chuàng)建完成，重復(fù)上述步驟（2）～步驟（4）創(chuàng)建下一航帶直至判斷完所有攝站點(diǎn)的航帶歸屬。

圖2 航帶排列

航帶創(chuàng)建完成后，根據(jù)其位置關(guān)系及初始匹配結(jié)果進(jìn)一步判斷像片的旋轉(zhuǎn)方式以完整測區(qū)整理。圖3是某測區(qū)12條航帶共計1963張影像的自動整理結(jié)果，為顯示需要，圖中為攝站點(diǎn)抽稀顯示結(jié)果。

圖3 測區(qū)自動整理結(jié)果

2.3 自動空三

分布均勻、密集且高精度的像點(diǎn)觀測對于快速拼接目的而言具有重要意義，主要表現(xiàn)在兩方面：①提高自由網(wǎng)光束法平差的精度與可靠性，同時有利于像點(diǎn)觀測粗差的自動定位與剔除；②自由網(wǎng)加密點(diǎn)坐標(biāo)通過三角構(gòu)網(wǎng)及內(nèi)插可獲取測區(qū)的DEM，其描述地形地貌的精細(xì)與否在一定程度上影響拼接影像圖的精度。因此，為了獲取高密度、高精度的像點(diǎn)觀測，本文采用分級多層的金字塔影像匹配策略。

（1）自由網(wǎng)光束法平差

光束法平差是空中三角測量中最嚴(yán)密的一步解法，可同時獲取影像的外方位元素和加密點(diǎn)的物方坐標(biāo)。光束法平差中影像坐標(biāo)觀測是未知數(shù)的非線性函數(shù)，因此，需反復(fù)迭代趨近直至收斂為止。

由于受到各種因素的影響（遮擋、重復(fù)紋理、陰影等），自動匹配獲取的像點(diǎn)觀測中不可避免的存在粗差，平差迭代計算過程中自動檢測并剔除粗差是保證平差結(jié)果精度與可靠性的關(guān)鍵。因此，本文選用從穩(wěn)健估計法出發(fā)導(dǎo)出的丹麥法LD1權(quán)函數(shù)［8］，主要基于兩方面的考慮：①無需計算多余觀測分量，以節(jié)省計算時間；②大量密集且分布均勻的像點(diǎn)觀測使得平差系統(tǒng)的平均多余觀測分量很大（0.9以上）且分布均勻，從平差系統(tǒng)的可靠性理論來說，粗差能夠得到很好地監(jiān)控。

（2）分級多層金字塔影像匹配

本文采用基于物方的鉛垂線軌跡法（Vertical Line Locus，VLL）［9］實(shí)現(xiàn)從粗到精的金字塔影像匹配策略，如圖4所示，其處理過程如下：

圖4 VLL法影像匹配

①確定待匹配目標(biāo)點(diǎn)最低高程Zmin、最大高程Zmax及高程搜索步距ΔZ。最上級金字塔影像匹配時直接利用2.1節(jié)中的初始匹配結(jié)果，后續(xù)各級影像需重新提取均勻分布的Harris特征點(diǎn)；

②根據(jù)目標(biāo)點(diǎn)平面坐標(biāo)（X，Y）與可能的高程Z依次重采樣搜索影像并計算相關(guān)系數(shù)（ρ1，ρ2，…，ρn）；

③取相關(guān)系數(shù)最大值ρk對應(yīng)的高程ZK及像點(diǎn)作為正確的匹配。

另外，多層分級金字塔影像匹配時可根據(jù)實(shí)際需求設(shè)置指定的金字塔匹配級數(shù)，提高自動空三的處理效率，進(jìn)而減少快速拼接的整體處理時間。

2.4 快速拼接

快速拼接影像圖主要分為三步：首先，三角構(gòu)網(wǎng)并內(nèi)插自由網(wǎng)光束法平差的加密點(diǎn)物方坐標(biāo)可獲取測區(qū)的DEM；其次，數(shù)字微分糾正獲取單片糾正影像；最后，單片糾正結(jié)果經(jīng)色彩一致性處理后拼接獲取測區(qū)影像圖數(shù)據(jù)。

對于植被、建筑物較為密集的城區(qū)來說，為了避免單片糾正影像中地物地貌的扭曲變形，需要對空三加密點(diǎn)進(jìn)行濾波處理，本文選用穩(wěn)健性、適用性均較為理想的漸進(jìn)加密三角網(wǎng)濾波算法［10］。

潘俊詳細(xì)研究了用于大范圍影像鑲嵌處理的接縫線網(wǎng)絡(luò)自動生成的顧及重疊的面Voronoi圖。顧及重疊的面Voronoi圖允許面之間具有重疊，是對重疊區(qū)域歸屬的重新劃分，且這種劃分是沒有冗余的、無縫的。具體的拼接線生成方法主要分為三步：①跟蹤單片糾正影像有效區(qū)域的外部輪廓多邊形；②計算重疊影像間的平分線；③根據(jù)與當(dāng)前影像具有重疊的影像間的平分線，依次對其有效范圍進(jìn)行劃分。拼接線自動生成過程如圖5所示，該方法整體考慮了拼接范圍內(nèi)的所有影像，其處理結(jié)果與影像順序無關(guān)，適用于大范圍的影像自動拼接處理。

影像色彩一致性處理方面本文選用基于Wallis濾波器的整體勻色處理［11］，色調(diào)統(tǒng)計參數(shù)利用全測區(qū)所有影像，以最大程度上保證拼接影像圖的整體色彩一致性。另外，為保證拼接線附近色彩過渡自然，選用模版羽化［11］方法對拼接線附近的色差進(jìn)行過渡處理以獲得最終的無縫拼接影像圖。

圖5 Voronoi多邊形生成示意圖［5］

3 實(shí)驗(yàn)分析

為了驗(yàn)證本文拼接方法的有效性和適用性，選取平坦地形和高山地兩個測區(qū)進(jìn)行實(shí)驗(yàn)分析，測區(qū)基本信息及快速拼接處理概況如表1所示。

圖6（a）和圖6（c）分別為兩個測區(qū)自由網(wǎng)加密點(diǎn)DSM暈渲顯示結(jié)果，圖6（b）和圖6（d）分別為三角構(gòu)網(wǎng)并內(nèi)插DEM的暈渲顯示結(jié)果。其中，測區(qū)I為城市地區(qū)，其DSM為利用漸進(jìn)加密三角網(wǎng)濾波后的結(jié)果。從圖中可以看出，利用本文方法自動獲取的DSM和DEM能夠較為精細(xì)地描述測區(qū)的地形地貌信息，進(jìn)而驗(yàn)證了2.3節(jié)的自動空三策略能夠匹配出密集、分布均勻且高精度的像點(diǎn)觀測以及自由網(wǎng)平差的有效性。

表1 測區(qū)信息

圖6 DSM和DEM暈渲結(jié)果

圖7為經(jīng)色彩一致性處理和顧及重疊的面Voronoi圖接縫線自動生成方法拼接的測區(qū)影像圖。從圖中可以看出，利用本文方法自動拼接的影像圖具有較高的拼接精度，主要地物無明顯拼接錯位，整體色彩一致性較好，由于拼接影像定向參數(shù)的解算是基于嚴(yán)格的共線條件方程，因此對各種地形地貌的測區(qū)具有一致的適用性。

4 結(jié)束語

本文提出一種無地面控制的無人機(jī)低空影像全自動快速拼接方法。通過采用SIFT特征匹配、分級多層金字塔影像匹配等策略，可獲取分布均勻、密集且高精度的像點(diǎn)觀測；影像外方位元素利用最為嚴(yán)格的光束法平差計算獲得，不僅能夠有效保證拼接精度，同時還適用于各種類型測區(qū)的拼接任務(wù)需求；通過結(jié)合影像的色彩一致性處理和顧及重疊的面Voronoi圖接縫線網(wǎng)絡(luò)自動生成方法，可獲取無縫、整體色彩一致的拼接影像圖。

通過具體的實(shí)驗(yàn)分析，驗(yàn)證了本文所述快速拼接方法的有效性和適用性。航帶自動整理算法目前不適用于帶構(gòu)架航線或十字交叉飛行的測區(qū)，后續(xù)研究中需對其加以優(yōu)化改進(jìn)。另外，由于拼接線自動生成算法直接基于物方坐標(biāo)信息，并未顧及影像的紋理及拼接線是否避開人工建筑物等問題，如何智能快速地選取拼接線以獲取更高精度的拼接影像圖是后續(xù)研究的重點(diǎn)。

圖7 拼接影像圖

［1］ 劉民選.無人機(jī)影像全自動快速拼接［D］.北京：中國測繪科學(xué)研究院，2012.

［2］ 胡慶武，艾明耀，殷萬玲，等.大旋角無人機(jī)影像全自動拼接方法研究［J］.計算機(jī)工程，2012，38（5）：152－154.

［3］ 宮阿都，何孝瑩，雷添杰，等.無控制點(diǎn)數(shù)據(jù)的無人機(jī)影像快速處理［J］.地球信息科學(xué)學(xué)報，2010，12（2）：254－260.

［4］ 劉春，李巍岳，雷偉剛，等.光束法自由網(wǎng)平差的無人機(jī)影像嚴(yán)格拼接［J］.同濟(jì)大學(xué)學(xué)報，2012，40（5）：757－762.

［5］ 潘俊.自動化的航空影像色彩一致性處理及接縫線網(wǎng)絡(luò)生成方法研究［D］.武漢：武漢大學(xué)，2008.

［6］ LOWE D.Distinctive image features from scale－invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［7］ HARTLEY R，ZISSERMAN A.Multiple view geometry in computer vision［M］.London Cambridge University Press，2000：219－243.

［8］ 李德仁，袁修孝.誤差處理與可靠性理論［M］.武漢：武漢大學(xué)出版社，2002.

［9］ 張劍清，潘勵，王樹根.攝影測量學(xué)［M］.武漢：武漢大學(xué)出版社，2010.

［10］ 管海燕.LiDAR與影像結(jié)合的地物分類機(jī)房屋重建研究［D］.武漢：武漢大學(xué)，2009.

［11］ 孫明偉.正射影像全自動快速制作關(guān)鍵技術(shù)研究［D］.武漢：武漢大學(xué)，2009.

Full－automatic and Fast Mosaicking of UAV Images Without Ground Control Data

CHEN Ji－yi1，SUN Jie1，ZHANG Li1，XU Biao1，TANG Xiao－fei2
（1.Chinese Academy of Surveying and Mapping，Beijing100830；2.Hubei Institute of Surveying and Mapping，Wuhan 430074）

For the demand of geographical conditions monitoring and disaster emergency security，this paper presents an automatic and fast method for mosaicking UAV images without ground control data.First，high density match points are obtained by SIFT matching and correlation coefficient matching.Then it acquires the orientation parameters of each image and three－dimensional coordinates of the match points using bundle adjustment.After the color consistency processing，it quickly mosaick the ortho－image of the whole zone based on the seamline network automatically generated using area Voronoi diagrams with overlap.Experiments of two different kinds regions which are mountainous area and flat area show that the given method can efficiently solve the problem of fast mosaicking of UAV images with good precision and nice color consistency.

UAV image；SIFT matching；bundle adjustment；color consistency process；fast mosaicking；without ground control

10.3969／j.issn.1000－3177.2015.02.004

TP751

A

1000－3177（2015）138－0026－05

2014－04－22

2014－07－01

國土資源部公益基金資助項(xiàng)目（201111010－6）。

陳繼溢（1990～），男，碩士，主要從事無人機(jī)影像快速拼接及正射影像智能鑲嵌研究。

E－mail：whulife＠gmail.com