基于局部線性轉換的無人機影像拼接技術

劉天宇，趙高鵬

（南京理工大學自動化學院，江蘇南京210094）

無人機（Unmanned Aerial Vehicle，UAV）是一種獲取航空影像數據的重要工具，無人機影像具有實時性強、獲取方式靈活、獲取成本低等優點，其應用已從最初的軍事領域擴展到民用領域，在海岸監視、城市規劃、資源勘查、氣象觀測、林業普查等眾多活動中發揮著越來越重要的作用[1]。

無人機在獲取影像時受到飛行高度，相機焦距以及分辨率的限制，拍攝的單張影像視野很小，僅通過一張影像無法掌握整個區域的情況，因此，如何快速獲取較寬視野的無人機影像成為其應用的關鍵[2-3]。目前，常用的方法是基于特征點的影像拼接[4-5]，即通過對無人機影像進行處理，尋找相鄰圖像上的同名特征點進行匹配，然后剔除相應的誤匹配點，最后根據所得變換模型對影像進行無縫拼接。影像拼接中所采用的匹配算法在很大程度上影響無人機影像拼接的速度和精度。

目前國內外有許多學者對無人機影像的拼接技術進行研究。文獻[6]提出一種基于擴展差分圖像的拼接方法；文獻[7]提出一種約束化三角剖分的拼接方法；文獻[8]提出一種基于GA-SIFT和自適應閾值的拼接方法；文獻[9]提出一種基于特征波段選擇的拼接方法；文獻[10]提出以衛星影像為底圖的拼接方法；文獻[11]提出一種基于單目SLAM的拼接方法。

在以上的基礎上，針對無人機影像拼接累計誤差大，速度慢的特點，本文在采用SURF算法[12]提取特征點后，在經過初匹配后，引入一種魯棒的LLT局部線性轉換法[13]進行誤匹配點剔除，然后選取漸入漸出法對圖像進行無縫拼接。最后，通過多組實驗證明本文方法的有效性。

圖1　算法流程圖

1　基于局部線性轉換的拼接算法

1.1　特征點提取

無人機在拍攝影像時，由于受到外界環境以及自身穩定性的影響，拍攝的影像可能存在平移、旋轉、尺度變換等情況，因此，要求檢測的特征點具有較好的魯棒性。拼接后期隨著圖片的累積，特征點數目增加，因此對特征點提取速率也有很高的要求。SURF（Speeded Up Robust Features）算法由 Bay于 2006年提出，是 SIFT（Scale Invariant Feature Transform）算法的一種改進，對圖像平移、旋轉、尺度變換及遮擋等有較好的適應性。與SIFT算法相比，SURF實現了更快的特征提取速度。因此，本文采用SURF算法來提取特征點。

1.2　特征點匹配

通過SURF算法提取到大量特征點后，需要對影像間的同名點進行匹配。基本思路是對一張影像中的某一個特征點，采取一種搜索策略，在鄰近的目標影像中作搜索，找到與之距離最近和次近的特征點，基于最鄰近距離比值法（Nearest Neighbor Distance Ratio，NNDR），刪除最近鄰和次近鄰點距離比值大于設定閾值的特征點，最終得到初步的匹配點。

由于影像間可能存在各種幾何及光度變換、噪聲、量化誤差及相似局部結構等多種因素影響，僅僅依靠距離閾值作約束條件不可避免存在一定的錯誤匹配，因此需要引入其它約束對匹配結果進行提純。目前最為流行的是RANSAC（Random Sample Con?sensus，隨機抽樣一致）算法。

但是RANSAC算法是一種不確定算法，因為算法不確定，只是由一定的概率得到一個合理的結果，為了提高這一概率，必須提高迭代的次數，大大降低了拼接的效率，在準確性和速度上無法同時達到無人機影像配準的要求。對此，文中引入了一種基于局部線性轉換的提純算法，LLT（Locally Linear Trans?forming，局部線性轉換）算法。

LLT算法引入了一個統一的最大似然函數來估計初匹配后點集間的轉換關系，引入一個變量zn∈{0,1}，zn=1時匹配點正確，為0時則為誤匹配點。通過EM（Expectation-Maximization，最大期望）算法[14]來估計正確的內點集，然后建立一個類似于LLE（Locally Linear Embedding，局部線性嵌入）[15-19]的局部幾何約束來確保最優解的適應性。這個局部幾何約束可以保存鄰近特征點在轉換后的幾何構造特征，從而可以獲得正確的匹配點。

根據文獻[13]，令初匹配后的N對特征點集為S={（xn,yn）}N

n=1，其中xn，yn是兩個2-D列向量分別帶有兩幅影像上特征點的空間位置信息，X=（x1,…,xN）T和Y=（y1,…,yN）T是兩個N×2 階矩陣代表兩個影像間的特征點集。為了不失一般性，假設正確匹配點的噪音是具有零均值和協方差σ2I的各向同性高斯分布，誤匹配點則滿足均勻分布。引入一個變量zn∈{0,1}，zn=1時匹配點為正確，為0時則為誤匹配點。為了得到最后的似然函數，算法引入一個參數集θ={T,σ2,γ}。T為轉換方程表示圖像間的幾何關系，對于正確匹配點 （xn,yn），yn=T（xn）。γ表示在引入變量zn上的邊緣分布（也就是任意zn，1/a表示誤匹配點滿足的均勻分布，a為第二張圖片的面積也就是yn的范圍。

考慮到無人機影像的特點，以仿射變換為模型，假設變換方程為yn=T（xn）=Axn+t，A是一個 2×2階仿射矩陣，t是一個2×1階轉換向量，具體的算法流程如下：

其中，K是線性構造中鄰近點的數量，λ是一個控制局部幾何約束在轉換中影響程度的參數，τ是判斷匹配點是否正確的閾值。

輸出：正確匹配點集Γ。

步驟1）：初始化γ，A=I，t=0，P=IN×N。

其中，P=diag（p1,…,pN）為一個對角矩陣，是一個后驗概率表示匹配正確的概率。

步驟2）：根據方程（1）初始化σ2。

步驟3）：為X中每一個特征點搜索K個鄰近點。

步驟4）：通過方程（2）計算W。

步驟5）：重復迭代EM算法至收斂：

E-Step:根據方程（3）計算P

M-Step:根據方程（4）計算和

根據方程（5）（6）分別計算A和t；

根據方程（1）（7）跟新σ2和γ；

1.3　圖像無縫拼接

由于視差效應、拍攝環境變化以及配準誤差等因素的影響，圖像間難免會存在光照、色彩等差異。圖像融合就是要消除圖像光強或色彩的不連續性。它的主要思想是讓圖像在拼接處的光強平滑過渡以消除光強的突變。目前常見的融合算法有平均值法、多分辨率樣條技術和小波變換等。本文采用一種加權融合法——漸入漸出法。

設f1，f2分別代表待融合的兩幅已配準影像，f代表最后的拼接圖像，則漸入漸出法的數學描述為：

式（8）中，d1、d2分別為f1和f2的權值，通常取d=1/w，w為重疊寬度，且d1+d2=1，0

漸入漸出法在選擇權值上對平均值法做出了改進，能夠較好地解決圖像的光照變化問題，同時算法簡單直接、復雜度低、融合速度快，能夠滿足無人機影像拼接的需求。

綜上，本文算法總體流程如圖1所示。

圖1　算法流程圖

2　實驗結果與分析

實驗設置：文中參數設置為K=15，λ=1000，τ=0.75，初始化γ=0.9。為了驗證本文方法的有效性，在MATLAB 2012b下進行仿真實驗，PC配置是CPU為Intel Core i3-2350M，主頻為2.30 GHz，內存為4 GB。

實驗一：特征檢測與匹配試驗。分別用SURF+RANSAC算法和本文SURF+LLT算法對圖2三組不同影像進行配準實驗，其中a1，a2為一組800×800像素光照變化明顯的圖片，b1，b2為一組3072×2304像素旋轉變化明顯的圖片，c1，c2為一組720×480像素縮放變化明顯的圖片。

我們將實驗的結果以表格的形式給出，表1，表2，表3給出了不同情況下本文方法和經典RANSAC算法的對比。其中，總匹配點數是用最鄰近比值法初步匹配后的結果，以RANSAC迭代次數超過4×105次后取得的匹配點作為參考標準正確值（實際操作中迭代次數過高時間過長不可取），最終匹配點數是經過RANSAC（迭代4000次）或LLT算法去除誤匹配點后的結果，最終誤匹配點是和假定正確匹配點做比較后不一致的匹配點數。為了盡可能檢測更多的特征點來比較兩個算法，在用SURF算法提取特征點時，此處將Threshold值調為0.0001，在后續的拼接實驗中將改為0.002。表格中p表示絕對正確率（最終匹配正確點數/最終匹配點數）。

圖2　待匹配的3組不同圖片

表1　不同方法對a1，a2進行匹配結果比較

表2　不同方法對b1，b2進行匹配結果比較

表3　不同方法對c1，c2進行匹配結果比較

從表1，表2，表3中可以看出，面對不同特點的待匹配圖片，盡管RANSAC算法得到的最終匹配點數比本文算法要多，但是誤匹配點卻有很多，絕對正確率遠不如本文的算法，并且本文算法在效率上也比RANSAC要高得多。因此，在正確匹配點足夠滿足拼接需求時，本文算法要優于SURF+RANSAC算法。

實驗二：兩幅圖像拼接實驗。利用本文提出的方法對圖3（a）和圖3（b）進行無縫拼接，兩幅圖為1024×683像素，圖4（a）和圖4（b）分別為本文算法初匹配結果和最終匹配結果圖，圖5為最終的拼接結果圖。

圖3　待拼接圖像

圖4　圖像匹配

圖5　兩幅圖像拼接結果

可以看出，本文方法可以很好地完成兩幅圖像的拼接。

實驗三：實拍無人機影像拼接實驗。利用本文提出的方法，對一組實拍無人機影像進行拼接實驗，圖片像素大小均為1920×1080，圖6為最終的拼接結果圖片。

圖6　拼接結果圖

可以看出，本文方法可以很好地完成多幅無人機影像的拼接。

3　結論

本文根據無人機影像的特點，通過SURF算法提取特征點，經過初匹配后，選取一種基于局部線性轉換的LLT算法剔除誤匹配點，最后通過漸入漸出法完成對影像的無縫拼接。通過對3組具有不同特點的圖像進行匹配，將其和經典的RANSAC算法進行對比，發現本文提出的方法在絕對準確率和匹配速度上均要明顯優于SURF+RANSAC算法，后續的拼接實驗證明本文算法可以完成良好的圖像拼接，最后的實拍無人機影像拼接實驗更是證明本文的方法可以用來對大量的無人機影像進行拼接處理且具有良好的效果。