基于SIFT的無人機航拍圖像快速拼接技術研究

宋建輝　閆蓓蕾

(沈陽理工大學自動化與電氣工程學院　遼寧 沈陽 110168)

0　引　言

近年來基于無人飛行器獲取遙感圖像的配準和拼接技術，大致分為基于參考圖像以及基于無人機飛行姿態參數兩種方法。基于無人機飛行姿態參數的方法能夠實時地校正由于無人機飛行姿態的改變、高度變化而產生的圖像幾何畸變問題。但是在實際執行任務過程中，無人機飛行姿態比較容易受外部環境干擾的影響，從而會產生飛行姿態參數獲取不準確、不及時等問題[1]。而基于參考圖像的算法不會受到傳感器各項參數、無人機周圍環境等因素的影響，對獲取的圖像能夠迅速完成配準和拼接工作，所以采用參考圖像的算法在配準和拼接研究中獲得了普遍應用[2]。

參考圖像的匹配方法，將圖像上檢測得到的部分特征當作配準基元，主要分為圖像特征配準以及區域配準兩大類別。用來匹配的關鍵元素有點、線、區域或者一些具有特殊結構的元素。而圖像的點特征有旋轉、平移不變的特性，并且穩定性高、配準精度高、運算的速度快[3]，于是，利用圖像中的特征點來實現配準和拼接，是如今應用最廣泛的方法[4]。

Harris角點檢測算子計算量少，可以穩定處理圖像的方向變化、灰度的改變等問題[5]。然而該提取算法無法實現尺度不變性，對那些存在較明顯仿射變換的圖像，配準效果有所欠缺[6]。SIFT算法是一種選擇與描述圖像特征的方法，能夠解決圖像在方向及角度變化、縮放改變、平行移動、明暗改變等狀態下的特征匹配。為了使拼接結果更準確，本文選用SIFT算法。

將SIFT特征提取算法單獨應用于圖像匹配工作中，會占用過多的運算時間，而且對于處理大圖像的效果較差。針對匹配速率問題，本文對圖像匹配進行了改進，在匹配算法中加入了SSDA算法，縮短了圖像特征點匹配時間，大大提高了匹配效率。然后利用RANSAC算法求取匹配點的轉換矩陣，并將特征點對進行準確配準，該方法具有魯棒性，最終完成圖像拼接工作。

1　基于特征點的圖像拼接算法

1.1　SIFT特征提取算法

SIFT特征向量的生成步驟如圖1所示。

圖1SIFT特征向量的生成步驟

1.1.1尺度空間極值檢測

Witkin在1983年提出尺度空間理論，該理論作為檢測不變特征的基礎，主要解決了一維信號平滑處理問題。次年，Koenderink又把該理論擴展到了二維圖像，而且他論證了高斯卷積核是唯一能夠處理尺度變換的變換核[7]。

二維圖像可以由圖像以及高斯核卷積得出位于多種尺度下的尺度空間[8]：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

式中：G(x,y,σ)是高斯核函數：

(2)

式中:I(x，y)是圖像數據；(x，y)是圖像點的像素坐標值；σ是高斯正態分布的方差；L(x,y,σ)就是所求得的圖像的尺度空間。

Lowe應用尺度空間的差分高斯DoG極值作為其判斷依據，解決了在尺度空間提取出可靠關鍵點的問題。DoG算子是相異尺度高斯核的差分，規定如下：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=

L(x,y,kσ)-L(x,y,σ)

(3)

式中：k是兩個相鄰尺度間的比例影響參數。

1.1.2確定關鍵點的位置及尺度

經過三維二次函數的擬合使選取點的坐標值更準確，來獲得原始圖像的SIFT候選關鍵點集。但是該點集中，還包含一些對噪聲較為敏感或者對比度較低的點，以及處于圖像邊緣而很難精確獲取其位置的點，如果要實現SIFT特征點的穩定性，就一定要把上述點排除。

1.1.3確定關鍵點方向

確定特征點的方向后，特征描述符才能夠以和方向相關的方式表示，這樣SIFT算子就不會受到旋轉變化的影響。根據關鍵點鄰域像素的梯度分布特點來確定其方向。對于每幅高斯圖像，每一個關鍵點L(x,y)的梯度分布的模m(x,y)及方向θ(x,y)都可以由以下公式得出：

m(x,y)=

(4)

(5)

式中：L(x,y)所表示的尺度是關鍵點所在尺度。

此時，提取點的檢測任務已經結束，其中，每個提取點顯示3個信息：尺度、坐標、方向。

1.1.4特征向量生成

為了提高選取點配準的穩定性，將每個點通過4×4，一共16個種子點表示，每個點包含128個數據[9]，結果表示的SIFT特征向量為128維。如此，就生成了圖像特征描述符用以圖像特征匹配，該SIFT特征向量不再受到方向、角度改變等干擾。

1.2　SSDA算法

1972年,Bamea D I及Silverman H F等提出了SSDA算法，并將其應用到圖像匹配算法中。SSDA算法通過設定閾值，使模板在搜索圖像上進行搜索[10]，可以快速排除發生誤匹配的點，使配準算法更簡單易行，因此使得配準速度得到很大提升。

SSDA算法過程如下：

目標圖像S設為N×N，待配準圖像T設為M×M，將待配準圖像疊放在目標圖像上進行平移。平移待配準圖像的過程中其下的目標圖像區域設作子圖Si,j，在目標圖像中Si,j左上部分的點的坐標值為(m,n)，即待匹配圖像上的每個像素點坐標值[11]，其中：1≤i,j≤N-M+1且0≤m,n≤M。

(1) 計算絕對誤差值：

ε(i,j,mk,nk)=

(6)

(2) 確定一個不變閾值Tk。

(3) 在Si,j(m,n)中，隨機選擇一個像點(mk,nk)，并求出它和待匹配圖像上相應點的絕對誤差值ε(i,j,mk,nk)，之后將這個ε值和其余匹配點對的ε值累加，當累加至r次的ε值超過Tk后，就不再對該目標模塊進行累加運算，同時把Si,j(m,n)平移至下一處位置，并記下次數r。定義SSDA的檢測曲面為：

(7)

(4) 通過對比，匹配點就是取值最大的I(i,j)指向的像素點(i,j)。

1.3　RANSAC匹配算法

RANSAC匹配算法用于解決關鍵點匹配錯誤問題[12]。該方法具有很好的魯棒性及容錯性質。其核心思想是：在未知的函數模型參數中及未知的數據集中進行魯棒性擬合。首先設計一個目標參考模型，然后利用重復采樣技術計算出一個最小點集合，在此集合中估算出目標模型所需要確定的參數；再利用已經解算出的初始參數值把原始數據集分割成內點(即符合目標函數的點)與外點(即與目標函數不相符合的點)；最后依據所獲得的內點來重新求取目標模型的參數值[13]。

運用RANSAC來求取匹配點的變換矩陣，其過程如下：

(1) 計算圖像間的變換矩陣的初始值：

① 隨機從獲取的配準特征點中抽取4組點對作為一組實驗數據，并計算變換矩陣H[14]。

② 計算每組對應點的距離d。

③ 計算與H一致的內點數。

④ 找出含有內點數量最大的H，當數量一樣時，找出最小的內點標準方差對應的H值。

假設圖像序列之間的變換是投影變換：

(8)

式中：H的自由度是8。假設p=(x,y)，q=(x′,y′)是一組匹配的特征點對，則根據投影的變換公式：

(9)

可以選用4個最優的匹配點對求取H中包含的8個自由度參數hi(i=0,1,…,7)，并以此作為H的初始值。

(2) 迭代精煉變換矩陣H：利用包含內點的全部匹配再次計算H。

(3) 引導匹配：使用估計所得的H定義對極線附近的搜尋區域，并進一步確定特征點的相應關系。

(4) 反復迭代(2)、(3)步驟，一直到對應點的數目穩定以結束計算。

2　圖像融合

根據求得的轉換矩陣H，對圖像作轉換處理來確定圖像間的相同區域，然后把待融合的圖像映射到一張新圖像中作為拼接圖。

本文選用加權平滑算法來處理圖像拼接縫問題。由圖2可知，將兩幅待拼接圖像中相應點的像素灰度值P_L與P_R作加權平均運算可求出圖像交疊范圍內像素點的灰度值P[15]，即：

P=k×P_L+(1-k)×P_R

(10)

式中:k為可調因子。一般情況下，0

圖像1 圖像2

拼接圖像

圖2加權平滑算法

3　實驗結果與分析

本文使用Intel(R) Core(TM) i3-3110M處理器，并用MATLAB仿真軟件，選用大量圖像來驗證上述算法的可行性。下面列舉兩組實驗結果。

首先將Harris角點檢測算法、SIFT特征提取算法比較，通過這兩種方法所獲得的匹配特征點對數如表1所示。

表1　Harris與SIFT實驗對比表

由表1可以看出，SIFT特征提取算法比Harris角點提取算法所得到的關鍵點匹配對數高出幾倍，這就證明基于尺度不變特征提取算法的圖像拼接的精度更高，拼接的結果圖配準完善度更好。

將SIFT配準算法、SIFT+SSDA配準算法作比較，選用包含不同關鍵點數的圖像進行匹配，配準所用時間見表2，對比結果體現出SIFT+SSDA算法的高效率性。

表2　匹配算法時間比較

通過分析以上兩組對比實驗，本文將SIFT特征提取算法、SSDA算法和RANSAC精確匹配算法相結合，得到如圖3-圖7的拼接效果圖。分別列舉了SIFT特征點提取、SSDA初步配準、RANSAC精確配準以及無縫拼接結果圖。

左圖右圖圖3　原圖

圖4　SIFT特征點提取

圖5　SSDA初步配準結果圖

圖6　RANSAC精確配準結果圖

圖7　圖像拼接結果圖

圖4中顯示出圖像的所有SIFT特征點；圖5中添加SSDA算法來對圖像進行初步配準，雖然提高了配準速率，但存在少量誤匹配點；圖6中利用RANSAC算法進行精確匹配，其上線段為各組匹配點對的連線，每條線段互相平行，匹配精度較高；圖7中的圖像未產生明顯的拼接痕跡，而且也拓寬了單幅圖像的場景視野。

由于SIFT算法能夠解決圖像在出現平移、方向及角度改變等狀態下的特征匹配問題，本文根據該特點將其中一幅圖像分別旋轉90度、縮小尺寸，經過實驗仿真，依舊能夠獲得圖7的拼接結果，匹配結果見圖8、圖9。

圖8　旋轉90度RANSAC精確配準結果圖

圖9　縮小尺寸RANSAC精確配準結果圖

4　結　語

由于SIFT算法能夠解決圖像平移、方向及角度改變、光照改變等問題，無人飛行器在不同時間、以不同角度拍攝兩幅或者多幅含有重疊區域的圖像后，依舊可以獲得較好的拼接效果，這樣就降低了無人飛行器工作時間和地點的局限性。利用SIFT算法選取特征點，然后在圖像配準中添加SSDA算法，再根據RANSAC進行精確匹配，如此，縮短了配準時間，提升了匹配速度，并使圖像的匹配度更高，拼接效果更完善。但是，本文算法仍存在不足之處：由圖8、圖9可以看出，當圖像發生尺度改變、旋轉等變化時，匹配點對數會略微減少，繼而會影響拼接效果，有待改進。

[1] 周志艷，閆夢璐，陳盛德，等.Harris角點自適應檢測的水稻低空遙感圖像配準與拼接算法[J].農業工程學報，2015,31(14)：186-193.

[2] 趙芹，周濤，舒勤.基于特征點的圖像配準技術探討[J].紅外技術，2006,28(6):327-330.

[3] 劉曉龍，李英成.基于多源遙感影像融合的影像匹配技術[J].測繪科學，2007,32(3):59-61.

[4] 趙前鑫，楊英寶.一種基于角點特征的遙感影像自動配準方法[J].測繪科學，2013,38(3):160-162.

[5] 郭翠翠.基于并聯機構的三維視覺重構系統標定技術研究[D].燕山大學，2009.

[6] 袁杰.基于SIFT的圖像配準與拼接技術研究[D].南京理工大學，2013.

[7] 趙小川.MATLAB圖像處理—能力提高與應用案例[M].北京航空航天大學出版社，2014.

[8] 郭海礁.常用圖像拼接算法綜述[J].科技信息，2012(7):475-476.

[9] 李曉靜, 趙蕾, 劉婷婷. 基于SIFT特征的遙感圖像配準方法研究與實現[J]. 電腦編程技巧與維護, 2012(8):106-107,151.

[10] 王昌誠.現代圖像處理技術在深海高清圖像分析中的研究[D].青島科技大學,2015.

[11] 謝昕，徐殷，熊煥東，等.基于壓縮感知的SIFT圖像匹配算法研究[J].華東交通大學學報,2015,32(6):115-121.

[12] 李明.一種焊縫成形形貌的視覺評判方法研究[D].蘭州理工大學，2014.

[13] 任宇琪. 面向空間非合作目標捕獲的位姿測量方法研究[D].哈爾濱工業大學，2015.

[14] Zitova B, Flusser J. Image registration methods: a survey[J]. Image and Vision Computing,2003,21(11):977-1000.

[15] 劉志偉, 高軍, 張明. 機載紅外搜救系統中的圖像快速拼接[J]. 計算機系統應用, 2015, 24(2):189-194.