基于改進ORB算法的無人機遙感圖像拼接技術

王紅君, 劉一鳴, 岳有軍, 趙 輝,2

(1.天津理工大學電氣電子工程學院，天津 300384；2.天津農學院工程技術學院，天津 300384)

近年來，隨著數字圖像處理技術和無人機遙感技術的快速發展和日趨成熟，無人機航空遙感系統在眾多領域都得到廣泛應用，憑借其靈活且方便操作的特點，在諸多人力不方便作業的區域有著難以替代的作用[1]。然而在應用過程中，無人機航拍圖像往往尺寸過大，導致了在特征匹配環節存在速度過慢的問題；而且由于圖像分辨率過高，傳統算法在匹配特征點時，誤匹配率也比較高。因此，如何快速準確地匹配圖像特征點成為無人機遙感圖像拼接的熱點話題。

圖像拼接技術問世到現在，已經出現了很多種圖像拼接算法，其中最主流的算法是特征點提取算法。常見的特征點提取算法有SIFT(scale-invariant feature transform)、SURF(speed-up robust features)與ORB(oriented FAST and rotated BRIEF)算法等。中國方面，曾海長等[2]在ORB算法中引入Hessian檢測算子，用來解決ORB尺度不變性較差的問題，但是這種算法在拼接中容易出現特征點誤匹配的問題；禹鑫燚等[3]針對圖像拼接中的重疊區域某些圖像局部特征信息容易丟失的問題, 對圖像特征點進行了四叉樹劃分，增加了邊緣檢測的能力，然而這種改進不適用于色差變化較小的地帶，而無人機會在任何場景作業，因此這種改進的ORB算法并不適用于無人機圖像拼接。而在國外方面，Fathima等[4]提出一種結合SIFT特征的不變矩圖像拼接方法，來減少計算復雜度，但是拼接結果產生的裂縫較為明顯；Aghamohamadnia等[5]將一些假設的交叉條紋縫線的平均像素值代入算法中，在一定程度上改善了圖像拼接中的重影問題，但是拼接的速率緩慢。

提出一種改進ORB算法的無人機遙感圖像拼接算法。在特征檢測階段使用FAST算法對Shi-Tomasi算法[6]進行加速，這樣一來可以在保證特征檢測穩定性強和抗干擾能力好的基礎上，大大提升特征檢測的速度；之后再用ORB算法對檢測到的特征點進行特征描述，使其具有旋轉不變性；最后使用改進的SPHP(shap-preserving half-projective)算法[7]進行圖像融合，降低圖像重疊區域的重影。最終得到更好的圖像拼接質量和速度。

1 圖像配準

1.1 改進的ORB特征檢測

ORB特征是將FAST(features from accelerated segment test)特征檢測算法與BRIEF(binary robust independent elementary features)特征描述子結合起來[8]。FAST算法雖然是當今特征檢測速度最快的算法之一，但是它的尺度不變性較差和旋轉不變性較差，而Shi-Tomasi角點檢測需要對整幅圖像的特征點矩陣的特征值進行計算，因此雖然特征提取的準確性較高，但是速度較慢，為了獲得效率更高的特征提取方法，可以先用FAST算法對整幅圖像的特征點進行初步篩選[9]，再將篩選后得到的點用Shi-Tomasi算法處理。

(1)首先，定義一個閾值，并在圖像中任取一點p，設該點為圖像的像素中心點，以p為圓心，r為半徑畫圓，r=3，在圓周上取p1～p16個像素點，如圖1所示。

(2)測量圓周上、下、左、右四個點到像素中心點p的像素差，將得到的像素差取絕對值并與(1)中定義的閾值作比較，如果像素差的絕對值中有3個或以上大于閾值，則p為候選點。

(3)計算所有像素點到像素中心p的像素差，將得到的像素差取絕對值并再次與(1)中定義的閾值作比較，如果像素差的絕對值中有連續9個或以上大于閾值，則p為特征點。

(4)選取特征點p為中心的一個鄰域，使用上述方法計算該鄰域內有無特征點，并判斷p是否為該鄰域內響應值最大的特征點，若是，則保留特征點p。若在該鄰域內測算到只包含唯一的特征點p，則直接保留p。計算最大響應的方法如式(1)所示：

(1)

式(1)中：V為最大響應；t為閾值。

圖1 FAST特征

Shi-Tomasi算法是Harris角點檢測算法的一種改進算法。角點為局部圖像中灰度變化最大的點。設灰度圖像在某一點(x,y)處的灰度為I(x,y)，以該點為中心的矩形窗口W在任意方向平移(u,v)后產生的灰度變化E(u,v)可表示為

I(x,y)]2

(2)

式(2)中：ω(x,y)為高斯核函數。將I(x+u,y+v)的一階泰勒展開式代入式(1)可得：

(3)

(4)

設λ1、λ2為矩陣M的兩個特征值，若兩個特征值中較小的一個大于設定的閾值，則判定該點為本文算法檢測的角點。

1.2 ORB特征描述

如果一幅圖像中包含有大量的特征點，那么特征描述子將占用大量的存儲，而且生成描述子的過程也會相當耗時。因此需要對提取到的特征點進行特征描述，以此來提升特征匹配的效率。

BRIEF是一種基于二進制編碼生成特征描述子[10]，以及利用漢明距離進行特征匹配的算法。首先在特征點的鄰域內隨機選取n個點對，然后形成n維的二進制描述子。

定義一個經高斯核平滑處理過的像素點p的二進制比較：

(5)

式(5)中：p(x)為圖像塊在像素點x(u,v)處的灰度;p(y)為圖像塊在像素點y處的灰度;選擇n個(x,y)像素位置對，即可得到n維二進制碼串：

(6)

最初的BRIEF算法是不具備旋轉不變性的，為了得到更準確的特征提取點，需要給BRIEF算法添加旋轉不變性。定義一個2×n的矩陣S：

(7)

(8)

通過像素塊的方向θ來計算旋轉矩陣Rθ，之后更改S矩陣為

Sθ=RθS

(9)

由此可以得到新的二進制碼串，結合式(7)可以得到具有旋轉不變性的BRIEF描述子為

gn(p,θ)=fn(p)|(xi,yi)∈Sθ

(10)

1.3 特征點匹配

采用KNN(K-nearest neighbor)算法進行特征點匹配[11]。KNN算法是根據檢測到的特征點之間的距離進行匹配的，它會把一個樣本空間中k個最相似的特征點歸屬為相同的類別，待匹配的特征點如果和這個類別最相似，那么這個特征點就可以歸于這個類別，其中k一般取不大于20的整數。

在KNN算法中，特征點之間的匹配是根據與對應點之間的距離作為指標，為了防止匹配誤差，距離可以選用歐式距離或曼哈頓距離，其中選用歐式距離[12]：

(11)

KNN算法的計算步驟如下。

(1)計算基準特征點與待匹配特征點之間的歐式距離。

(2)將特征點間的距離按升序排列。

(3)選取與待匹配特征點距離最小的2個點。

(4)用最近鄰的點與次近鄰的點作比。

(5)若比值小于某一閾值，則最近鄰點為正確的匹配點。

簡單的特征匹配會產生許多重復特征點和誤匹配的特征點，為了減少拼接時產生的誤差，需要在篩選時對特征點進行精匹配。PROSAC算法是RANSAC算法的改進算法，可以解決RANSAC算法在精匹配時對距離較近的特征點時產生的誤差，達到更理想的匹配效果。因此，采用PROSAC算法[12]：設x和y為對應的匹配點，如果這對匹配點非誤匹配，那么xFy=0，其中F為基礎矩陣。

首先將原圖像點與待匹配的特征點根據距離排序，選取其中m個質量較好的特征點，計算出對應的基礎矩陣，然后計算出兩個匹配點之間極限距離的平方和，如果平方和小于F，那么此待匹配的點為正確的匹配點。

由此可以得到兩幅圖像之間的映射關系即單應性矩陣H為

(12)

2 圖像融合

在圖像融合過程中，待拼接的圖像會受到拍攝角度、重疊區域的亮度等影響，會出現明顯的拼接縫隙或重影，造成不好的視覺效果。SPHP算法可以有效解決這種問題，但是該算法只能在特定的場景產生良好的拼接效果，不適用于色差變化較小的地帶，而無人機會在任何場景作業，因此需要使用改進的SPHP算法進行圖像融合。

經過SPHP算法變換后的圖像，可以被分成三個區域，分別是重疊區域、過渡區域和非重疊區域，其變換模型為

(13)

另外，u1、u2作為劃分圖像區域邊界的參數，可以通過改變u1、u2的值使圖像在大視差的情況下拼接出更小的形變，其函數E(u1,u2)可以定義為

(14)

為了減少圖像融合時產生的重影，獲得更好的拼接結果，需要將計算出的w與MDLT算法計算出的重疊區域的空間變換參數相結合。

(15)

W*∈R2N×2N

(16)

改進的SPHP算法原理如圖2所示。

圖2 改進SPHP算法圖像融合過程

3 實驗結果及分析

用于實驗的圖像是由大疆MATRICE 100無人機拍攝，經壓縮后圖像變成分辨率為650×400的PNG格式圖像，實驗使用天津理工大學先進自動化技術聯合示范實驗中心計算機，配置為Intel(R)Core(TM)i5-4590 CPU @ 3.30 GHz，是64 位Windows 10 操作系統，內存為4 GB，本文算法基于MATLAB 2016 b 編程并在其中進行測試。

圖像拍攝地點位于天津理工大學校內，拍攝高度為150 m，為了測試本文算法適用于色差變化較小的無人機圖像，選擇地物類型以理工湖和綠化帶為主的區域拍攝，整體顏色對比度不那么明顯，類似于如今的野外或山區地帶。采用這樣一組典型類型來充分說明本文算法的有效性與適用性。

3.1 特征匹配結果

如圖3所示，代表著色差變化較小地貌特征的遙感圖像。在圖像配準方面，首先采用改進的ORB算法檢測圖像特征點，并進行特征描述，隨后用KNN算法將得到的特征點進行粗匹配，為了減少匹配誤差，再用PROSAC算法去除誤匹配的點，完成精匹配過程。得到的匹配結果對比圖如圖4所示。

圖3 待拼接圖像

圖4 三種算法特征點匹配結果對比

將本文算法與兩種傳統算法的特征匹配結果圖對比可以看出，本文算法相比于傳統SIFT算法，提取到的特征點數和匹配數均遠遠少于SIFT算法，說明本文算法在提取特征點方面的效率要遠高于SIFT算法，因此本文算法特征匹配的時間也遠遠少于SIFT算法的匹配時間；而相比于ORB算法，本文提取到的特征點數和匹配個數均略少于ORB算法，可以說明本文算法在提取特征點方面的效率要略高于ORB算法，因此特征匹配時間也略少于ORB算法的時間，如表1所示。

表1 三種算法特征提取與匹配對比

3.2 圖像融合結果

傳統的圖像融合算法在不同的拍攝地貌下拍攝不同的場景，可能會產生重影或者拼接裂縫等問題。尤其是在拍攝無人機圖像時，色差變化不明顯的地貌很容易讓圖像拼接受到地貌因素的影響。如圖5所示，SIFT算法在對圖像做了空間變換之后十分生硬地將兩幅圖像拼接在一起，導致拼接結果存在明顯的裂縫；SPHP算法雖然在極力還原圖像的原始比例，卻有可能存在融合扭曲的問題。

圖5 三種算法融合結果對比

本文使用的改進的SPHP算法，融合結果如圖5(c)所示，可以有效解決上述兩種算法在融合圖像過程中產生的問題，在大限度還原圖像原有比例的同時，消除融合圖像的拼接裂縫，大大提升圖像融合效果。

4 結論

針對傳統ORB算法尺度不變性較差，運行速度較慢，不滿足無人機圖像實時性高的問題，提出一種基于ORB算法的圖像拼接改進算法。首先用FAST算法加速過的Shi-Tomasi算法進行特征檢測，得到速度快且準確性高的特征點；在使用KNN算法匹配這些特征點之后，再用PROSAC算法去除重復點和誤匹配的點，完成特征點的精匹配；最后使用改進的SPHP算法，降低圖像重疊區域的扭曲，消除拼接裂縫，得到效果更優秀的無人機遙感拼接圖像。

最終結果表明，這種改進的ORB算法相比于傳統ORB算法在匹配精度和匹配速率上都有著一定的提升，而相比于傳統SIFT算法在匹配效率上有著明顯提升。