基于改進ORB的無人機影像拼接算法

張 平，孫 林，何顯輝

（山東科技大學 測繪與空間信息學院，山東 青島 266590）

0 引言

近年來，無人機航拍攝影技術越來越成熟，在遙感監測［1］、電力巡檢［2］、災害勘察［3］、軍事偵察［4］等領域均有廣泛應用。無人機航拍影像具有像幅小、影像數量多的特點，而單幅影像中所包含的信息有限，通常需要對無人機航拍影像進行拼接以構建高分辨率的全景影像，因此研究快速準確拼接高質量無人機影像的算法具有十分重要的現實意義［5-6］。

圖像拼接流程主要分為預處理、圖像配準和圖像融合3 個部分，其中圖像預處理是對圖像進行去噪等；圖像配準為計算變換矩陣，對圖像進行變換；圖像融合是利用融合算法消除圖像拼接痕跡。圖像配準是圖像拼接的前提條件，圖像拼接的質量取決于配準精度。基于特征的圖像配準算法是當前主流，通過提取局部魯棒特征進行配準具有抗干擾性強、穩定性高等特點。例如，Lowe［7］提出SIFT（Scale-invariant Feature Transform）算法，在圖像配準方面展現出優異性能，但由于特征維數高，導致配準時間長；針對SIFT 算法存在的問題，Bay 等［8］提出SURF（Speeded Up Robust Features）算法，降低了特征描述符維數，兼顧配準速度與精度，但仍然不能滿足實時性要求；Rublee 等［9］提出ORB（Oriented FAST and Rotated BRIEF）算法，該算法的圖像配準速度遠超SIFT 和SURF 算法，滿足實時性要求，但配準精度有所下降；王艷等［10］針對SIFT 算法配準耗時長的問題，利用遺傳算法對SIFT 算法配準過程進行優化，極大降低了配準時間；陳偉等［11］采用FAST（Features from Accelerated Segment Test）算法進行特征點檢測，并利用自適應最近鄰比值提高配準精度，然后通過隨機采樣一致性（Random Sample Consensus，RANSAC）算法計算單應性矩陣，有效提升了匹配效率；劉天賜等［12］采用漸進采樣一致性（Progressive Sample Consensus，PROSAC）算法對ORB 算法進行匹配優化，有效降低了匹配時間與均方根誤差，提高了拼接圖像質量。

在以上研究基礎上，本文提出一種基于改進ORB 的無人機遙感影像拼接算法。該算法在特征檢測階段構建尺度金字塔，利用ORB 算法提取特征點以構建特征點尺度不變性；然后利用BEBLID（Boosted Efficient Binary Local Image Descriptor）描述符［13］代替ORB 算法中的BRIEF（Binary Robust Independent Elementary Features）描述符［14］對特征點進行描述，利用最鄰近距離比值（Nearest Neighbour Distance Ratio，NNDR）匹配策略和最優化幾何約束對誤匹配點進行剔除，獲取高質量特征點集，進而計算得到更加精確的變換矩陣；最后使用改進的漸入漸出算法進行圖像融合，降低圖像重疊區域重影的影響，以獲取高質量拼接圖像。

1 特征檢測

1.1 多尺度FAST特征檢測

ORB 算法在特征點檢測階段利用FAST 算法提取圖像特征點。如圖1 所示，FAST 算法對待檢測像素點圓形候選區域中的16 個像素點進行比較，如果候選區域中存在一組連續n 個像素，且像素亮度值均高于或低于待檢測像素亮度值與設定閾值之和，則定義該像素點為特征點［15］。為提升FAST 算法的檢測效率，設定截止條件檢測圖1 中像素p 鄰域上1、5、9、13 四個位置上的像素，若其中3 個像素滿足檢測條件，則繼續檢測；反之，則當前檢測點不是特征點。

FAST 算法具有檢測速度快、精度高的特點，但其僅在單一尺度檢測，特征點不具有尺度不變性。本文通過構建圖像金字塔，在不同尺度圖像上利用FAST 算法進行特征檢測，實現了特征尺度不變性。

Fig.1 FAST pixel sampling location圖1 FAST像素點采樣位置

1.2 BEBLID特征描述

在利用多尺度FAST 算法檢測特征點時，為了對特征點進行局部表述，必須對特征點局部魯棒結構進行描述，本文采用BEBLID 描述符對特征點進行描述。BEBLID 描述符是一種高效的二進制描述符，通過選取最具有分辨力的采樣對特征組合構建描述符，具有計算復雜度低、配準速度快、精度高的特點［16］。

如圖2 所示，BEBLID 描述符是在特征點鄰域內選取n對不同尺寸比例S 的正方形區域作為采樣對，計算采樣對平均灰度值之間的差異，并與設定閾值T 比較，將小于T 的采樣對設為1，大于T 的采樣對設為-1，然后利用BoostedSSC 算法對特征進行區分，選取前K 個特征進行組合，將大于閾值的特征輸出為0，小于閾值的采樣對輸出1 以構建二進制描述符。

Fig.2 Distribution of position and spatial weight of feature sampling pair圖2 特征采樣對位置及空間權重分布

2 特征匹配及優化

采用BEBLID 二進制描述符對局部特征進行描述，利用漢明距離進行配準。直接對特征點進行暴力匹配會產生大量誤匹配，因此本文首先采用NNDR 匹配策略對特征點進行粗配準，然后通過最優化幾何約束對匹配點對進行優化。

2.1 NNDR算法

NNDR 算法保留了待配準圖像中與參考圖像特征描述點距離最近和次近的特征點，通過計算最近距離與次近距離的比值對特征點進行約束［17］。計算公式為：

式中，Dnn和Dnr分別為最近和次近鄰特征點的漢明距離；TD為設定閾值，一般為0.8。

2.2 最優化幾何約束

根據粗匹配中特征點對的最鄰近比值升序排列，在前n 對匹配特征點中隨機選取3 對特征點進行投票，選取具有最佳適應度的3 對特征點對建立局部坐標系，利用構建的局部坐標系對特征點進行向量坐標表示，計算向量坐標在局部坐標系中的坐標相似度，將相似度低于閾值的匹配點對予以剔除。

選取前n對特征點構成集合R={(Mi，Ni)|i=1，···，n}，其中Mi和Ni為一對匹配特征點。從集合R中隨機選擇3 個特征點，通過式（2）計算特征點在局部坐標系中的相似度。

式中，Sim(Mj，Nj)表示R中其余特征點在當前局部坐標系中的相似度；{(Dji，Dji′)|i=1，2，3}為匹配點對Mj和Nj到3個匹配特征點的歐式距離。

從集合R 中隨機選擇3 個點構建局部坐標系，其余特征點對這個局部坐標系進行投票，選擇得分最高的3 個點構建的坐標系作為最優坐標系［18］。Score表示當前3 個特征點構建的局部坐標系的投票得分，表示為：

局部坐標系構建示意圖如圖3所示。

Fig.3 Schematic diagram of local coordinate calculation of linear primitives圖3 局部坐標系構建示意圖

在最優坐標系中以向量形式表示特征點，通過式（4）計算向量坐標的坐標相似度：

式中，PM和PN為局部坐標系特征點的坐標。比較坐標相似度S與設定閾值，若S小于閾值，則剔除該對特征點。

2.3 變換矩陣求解

對初始特征點進行粗匹配和最優化幾何約束后得到配準圖像高質量匹配特征點對，計算匹配點對之間的變換關系，利用RANSAC 算法對特征點對進行單應性矩陣估計獲取最優變換矩陣，通過最優變換矩陣對圖像進行變換。

3 圖像融合

3.1 漸入漸出加權融合

在圖像拼接過程中，由于無人機拍攝角度以及外界環境變化造成重疊區域的灰度差異，在對重疊區域進行圖像融合時會出現模糊重影以及拼接縫隙等情況［19-20］。為消除圖像拼接痕跡，通常采用漸入漸出加權融合算法［21］對圖像進行融合。算法表達式為：

3.2 算法流程

本文算法流程如圖4 所示，具體為：①對輸入的配準圖像進行多尺度FAST 特征點檢測，并利用BEBLID 描述符對特征點進行特征描述；②采用NNDR 算法進行粗匹配；③基于特征點投票構建最優化幾何約束對特征點進一步優化；④利用RANSAC 算法計算變換矩陣，獲取高精度變換矩陣；⑤利用改進的漸入漸出加權融合算法實現圖像拼接。

4 實驗方法與結果分析

實驗平臺環境配置為Intel Core i7-10750H 處理器，16G 內存，使用C++編程語言對算法進行實現。選取如圖5 所示的兩組無人機圖像進行拼接，比較SURF+NNDR+RASANC+漸入漸出算法（以下簡稱SURF）、ORB+NNDR+RASANC+漸入漸出算法（以下簡稱ORB）與本文算法在圖像配準精度、拼接實時性以及拼接圖像質量3 個方面的表現，對算法性能進行評估。

Fig.4 Algorithm flow圖4 算法流程

Fig.5 Experimental image圖5 實驗圖像

4.1 圖像配準精度比較

在配準精度比較實驗中，由于無人機航拍影像之間缺乏正確變換矩陣數據，無法對配準精度進行有效驗證，因此選取經典Mikolajczyk 匹配數據集中具有旋轉視角變換的Bark 圖像、旋轉變換的Boat 圖像和光照變化的Leuven圖像3 個圖像序列進行實驗，通過匹配正確度、正確特征點對的均方根誤差兩個指標評估算法配準性能。

表1 為3 種算法配準精度的比較結果，序列中的Image1 為基準圖像，Image2-6 用于與其配準。可以看出，在對具有旋轉視角變換的Bark 圖像序列配準中，SURF 算法配準精度最佳，ORB 算法配準精度低于SURF 算法與本文算法，本文算法雖然在Image6 配準時失敗，但配準成功的Image2-5 的配準精度均高于其他兩種算法；在Boat 圖像序列配準實驗中，3 種算法均取得了較好的配準效果，其中ORB 算法的配準精度高于SURF 算法，但低于本文算法，本文算法配準精度比ORB 算法提高了0.77%，比SURF 算法提高了8.09%；在具有光照變化的Leuven 序列圖像配準實驗中，本文算法取得了取得100%的最佳配準精度，配準效果優異，比SURF 算法提高了0.82%、比ORB 算法提高了3.43%。通過分析3 個實驗，本文算法在小尺度的旋轉視角變換實驗中配準精度較高，但在旋轉視角變換尺度較大時會出現配準失敗的情況；在光照變化和旋轉變換實驗中均取得了最佳配準精度，說明本文算法具有良好的光照不變性和旋轉不變性。綜上所述，本文算法對不同特性的影像均具有較好的配準效果。

Table 1 Comparison of registration accuracy of different algorithms 表1 不同算法配準精度比較 （%)

表2 為配準實驗中3 種算法正確匹配點的均方根誤差。在Bark 和Boat 圖像序列中，本文算法的均方根誤差均為最小；在Leuven 圖像中，本文算法均方根誤差雖略大于SURF 算法，但小于1，且低于ORB 算法。

Table 2 Comparison of root mean square errors of different algorithms表2 不同算法均方根誤差比較

4.2 圖像拼接實時性比較

表3 為3 種算法對兩組實驗圖像的拼接時間比較。本文算法和ORB 算法均采用二進制描述符和漢明距離配準，配準時間復雜度低，拼接時間遠低于SURF 算法；且本文算法拼接時間略低于ORB 算法，圖像拼接速度最快。

Table 3 Comparison of image mosaic speed表3 圖像拼接速度比較 （s)

4.3 拼接圖像質量比較

圖像信息熵反映了圖像信息的豐富程度，圖像信息熵越大表示圖像信息越豐富、質量越高［22］。采用圖像信息熵指標對拼接圖像質量進行評價，計算公式為：

式中，i為像素亮度值，pi為亮度值為i的像素數量與圖像總像素個數之比。

由表4 可知，在兩組影像實驗中，ORB 算法的拼接圖像信息熵最低，本文算法的拼接圖像信息熵最高，可達6.807 9，說明其拼接圖像質量高，對于后續圖像的分析與使用價值更高。

圖6 為本文算法分別對Image1 和Image2 的左右圖像拼接融合后的結果圖。可以看出，拼接后的圖像沒有重影、錯位等問題，且通過拼接融合消除了圖像的拼接痕跡，所得拼接圖像真實自然、質量較高。

Table 4 Comparative analysis of mosaic image information entropy表4 拼接圖像信息熵比較

5 結語

為提高無人機遙感影像拼接質量，本文提出一種基于改進ORB 的圖像拼接算法。該算法首先采用多尺度FAST算法檢測特征點，然后利用NNDR 算法和最優化幾何約束獲取高質量特征點，并計算變換矩陣，最后通過改進漸入漸出加權融合算法對圖像進行拼接。所提算法性能相較傳統圖像拼接算法有所提升，在快速拼接圖像的同時保證了圖像質量。雖然所提算法能夠實現圖像快速準確拼接，但獲取的特征點數量少于SURF 算法，不利于變換矩陣估計。在今后的研究工作中，將對如何獲取更多數量的正確特征點進行深入研究，對變換矩陣進行更精確的估計，以實現高質量的圖像拼接。