一種改進的ORB圖像匹配算法

張磊 鄭子健 張殿明 張澤仲

摘? 要： 針對ORB特征匹配算法特征提取穩定性差，匹配精度低的問題，提出一種改進的ORB圖像匹配方法。通過小波變換對圖像預處理，利用自適應頻譜抑制方法提取候選特征點集，再建立多尺度空間模型，篩選具有尺度不變性的精確特征點，并通過BRIEF算子生成特征描述子，最后使用Hamming距離進行特征匹配，完成配準。通過3組圖像匹配實驗對改進算法的有效性進行驗證，實驗結果表明，改進算法在兼顧 ORB實時性的同時，提高了匹配精度，改善了圖像尺度變化較大時特征提取的穩定性。

關鍵詞： ORB算法; 特征點提取; 圖像匹配; 自適應頻譜抑制; 多尺度空間模型; 特征匹配

中圖分類號： TN911.73?34? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）03?0027?04

An improved ORB image matching algorithm

ZHANG Lei1， ZHENG Zijian2， ZHANG Dianming2， ZHANG Zezhong1

（1. Hebei University of Technology， Tianjin 300132， China; 2. China Automotive Technology & Research Center Co.， Ltd.， Tianjin 300300， China）

Abstract： An improved ORB （oriented FAST and rotated BRIEF） image matching method is proposed to deal with the fact of poor feature extraction stability and low matching precision of the ORB algorithm. The image is preprocessed by wavelet transform， and the candidate feature point sets are extracted by adaptive spectrum suppression method. Then the multi?scale spatial model is created to select the precise feature points with scale invariance and the feature descriptors are generated by BRIEF operator. The Hamming distance is used for feature matching to complete registration. The effectiveness of the improved algorithm is verified by three groups of image matching experiments， which show that the improved algorithm improves the matching accuracy and perfects the feature extraction stability when the image scale changes greatly while taking the real?time property of ORB into account.

Keywords： ORB algorithm; feature point extraction; image matching; adaptive spectrum suppression; multi?scale space model; feature matching

0? 引? 言

隨著計算機視覺技術的研究在國內外迅速發展，圖像拼接技術作為計算機視覺重要組成部分也在不斷地革新進步。目前圖像拼接技術已在醫用影像處理、全景視圖、圖像遙感技術等方面有較為成熟的應用[1?2]。在圖像拼接技術研究不斷深入的過程中，先后涌現出許多優秀的特征匹配算法。文獻[3]基于原有的尺度及角度不變性檢測方法的總結研究的基礎上完善了尺度不變特征變換（Scale?Invariant Feature Transform，SIFT）算法;文獻[4]提出了加速魯棒特征（Speeded Up Robust Features，SURF）算法，大大加快了算法的運行速度;文獻[5]提出了實時性能表現突出的ORB（Oriented FAST and Rotated BRIEF）算法，但ORB算法的缺點是圖像匹配精度低，特征點提取穩定性差。本文為了解決ORB算法匹配精度低和特征點提取穩定性差的缺陷，結合小波變換自適應頻譜抑制和多尺度空間提取精確特征點的方法，提出一種改進ORB算法的圖像拼接方法。改進算法相比ORB算法，在保證實時性的前提下，改善了傳統ORB特征點提取不穩定，特征點誤匹配嚴重導致匹配精度低的問題，使其在不同的圖像變換場景也能實現良好的拼接效果。

1? ORB圖像匹配算法

1.1? 特征點提取

ORB算法在提取特征點時采用FAST算法[6]快速檢測特征點。通過對比某個像素點與其鄰域內足夠多像素點的灰度級來檢測特征點，當該點的灰度級與其他點差值的絕對值大于設定閾值時，可視其為特征角點。為了使ORB特征描述子具有旋轉不變性，需為特征點分配一個方向。主方向選取是利用灰度質心法實現的，即確定特征點鄰域的像素矩，利用特征點到質心構造的向量來表示其主方向。

1.2? 生成特征描述子

為了快速表示特征點鄰域信息，ORB算法采用BRIEF算子進行特征點描述。通過對FAST算法提取的特征點周圍鄰域的[n]個點對進行灰度值比較，得到一個長度為[n]的二值碼串描述[fnI]，如下式所示：

式中：[Ix]為特征點周圍鄰域比點對[x+μ，y+?]處的灰度值，[μ，?]為特征點在[x，y]方向上的偏移量;[n]為進行灰度比較的點對個數，一般[n]取256。

由特征點的主方向[θ]，可以得到特征點的旋轉矩陣為[Rθ=cosθsinθ-sin θcos θ]。特征點鄰域測試點對[xi，yi]可以構造一個2[×n]矩陣[S]，通過[Rθ]與[S]得到矩陣[S]的校正版本[Sθ=RθS]，這樣就可以得到表示特征點方向信息，具有旋轉不變性的特征描述子，如式（3）所示：

1.3? 圖像配準

考慮到BRIEF特征點描述子由一串二進制字符串表示，所以選取Hamming距離[7]表述特征距離，其優勢在于僅需要計算兩個字符串的不同字符數目即可，整個過程僅需1次按位異或計算，既可以極大地提高特征點匹配的速度，同時可以保證匹配效率。Hamming距離的大小可以表示特征點的相似程度，漢明距離越小越相似，對兩個特征點描述子的漢明距離進行判斷，當其小于設定閾值時，則認為匹配成功。

2? 改進的ORB匹配算法

改進的ORB圖像拼接方法流程如圖1所示。主要內容可大致分為四部分：

1） 對待拼接圖像預處理，進行一級小波變換分解，提取包含圖像特征的子帶圖像，有效地去除圖像中的無關信息;

2） 利用固定灰度閾值和非極大值抑制的方法對子帶圖像頻譜特征進行處理，去除低響應特征點，保留高辨識度的特征點，提高了算法對圖像高相似紋理的適應能力，得到候選特征點集;

3） 建立尺度空間，篩選候選特征點集中具有尺度不變性且精確穩定的ORB特征點;

4） 通過Hamming距離進行特征匹配。

2.1? 基于小波變換的圖像自適應頻譜抑制

2.1.1? 圖像小波變換預處理

圖像中的噪聲成分主要集中在圖像的高頻信息中，通過小波變換對圖像進行多層分解[8]既可以提取到圖像的有用頻譜信息，保留圖像特征，又可以在特征提取階段有效地降低噪聲的干擾，提高后續處理的特征提取及匹配精度。因此，改進算法選取小波變換對原始圖像進行一級小波分解處理，提取低頻圖像用于后續特征提取處理。考慮到圖像分解后低頻圖像可提取特征點過少，無法保證圖像匹配精度，所以改進算法采用Haar小波函數[9]對圖像進行分解預處理。Haar小波是一種緊支集正交小波基函數，其數學定義為：

尺度函數為：

利用Haar小波函數分別對待拼接圖像的行與列進行一級小波變換分解，得到圖像的4個子帶圖像LL，HL，LH，HH，如圖2所示。

選取反映水平和垂直輪廓特征的子圖像分量HL和LH將其疊加，得到圖像的水平和垂直方向上的頻譜特征。

2.1.2? 圖像自適應頻譜抑制

為了獲得分布均勻且具有較好匹配性質的特征點，除剔除噪聲角點干擾外，還要對子帶圖像的頻譜特征進行抑制。從頻域角度僅保留高辨識度的特征點，減少無效特征點，降低配準耗時，同時抑制誤匹配的產生，提高拼接速度。所以改進算法采取固定閾值與局部非極大值抑制的方法對子帶圖像完成自適應篩選候選特征點，具體算法思想分為以下幾步：

1） 根據小波函數定義的二元光滑函數，通過對其變量求導得到尺度[k]下的小波母函數，由小波母函數與圖像函數的卷積運算可得到圖像在尺度[k]下的水平及垂直方向上的小波變換系數;

2） 由水平方向和垂直方向上的小波系數求得小波梯度向量，向量的模表示該點的灰度強度;

3） 求局部模極大值，通過小波分解后選取的子帶圖像上的任一點與其周圍鄰域的梯度模值比較進行非極大值抑制，保留極大值點作為待定特征點;

4） 判斷待定特征點的灰度值是否大于設定的固定灰度閾值，若大于設定閾值，記為候選特征點;否則，將該點剔除。

2.2? 幾何ORB特征提取

多尺度空間理論可以消除配準算法對尺度和方向的依賴性，實現穩定的特征匹配。幾何ORB特征提取即建立圖像的多尺度幾何空間，檢測圖像在不同的尺度空間下的特征點位置，使特征點具有較好的尺度不變性，進一步提高特征點匹配穩定性。

1） 通過高斯核[Gx，y，δ]對原圖像[Sx，y]進行尺度變換，得到不同尺度下的圖像尺度函數[Lx，y，δ=Gx，y，δ×Sx，y]。由尺度函數建立高斯金字塔和高斯差分金字塔（DOG）[10]，DOG為相鄰兩尺度空間函數之差，表示為：

式中：[k]為同階金字塔中相鄰兩層的尺度因子比例系數;[δ]為尺度因子。

2） 對應圖像進行小波變換處理后得到候選特征點集，在DOG金字塔空間內進行極值點檢測，尋找局部極值點。對得到的極值點進行檢驗，去除不穩定的邊緣響應，得到精確極值點的位置和尺度，進一步提高特征匹配時的精度和穩定性。去除邊緣極值點的方法為計算待檢測極值點的主曲率比值，即該極值點Hessian矩陣[11]跡的平方與行列式的比值，將主曲率比值大于8的極值點剔除[12]。

3） 得到具有精確特征點后，結合上述ORB算法的特征描述和匹配方法完成特征匹配。利用灰度質心法求得特征點的主方向，通過BRIEF算子對特征點描述得到二值碼串特征描述子，最終生成旋轉不變性和尺度不變性的特征點進行Hamming距離特征匹配。

3? 實驗結果分析

為驗證本文算法的有效性，隨機選取自然場景下采集的圖像數據進行實驗，針對尺度變化情形驗證了所提算法的適用性，并將所提算法與ORB，SIFT，SURF進行對比，定量分析了算法特征匹配性能。實驗中，取小波變換閾值[ST=50]，匹配距離比閾值[α=0.85]。所有實驗均在Windows 10 Intel[?] CoreTM i5?4590 CPU @3.3 GHz 16 GB RAM硬件環境中，Matlab 8.5和Visual Studio 2013軟件環境中混合編程得到。

3.1? 實驗1：尺度不變性匹配結果對比

為了驗證在圖像尺度發生較大變化時，本文算法對ORB特征點尺度不變性缺陷的改進效果，實驗1隨機選取了一組尺度存在較大變化的圖像進行尺度不變性特征匹配對比實驗，匹配實驗結果如圖3所示。

由圖3a）可知，ORB算法提取特征點時檢測到大量特征點，但不具有尺度不變的性質，所以ORB匹配結果中出現了大量一對多的誤匹配現象，如文字部分的出版社和英文等內容全部匹配錯誤，圖片部分也與文字進行了誤匹配，而使用改進算法進行特征匹配時，特征點基本正確匹配。對比圖3a），圖3b）結果可知，當圖像尺度發生較大變化時，改進算法可以穩定提取到具有尺度不變性的特征點，并取得較好的匹配效果，有效地抑制了誤匹配的情況。

3.2? 實驗2：特征匹配結果對比

為進一步驗證本文所提算法的有效性，定量分析所提算法的匹配效果，隨機選取不同形變程度的4組圖像，并利用本文算法、ORB算法、經典的SIFT算法及SURF算法進行匹配實驗。表1和表2分別統計了4種算法在不同圖像上提取的特征數量、特征提取時間。選取其中一組作為實驗圖像，如圖4所示，本文算法特征匹配效果如圖5所示，圖6為各算法匹配點對數對比。

由提取的特征數量和圖5的匹配點對數來看，改進后的ORB算法比原始ORB算法提取的特征點數少，特征提取時間有所增加，但其正確匹配的特征點對數較原始ORB多，解決了ORB算法特征匹配時一對多的問題，抑制了大量誤匹配，匹配精度較高。改進后算法提取特征點平均耗時為0.234 s，用時約為SIFT算法的[1100]，同時也低于SURF算法。實驗結果表明，改進后的算法具有更高的匹配精度，且其特征提取效率較高，并保證了算法實時性的優勢。

3.3? 實驗3：自然場景圖像拼接

為了驗證本文算法對圖像拼接效果的改善及算法的可行性，對圖4所示的947×434，940×429待拼接圖像進行拼接實驗，拼接結果如圖7所示。

從圖7可以看到：利用本文算法獲得的拼接圖像結構清晰，局部細節對齊精準，同時，整個匹配過程耗時分別為0.532 641 s，因此，本文算法匹配效率快，同時具有較高的匹配精度。

4? 結? 論

本文提出了一種結合自適應頻譜抑制的小波變換和多尺度空間思想的改進ORB算法，在保證原算法實時性的優越性下，通過對特征提取階段的改進提高了特征的表達能力，抑制了大量誤匹配點對，改善了原ORB算法匹配精度低和特征點提取穩定性差的問題。最后通過3組圖像匹配實驗證明了改進算法的有效性和可行性。

參考文獻

[1] 劉增峰，楊俊.SIFT、ORB及KAZE算法的分析和比較[J].江西科學，2017，35（6）：952?955.

[2] ZHUO L， ZHEN G， ZHANG J， et al. ORB feature based web pornographic image recognition [J]. Neurocomputing， 2016， 173： 511?517.

[3] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International journal of computer vision， 2004， 60（2）： 91?110.

[4] BAY H， ESS A， TUYTELAARS T， et al. Speeded?up robust features （SURF） [J]. Computer vision and image understan?ding， 2008， 110（3）： 346?359.

[5] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF [C]// 2011 International Conference on Computer Vision. Barcelona， Spain： IEEE， 2011： 2564?2571.

[6] 公維思，周紹磊，吳修振，等.基于改進FAST特征檢測的ORB?SLAM方法[J].現代電子技術，2018，41（6）：53?56.

[7] KIM J， KANG M， ISLAM M S， et al. A fast and energy?efficient Hamming decoder for software?defined radio using graphics processing units [J]. The journal of supercomputing， 2015， 71（7）： 2454?2472.

[8] NISKANEN K. Multi?scale spatial analysis of Neolithic pictographs at Astuvansalmi， Finland [J]. Quaternary international， 2018， 491： 146?158.

[9] 劉娜，田大為.基于小波變換的圖像融合算法研究[J].現代電子技術，2018，41（7）：71?74.

[10] 張旭勃，王軍鋒，楊永永，等.基于小波變換的圖像拼接算法[J].計算機仿真，2011，28（10）：219?222.

[11] 杜京義，胡益民，劉宇程.基于區域分塊的SIFT圖像匹配技術研究與實現[J].光電工程，2013，40（8）：52?58.

[12] 單寶明，胥喜龍.一種結合ORB算法的SIFT圖像配準算法[J].工業儀表與自動化裝置，2017（2）：27?30.