一種基于圖像區域分塊的SIFT快速配準方法

張紅民，張見雙，羅永濤，陳柏元

?

一種基于圖像區域分塊的SIFT快速配準方法

張紅民，張見雙，羅永濤，陳柏元

（重慶理工大學 電氣與電子工程學院，重慶 400054）

針對傳統尺度不變特征變換（SIFT）算法在特征提取與描述時計算量大、實時性差的問題，提出一種基于區域分塊的SIFT的快速配準方法。首先，將匹配圖像和待匹配圖像分割成若干均勻的子圖，通過計算每個子圖的信息熵值與設定閾值比較來確定局部子圖的特征類型；對篩選出來的特征區域的子圖進行特征提取和生成PCA-SIFT描述子，對篩選出來的平坦區域直接跳過，不進行檢測。實驗結果表明：提出的方法在保證配準精度90%以上的情況下，計算時間減少了15%～25%左右，提高了圖像配準的速度。

SIFT；區域分塊；PCA-SIFT；圖像配準

0 引言

尺度不變特征變換（Scale Invariable Feature Transform, SIFT）算法[1]因其在圖像旋轉、平移、尺度變換、光照變化、噪聲干擾、仿射變換時魯棒性強的優點，成為了近年來圖像配準技術的研究熱點[2-4]，但傳統的SIFT算法復雜、耗時較長，難以滿足工程實時性的要求[5]。針對這一問題，近年來許多國內外學者開展了相關研究工作。2014年，宋佳乾等人[6]提出Canny算子和K-L變換的改進SIFT算法，用來去除不穩定的邊緣點，從而提高圖像配準的速度。2015年，李玉峰等人[7]把Harris算子和SIFT結合起來實現了圖像自動配準，提高了配準的速度和效率。2016年，張盼等人[8]利用變相加權環圓形鄰域對SIFT特征向量進行描述，算法在速度上具有一定的優勢。

雖然以上基于SIFT的改進算法在速度上有些改善，但計算量依然很大，實時性不強，本文提出了一種基于區域分塊的SIFT快速配準算法，該算法先將配準圖像和待配準圖像分割成若干塊均勻的子圖；然后對分割的子圖的信息熵值與設定的閾值比較來判斷圖像區域的類型；不同的子圖區域類型采取不同的處理策略，加快了算法的速度。

1 傳統的SIFT圖像配準算法步驟

SIFT算法一般包括以下幾個步驟[9-10]：

1）尺度空間極值檢測

首先構造高斯金字塔，對DOG算子進行局部極值檢測。通過對每個像素與其鄰域比較來設定極值點并保存。

2）確定關鍵點的位置和尺度

通過擬合函數來精確定位特征點的位置和尺度，為了確保特征點的穩定性和抗噪性，要將對比度較低的點和邊緣一些難定位的點剔除。

3）關鍵點的方向分配

對關鍵點為中心的鄰域進行采樣，并對鄰域像素的梯度方向進行直方圖統計，直方圖中峰值的位置就是關鍵點鄰域梯度的主方向，也就是關鍵點的主方向。

4）生成特征點描述子

將關鍵點為中心的16×16的矩形窗口均勻分成16個4×4個子窗口，然后計算每個子窗口8個方向的梯度累計值，這樣每個特征點都會生成4×4×8＝128維的特征向量。

2 基于區域分塊的SIFT快速配準算法

有SIFT算法的步驟可知，雖然傳統的SIFT圖像配準算法具有很多優良的特性，但該算法會提取過多的特征點和生成128維的特征描述子。使得計算量過大，實時性較差。針對這個問題，本文對傳統的SIFT算法進行了改進，改進算法流程圖如圖1。

2.1 圖像區域分塊的思想

一般情況下，一幅自然圖像中都會存在灰度變化明顯和不明顯的區域；只有在圖像的灰度變化顯著的區域，才會有較多的特征點，而那些灰度變化不明顯的區域會很難提取出特征點，并且提取的特征點易產生誤匹配。為了提高圖像配準的效率，本文采用了減少圖像特征檢測范圍的方法。首先將圖像均勻分割成若干個子圖，針對那些灰度變化不明顯的子圖，也就是子圖含的信息量少的一些區域，就直接跳過，不進行特征檢測，而對那些灰度變化明顯，子圖所含的信息量較多的一些子圖才進行特征檢測。

本文使用圖像信息熵[11]來區分子圖所含的信息量，信息熵值越大，代表該區域所包含的紋理信息越豐富，也就是特征點越多；反之，信息熵值越小，代表該區域所包含的紋理信息越稀少，特征點越少[12]。

2.2 圖像區域分塊算法的具體步驟

1）圖像均勻分塊，首先將圖像分割成均勻的5×5個子圖（若圖像的像素數不能被5整除，則對少數邊緣像素重復計算簡化處理），子圖編號為1, 2, …, 25；

圖1 基于區域分塊的SIFT快速配準算法流程圖

2）計算每幅子圖的信息熵值(1), …,(25)；

3）將每幅子圖的信息熵值與規定的閾值進行比較，本文設置的閾值為經驗值6.0；

4）特征區域判斷，將子圖圖像信息熵值大于閾值的子圖判斷為特征區域；相反，小于閾值的子圖判斷為平坦區域；

5）對第4）步計算出的特征區域進行特征檢測，平坦區域則直接跳過不進行特征檢測；

6）對第5）步檢測的特征點采用主成分分析法進行特征描述，生成PCA-SIFT描述子[13]。

7）最后對特征描述子采用最近鄰與次近鄰之比的方法對特征點進行配準。

3 實驗驗證與分析

為了驗證本文改進算法的效果，進行了實驗驗證。硬件平臺：CPU Intel（R）Core(TM) i5-2450M；內存為4GB；64位window7操作系統；軟件平臺：Matlab 2014a。本文采用圖2所示的相機拍攝的具有一定重疊區域的3組實驗圖像，左為參考圖像，右為待配準圖像，圖像大小分別為：(a)523×395，(b)560×542，(c)417×354。

圖2 三組待配準圖像

圖3顯示的是圖2中的第2組圖像(b)被分割成5×5均勻子圖的模式情形，表1、表2分別列出了參考圖像、待配準圖像各個子圖的信息熵值，每個數據代表圖像中對應位置的信息熵值，從表中可以看出子圖信息熵值較小的區域對應的是圖像平坦區域，反之，信息熵值較大的子圖區域對應的特征區域。本文中篩選子圖的信息熵的閾值設置為經驗值6.0，這樣圖3(a)中將有36%的區域直接跳過，不進行特征檢測，圖3(b)中將有28%的區域不進行特征檢測，大大減少了特征提取時間。

為了驗證本算法的實際效果，將其與傳統的SIFT算法進行配準的效果比較，兩種算法進行特征點數量、正確匹配點對數、運行時間、匹配正確率的數據統計比較，具體的數據見表3。

圖3 圖像分割模式

表1 圖3(a)對應子圖的信息熵值

表2 圖3(b)對應子圖的信息熵值

如表3所示，本文算法雖然在特征點提取上有所減少，圖像的配準點對數也有減少，但減少的數量有限，并不影響圖像配準的準確性，在圖像配準時間上卻降低了整個圖像配準的時間的15%～25%左右，如第3組圖像測試數據，正確匹配點對數由173減少到167，但時間由2.254s減少到1.771s，減少了約21.4%。

表3 兩種算法結果對比

4 結論

本文通過圖像紋理信息的分析的基礎上，提出了一種改進的快速圖像配準算法，首先將圖像進行分塊處理，分別求出每個子圖的信息熵值，然后將每個子圖的信息熵值與固定的閾值來比較，只對熵值大于閾值的特征區域進行SIFT特征提取和PCA-SIFT描述，最后使用最近鄰與次近鄰之比的算法對圖像進行匹配。

為了驗證本文算法的實際效果，將本文算法應用于實際的車載全視景圖像拼接系統中，由于實際拍攝的圖像大多具有部分平坦區域，本文算法在保證配準精度的前提下可明顯降低了算法復雜度，計算時間則較傳統的SIFT算法減少15%～25%左右。

值得一提的是，文中在對子圖區域類型分類時，子圖特征類型判斷閾值設置的為經驗值6.0，沒有實現根據子圖的信息自適應設定閾值，需要在今后的工作中進一步開展研究。

[1] LOWE D G. Distinctive image features from scale-invariant keypoints[J]., 2004, 60(2): 91-100.

[2] 王新華, 王曉坤. 十億像素瞬態成像系統實時圖像拼接[J].中國光學, 2015, 8(5):785-792.

WANG Xinhua, WANG Xiaokun. Real time image mosaic of the transient gigapixel imaging system[J]., 2015, 8(5): 785-792.

[3] 李玉峰, 李光澤, 谷紹湖, 等. 基于區域分塊與尺度不變特征變換的圖像拼接算法[J]. 光學 精密工程, 2016, 24(5): 1197-1205.

LI Yufeng, LI Guangze, GU Shaohu, et al. Image mosaic algorithm based on area blocking and SIFT[J]., 2016, 24(5): 1197-1205.

[4] 許佳佳. 結合Harris與SIFT算子的圖像快速配準算法[J]. 中國光學, 2015, 8(4): 574-581.

XU Jiajia. Fast image registration method based on Harris and SIFT algorithm[J]., 2015, 8(4): 574-581.

[5] 邸男, 李桂菊, 魏雅娟. 采用SIFT的末制導圖像匹配技術[J]. 紅外與激光工程, 2011, 40(8): 1499- 1593.

DI Nan, LI Guiju, WEI Yajuan. Image matching technology based on SIFT for terminal-guiding system[J]., 2011, 40(8): 1499- 1593.

[6] 宋佳乾, 汪西原. 基于Canny算子和K-L變換的改進SIFT匹配算法[J]. 電視技術, 2014, 38 (15): 61-65.

SONG Jiaqian, WANG Xiyuan. Improved SIFT matching algorithm based on Canny operator and K-L transformation[J]., 2014, 38 (15): 61-65.

[7] 李玉峰, 王竹筠. 基于Harris-SIFT特征匹配的圖像自動配準算法研究[J].電視技術, 2015, 39 (23): 26-30.

LI Yufeng, WANG Zujun. Automatic image registration algorithm research based on Harris-SIFT features matching[J]., 2015, 39 (23): 26-30.

[8] 張盼, 阮俊, 王雅繼. 變環加權SIFT算法的圖像拼接[J]. 現代電子技術, 2015, 38(19):72-78.

ZHANG Pan, RUAN Jun, WANG Yaji. Image mosaic based on SIFT algorithm of ring-conversion and weighting[J]., 2015, 38(19): 72-78.

[9] 張勇, 王志鋒, 馬文. 基于改進的SIFT特征點匹配的圖像拼接算法研究[J]. 微電子學與計算機, 2016, 33(3): 60-64.

ZHANG Yong, WANG Zhifeng, MA Wen. Research image mosaic algorithm based on improved SIFT feature matching[J]., 2016, 33(3): 60-64.

[10] 韶阿俊, 錢惟賢, 顧國華, 等. 基于計算集成成像的圖像配準算法研究[J]. 紅外技術, 2015, 37(5): 398-403.

SHAO Ajun, QIAN Weixian, GU Guohua, et al. Image registration algorithm research based on computational integral imaging[J]., 2015, 37(5): 398-403.

[11] 吳澤鵬, 郭玲玲, 朱明超, 等. 結合圖像信息熵和特征點的圖像配準方法[J]. 紅外與激光工程, 2013, 42(10): 2846-2852.

WU Zepeng, GUO Lingling, ZU Mingchao, et al. Improved image registration using feature points combined with image entropy[J]., 2013, 42(10): 2846-2852.

[12] 岳昕, 尚振宏, 強振平, 等. 基于信息熵與SIFT算法的天文圖像配準[J]. 計算機科學, 2015, 42(6): 57-60.

YU Xin, SHANG Zhenhong, QIANG Zhenping, et al. Astronomical image registration combining information entropy and SIFT algorithm[J]., 2015, 42(6): 57-60.

[13] 李欽, 游雄, 李科, 等. PCA-SIFT特征匹配算法研究[J]. 測繪工程, 2016, 25(4): 19-24.

LI Qin, YOU Xiong, LI Ke, et al. Research on the matching algorithm of PCA-SIFT[J]., 2016, 25(4): 19-24.

A Fast SIFT Registration Method Based on Image Region Segmentation

ZHANG Hongmin，ZHANG Jianshuang，LUO Yongtao，CHEN Boyuan

(,,400054,)

For a large amount of computation and poor real-time performance of the traditional scale invariant feature transform(SIFT) algorithm in feature extraction and feature description, a fast registration method based on region segmentation SIFT is proposed. First, the matching image and the image to be matched are divided into several uniform subgraphs. The feature type of the local subgraph is determined by calculating the information entropy value of each subgraph and setting the threshold value. The features of the subgraph are extracted and the PCA-SIFT descriptor is generated. Then, the flat area screened out is skipped directly and not detected. Experimental results show that the proposed algorithm in ensuring the accuracy of registration of more than 90% of the cases, the calculation time is reduced by about 15%- 20%, and the speed of image registration is improved.

SIFT，regional block，PCA-SIFT，image registration

TP391.41

A

1001-8891(2017)04-0341-04

2016-09-30；

2016-12-30.

張紅民（1970-），男，河南舞陽人，博士，教授，主要研究方向為圖像處理與模式識別。E-mail：hmzhang@cqut.edu.cn。

重慶市基礎與前沿研究計劃項目（cstc2015jcyjA40051）。