對比度閾值自適應的SIFT圖像拼接算法

李 尊，申小萌，苗同軍

?

對比度閾值自適應的SIFT圖像拼接算法

李 尊，申小萌，苗同軍

（新鄉學院 物理與電子工程學院，河南 新鄉 453000）

圖像拼接技術主要由3部分構成：采集、匹配和融合，其中匹配最為關鍵，決定拼接質量。針對SIFT圖像拼接算法的特征點數目局部過高或過低情況，采用對比度閾值自適應的SIFT圖像拼接算法，可得到合理數目的特征點。此方法保證特征點數目在150～300之間，過高或過低時，可自適應調節數目，進行有效控制。實驗證明：改進的算法保證拼接效果的基礎上，提高運算效率，具有實用價值。

圖像拼接；SIFT算法；對比度閾值；自適應

0 引言

圖像拼接技術[1-3]是指多幅具有重疊區域的圖像，拼接成視角寬闊的大場景圖像的過程。目前，該技術廣泛應用于影視制作、醫療診斷等方面，是計算機視覺的研究熱點。

圖像拼接技術主要由3部分構成：采集、匹配和融合，其中匹配最為關鍵。目前常用的圖像匹配算法[4-7]有模板匹配法、圖像灰度法、圖像特征法和變換域法等。模板匹配法簡單易行但定位不準確，只能實現基本定位；圖像灰度法的魯棒性較好但需選擇合適的代價函數；圖像特征法效率得到提高但魯棒性的特征較難選擇；變換域法利于硬件實現但只是提供一個良好的初始配準參數。

基于SIFT特征點的圖像拼接方法是常用的圖像拼接算法。其對旋轉和尺度具有不變性，并對光照、視角和噪聲具有很好的魯棒性，但計算量大，耗時較多。文獻[8]利用PCA對SIFT算法進行降維處理，提高特征向量的鑒別能力，運用到紅外熱成像中；文獻[9]將邊緣檢測Canny引入降維處理，改進SIFT圖像拼接方法，提高效率和準確性；

文獻[10]引入預檢測到RANSAC進行精匹配，提高了算法的速度。

因此為了滿足圖像自身特點的要求，針對SIFT算法的圖像拼接進行改進。本文提出對比度閾值自適應的SIFT圖像拼接算法。本文算法既保證拼接質量，又提高效率，減少時間。

1 基于SIFT的圖像配準

SIFT圖像配準算法[11]由LOW于2004年總結提出。其對圖像的復雜變形（光照、旋轉）具有較強的適應性，定位準確，因此被廣泛應用。

1.1 檢測

此步驟為檢測尺度空間關鍵點。由于高斯卷積核是唯一的線性核，因此圖像的尺度空間函數可通過高斯核表示。如下式所示：

(,,)＝(,,)*(,) (1)

式中：(,,)為高斯核；*表示卷積。

為了保證檢測點的穩定性，因此引入高斯差分函數。如下式所示：

(,,)＝((,,)－(,,))*(,) (3)

式中：為常數。

通過上述操作，可得到圖像的尺度空間。在尺度空間極值檢測中，為防止出現局部極值，需要每個像素點在尺幅空間中的相同層和相鄰的上下兩層的共26個像素點進行搜索比較。其中，相同層為8個像素點，相鄰的上下兩層各為9個像素點。基于高斯核的極值點的檢測具有良好的尺度不變性。此步示意圖如圖1所示。

圖1 空間關鍵點檢測

1.2 定位

此步驟為關鍵點的精確定位。高斯差分對邊緣和噪聲敏感，因此引入三維二次函數擬合定位穩定的特征點。其公式如下所示：

上式為Taylor擬合公式，其中＝(,,)。

1.3 主方向

此步驟為確定關鍵點的主方向。關鍵點的主方向由其鄰域的像素點梯度方向所決定。其公式如下所示：

式中：L表示關鍵點所處的空間。確定梯度方向直方圖的峰值，選取高于0.8倍的峰值位置擬合，得到關鍵點主方向。其關鍵點主方向的直方圖如圖2所示。

1.4 特征描述符

此步驟為生成SIFT特征描述符。為了保證匹配的準確性，LOW選用16個種子點，形成128維SIFT特征向量，即特征描述符。其生成步驟如下所示：

Step1：為保證旋轉不變性，則軸方向與特征點主方向重合；

Step2：以特征點為中心，構成4×4個子區域，遵循靠近特征點貢獻大的原則，利用高斯函數對子區域的梯度進行加權；

Step3：將0～360°均勻分為8份，用三維插值法統計方向直方圖；

Step4：最后將子區域的方向直方圖連接起來，構成128維特征描述符。

1.5 特征匹配

此步驟為特征匹配的判定。本文采用歐氏距離作為匹配原則。公式如下所示：

在實際運用過程中，并不是每個特征點都具有對應的匹配點。因此需要引入閾值去除這些特征點，一般閾值取值為0.8。

2 改進的SIFT圖像拼接算法

2.1 基于SIFT的圖像拼接

基于SIFT的圖像拼接方法由5步構成。圖像輸入、SIFT特征提取、特征點匹配、RANSAC精匹配和圖像融合。其算法流程圖如圖3所示。

圖3 SIFT拼接算法流程圖

其中，RANSAC算法具有較好的魯棒性，用于精匹配。

2.2 對比度閾值自適應的SIFT圖像拼接

在SIFT算法中，剔除低對比度極值點的步驟所設定的閾值是固定的，一般取值為0.04。但在圖像中，不可能存在情況完全相同的兩個像素點，每個像素點的情況都有各自特殊。固定的閾值會造成局部極值點過多或者過少[12]。因此，本文采用自適應閾值的方法進行篩選。公式如式(7)所示：

上式中，一般選取1＝0.25，2＝4，表示特征點的個數。自適應閾值的選擇是為了保證特征點的數目在一個合理的范圍內。其具體步驟如下所示：

Step1：設定特征點上下限閾值，min＝150，max＝300；

Step2：統計特征點數目；

Step3：比較，若特征點數目在上下限之間，則跳轉至Step5；否則進行Step4；

Step4：根據公式(7)調整特征點的數目，使之達到預定的要求；

Step5：數目達到預定要求，繼續進行SIFT算法的其他步驟。

本文將改進的SIFT算法應用于圖像拼接，可以既保證拼接效果又提高效率。

3 仿真實驗結果分析

本實驗采用處理器為Intel(R) Core(TM)i5-2450M CPU@2.5GHz，實驗仿真軟件為MATLAB7.0。采用結構相似度（structural similarity index，SSIM）[13]進行評價圖片拼接效果。

SSIM是一種衡量兩幅圖像相似度的指標，其取值范圍為－1～1。當SSIM＝1時，表示兩幅圖像為一幅圖像，可認為完全相同。

圖4為故宮待拼接圖像，圖像大小為202×136；圖6為校門待拼接圖像，圖像大小為694×452。圖8為風景待拼接圖像，圖像大小為466×310。圖5、圖7、圖9為拼接效果對比圖。主觀上，3組實驗的拼接效果滿足人的視覺需求，無明顯分界線和重影出現；客觀上，故宮的兩幅拼接結果圖的SSIM值為0.9810；校門的兩幅拼接結果圖的SSIM值為0.9875；風景的兩幅拼接結果圖的SSIM值為0.9742，由此可得3組實驗的兩組拼接圖均可近似看作一幅圖。且由表1的數據可以看出，在保證拼接效果的基礎上，時間降低。通過仿真實驗可得，本文算法在保證圖像拼接效果，滿足人眼視覺的基礎上，降低時耗，提高效率，具有可行性。

圖4 故宮待拼接圖像

圖5 故宮拼接對比圖

圖6 校門待拼接圖像

圖7 校門拼接對比圖

圖8 風景待拼接圖

Fig.8 Two images of the scenery before mosaicing

圖9 風景拼接對比圖

表1 客觀數據對比表

4 結束語

針對傳統的SIFT算法的圖像拼接的對比度閾值為恒定值的特點，本文提出改進。引入自適應公式，根據圖像的情況，控制特征點數目，防止出現特征點過多或過少。本文算法既保證圖像拼接效果又提高了效率，具有一定的實用價值。

[1] 曹俊杰, 封靖波, 蘇云勛. 全景圖像拼接算法[J]. 大連理工大學學報, 2003, 43(21): 180-182．

CAO Junjie, FENG Jinbo, SU Yunxun. A panoramic image mosaic algorithm[J]., 2003, 43(21): 180-182．

[2] 李曉娟. 圖像拼接技術研究[D]. 西安: 西安電子科技大學, 2007.

LI Xiaojuan. Research on Image Mosaic[D]. Xi’an: Xi Dian University, 2007.

[3] 陳勇. 基于改進SIFT算法的圖像配準研究[D].成都: 電子科技大學, 2011.

CHEN Yong. Research on image Registration on improved sift algorithm[D]. Chengdu: University of electronic science and technology of China, 2011.

[4] 楊艷偉. 基于SIFT特征點的圖像拼接技術研究[D]. 西安: 西安電子科技大學, 2009．

YANG Yanwei. Research on image Mosaic based on sift algorithm[D]. Xi’an: Xi Dian University, 2009.

[5] 劉松. 基于改進SIFT的圖像拼接及其并行化研究[D]. 合肥: 安徽大學, 2014．

LIU Song. Research on image splicing technology based on sift algorithm and its implementation[D]. Hefei:Anhui University, 2014．

[6] 阮小麗, 陳慶虎, 邱益明, 等. 基于不變因子的SIFT誤匹配點剔除及圖像檢索[J]. 紅外技術, 2015, 37(7): 560-565．

RUAN Xiaoli, CHEN Qinghu, QIU Yiming, et al. Excluding sift mismatching points based on the invariant factors and image retrieval[J]., 2015, 37(7): 560-565．

[7] 李明, 李德仁, 范登科, 等. 利用PC-SIFT的多源光學衛星影視自動配準方法[J]. 武漢大學學報: 信息版, 2015(1): 64-70．

LI ming, LI Deren, FAN Dengke, et al. An automatic PC-SIFT-based registration of multi-source images from optical satellites[J]. Geomatics and Information Science of Wuhan University, 2015(1): 64-70．

[8] 劉歡, 谷小婧, 顧幸生. 基于魯棒特征匹配的熱成像全景圖生成方法[J]. 紅外技術, 2016, 38(1): 10-19．

LIU Huan, GU Xiaojing, GU Xingsheng. Thermal image stitching based on robust feature matching[J]., 2016, 38(1): 10-19．

[9] 胡伊日格其. 基于改進SIFT的圖像配準算法的圖像拼接實現[D]. 大連: 大連理工大學, 2014．

HU Yirigeqi. Image Mosaci Based on Improved Image Registration[D]. Dalian: Dalian University of Technology, 2014．

[10] 何賓, 陶丹, 彭勃. 高實時性F-SIFT圖像拼接方法[J]. 紅外與激光工程, 2013, 42(52): 440-444．

HE Bin, TAO Dan, PENG Bo. High real-time F-SIFT image mosaic algorithm[J]., 2013, 42(52): 440-444．

[11] Lowe D G. Distinctive image feature from scale invariant key point[J]., 2004, 62(2): 91-110．

[12] 胡鵬. 基于嵌入式系統自適應SIFT圖像配準算法研究[D]. 西安: 西安電子科技大學, 2014．

HU Peng. Embedded System Based Image Registration Using Adaptive SIFT Algorithm[D]. Xi’an: Xidian University, 2014.

[13] 萬國挺, 王俊平, 李錦, 等. 圖像拼接質量評價方法[J]. 通訊學報, 2013, 134(8): 76-81．

WAN Guoting, WANG Junping, LI Jin, et al. Method for quality assessment of image mosaic[J]. Journal on Communications, 2013, 134(8): 76-81．

Image Mosaic Based on Contract Threshold Adaptive SIFT Algorithm

LI Zun，SHEN Xiaomeng，MIAO Tongjun

(,,453000,)

An image mosaic consists of three parts: acquisition, image-matching, and image fusion. Image-matching is the key part, determining the image mosaic quality. For cases where in the feature point number is too high or too low, we propose an image mosaic based on the contract threshold adaptive SIFT algorithm. The proposed method adaptively and effectively controls the feature point number when it is too high or too low, ensuring a value between 150 and 300. Experimental results show that this method, which has practical value, can improve computational efficiency based on mosaic effects.

image mosaic，SIFT algorithm，Contract threshold，self-adaption

TP391.41

A

1001-8891(2017)10-0946-05

2016-08-18；

2016-12-26.

李尊（1988-），女，河南新鄉人，碩士，助教，主要從事圖像處理和模式識別的研究。E-mail：2185099648@qq.com。

河南省高等學校重點科研項目（17A470013）。