基于改進(jìn)SIFT的圖像拼接算法

崔得龍 ， 弓云峰 ， 左敬龍

（1.廣東石油化工學(xué)院 計算機(jī)與電子信息學(xué)院，廣東 茂名 525000；2.廣東省石化裝備故障診斷重點實驗室 廣東 茂名 525000）

圖像拼接是基于圖像繪制技術(shù)（IBR）中的一種基本的處理方法，所謂圖像拼接就是將多幅相互間存在重疊的序列圖像進(jìn)行無縫拼接，合成一幅包含各圖像信息的、寬視角場景的高清晰圖像，是目前計算機(jī)視覺、圖像處理和虛擬現(xiàn)實等領(lǐng)域的研究熱點。

圖像配準(zhǔn)問題是圖像拼接技術(shù)的關(guān)鍵技術(shù)之一。目前主要的圖像配準(zhǔn)方法可分為基于灰度信息的圖像配準(zhǔn)方法[1]，基于特征的圖像配準(zhǔn)方法[2]和基于變換域的圖像配準(zhǔn)方法[3]等。其中最常用的是基于圖像特征的配準(zhǔn)方法：首先對待拼接圖像進(jìn)行特征提取得到特征點集，并通過相似性度量找到匹配的特征點對，然后匹配計算得到圖像空間坐標(biāo)變換參數(shù)，最后進(jìn)行圖像配準(zhǔn)，特征提取和特征匹配是配準(zhǔn)技術(shù)的關(guān)鍵。

傳統(tǒng)的特征提取方法如Harris角點算法、基于邊緣的特征提取算法等對于圖像配準(zhǔn)的條件要求很高，當(dāng)圖像間發(fā)生尺度縮放、旋轉(zhuǎn)和光照變換以及仿射變換等情況時，匹配效果就會受到嚴(yán)重的影響。目前去除誤匹配的方法多采用極幾何約束、迭代求精，如 M-estimators[4]、RANSAC[5]等方法，但這些方法受初匹配內(nèi)點（正確匹配的點）比例影響較大，如何提高內(nèi)點的比例常常決定著匹配圖像的配準(zhǔn)精度和迭代效率。文獻(xiàn)[6]利用歐氏距離通過調(diào)整最近鄰（NN）與次近鄰（SCN）距離的比值閾值，可以減少一些誤匹配，但同時也易損失一部分原本正確的匹配點，不能在真正意義上提高正確匹配率。文獻(xiàn)[7]提出一種基于中值濾波的特征點對匹配算法，能部分但不能完全剔除錯誤匹配的特征點對，同時該方法執(zhí)行效率較低。文獻(xiàn)[8]提出把中值濾波用于檢測RANSAC的初始迭代特征點對，但并沒有考慮排除錯誤的特征點對，因此對RANSAC的執(zhí)行效率沒有實質(zhì)的改進(jìn)。

針對目前基于SIFT的圖像拼接算法復(fù)雜度較高和特征點匹配不準(zhǔn)等問題，提出了一種基于改進(jìn)SIFT的圖像拼接算法。算法利用改進(jìn)的SIFT進(jìn)行特征提取，降低了算法的復(fù)雜度，同時采用模擬退火算法進(jìn)行特征點匹配，從而估計出幾何變換的參數(shù)。實驗結(jié)果表明，該方法對圖像間存在的平移、旋轉(zhuǎn)、明暗強(qiáng)度和噪聲干擾都具有良好的魯棒性，可實現(xiàn)高質(zhì)量的圖像拼接。

1 SIFT特征提取

1.1 SIFT

2004年David G.Lowe提出了一種基于尺度空間的，對圖像旋轉(zhuǎn)、縮放甚至仿射變換保持不變的圖形局部特征算子—SIFT（Scale Invariant Feature Transform）。 SIFT算子不僅能提取出大量穩(wěn)定的特征點，而且其獨(dú)特性較高的特征描述符在大多數(shù)情況下也能保證較高的匹配率[9]。SIFT算法特征點提取具體步驟如下：

1）構(gòu)造高斯差分尺度空間（DOG），檢測尺度空間極值點

為了得到多尺度空間內(nèi)的穩(wěn)定關(guān)鍵點，利用不同尺度的高斯差分核與圖像進(jìn)行卷積構(gòu)成高斯差分尺度空間。

檢測尺度空間的極值點，每個檢測點和它同尺度的8個相鄰點以及上下相鄰尺度的個點進(jìn)行比較，以確保在尺度空間和二維空間都能檢測到極值點，DOG尺度空間極值檢測如圖1所示。

圖1 DOG尺度空間局部極值檢測Fig.1 Local Key-point detection of DOG scale space

2）極值點精確定位

通過擬合三維二次函數(shù)精確定位極值點的位置和尺度，同時去除低對比度的點和不穩(wěn)定的邊緣響應(yīng)點。邊緣響應(yīng)點通過式（2）去除。

式中，H為的Hessian矩陣，r為控制特征值大小的參數(shù)。

3）分配關(guān)鍵點方向

為使SIFT特征點具備局部旋轉(zhuǎn)不變性，利用關(guān)鍵點鄰域梯度像素的分布特性為每個關(guān)鍵點分配方向參數(shù)，點處梯度的模和方向的公式如式（4）和式（5）。

其中L的取值為每個關(guān)鍵點所在的尺度。實際中，在以關(guān)鍵點為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計鄰域像素的梯度方向，直方圖的峰值代表了該特征點處鄰域梯度的主方向，即為該特征點的主方向。

4）生成特征點描述符

首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點的主方向，以確保旋轉(zhuǎn)不變性，然后以關(guān)鍵點為中心取的窗口均勻地分為16個的小塊，在每個小塊的 8 個方向 （0°，45°，90°，135°，180°，225°，270°，315°）的梯度直方圖上繪制每個梯度方向的累加值，形成一個種子點，則每個種子點含有8個方向的信息向量。一個特征點用16個種子點描述，即由128維向量來描述。

1.2 改進(jìn)的SIFT特征點描述符

在SIFT提取的第（3）步，需要為特征點分配一個主方向，通過主方向旋轉(zhuǎn)特征點的局部區(qū)域?qū)崿F(xiàn)特征點的抗旋轉(zhuǎn)能力?？紤]到圓具有很好的旋轉(zhuǎn)不變性，因此文獻(xiàn)[10]提出利用特征點周圍的圓形區(qū)域來構(gòu)造SIFT特征描述子，當(dāng)圖像產(chǎn)生旋轉(zhuǎn)時，僅子環(huán)內(nèi)的像素位置發(fā)生了變化，其余特性基本保持不變，如圖2所示，具體構(gòu)造過程如下：

首先，計算圓環(huán)內(nèi)各像素的梯度值和方向，統(tǒng)計出8個方向的梯度累加值。其次，將梯度累加值從大到小進(jìn)行排序，以保證旋轉(zhuǎn)后排序值的不變性。最后，將該向量進(jìn)行歸一化處理，減少光照變化對特征描述符的影響。改進(jìn)的SIFT描述符本身具有旋轉(zhuǎn)不變性，不需要通過坐標(biāo)軸的旋轉(zhuǎn)來確保特征描述符的旋轉(zhuǎn)不變性。同時，改進(jìn)的SIFT描述符從原來的128維向量降低到64維，有效提高了算法的運(yùn)行效率，降低了特征點的匹配復(fù)雜度。

圖2 改進(jìn)的SIFT特征點描述符生成過程圖Fig.2 Flow of improved SIFT feature point

2 特征點匹配

對于需要進(jìn)行拼接的兩幅圖像，按照相同的SIFT特征點提取方法，可以分別得到它們的特征點集，記為P={pj=（pj1，pj2）T|j=1，2，…，m}和 Q={qj=（qj1，qj2）T|j=1，2，…m}。 則集合 P和Q之間由仿射變換（A，t）關(guān)聯(lián)。定義匹配矩陣M，其元素mjk滿足條件此時點集匹配的問題可被重新定義為：對于給定的點集P和Q，求出仿射（A，t）變換或匹配矩陣M，使得匹配達(dá)到最優(yōu)。按照Gold所提出的方法，對于給定的兩個點集P和Q的匹配問題可以看作為求解下面目標(biāo)函數(shù)的最小化狀態(tài)[11]。

2）g（A）=γ（a2+b2+c2）

此時特征點匹配問題就轉(zhuǎn)化為聯(lián)合求解匹配矩陣和變換參數(shù)的優(yōu)化問題。為避免目標(biāo)函數(shù)式（6）落入局部極小，將二值的匹配矩陣轉(zhuǎn)化為連續(xù)實數(shù)矩陣，即 mjk∈{0，1}→mjk∈[0，1]。

式中對M行和列的約束是不等式，通過引入一松弛變量，可以將不等式約束轉(zhuǎn)化為等式約束。

為了求解目標(biāo)函數(shù)（6），選用模擬退火算法進(jìn)行全局最小值求解。在確定性模擬退火算法中，當(dāng)溫度足夠高時，能夠很容易求出目標(biāo)函數(shù)的全局最小值。根據(jù)優(yōu)化理論，目標(biāo)函數(shù)應(yīng)該凸化，為此引入一個阻尼項其中 T是控制模擬溫度，這個阻尼項的作用是：

1）在高退火溫度下，使目標(biāo)函數(shù)凸化，其凸度由模擬溫度T控制；

2）確保匹配矩陣所有的元素非負(fù)。

將匹配矩陣的等式約束式（7）和阻尼項加到目標(biāo)函數(shù)式（6）中，可以得到新的特征點匹配問題的目標(biāo)函數(shù)如下所示：

其中 μj和 υk是 Lagrange因子。

通過最小化目標(biāo)函數(shù)（8）可以得到匹配矩陣和點集P和Q之間的變換參數(shù)。

3 圖像拼接

算法性能驗證以Matlab R2007為實驗平臺，選用兩幅標(biāo)準(zhǔn)測試圖像進(jìn)行圖像拼接驗證，測試圖像分別如圖3（a），（b）所示。

3.1 圖像拼接

具體圖像拼接步驟如下：

1）SIFT特征點提取，分別對需要進(jìn)行拼接的兩幅圖像提取SIFT特征點集合；

2）按照第2節(jié)的方法對提取的特征點集合進(jìn)行特征點匹配，估計出兩幅圖像的幾何形變參數(shù)及圖像間的重疊區(qū)域，SIFT特征點匹配結(jié)果如圖3（c）所示；

3）以拼接后的圖像尺寸大小，生成一幅區(qū)域圖像。將兩幅圖像分別擴(kuò)展至區(qū)域圖像大小，擴(kuò)大了的部分取原圖像相應(yīng)部分填充；

4）灰度校正，由于拍攝角度和曝光時間等條件的不同，拼接圖像可能存在光強(qiáng)差異，使得拼接后的圖像接縫處存在明顯的明暗變化。為了實現(xiàn)無縫拼接，需要對圖像拼接處的縫隙進(jìn)行灰度校正，詳細(xì)灰度校正步驟如3.2所述。

5）得到兩幅圖像拼接后的最終圖像，本文算法下得到的圖像拼接結(jié)果如圖3（d）所示。

圖3 圖像拼接示例Fig.3 An example of image mosaic

3.2 灰度校正

光學(xué)系統(tǒng)中，在物方亮度均勻的情況下，軸外像點M′的照度可表示為：

根據(jù)與光軸成ω′角的像素位上照度按cos4ω′的比例減少這一規(guī)律，可以對原始圖像乘以1/cos4ω′進(jìn)行灰度校正。

通常光源照度中心并不嚴(yán)格在圖像中心。因此，對于一維照度曲線，可以設(shè) ω′=s（x-x0），其中 s為系數(shù)，x 為橫向坐標(biāo)，x0為橫軸方向照度中心，則有：

利用非線性最小二乘估計法，按照式（10）對原圖背景中x方向進(jìn)行照度曲線擬合，可得到現(xiàn)場照度中心方向的坐標(biāo)。

然后再用同樣的方法對y方向的照度也進(jìn)行擬合，這樣就得到了現(xiàn)場的照度中心坐標(biāo)（x0，y0），圖像的二維灰度校正函數(shù)就可以表示為

利用式（11）生成與原圖尺寸相同的灰度校正曲線，并將該曲線與原圖相乘即可對原圖進(jìn)行灰度校正。

4 結(jié) 論

本文針對目前基于SIFT的圖像拼接算法復(fù)雜度較高和特征點匹配不準(zhǔn)等問題，提出了一種基于改進(jìn)SIFT的圖像拼接算法。算法在SIFT特征提取過程中簡化了SIFT特征描述符，降低了算法的復(fù)雜度，同時在特征匹配過程中采用模擬退火算法進(jìn)行特征點匹配，降低了匹配誤差。實驗結(jié)果表明，本文算法在降低SIFT特征提取的同時，取得了良好的圖像拼接效果。今后的工作將從進(jìn)一步深入探討SIFT特征點的穩(wěn)定性以及特征點匹配精度，進(jìn)一步提高算法整體性能等方面展開。

[1]Kybic J.High-dimensional mutual information estimation for image registration using control point and intensity[J].IEEE Transaction on Image，2004，13（8）：1115-1127.

[2]Zitova B，F(xiàn)lusser J.Image registration methods:a survey[J].Image and vision computing，2003，21（11）：977-1000.

[3]田偉剛，郭雷，黃雷.一種應(yīng)用于圖像配準(zhǔn)中的點特征匹配算法[J].微電子學(xué)與計算機(jī)，2008，25（3）：172-174.TIAN Wei-gang，GUO Lei，HUANG Lei.An algorithm for point pattern matching applied to the registration of images with relatively great affine geometric distortion[J].Microelectronics&Computer，2008，25（3）：172-174.

[4]CHEN Jiun-hung，CHEN Chu-song，Chen Yong-sheng.Fast algorithm for robust template matching with M-estimators[J]．IEEE Trans on Signal Processing，2003，51（1）：230-243．

[5]CHENFu-xing，WANGRun-sheng.Fast RANSACwith preview model parameters evaluation[J]．Journal of Software，2006，16（8）：1431-1437．

[6]Kasar T，Ramakrishnaa A G．Block-based feature detection and matching for mosaicing of camera-captured document images[C]//Proc of IEEE Region 10 Conference，Symposium on Applications of Holography in Mechanics，New York:ASME，2007：1-4.

[7]鄒北驥，阮鵬，向遙.一種精確匹配的全景圖自動拼接算法[J].計算機(jī)工程與科學(xué)，2010，32（8）:60-63.ZOU Bei-ji，RUAN Peng，XIANG Yao.An automatic panoramic images mosaic algorithm with precise matching[J].Computer Engineering&Science，2010，32（8）：60-63.

[8]FANG Xian-yong，ZHANG Ming-min，PAN Zhi-geng，et al.A new method of manifold mosaic for large displacement images[J].Journal of Computer Science and Technology，2006，21（2）：218-223．

[9]Lowe D.Distinctive image features from scale invariant keypoints[J].International Journal of Computer Vision，2004，60（2）:91-110.

[10]蘭世爽，孫勁光.基于改進(jìn)SIFT的抗幾何攻擊的數(shù)字水印[J].計算機(jī)工程與應(yīng)用，2011，49（7）:200-203.LAN Shi-shuang，SUN Jin-guang.Geometrical attack digital watermarkingbased onimproved SIFT[J].Computer Engineering and Applications，2011，49（7）：200-203.

[11]金聰，葉俊民，許凱華，等.具有抗幾何攻擊能力的盲數(shù)字圖像水印算法[J].計算機(jī)學(xué)報，2007，30（3）：474-482.JINCong，YEJun-Min，XUKai-hua.Blind image watermarking algorithm resist to geometrical attacks[J].Chinese Journal of Computers，2007，30（3）：474-482.