基于SIFT的超大圖像配準(zhǔn)

摘 要： SIFT算法在仿射變換、噪聲、一定程度的光照條件下具有良好的匹配性能，星上寬波段相機(jī)成像尺寸都非常大，超大尺寸圖像直接利用SIFT算法，在構(gòu)建高斯金字塔時(shí)空間占用大，同時(shí)導(dǎo)致計(jì)算用時(shí)長。通過研究仿射變換矩陣，提出可以通過計(jì)算超大尺寸圖像的降采樣圖像之間的配準(zhǔn)系數(shù)間接獲取超大尺寸圖像的配準(zhǔn)系數(shù)的方法。經(jīng)過實(shí)驗(yàn)驗(yàn)證，具有一定的可行性，對(duì)于圖像配準(zhǔn)從空間上減少計(jì)算量從而節(jié)約計(jì)算時(shí)間具有一定指導(dǎo)意義。

關(guān)鍵詞： 圖像配準(zhǔn)； SIFT； 仿射變換； 配準(zhǔn)系數(shù)； 超大圖像

中圖分類號(hào)： TN964?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2013）14?0082?03

Oversized image registration based on SIFT algorithm

FAN Yu?qiong， HUANG Xiao?xian

（Shanghai Institute of Technical Physics， Shanghai 200083， China）

Abstract： SIFT algorithm has a good matching performance under the conditions of affine transformation， noise and certain illumination. Since imaging size of the broadband camera on satellite is always oversized， if the oversized image is directly handled with SIFT algorithm， a big space will be occupied and a long computing time will be spended when building a Gaussian pyramid. By going into the affine transformation matrix， a method of calculating the matching coefficient between the downsample images of oversized images to indirectly get the matching coefficient of the oversized images is proposed. The experimental result indicates that this method is feasible. As for the image registration， it has a certain guiding significance for saving the computation time by reducing space occupation.

Keyword： image registration； SIFT； affine transformation； matching coefficient； oversized image

0 引 言

寬波段相機(jī)一般由多個(gè)成像和分譜模塊組成，通過濾光片進(jìn)行成像通道選擇，最后將不同成像系統(tǒng)所成的像進(jìn)行視場合成。計(jì)算同一波段不同通道對(duì)同一場景的成像的配準(zhǔn)系數(shù)對(duì)是相機(jī)的定標(biāo)和校準(zhǔn)的重要依據(jù)。星上寬波段相機(jī)成像尺寸都非常大，直接用于配準(zhǔn)計(jì)算空間占用大，并且用時(shí)長。圖像配準(zhǔn)是圖像拼接的核心，主要由特征空間、搜索空間、相似性度量和搜索策略4方面因素組成。圖像配準(zhǔn)按配準(zhǔn)提取特征的空間一般可分為2大類：一是基于頻率域的配準(zhǔn)方法，如Fourier變換和小波變換等；另一類是基于空間域的配準(zhǔn)方法，它主要包括基于區(qū)域的配準(zhǔn)算法和基于特征的配準(zhǔn)算法[1]。Lowe提出的SIFT算法在仿射變換、噪聲、一定程度的光照條件下具有良好的匹配性能，該算法較好的解決了場景部分遮擋、旋轉(zhuǎn)縮放、視點(diǎn)變化、光照變化引起的圖像變形問題[2]。但由于獲取關(guān)鍵點(diǎn)時(shí)需要構(gòu)建高斯金字塔，導(dǎo)致空間占用極大，同時(shí)隨著圖片尺寸的變大，時(shí)間占用呈指數(shù)增長。

本文仔細(xì)研究圖像仿射變換，提出對(duì)超大圖像先進(jìn)行降采樣，然后利用SIFT算法對(duì)降采樣得到的圖片查找匹配點(diǎn)，最后利用RANSAC算法剔除錯(cuò)配點(diǎn)，并計(jì)算計(jì)算降采樣得到的圖片之間的仿射變換矩陣。最后通過適當(dāng)?shù)淖儞Q超大圖像之間的仿射變換矩陣。

1 SIFT算法簡介

1.1 關(guān)鍵點(diǎn)檢測

1.1.1 尺度空間極致點(diǎn)檢測

利用一組連續(xù)的高斯卷積核與原圖像進(jìn)行卷積形成高斯金字塔，相鄰尺度的圖像做差值得到一組DOG （Difference of Gaussian）圖像[3]。

將DOG尺度空間的每個(gè)點(diǎn)與鄰位置的26個(gè)點(diǎn)進(jìn)行逐個(gè)比較，得到局部極值點(diǎn)位置和尺度即為候選特征點(diǎn)位置和對(duì)應(yīng)的尺度。

1.1.2 精確定位特征點(diǎn)

利用泰勒展開式：，對(duì)該式求導(dǎo)，并令導(dǎo)數(shù)為零，得極值點(diǎn)：，帶入泰勒展開式中得：

若，就認(rèn)為該點(diǎn)是低對(duì)比度的點(diǎn)，應(yīng)從特征點(diǎn)中剔除。

然后利用Hessian矩陣的跡與行列式的比值去除不穩(wěn)定的邊緣點(diǎn)。

1.2 特征描述

1.2.1 SIFT特征點(diǎn)主方向分配和特征描述

以二維離散高斯函數(shù)：的尺度大小作為鄰域窗口，計(jì)算關(guān)鍵點(diǎn)鄰域中每個(gè)像素點(diǎn)梯度的模和方向：

梯度的模矩陣為M，以特征點(diǎn)為中心的領(lǐng)域窗口內(nèi)，采用高斯函數(shù)和梯度的模，給每個(gè)點(diǎn)一定得權(quán)值，權(quán)值矩陣W為：。用直方圖統(tǒng)計(jì)鄰域像素的梯度方向，梯度直方圖的范圍是0～360°，其中每10°一個(gè)柱。直方圖的峰值代表了特征點(diǎn)領(lǐng)域梯度方向的主方向，即為特征點(diǎn)主方向，當(dāng)存在另一個(gè)相當(dāng)于主峰值80%能量的峰值時(shí)，則該方向?yàn)樘卣鼽c(diǎn)的輔方向[4]。

1.2.2 特征描述子的生成

將坐標(biāo)軸方向旋轉(zhuǎn)到特征點(diǎn)主方向，以保持其旋轉(zhuǎn)不變性，采用高斯圓形窗口對(duì)梯度的模進(jìn)行高斯加權(quán)，再以特征點(diǎn)為中心取8×8的窗口，在每個(gè)4×4的圖像小方塊里計(jì)算8個(gè)方向的梯度方向直方圖，繪制每個(gè)梯度方向的累加值，形成一個(gè)種子點(diǎn)。這種方式增強(qiáng)了算法的抗干擾能力，對(duì)定位有偏差的特征點(diǎn)也有較好的容錯(cuò)性。此刻，生成的SIFT特征向量已經(jīng)除去了尺度變換和旋轉(zhuǎn)等幾何變形的影響，再將特征向量的長度歸一化，就可以進(jìn)一步除去光照變化的影響。

1.3 特征匹配

此處采用歐式距離作為相似性度量，并采用基于KD?Tree 的BBF算法進(jìn)行特征匹配。并最終利用RANSAC進(jìn)行錯(cuò)配消除，并計(jì)算配準(zhǔn)系數(shù)[5?7]。

1.4 配準(zhǔn)系數(shù)計(jì)算

仿射變換可以用一個(gè)3×3的矩陣來表示，其最后一行為（0，0，1）。該變換矩陣將原坐標(biāo)變換為新坐標(biāo)，這里原坐標(biāo)和新坐標(biāo)皆視為最末一行為1的三維列向量，原列向量左乘變換矩陣得到新的列向量：

（1）

1.4.1 平移變換

將每一點(diǎn)移動(dòng)到，有：

求得變換矩陣為：

（2）

1.4.2 旋轉(zhuǎn)變換

目標(biāo)圖形圍繞原點(diǎn)逆時(shí)針旋轉(zhuǎn)θ弧度，有：

則變換矩陣為：

（3）

1.4.3 縮放變換

將每一點(diǎn)的橫坐放大倍，縱坐標(biāo)放大倍，有：

變換矩陣為：

（4）

真實(shí)圖像之間的放射變換矩陣可以認(rèn)為是以上幾種變換的組合。

1.4.4 大圖像配準(zhǔn)

設(shè)基準(zhǔn)圖像， 將每一點(diǎn)的橫坐標(biāo)縮小倍，縱坐標(biāo)縮小倍，得到圖像，的點(diǎn)與的點(diǎn)對(duì)應(yīng)，由式（4）應(yīng)有：

（5）

設(shè)待配準(zhǔn)圖像I1，將每一點(diǎn)的橫坐標(biāo)縮小倍，縱坐標(biāo)縮小倍，得到圖像，的點(diǎn)與中點(diǎn)對(duì)應(yīng)，同樣有：

（6）

記矩陣M為待配準(zhǔn)圖像到基準(zhǔn)圖像的仿射變換矩陣，為通過RANSAC計(jì)算的縮放后待配準(zhǔn)圖像到放縮后基準(zhǔn)圖像的仿射變換矩陣，實(shí)際情況中，還要考慮水平和豎直方向的形變，a和b即為水平和豎直方向的形變量。即有：

（7）

（8）

將式（5）、（6）、（8）代入式（7）有：

（9）

由以上推導(dǎo)可知大圖像配準(zhǔn)可以通過縮放小圖像配準(zhǔn)來獲得。

為了盡量減少水平方向和豎直方向的形變，本文保持橫坐放大倍數(shù)和縱坐標(biāo)放大倍數(shù)相同。

2 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)選用圖片都是在自然光環(huán)境下拍攝完成，圖片大小基都在5 000×5 000以內(nèi)。編程使用VS2010在A8，1.6 MHz四核處理器，8 GB內(nèi)存的筆記本上完成。首先提對(duì)兩幅圖片分別進(jìn)行縮放，這里分別對(duì)他們的橫坐標(biāo)和縱坐標(biāo)縮小4倍，8倍，然后對(duì)縮放的圖像提取SIFT 特征，然后再進(jìn)行特征匹配，根據(jù)匹配的特征，利用RANSAC剔除錯(cuò)配點(diǎn)，并分別計(jì)算縮放后的圖像之間的配準(zhǔn)系數(shù)。經(jīng)過對(duì)多組超大圖片的重復(fù)實(shí)驗(yàn)后證明縮放后4倍和8倍能取得較穩(wěn)定的配準(zhǔn)系數(shù)，并且在一定的誤差內(nèi)滿足式（9）。此處給出兩組圖片的配準(zhǔn)效果，其中第一組圖片大小為4 608×2 592，第二組圖片大小為2 816×2 112。表1，表2是第一組圖片的配準(zhǔn)系數(shù)。

表1 縮小4倍（一）

表2 縮小8倍（一）

根據(jù)式（9），計(jì)算出原圖像的配準(zhǔn)系數(shù)為：

根據(jù)求得的配準(zhǔn)系數(shù)，得到圖像的匹配結(jié)果如圖1所示。

圖1 圖像匹配結(jié)果（一）

表3，表4是第二組圖片的配準(zhǔn)系數(shù)。

表3 縮小4倍（二）

表4 縮小8倍（二）

根據(jù)式（9）計(jì)算出原圖像的配準(zhǔn)系數(shù)為：

根據(jù)求得的配準(zhǔn)系數(shù)，得到圖像的匹配結(jié)果如圖2所示。

3 結(jié) 語

通過計(jì)算大圖像縮小之后的配準(zhǔn)系數(shù)間接獲取大圖像的配準(zhǔn)系數(shù)，由于圖片小，空間占用小，隨著圖片尺寸縮小，程序運(yùn)行時(shí)間成指數(shù)下降。通過變換后圖像與基準(zhǔn)圖像對(duì)比，可以看出計(jì)算出的配準(zhǔn)系數(shù)是可用的。

獲得的配準(zhǔn)系數(shù)不僅可以用來進(jìn)行圖像融合，圖像拼接，還可以借以推測圖像之間的縮放倍數(shù)，角度旋轉(zhuǎn)度數(shù)和平移量。

圖2 圖像匹配結(jié)果（二）

參考文獻(xiàn)

[1] 曾巒，王元?dú)J，譚久彬.改進(jìn)的SIFT特征提取和匹配算法[J].光學(xué)精密儀器，2011，19（6）：1391?1397.

[2] 馮政壽，王美清.基于Harris算子與改進(jìn)的sift算子的圖像匹配算法[J].福州大學(xué)學(xué)報(bào)，2012，40（2）：176?180.

[3] 夏杰，李奇安，李悅，等.基于改進(jìn)SIFT算法的圖像匹配方法研究[J].電子設(shè)計(jì)工程，2012，20（14）：157?159.

[4] 黃超，齊英劍.SIFT算法研究和應(yīng)用[J].中國傳媒大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，19（1）：68?72.

[5] 祈燕，王琰，王明宇.改進(jìn)的SIFT特征圖像配準(zhǔn)算法[J].沈陽理工大學(xué)學(xué)報(bào)，2012，31（4）：6?10.

[6] 易君凱，王瑋.SIFT錯(cuò)配改進(jìn)的二階高斯分布[J].計(jì)算機(jī)工程與應(yīng)用，2012，48（1）：191?193.

[7] 羅文超，劉國棟.SIFT描述子和改進(jìn)的RANSAC算法在圖像配準(zhǔn)中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2012，48（3）：9?11.