多特征互補的紅外與光學(xué)圖像匹配方法＊

周 偉，劉 豐，劉 婧

（第二炮兵工程學(xué)院，西安 710025）

0 引言

圖像特征作為圖像的表征之一被廣泛應(yīng)用于圖像處理領(lǐng)域中，尤其在多傳感圖像匹配識別中，由于二者圖像灰度差異大，采用基于灰度的匹配方法產(chǎn)生較大的誤差，而提取多傳感器圖像之間的不變特征進行匹配，成為解決這一問題的有效途徑[1]。

尺度不變特征變換[2]（scale invariant feature transform，SIFT）是目前國內(nèi)外特征點匹配研究領(lǐng)域的熱點與難點，其匹配能力較強，可以處理兩幅圖像之間發(fā)生平移、旋轉(zhuǎn)、仿射變換情況下的匹配問題。SIFT算法在特征檢測階段采用DoG算子檢測特征，該檢測子主要檢測團塊類目標(biāo)，但對于多源圖像，如可見光與紅外圖像，其灰度差異較大，DoG檢測到的特征重復(fù)率低，從而影響匹配率。針對這一問題，對于光學(xué)與紅外圖像，分別檢測DoG與Harris－Laplace特征，同時提出了一種改進的DoG檢測算法，改善了特征的分布，并將兩特征用SIFT算子描述，之后進行匹配，實驗結(jié)果表明，文中方法有效提高了匹配率。

1 DoG檢測子

興趣點檢測是圖像匹配算法中關(guān)鍵的一步，特征并不是越多越好，過多特征在生成描述子時需要大量時間，而且還影響匹配精度。因此文中提出了一種改進的DoG檢測子，在不影響特征表征性的前提下，改善特征在圖像中的分布，從而提高檢測精度。

1.1 DoG檢測子

為了在尺度空間檢測到穩(wěn)定的關(guān)鍵點，SIFT采用高斯差分尺度空間（DoG scale－space），即利用不同尺度的高斯差分核與圖像卷積生成。

DoG算子計算簡單，是尺度歸一化的LoG算子的近似。圖像金字塔的構(gòu)建：圖像金字塔共O組，每組有S層，下一組的圖像由上一組圖像降采樣得到。圖1是兩組高斯尺度空間圖像示例金字塔的構(gòu)建。

圖1 高斯差分與圖像金字塔示意圖[3]

為了尋找尺度空間的極值點，每一個采樣點要和它所有的相鄰點比較，看其是否為圖像域和尺度域的極值。如圖2所示，中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應(yīng)的9×2個點共26個點比較，以確保在尺度空間和二維圖像空間都檢測到極值點。之后進行像素的預(yù)篩選，小于一定閾值的像素點被排除。圖3中左邊圖像為DoG檢測子的檢測結(jié)果。

圖2 DoG空間局部極值檢測

1.2 改進DoG檢測子

其中xi是特征點位置，O是所有特征點位置的集合，cr是魯棒性參數(shù)（可以設(shè)置為0.9）。這樣就保證了非極大值抑制的像素鄰域是不同的。

上述思想雖然改善了興趣點的分布，但花費時間較原DoG算法多，因此，文中不是順序的遍歷整個尺度空間來尋找關(guān)鍵點，而是隨機搜索尺度空間，直到找到所需的特征點個數(shù)為止。

DoG主要用來檢測團塊類目標(biāo)，因此興趣點也主要位于團塊區(qū)域，即明顯比背景暗或亮的區(qū)域，局部極值不可能位于平坦區(qū)域或其鄰域。局部極值的另一個可能位置為毛刺區(qū)域，例如灰度快速改變的狹窄區(qū)域。但由于構(gòu)建DoG尺度空間時，對圖像進行了多次平滑，只有粗尺度中信息被保留，而且毛刺被濾除。因

為了使特征點更好的分布于圖像內(nèi)，文中對DoG檢測子進行了改進，即在更大的范圍中檢測極值。即在當(dāng)前尺度長度為2r的鄰域內(nèi)，以及上下相鄰尺度9×2個點共（4r2－1＋18）個點比較，r定義如下：此，文中改進算法包含兩個步驟：首先對于一個點xi，DoG（xi）大于一定閾值時，即為團塊區(qū)域，之后判斷該點是否為局部極值，當(dāng)發(fā)現(xiàn)局部極值或給定的試驗次數(shù)滿足時搜索結(jié)束；如果DoG（xi）小于一定閾值時為非團塊區(qū)域，該區(qū)域的搜索結(jié)果忽略，搜索從其它位置重新開始。算法描述見表1：

表1 改進DoG算法

圖3 DoG檢測子與改進檢測檢測結(jié)果

圖3為兩算法檢測結(jié)果比較，左邊圖像為DoG算法檢測結(jié)果，共檢測到121個關(guān)鍵點，右邊圖像為改進算法當(dāng)Num設(shè)置為30時的檢測結(jié)果，由圖中可以看出，改進算法可以減少特征點檢測數(shù)量，使特征更好的分布于圖像內(nèi)，利于后續(xù)的匹配識別。最后的實驗結(jié)果將說明改進DoG算法優(yōu)于原算法。

2 Harris－Laplace檢測子

DoG檢測特征時，為了得到更加穩(wěn)定的特征點，消除了邊緣點。對于多源圖像來說，其灰度差異大，而邊緣信息是至關(guān)重要的。因此，在特征檢測階段，引入Harris－Laplace檢測子，它可以檢測角點類型的特征，這樣可以彌補DoG檢測子的不足。Harris－Laplace檢測子是 Mikolajczyk and Schmid[4]提出的具有尺度不變性的檢測子，其檢測步驟為：

Step1：在尺度空間中用Harris[5]檢測子尋找極值點。Harris角點檢測矩陣為：

局部圖像導(dǎo)數(shù)由尺度為σD（微分尺度）的高斯核計算得到。矩陣的特征值表示點的鄰域兩個正交方向上主要信號的改變。實際應(yīng)用中，用下式來檢測角點：

而det（M）表示矩陣M行列式的值，而trace（M）表示矩陣M的跡。采用非極大值抑制可以提取cornerness函數(shù)的局部最大值作為角點。Harris角點具有平移和旋轉(zhuǎn)不變性，而且在光照條件變化時也很穩(wěn)定。

Step2：在上一步所求極值點的空間位置上，尋找極值點所在尺度鄰域（如0.7σ～1.4σ）內(nèi)LoG函數(shù)響應(yīng)的極值點。LoG函數(shù)定義為：

Step3：在第二步所求的極值點尺度上，用Harris Detector尋找極值點所在空間鄰域內(nèi)的極值點。

Step4：如果第三步極值點的位置發(fā)生了變換，則返回到第二步，如此反復(fù)，直到最后求得的極值點在空間上的Harris Detecor和尺度鄰域內(nèi)的LoG空間同時取得極值。

通過上述步驟檢測出的區(qū)域具有尺度不變性。圖4為可見光與紅外圖像分別檢測到的Harris－Laplace特征。

圖4 可見光與紅外水塔圖像Harris－Laplace特征

3 SIFT描述子

對于上述改進的DoG檢測子與Harris－Laplace檢測子檢測到的關(guān)鍵點都具有三個信息：位置、所處尺度、方向。之后將每個關(guān)鍵點采用SIFT描述子進行描述。首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點的方向，以確保旋轉(zhuǎn)不變性。

圖5 由關(guān)鍵點鄰域梯度信息生成特征向量[6]

接下來以關(guān)鍵點為中心取8×8的窗口。圖5左部分的中央黑點為當(dāng)前關(guān)鍵點的位置，每個小格代表關(guān)鍵點鄰域所在尺度空間的一個像素，箭頭方向代表該像素的梯度方向，箭頭長度代表梯度模值，圖中的圓圈代表高斯加權(quán)的范圍（越靠近關(guān)鍵點的像素梯度方向信息貢獻越大）。然后在每4×4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點，如圖5右部分所示。此圖中一個關(guān)鍵點由2×2共4個種子點組成，每個種子點有8個方向向量信息。這種鄰域方向性信息聯(lián)合的思想增強了算法抗噪聲的能力，同時對于含有定位誤差的特征匹配也提供了較好的容錯性。實際計算過程中，為了增強匹配的穩(wěn)健性，Lowe建議對每個關(guān)鍵點使用4×4共16個種子點來描述，這樣對于一個關(guān)鍵點就可以產(chǎn)生128個數(shù)據(jù)，即最終形成128維的SIFT特征向量。

4 實驗結(jié)果與分析

為了驗證文中算法的有效性，在Pentium 4，3.0 GHz CPU，2.0GRAM的PC機上采用Matlab編程實驗了文中所提算法。對5組場景的可見光與紅外圖像進行了試驗，SIFT算法采用DoG＋SIFT，而文中算法采用改進DoG＋Harris－Laplace＋SIFT，實驗結(jié)果如表2所示。

表2 算法比較結(jié)果

由于篇幅限制，這里只給出第一組場景的匹配圖像，如圖6所示。由圖中可以看出，采用原SIFT算法有2個匹配點對，其中1個為誤匹配，正確率為50%，而采用文中算法有53個匹配點對，其中2個為誤匹配點，正確率為96.2%。

圖6 SIFT算法與改進SIFT算法匹配結(jié)果比較

對于本算法中，隨著關(guān)鍵點的增多，算法的時間復(fù)雜度也增加，實際應(yīng)用中，為了滿足實時性，可以采用許多加速算法，如用積分圖像加速高斯濾波過程，用DoM代替DoG，用PCA－SIFT代替SIFT等，這都可以加速算法執(zhí)行。

由表2可以看出，算法1對于多源圖像匹配效果不好，匹配點非常少，而且正確率很低。而文中算法針對傳感器圖像灰度差異大，SIFT算法中DoG檢測子檢測團塊類目標(biāo)受灰度影響大，容易造成誤匹配的問題，在特征檢測階段，將DoG特征與Harris－Laplace特征相結(jié)合，同時為了消除DoG特征對算法正確率的影響，對其進行了改進，在不影響特征表征性的同時，減少DoG特征的數(shù)量，從而在提高匹配正確率的同時，有效減少了誤匹配點，這對于多源圖像匹配識別來說是至關(guān)重要的。

[1]Thourn K，Kitjaidure Y.Multi－view shape recognition based on principal component analysis[C]//Advanced Computer Control，ICACC′09，2009：265－269.

[2]Lowe D G.Distinctive image features from scale－lnvariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91－10.

[3]Song R，Szymanski J.Well－distributed SIFT features[J].Electronics Letters，2009，45（6）：308－310.

[4]Mikolajczyk K，Schmid C.Scale and affine invariant interest point detectors[J].International Journal of Computer Vision，2004，60（1）：63－86.

[5]Harris Stephens M.A combined corner and edge detector[C]//Alvey88，1988：147－152.

[6]Lowe D G.Local feature view clustering for 3Dobject recognition[C]// Proc.of the IEEE Conference on Computer Vision and Pattern Recognition，2001.