基于改進SIFT的SAR圖像配準方法

張雄美,易昭湘,蔡幸福,宋建社

(第二炮兵工程大學,西安710025)

基于改進SIFT的SAR圖像配準方法

張雄美,易昭湘,蔡幸福,宋建社

(第二炮兵工程大學,西安710025)

針對尺度不變特征變換(SIFT)配準方法在處理SAR圖像時精度不高的問題,提出一種基于改進SIFT的精確配準方法。在提取關鍵點SIFT描述子及其鄰域多尺度自卷積矩不變特征的基礎上,利用基于典型相關分析的融合算法對SIFT與矩不變特征進行融合,形成新的關鍵點描述子,使用閾值實現粗匹配,并結合關鍵點的距離與鄰域灰度相關性構建相似矩陣,采用奇異值分解方法精確確定匹配點對,求出仿射變換模型參數,從而完成圖像配準。實驗結果表明,該方法的配準結果優于SIFT方法,且配準精度達到亞像素級。

SAR圖像配準;尺度不變特征變換;多尺度自卷積;典型相關分析;奇異值分解

1 概述

圖像配準是將不同時間、不同視角或不同傳感器獲取的關于同一場景的2幅或多幅圖像進行對準并確定彼此對應關系的過程[1]。圖像配準是圖像融合、變化檢測、多通道圖像恢復等的前提與基礎[2-3]。配準的精度直接影響其后續圖像處理工作的結果。

目前,常用的圖像配準方法有基于區域相關的配準方法和基于特征的配準方法[4]。其中,前者基于圖像的灰度信息進行配準,易受相干斑噪聲、輻射差異等因素的影響,配準精度不高,效果不是很理想,基于特征的配準方法則是基于提取的顯著性特征進行配準,對噪聲、輻射差異等具有較強的魯棒性,獲得的結果更加穩定、準確,是圖像配準領域的研究熱點。

在眾多基于特征的配準算法中,尺度不變特征變換(Scale Invariant Feature Transform,SIFT)算法[5]由于具有較好的尺度、旋轉不變性,對光照、噪聲和仿射變化具有較強的魯棒性,且提取的關鍵點穩定、數量豐富等優點而得到了廣泛的應用。但是,該算法不具備仿射不變性,在處理幾何變化較大的2幅圖像時存在性能退化的現象;此外,該算法的相似性度量只考慮了描述子間的距離,而沒有考慮關鍵點的位置及其鄰域的灰度相關性,在處理灰度弱相關圖像時存在較大的誤差[6-8]。

基于上述分析,在引入多尺度自卷積(Multi-Scale Autoconvolution,MSA)矩不變量與基于典型相關分析(Canonical Correlation Analysis,CCA)的特征融合算法的基礎上,本文提出一種基于SIFT與MSA的SAR圖像配準方法,結合關鍵點鄰域的仿射不變特征,且配準過程中充分利用關鍵點的位置及其鄰域的灰度相關性。

2 SIFT算法

SIFT算法是在總結現有的特征檢測方法的基礎上提出的一種基于多尺度空間理論的、對圖像旋轉和縮放保持不變性的特征匹配算法[5]。SIFT算法分為關鍵點檢測和描述子生成與匹配2個部分:

(1)關鍵點檢測及定位

首先采用唯一線性的高斯卷積核與原圖像I(x,y)進行卷積,得到高斯差分(Difference of Gaussian, DoG)圖像,通過比較DoG圖像中各采樣點的幅值確定極值點的位置、尺度,然后去除低對比度的極值點和不穩定的邊緣響應點得到最終的關鍵點集。其中,DoG圖像定義為:

其中,(x,y)為空間坐標;σ為尺度因子;k為常數乘積因子。

(2)SIFT描述子生成與匹配

首先計算關鍵點鄰域像素的梯度方向,并繪制梯度直方圖,直方圖峰值對應的方向即為關鍵點的主方向,并將坐標軸旋轉到關鍵點主方向,以保證旋轉不變性。然后,以關鍵點為中心、梯度方向為主方向取大小為16×16的鄰域,并將其分成16個4×4大小的子塊,每一子塊計算8個方向的梯度方向向量,這樣就可得到16×8共128維SIFT描述子。

在關鍵點匹配階段,若圖像中的某個SIFT特征與另一幅圖像的最近鄰特征和次近鄰特征間的距離比小于預先設定的閾值,則認為這2個最近鄰特征匹配。

3 MSA特征

MSA方法是Rahtu在引入概率模型的基礎上提出的一種基于點的圖像不變特征提取方法,不僅具有尺度不變性、旋轉不變性、仿射不變性等優良特性,還具有較好的抗噪性[9-10]。

MSA的基本原理為:圖像中任意不共線3點的坐標可以線性表示出其他任意一點的坐標,經仿射變換后,這4個點的線性表示形式保持不變。Rahtu正是利用了這種系數不變性構造出了仿射不變量。

設2維仿射變換A=A{T,t},A是一個二階可逆矩陣。仿射變換A有6個自由度,3個不共線的點對應一個仿射變換。則變量x的仿射變換為:

設f(x):R2→R為圖像強度函數,其經仿射變換后為:

設x0,x1,x2∈R2(x0,x1,x2是服從獨立同分布的隨機變量)為f(x)定義域中任意的3個點,則以這3個點定義的新的隨機變量可表示為:

其中,(α,β)是在以x0為原點、x1-x0與x2-x0為單位向量的仿射空間A2中的坐標。若設x′0,x′1,x′2分別為點x0,x1,x2的仿射變換,則有

由上式可知,uα,β經坐標系仿射變換后得到的隨機變量u′α,β的坐標仍然是(α,β)。而u′α,β的圖像強度函數為:

由上式可知,隨機變量f(uα,β)與f′(u′α,β)有著相同的分布,因此,其數學期望或任何階矩也是相等的,這種關系不隨仿射變換而變化,因此,是仿射不變的。MSA不變特征即為f(Uα,β)的期望值:

其中,pUα,β(u)=(pα?pβ?pγ)(u)為概率密度函數。為了簡化運算,利用傅里葉變換將上式轉換到頻域中進行計算,即:

其中,為f的傅里葉變換。

4 改進的SIFT算法

在引入 MSA的基礎上,提出了一種改進的SIFT方法。新方法在提取關鍵點SIFT描述子與關鍵點鄰域MSA矩不變特征的基礎上,利用CCA特征融合算法對SIFT與MSA特征進行融合,形成新的關鍵點描述子,并利用該描述子對提取的關鍵點進行粗匹配,然后由粗匹配點對的距離及其鄰域的灰度相關性構建相似矩陣,最后采用奇異值分解(Singular Value Decomposition,SVD)方法精確確定匹配點對,求出仿射變換模型參數,完成圖像配準。具體步驟如下:

步驟1SIFT關鍵點檢測及描述子生成。利用SIFT算法進行關鍵點檢測并生成描述子。設ρ(x,y,σ,θ)為SIFT算法檢測到的關鍵點,其中,(x,y)為點ρ在原圖像上的位置,σ,θ分別為點ρ所在的尺度及其主方向。對于每一關鍵點,計算出128維的SIFT描述子z=(z1,z2,…,z128)。

步驟2MSA關鍵點描述。利用SIFT算法檢測到關鍵點ρ(x,y,σ,θ)后,首先根據σ值的大小,在點ρ所在的相應尺度上,將坐標軸旋轉至關鍵點的主方向,以確保描述子的旋轉不變性,然后以關鍵點為中心取16×16大小的窗口鄰域作為待描述區域。對于每一關鍵點的待描述區域分別計算不同(α,β)對應的MSA特征,形成該關鍵點的n維MSA描述子向量f=(f1,f2,…,fn),其中,n為不同(α,β)的點對數。

步驟3基于CCA的SIFT與MSA特征融合。提取關鍵點的SIFT特征與MSA特征后,利用基于 CCA的特征融合算法[11]融合 SIFT與MSA特征,以形成對關鍵點更全面、準確的描述子,從而最終提高圖像配準的精度及配準算法的穩健性。

步驟4關鍵點匹配。關鍵點對間的匹配精度對配準結果有著直接的影響,關鍵點對間的錯誤匹配會直接導致整個配準過程的失敗。為此,采用SVD匹配算法[12]進行關鍵點對間的精確匹配。為降低計算復雜度,在進行SVD匹配前先對關鍵點進行粗匹配,具體方法是:對于提取的2個關鍵點集,計算2個點集中對應描述子的最近與次近歐氏距離比,當該比值小于預先設定的閾值時,初步確定為匹配點對。

步驟5變換參數估計。得到2幅圖像間的N對控制點后,根據仿射變換模型[13]求出變換參數,完成圖像配準。

5 實驗結果及分析

為驗證方法的有效性,利用本文方法分別對有尺度與灰度變化(圖像配準實驗1)、幾何變化(圖像配準實驗2)的 SAR圖像進行配準,并與SIFT算法的配準結果進行了比較。本文算法在提取MSA特征時共采用了29對(α,β)值,即在集合{-1,-0.75,-0.5,-0.25,0.25,0.5, 0.75,1}中任取2個元素組成29對(α,β)值,同時計算前3階矩,這樣每個關鍵點的MSA特征都是一個29×3=87維的向量;在SIFT與MSA特征融合中,組合特征維數設置為75維;在關鍵點粗匹配中,由于匹配點對數隨著閾值的減小而減少,而匹配點對太少會導致最終的配準精度不高,匹配點對太多又會導致計算量過大,因此粗匹配中的閾值設為0.8。

為了對各方法的配準結果進行定量的比較,采用2幅圖像關鍵點對應坐標的均方根誤差(Root Mean Squared Error,RMSE)和匹配正確率(CMR)作為量化指標。

實驗1為驗證本文方法對2幅尺度與灰度有較大差異的圖像配準的有效性,采用武漢地區SAR圖像數據進行實驗,如圖1所示,其中,圖1(a)、圖1(b)分別為參考圖像和待配準圖像,圖像大小分別為297×277像素、369×465像素。圖1(c)給出了本文方法的配準結果。可以看出,2幅圖像間存在較大的尺度與灰度差異。

圖1 實驗1配準結果

實驗2為驗證本文方法對存在較大幾何變化的圖像配準的有效性,以圖2(a)為參考圖像(大小為440×263像素),以對其進行仿射變換后得到的部分圖像作為待配準圖像(如圖2(b)所示,圖像大小為200×152像素)進行實驗。圖2(c)給出了本文方法的配準結果。

圖2 實驗2配準結果

2種實驗下不同方法的配準精度如表1所示。

表1 2種實驗下不同方法的配準精度

表1實驗1給出了本文方法與SIFT方法對圖1(a)與圖1(b)的配準精度。從表1可以看出,在參考圖像與待配準圖像間存在較大的尺度與灰度差異時,本文方法的配準精度更高,CMR為0.93, RMSE為0.84。

表1實驗2給出了 SIFT方法和本文方法對圖2(a)與圖2(b)的配準精度。可以看出,相對于SIFT,本文方法的CMR值更高,RMSE值更低,表明本文方法的配準精度更高,且達到亞像素級。同時,相對于實驗1,實驗2的RMSE值要略低一些,這是由于實驗2中的參考圖像與待配準圖像間只涉及幾何變化,避免了灰度變化對配準結果的不利影響。

6 結束語

在引入MSA矩不變特征提取方法的基礎上,本文提出一種基于改進SIFT的SAR圖像配準方法。在關鍵點檢測階段,充分利用了SIFT算法在關鍵點檢測上的優勢,提取的關鍵點穩定且數量豐富;在描述子構造階段,考慮到MSA特征具有尺度不變性、旋轉不變性、仿射不變性以及較好的抗噪性等優良特性,通過提取關鍵點鄰域MSA特征對SIFT描述子進行補充,有效降低了描述子對噪聲與灰度變化的敏感性;在關鍵點匹配階段,在粗配準的基礎上結合關鍵點的位置及其鄰域的灰度相關性進行精確匹配,提高了匹配算法對大幾何變化與灰度變化的穩健性。實驗結果表明,與SIFT方法相比,該方法能有效地處理幾何與灰度差異較大的2幅圖像間的配準問題,獲得了更高的配準精度。由于需要提取關鍵點的MSA特征并進行融合,本文方法的運行效率低于SIFT算法,如何在保持高配準精度的前提下提高運行效率是下一步的研究方向。

[1] Zitova B,Flusser J.Image Registration Methods:A Survey[J].Imageand Vision Computing,2003, 21(11):977-1000.

[2] Singh A.Digital Change Detection Technique Using Remotely-sensed Data[J].InternationalJournalof Remote Sensing,1989,10(6):989-1003.

[3] White R G.Change Detection in SAR Imagery[J]. International Journal of Remote Sensing,1991,12(2): 339-360

[4] Salvi J,Matabosch C,Fofi D,et al.A Review of Recent RangeImageRegistration Methodswith Accuracy Evaluation[J].Image and Vision Computing,2007, 25(5):578-596.

[5] Lowe D G.DistinctiveImageFeaturesfrom ScaleinvariantKeypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[6] 趙 明,林長青.基于改進SIFT特征的紅外與可見光圖像配準方法[J].光電工程,2011,38(9):130-136.

[7] Paganelli C,Peroni M,Riboldi M,et al.Scale Invariant Feature Transform in Adaptive Radiation Therapy:A Tool for Deformable Image Registration Assessment and Re-planning Indication[J].Physics in Medicine and Biology,2013,58(2):287-299.

[8] 王 鵬,王 平,沈振康,等.一種基于SIFT的仿射不變特征提取新方法[J].信號處理,2011,27(1):88-93.

[9] Rahtu E,Salo M,Heikkila J.Affine Invariant Pattern Recognition Using Multi-scale Autoconvolution[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(6):908-917.

[10] Rahtu E,Heikkila J.Object Classification with Multi-scale Autoconvolution[C]//Proceedings of the 17th International Conference on Pattern Recognition.New York, USA:[s.n.],2004,37-40.

[11] 孫權森,曾生根,王平安,等.典型相關分析的理論及其在特征融合中的應用[J].計算機學報,2005, 28(9):1524-1533.

[12] 劉向增,田 錚,溫金環,等.基于仿射不變SIFT特征的SAR圖像配準[J].光電工程,2010,37(11): 121-127.

[13] Pankov S.Learning Image Transformations without Training Examples[C]//Proceedings of the 7th International Conference on Advances in Visual Computing. Monte Carlo,Monaco:[s.n.],2011:168-179.

編輯 劉 冰

SAR Image Registration Method Based on Improved SIFT

ZHANG Xiongmei,YI Zhaoxiang,CAI Xingfu,SONG Jianshe
(The Second Artillery Engineering University,Xi’an 710025,China)

Aiming at the problem of Scale Invariant Feature Transform(SIFT)achieving low precision when registating SAR images,an image registration method based on improved SIFT is proposed.Based on the construction of SIFT descriptors and the Multi-scale Autoconvolution(MSA)affine invariant moments of the region around keypoints, Canonical Correlation Analysis(CCA)based fusion method is adopted to fuse them together.The control points are rough matched by using threshold and the distance as well as gray correlation around the matched points are used to construct the similarity matrix.The Singular Value Decomposition(SVD)method is subsequently adopted to implement image registration precisely.The parameters of affine transformation are calculated and the images are registrated.Experimental results show that the registration results of this method is better than SIFT method and achieves precision in sub-pixel level.

SAR image registration;Scale Invariant Feature Transform(SIFT);Multi-scale Autoconvolution(MSA); Canonical Correlation Analysis(CCA);Singular Value Decomposition(SVD)

1000-3428(2015)01-0223-04

A

TP751

10.3969/j.issn.1000-3428.2015.01.041

國家自然科學基金資助重點項目(61132008)。

張雄美(1983-),女,講師、博士,主研方向:SAR圖像處理;易昭湘、蔡幸福,講師、博士;宋建社,教授、博士生導師。

2013-11-29

2014-02-23 E-mail:zxw.of@163.com

中文引用格式:張雄美,易昭湘,蔡幸福,等.基于改進SIFT的SAR圖像配準方法[J].計算機工程,2015,41(1):223-226.

英文引用格式:Zhang Xiongmei,Yi Zhaoxiang,Cai Xingfu,et al.SAR Image Registration Method Based on Improved SIFT[J].Computer Engineering,2015,41(1):223-226.