幾何約束和改進SIFT的SAR影像和光學影像自動配準方法

岳春宇，江萬壽

武漢大學測繪遙感信息工程國家重點實驗室，湖北武漢430079

幾何約束和改進SIFT的SAR影像和光學影像自動配準方法

岳春宇，江萬壽

武漢大學測繪遙感信息工程國家重點實驗室，湖北武漢430079

提出一種基于幾何約束和改進SIFT的SAR影像和光學影像自動配準方法。首先根據影像間的幾何關系進行影像粗糾正，消除影像間旋轉和分辨率差異；然后基于主方向改進的SIFT特征提取方法提取SIFT特征并利用其結構性信息引入結構相似性指數（SSIM）作為相似性測度獲得初始匹配，經過視差空間和角度特征空間聚類優化得到穩定同名匹配；最后由隨機抽樣一致性算法（RANSAC）根據透視變換模型精化匹配結果獲取變換模型參數。整個配準過程自動完成。本方法適用于差異較大的SAR影像與光學影像之間配準。

SAR影像；光學影像；幾何約束；尺度不變特征；影像自動配準；結構相似性指數

1 引 言

可見光傳感器因能夠獲取高分辨率與人目視效果一致的圖像，一直是遙感技術中的主要傳感器。然而可見光傳感器成像時必須有日照條件并且沒有云霧遮擋，這樣不能體現遙感技術實時動態檢測的優點。合成孔徑雷達（synthetic aperture radar，SAR）是一種全天候、全天時工作的空間遙感傳感器，其對地觀測的能力可以彌補光學傳感器被動式間斷性對地觀測的不足，且SAR影像與光學影像分別反映了電磁波譜中微波波段和光學波段的輻射特性。實現兩種影像信息的集成，能夠實現連續對地觀測，并且集合兩種影像中地物的互補信息。因為SAR影像與光學影像的成像機理完全不同，增大了影像特征提取及匹配的難度，使SAR影像與光學影像的配準成為兩者信息集成的最大障礙。因此，研究SAR影像與光學影像的配準技術成為目前的研究熱點和難點［1－4］。

目前主流的SAR影像與光學影像配準算法主要是提取影像中的線或面狀特征進行特征匹配［1－6］，或者根據互信息或者交叉累計殘余熵等基于樣條函數進行全局配準［7－8］。實際上SAR影像與光學影像往往存在一定角度、分辨率差異及局部形變，在這種情況下上述方法均不能適用，并且對于基于特征的匹配來說，由于影像差異較大，不能總提取到同名特征，也增加了影像配準的難度?；诰植刻卣鞯挠跋衿ヅ浞椒▽πD、尺度和局部變形具有良好的魯棒性，SIFT（scale invariant feature transform）算法［9］是由文獻［10—11］提出的一種提取局部特征的算法，并被應用于SAR影像和光學影像的配準中且取得了良好的結果，但是不能適用于分辨率差異較大的星載SAR和光學遙感影像。

本文提出了一種基于幾何約束和改進SIFT的SAR影像和光學影像自動配準方法。首先基于影像間的幾何關系對進行影像粗糾正，消除旋轉和分辨率差異，然后基于主方向改進的SIFT特征提取方法提取SIFT特征并利用其結構性信息引入結構相似性指數（structure similarity，SSIM）［12］作為相似性測度獲得初始匹配，經過尺度特征空間和視差空間聚類優化得到穩定同名匹配，再由隨機抽樣一致性算法（RANSAC）［13］根據透視變換模型精化匹配結果獲取變換模型參數，最終對待配準影像重采樣得到配準結果，全部配準流程自動完成。

2 SIFT特征提取原理

SIFT算法是在尺度空間中尋找穩定的對縮放、旋轉甚至仿射變換保持不變的關鍵點，并進行描述［9］。SIFT特征提取算法流程可分為3步。

（1）關鍵點檢測。利用DOG（difference of gaussian）算子，在圖像上建立高斯差分尺度空間（DOG scale－space），并在該空間內尋找在尺度空間和圖像空間都為極值的點。

（2）確定關鍵點主方向。在以關鍵點為中心的鄰域窗口內用直方圖統計鄰域像素的梯度方向。直方圖的峰值即為該關鍵點的主方向。

（3）生成關鍵點描述子。以關鍵點的主方向作為計算描述子的坐標軸方向，在關鍵點鄰域劃分成的小區域內計算梯度方向和模值，生成梯度方向直方圖。由各個小區域梯度方向直方圖建立關鍵點的特征向量，即為描述子。

3 基于幾何約束和改進SIFT的特征匹配

3.1 基于影像間幾何關系的粗糾正［14－16］

通常影像由人工選點進行粗糾正［17］。本文利用遙感影像空間參考中的地理坐標信息，建立影像間的幾何關系，自動的構造粗糾正模型，把兩幅影像糾正到相同的高程面上，消除尺度、旋轉等差異。

在GeoTiff格式影像中，影像坐標和地面坐標之間的映射關系由下式表示［18］

式中，（X，Y，Z）為大地坐標；（x，y）為影像坐標；K為該影像坐標的像素灰度值；a、b、d、e、f、h為變換模型參數。由該映射關系可以建立影像坐標到地面坐標的正解函數f和由地面坐標到影像坐標的反解函數f′。

可以選擇參考影像的4個角點作為控制點，給定高程基準面，高程值為ZR。根據式（1）把參考影像上的控制點（xRi，yRi）投影到高程基準面，得到地面坐標（XRi，YRi，ZR），再把地面坐標反投影到待配準影像上，得到參考影像控制點的同名點（xRi′，yRi′），i＝1，2，3，4。

對（xRi，yRi）和（xRi′，yRi′）建立透視變換模型，如式（2）

可獲取8個方程，得到l1，…，l88個透視變換參數。對待配準影像根據上述方法得到的變換模型進行重采樣，即得到粗糾正結果。影像粗糾正的示意圖見圖1。

圖1 基于幾何關系約束的粗糾正Fig.1 Rough correction based on the geometry constraint

在影像幾何定位參數精度滿足一定要求的情況下，該方法可以達到核線重排列的效果［15］。在一般情況下可以消除影像之間的尺度和旋轉差異。

3.2 基于結構相似性約束的SIFT特征匹配

3.2.1 主方向改進的SIFT特征提取方法

首先根據經典的SIFT特征提取方法獲取關鍵點。經典的SIFT特征的主方向是由關鍵點鄰域內所有像素的梯度值進行投票確定的，充分利用了關鍵點鄰域內的細節信息。由于可見光影像具有豐富的紋理細節信息，可以準確地計算關鍵點的主方向并生成正確的描述子。而SAR影像由于斑點噪聲的影響，紋理細節比較少，并且存在很多細小的偽邊緣，所以使用鄰域信息計算關鍵點主方向誤差會很大［10］。

通過影像間的幾何關系對待配準影像進行了粗糾正，主要消除了影像間的分辨率和旋轉差異，因此可以認為提取的SIFT特征的主方向大體一致，設為1個特定的主方向值。表1為利用本文試驗數據對主方向確定改進前后的試驗結果。

表1 主方向改進試驗結果Tab.1 Result of the improvement of orientation assignment

由于經典SIFT算法中一個特征可能有多個主方向，所以在表1中經典方法所提取的特征數要多于本文方法。但是從表1中可以看出，經典方法中本來可以保證匹配正確率的多主方向確定方法反而在SAR影像和光學影像匹配中由于SAR影像自身紋理缺乏的特性，影響了正確匹配率。主方向確定后根據第2節中的第3步計算關鍵點的描述子。

3.2.2 結構相似性指數

結構相似性指數（structure similarity，SSIM）是文獻［12］提出的預測人眼視覺系統（HVS）對影像質量評價的指標。在人眼對結構信息更加敏感的前提下，通過排除對影像結構信息影響較小的信息，只針對結構信息所表現的因素進行度量，即可得到良好的圖像質量評價標準。

SSIM通過對兩幅圖像之間的亮度、對比度、結構相似性3方面的對比，建立了1個對圖像結構相似性度量的指標SSIM＝f（l（x，y），c（x，y），s（x，y））。其中l（x，y）、c（x，y）、s（x，y）分別為表示兩幅影像亮度、對比度和結構相似性對比的函數，x、y表示兩幅影像。分別為兩幅圖像的均值，σx、σy分別為兩幅圖像的方差，σxy為兩幅圖像的協方差，C1、C2、C3為防止分母為0而設定的常數。為簡化計算，文獻［12］給出了SSIM的簡化計算公式

經典SIFT匹配算法采用SIFT特征描述子向量的歐式距離作為相似性測度。這對于通常信噪比高、細節信息豐富的可見光圖像可以滿足要求。但是由于SAR影像與可見光圖像間有較大差異，能夠利用的有共性的紋理和結構信息少，歐式距離不能較好地表示兩個特征之間的相似性［11］。SIFT特征描述子向量的每一維都是一個方向上的梯度模值，是根據生物視覺對梯度信息即結構信息更敏感的原理構建的［9］，而SSIM能夠更好地度量兩個向量間的結構相似形，因此本文采用SSIM代替歐式距離作為SIFT特征之間的相似性測度。另外SSIM與文獻［10—11］所提出的歸一化互相關（normalized cross correlation，NCC）測度相比也具有一定優勢，見圖2。采用本文試驗數據對SSIM在SAR影像和光學影像匹配中的可行性試驗結果見表2、圖2。

表2 SSIM與歐式距離正確匹配數比較結果Tab.2 Comparison of SSIM and Euclidean distance in correct match

由表2可以看出，雖然得到的正確匹配數在全部匹配中還占少數，但使用SSIM作為相似性測度能夠得到的正確匹配是使用歐式距離的3倍多。在圖2中，隨著閾值的提高，NCC和SSIM的正確匹配率也相應上升，這證明了NCC與SSIM能夠用來衡量正確匹配，可以應用在SIFT特征匹配上。而在正確匹配率上，SSIM總體上一直微高于NCC。

圖2 SSIM與NCC正確匹配率比較結果Fig.2 Comparison of SSIM and NCC in correct matching rate

3.2.3 排除錯誤匹配

直接由SSIM測度得到的初始匹配結果中存在著大量的錯誤匹配，這是由于SAR影像與光學影像之間的顯著差異造成的。為了從大量的錯誤匹配中提取出正確的匹配，需要對初始匹配進一步篩選和優化。本文根據錯誤匹配大部分具有隨機性，而正確匹配之間具有某些一致的內在聯系這一前提，采用分層篩選，逐步優化的策略最終得到正確匹配。

3.2.3.1 基于視差約束優化匹配結果

經過3.1中的粗糾正后，兩幅影像主要存在位置上的差異，即正確的匹配在視差上應保持較高的一致性。計算同名特征的視差，分為x方向上的視差dx和y方向上的視差dy。建立視差空間，把同名特征的關系映射到視差空間去，以（dx，dy）為聚類特征，在視差空間進行聚類分析。同樣對視差進行K－均值聚類。錯誤匹配不具有一致性，在視差空間表現為隨機分布，分散在較小的類中。而正確的匹配分布比較集中，所以保留最大的類即篩選出了正確的匹配。圖3為兩組試驗中視差空間聚類數與正確匹配率關系，可以看出隨著分類數的增加正確匹配率有升高的趨勢，但并不滿足單調遞增，在25到30類之間兩組試驗均有峰值。

圖3 視差空間分類數與正確匹配率關系Fig.3 Relationship of cluster number and the correct matching rate

3.2.3.2 基于角度約束優化匹配結果

由于在§3.1中已經基本消除了影像之間的旋轉差異，所有正確匹配之間的連線應該趨于平行，以上一步計算的視差dx、dy構建角度特征并以其為聚類特征，建立角度特征空間，通過k－均值聚類分析，錯誤的匹配通常隨機分布，集中在較小的類，保留最大的一類，即可排除很多錯誤匹配。

3.2.3.3 基于隨機抽樣一致性約束優化匹配結果

經過上述兩步的優化處理后，匹配結果中正確的點占絕大多數，可以根據隨機抽樣一致性（RANSAC）算法對結果進一步優化，根據透視變換模型剔除粗差，由最小二乘得到模型變換參數。

4 本文方法配準流程

基于幾何約束和改進SIFT的SAR影像和光學影像自動配準方法流程如下：

（1）根據影像間幾何關系進行粗糾正，消除影像間分辨率和旋轉差異。

（2）在2幅影像上提取SIFT特征，并設定主方向，計算SIFT描述子。

（3）以SSIM為相似性測度匹配SIFT特征。

（4）基于視差、角度約束，分別在視差空間和角度空間聚類分析排除錯誤匹配結果。

（5）對第4步得到的結果，基于透視變換模型，使用RANSAC方法計算透視變換模型參數。

（6）根據第5步得到的變換模型參數對待配準影像重采樣得到配準后影像。

5 試驗與分析

本文選取高分辨率和低分辨率兩組試驗數據驗證本文方法對SAR影像與光學影像配準的適用性。第1組為湖泊變化較大的汛期和枯水期影像，其中SAR影像大小為5697×5999，分辨率為10m，是枯水期影像，光學影像大小為7190× 6790，分辨率為19.5m，為汛期影像。第2組為廣州某地不同時期的影像，其中SAR影像大小為546×595，分辨率為3m，光學影像大小為500× 500，分辨率為4m。

首先以光學影像為參考影像，根據影像間的幾何關系對SAR影像進行粗糾正，如圖4所示。然后提取SIFT特征，以SSIM為相似性測度初始匹配。根據3.2.2節中分析，既要保證正確匹配率，又要獲得足夠多的同名特征數，在試驗中，設SSIM閾值為0.55。由3.2.3節中所述的視差和角度約束聚類，排除錯誤匹配，其中視差聚類和角度聚類的類數根據經驗值分別設定為27和3，每一步匹配結果見表3。最后由RANSAC算法，根據透視變換模型由最小二乘獲得變換參數，對SAR影像重采樣得到配準后影像。SIFT特征匹配結果見圖5，影像配準結果見圖6。

由圖4可以看出，經過粗糾正后，影像間旋轉和分辨率差異已經消除。表3和圖5是各步排除錯誤匹配后的結果。表3中每一步排除錯誤匹配后，正確匹配率都會提高，說明了各步排除錯誤匹配的有效性。圖5為每一步排除錯誤匹配后的結果。試驗1中汛期和枯水期水面覆蓋差異很大，造成影像間差異也較大，但是由于SIFT特征是局部特征，采用尺度空間中穩定不變的關鍵點作為匹配特征，所以配準結果良好。試驗2中圖像紋理相對較豐富，由于SAR與光學影像中同一紋理信息表達經常不一致，獲取同名匹配的難度增大，所以正確匹配數少于試驗1。每組試驗人工選取10組檢查點，配準精度見表4。兩組試驗因為圖像覆蓋區域均比較平坦，所以達到了比較高的配準精度，匹配結果疊加顯示見圖6。

表3 錯誤匹配排除結果Tab.3 Result of eliminating of false matches

圖4 基于影像間幾何關系的粗糾正結果Fig.4 Result of the rough correction based on the geometry of the images

圖6 本文方法影像配準結果Fig.6 The registration result of the proposed algorithm

6 結 論

表4 試驗結果精度Tab.4 Accuracy of the registration 像素

本文提出了一種基于幾何約束和改進SIFT的SAR影像和光學影像自動配準方法。試驗結果表明，本文方法在SAR影像與光學影像之間具有較大差異的情況下，仍能獲得較多精確穩定的同名特征，并且達到一定配準精度。因此本文方法可以較好地適用于星載SAR影像與可見光影像配準任務。但是由于受成像原理和幾何定位精度影響，相對于同源影像精配準，本文方法所獲得的同名特征數量遠遠不能滿足要求，只在變形較小的地形平坦地區配準效果比較理想，山區和城區還不能適用，后續的研究應該是如何獲取更多的精確穩定的同名特征，進一步提高SAR影像與光學影像的配準精度。

［1］ CHEN Fulong，ZHANG Hong，WANG Chao.Registration of High－resolution SAR Image and Optics Image Based on the Bridging－mode Constraint［J］.Remote Sensing Technology and Application，2006，21（3）：249－252.（陳富龍，張紅，王超.基于跨接約束的高分辨率SAR影像與光學影像配準［J］.遙感技術與應用，2006，21（3）：249－252.）

［2］ YU Qiuze.Research on Synthetic Aperture Radar（SAR）Image Matching for Navigation［D］.Wuhan：Huazhong University of Science and Technology，2004.（于秋則.合成孔徑雷達（SAR）圖像匹配導航技術研究［D］.武漢：華中科技大學，2004.）

［3］ WANG Zilu.Study on Registration for SAR and Optical Satellite Image［D］.Changsha：National University of Defense Technology，2007.（王子路.星載SAR圖像與光學圖像配準方法研究［D］.長沙：國防科技大學，2007.）

［4］ LI Yuqian，PI Yiming，WANG Jinfeng.The Registration between SAR and Optical Image Based on Level Set［J］.Acta Geodaetica et Cartographica Sinica，2010，39（3）：276－282.（李雨謙，皮亦鳴，王金峰.基于水平集的SAR圖像與光學圖像的配準［J］.測繪學報，2010，39（3）：276－282.）

［5］ LI H，MANJUNATH B S，MITRA S K.A Contour－based Approach to Multisensor Image Registration［J］.IEEE Transactions on Image Processing，1995，4（3）：320－334.

［6］ JIA W J，ZHANG J X，YANG J H.Automatic Registration of SAR and Optics Image Based on Multi－features on Suburban Areas［C］∥2009Joint Urban Remote Sensing Event.Shanghai：IEEE，2009：1－7.

［7］ SHU L X，TAN T J.SAR and Spot Image Registration Based on Mutual Information with Contrast Measure［C］∥2007IEEE International Conference on Image Processing：5.San Antonio：IEEE，2007：429－432.

［8］ WANG F，VEMURI B.Non－rigid Multi－modal Image Registration Using Cross－cumulative Residual Entropy［J］.International Journal of Computer Vision，2007，74（2）：201－215.

［9］ LOWE D G.Distinctive Image Features from Scale Invariant Key Points［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［10］ YANG Xuemei，GONG Junbin，WANG Peng，et al.Registration Algorithm for SAR and Optical Images Based on Improved SIFT［J］.Aerospace Control，2010，28（6）：13－17.（楊雪梅，龔俊斌，王鵬，等.基于改進SIFT的SAR圖像與可見光圖像配準［J］.航天控制，2010，28（6）：13－17.）

［11］ GONG Junbin，ZHANG Dazhi，YANG Xuemei，et al.Automatic Registration Algorithm for SAR and Optical Images with Rotation and Scale Invariability［J］.Journal of Astronautics，2011，32（6）：1350－1358.（龔俊斌，張大志，楊雪梅，等.抗旋轉和縮放的SAR與可見光圖像自動配準算法［J］.宇航學報，2011，32（6）：1350－1358.）

［12］ WANG Z，CONRAD B A，RAHIM S H.Image Quality Assessment：From Error Visibility to Structural Similarity［J］.IEEE Transactions on Image Processing，2004，13（4）：600－612.

［13］ FISCHLER M A，BOLLES R C.Random Sample Consensus：A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography［J］.Communications of the ACM，1981，24（6）：381－395.

［14］ YUE C Y，JIANG W S.An Automatic Image Registration Method Based on Geographic Coordinates［C］∥Proceedings of SPIE（7498）：MIPPR 2009：Remote Sensing and GIS Data Processing and Other Applications.Yichang：SPIE，2009：4232－4238.

［15］ JIANG Wanshou，YUE Chunyu.A Method and a Device for Rearranging Approximate Epipolar Images of Satellite Stereo Pair Based on Elevation Datum：China，201010112158［P］.2010－08－11.（江萬壽，岳春宇.基于高程基準面的衛星立體影像像對近似核線生成方法以及裝置：中國，201010112158［P］.2010－08－11.）

［16］ ZHAO Shuangming，LI Deren.Geometric Pre－process of ADS40Image［J］.Geomatics and Information Science of Wuhan University，2006，31（4）：308－311.（趙雙明，李德仁.ADS40影像幾何預處理［J］.武漢大學學報：信息科學版，2006，31（4）：308－311.）

［17］ LIU Jiaying.Geometry Constraints－based SIFT Feature Matching of Satellite Imagery［D］.Wuhan：Wuhan University，2009.（劉佳瑩.基于幾何約束條件的SIFT算子影像匹配［D］.武漢：武漢大學，2009.）

［18］ BEN Jin，ZHANG Yongsheng，TONG Xiaochong.Analysis of GeoTIFF and Usage of LibGeoTIFF Library［J］.Journal of Information Engineering University，2005，6（1）：94－98.（賁進，張永生，童曉沖.GeoTIFF解析及在遙感影像地理編碼中的應用［J］.信息工程大學學報，2005，6（1）：94－98.）

An Automatic Registration Algorithm for SAR and Optical Images Based on Geometry Constraint and Improved SIFT

YUE Chunyu，JIANG Wanshou
State Key Laboratory of In formation Engineering in Surveying，Mapping and Remote Sensing，Wuhan University，Wuhan 430079，China

An automatic registration algorithm for SAR and optical images based on geometry constraint and improved SIFT is proposed.Firstly a rough correction of the rotation and scale differences depending on the geometry constraint is applied.Then the SIFT features extracted by the dominant direction improved SIFT from two images are matched by SSIM as the similar measure according to the structure information of the SIFT feature.And then，parallax and angle restrictions are introduced to improve the matching performance by clustering analysis in the angle and parallax domains.Finally，the perspective transform parameters for the registration are obtained by RANSAC algorithm with removing the false matches simultaneously.The whole process is done automatically.The proposed algorithm is effective in the registration of SAR and optical images with large differences.

SAR image；optical image；geometry constraint；scale invariant feature transform（SIFT）；automatic image registration；structure similarity（SSIM）

YUE Chunyu（1983－），male，PhD candidate，majors in remote sensing data processing.

JIANG Wanshou

YUE Chunyu，JIANG Wanshou.An Automatic Registration Algorithm for SAR and Optical Images Based on Geometry Constraint and Improved SIFT［J］.Acta Geodaetica et Cartographica Sinica，2012，41（4）：570－576.（岳春宇，江萬壽.幾何約束和改進SIFT的SAR影像和光學影像自動配準方法［J］.測繪學報，2012，41（4）：570－576.）

P223

A

1001－1595（2012）04－0570－07

國家863計劃（2007AA120203）；國家973計劃（2011CB707103）；國家自然科學基金（40930532）

叢樹平）

2011－09－05

2011－12－20

岳春宇（1983－），男，博士生，研究方向為遙感圖像處理。

E－mail：ycy1893＠163.com

江萬壽

E－mail：jws＠whu.edu.cn