一種結合拓撲信息和SIFT特征的多源遙感影像自動匹配方法

杜春鵬，李景山

(1. 中國科學院遙感與數字地球研究所，北京 100094; 2. 中國科學院大學,北京 100000)

一種結合拓撲信息和SIFT特征的多源遙感影像自動匹配方法

杜春鵬1,2，李景山1

(1. 中國科學院遙感與數字地球研究所，北京 100094; 2. 中國科學院大學,北京 100000)

基于單一特征的匹配辦法在多源遙感影像匹配中往往不適用的問題，提出了一種結合拓撲信息和SIFT特征的自動多源遙感影像匹配方法。該方法首先在兩幅影像中使用SIFT算法在尺度空間上提取特征向量，其次對這些特征點使用最近鄰提取1：N的多個可能的匹配點對，然后結合位置信息和拓撲信息對這些可能的匹配點對進行剔除，并使用RANSAC方法剔除粗差，最終得到同名匹配點。試驗結果表明，相比于計算機視覺領域常用的SIFT算法，本文方法可有效地提高匹配正確率，并獲得更多正確的同名點。

多源影像配準；拓撲信息；SIFT

圖像匹配是指將兩幅或多幅具有同一場景的，成像于不同時間、不同視角的圖像進行幾何匹配的過程[1]。圖像匹配算法主要可以分為基于區域的算法、基于特征的算法及基于理解的算法，每種算法都有各自的特點和適用的場景。

近年來，SIFT(scale invariant feature transform)特征[2]在圖像匹配方面取得了很大的成功。SIFT算法是基于尺度空間的，對圖像縮放、旋轉、尺度保持不變性的一種局部特征提取和描述算法，由于其較好的魯棒性和較快的運算速度，因此在圖像匹配領域得到了廣泛的應用。

但是遙感影像與常見的計算機視覺處理的圖像并不完全相同，遙感圖像紋理更加豐富，而多源遙感影像則更加復雜。由于成像于不同傳感器，多源遙感影像的幾何和灰度特征變化比較復雜，計算機視覺中的一些匹配算法往往不能很好地適用于多源遙感影像匹配中。

針對這一情況，國內外許多學者作了大量的分析和研究。呂步云等[3]結合SIFT特征和NDVI指數提取特征點，并使用光譜角對得到的特征進行相似性度量從而實現多源遙感影像配準。李芳芳等[4]提出了一種基于線特征和SIFT點特征的多源遙感影像配準方法，利用線特征來約束SIFT點特征從而實現配準。Li Q等[5]通過附加尺度方向約束，細化特征向量來改善SIFT算法匹配效果。Yi Z等[6]提出了SR-SIFT算法，該算法使用尺度限制剔除誤匹配點，進而提高匹配精度。劉志文等[7]通過波段代數將遙感影像的非線性灰度變化轉化為線性或近似線性的方法來完成匹配。崔建軍等[8]利用攝影基線改進SIFT算法，在一定程度上解決了大傾斜航空影像的自動匹配問題。陳華等[9]提出了一種利用SIFT算法來解決不同分辨率、不同波段的SAR影像配準方法。肖雄武等[10]結合SIFT算法提出了一種較為快速且具有仿射不變性的傾斜影像匹配方法。

本文針對多源影像匹配時匹配點分布嚴重不均勻及錯配率高等問題進行了研究，提出一種結合拓撲信息和SIFT特征的多源遙感影像自動匹配方法。

1 多源遙感影像自動匹配方法

多源遙感影像匹配的關鍵在于找到一種穩定的特征點提取和描述算法，該算法可以在兩幅影像上穩定地呈現大量潛在特征點，進而用一種魯棒的描述方法從這些潛在特征點中提取不變量進行相似性度量。即多源遙感影像匹配的重點就是在參考影像和待配準影像上提取不受旋轉、縮放、尺度、灰度因素影響的不變量。

SIFT算法可以提取到對縮放、旋轉、仿射變換具有魯棒性的不變量，這些特點使得SIFT算法被廣泛運用于圖像匹配領域。然而如果在多源遙感影像匹配中直接應用SIFT算法，雖然能夠檢測到大量特征點，但是會出現匹配點分布嚴重不均勻及錯配率高的情況。這是由于SIFT算法對于匹配點的選取是以特征向量的相似度大小為準則。一般認為特征向量相似度最大的點為正確匹配點，但當待匹配影像受到外界環境干擾較大時，特征向量相似度最大的點很可能不是正確匹配點。并且通過對SIFT生成特征向量的算法進行分析，SIFT算法在計算描述符時，采用關鍵點鄰域上的信息來表示關鍵點的特征量，只利用了局部的像素信息量。如果一幅影像在不同區域內具有相似鄰域特征，那么SIFT算法對這些區域提取到的特征向量不能很好地進行區分，很容易產生誤匹配。

而對于一幅遙感影像來說，除了特征之外，還可以從影像上得到關鍵點的位置和拓撲信息。位置信息能夠幫助縮小匹配的檢測區域，在相對小的鄰域范圍內找尋匹配點。而拓撲信息描述了影像的空間位置關系，在成像條件變化時也能保持一定的穩定性。

因此，本文在SIFT粗匹配的基礎上從位置和拓撲信息兩方面對錯誤匹配進行剔除，最后利用RANSAC(random sample consensus)粗差提純法進一步保證匹配的正確性。

試驗步驟如圖1所示。

圖1 自動匹配算法過程

(1) 首先在待校正影像上利用SIFT算法生成特征點集A，SIFT算法中關鍵點檢測是在多尺度空間完成，一幅圖像的尺度空間定義為

L(x,y,σ)=G(x,y,σ)I(x,y)

(1)

式中，I(x，y)表示原圖像；G為高斯核，其中

(2)

為尺度可變高斯函數；(x，y)代表圖像的像素位置；σ為尺度空間因子，其值越小表示圖像被平滑得越少，相應的尺度也就越小。為了有效檢測到關鍵點，繼續在高斯差分空間尋找極值點，這些極值點就是可能的同名點，高斯差分空間定義為

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))I(x,y)

(3)

(2) 由于獲取的很多經過系統級幾何校正的一級遙感影像產品都會提供RPC參數信息，因此，可以利用這些參數信息計算相對位置，從而對SIFT特征進行規范。

這種做法主要是出于兩方面的考慮，在實際數據試驗時使用SIFT算法對大幅面高分辨率遙感影像進行特征提取時會遇到以下兩個問題：①第一個問題，SIFT算法在進行整幅影像特征點匹配時一對多的情況經常出現。這是由于SIFT算法特征提取是局部的，這就導致了匹配上的特征向量可能是不準確的。雖然SIFT在尺度空間可以產生高達128維的特征描述符，但是這并不能保證匹配上的兩個特征向量是地理位置相鄰的，這就導致錯配比較嚴重，進而會導致影像經過SIFT算法自動匹配獲取的同名點分布并不均勻，這種情況會導致圖像局部匹配精度不高[11]。②第二個問題是由于SIFT算法具有較高的時間和空間復雜度，對大分辨率影像進行處理時計算機的內存大小和CPU處理速度都可能成為遙感圖像匹配的瓶頸。SIFT算法在構建高斯差分金字塔時需要申請很大內存空間，并且由于算法基于尺度空間對圖像進行分析，在特征檢測階段需要運行較多的卷積運算和直方圖加權運算，對高達128維的特征描述符進行匹配也包含了大量的浮點運算，導致大分辨率圖像的匹配時間呈幾何增長[12]。

針對這兩方面的問題，可以借助遙感衛星數據預處理平臺提供的粗精度RPC參數來解決。通過RPC參數可以將SIFT特征向量的搜索空間限制在一定的范圍內，這是因為建立起兩幅影像之間的位置關聯就可以用位置信息去約束搜索空間的大小。因此，對特征點集A中的每個點，利用遙感衛星預處理平臺提供的RPC參數演算出在參考影像上的大體位置，并設定搜索窗口的大小。這樣不僅解決了特征點分布不均勻的問題，也解決了搜索空間過大導致誤匹配過多的問題。

(3) 最關鍵的是相似性度量，傳統的SIFT算法常常采用Lowe提出的最近鄰次近鄰距離比值法來提取匹配的同名點。在進行匹配時首先計算待校正影像上某一個關鍵點與參考影像上所有關鍵點之間的歐氏距離，取出其中的最小值和次小值，將最小值和次小值相除，如果它們的結果小于某個閾值，就認為它們是匹配的同名點，否則就將它拋棄[13]。

在使用這種方法進行相似性度量時，會出現兩個特征符合閾值條件的關鍵點，但又不是同名點的情況。本文對兩幅影像使用SIFT算法進行了匹配試驗，圖2為兩幅對同一地物進行拍攝的影像，使用箭頭標明了SIFT特征向量主方向。

接著以Lowe通過多次試驗得出的建議閾值0.8作為濾除閾值，將符合條件的點用白線標出，匹配結果如圖3所示。

在圖3中通過目視就可以看到許多滿足了閾值條件的匹配點明顯不是同名點。

而對于兩幅由不同傳感器拍攝的遙感影像來說，拓撲信息描述了影像中空間元素的位置關系，在成像條件變化時也能保持一定的穩定性。具體到遙感影像的特征匹配中時，可以得到以下拓撲不變性約束條件：①關鍵點與線段的關系保持不變，如位于直線上的點和位于曲線上的點等，并且線段上點的順序也保持不變。②關鍵點與其他關鍵點組成的三角形位置約束。如取4個關鍵點，以其中3個點組成三角形，另外一個關鍵點與這個三角形的位置關系保持不變。③鄰域約束不變。對于一個關鍵點A來說，它周圍一定鄰域內存在的關鍵點B和關鍵點C。那么，就應該在A對應同名點的附近鄰域范圍內找到B和C的同名點。

圖2 SIFT特征提取效果

圖3 SIFT匹配效果

因此，基于以上分析，本文利用拓撲信息來消除SIFT特征向量的誤匹配，以提高匹配精度。

本文在實現時，主要參考了拓撲約束條件①，首先對影像使用Canny算法進行邊緣檢測，提取影像特征直線，然后利用直線匹配測度獲取同名直線。接著通過同名直線對之前的初匹配點進行拓撲約束，從而獲得同名點。在直線的匹配過程中，本文采用的是蘇娟[14]的直線匹配模型。

(4) 對得到的初步匹配點使用RANSAC算法進一步篩選。在實際的匹配過程中可以發現，生產實踐中的數據往往會有一定的偏差，即使通過相似性度量測度之后，仍然會有一些錯誤匹配點存在?？梢允褂肦ANSAC算法來剔除這些錯誤匹配。RANSAC算法是根據一組包含異常數據的樣本數據集，迭代計算出正確數學模型參數，從而得到有效樣本數據[15]。

RANSAC算法將從試驗數據到真實數據的映射看作是進行了一個仿射變換模型。該模型的參數是未知的，通過從眾多既包含正確值也包含異常值的匹配中采用多次迭代的方法計算其變換矩陣，進而篩選出正確的匹配。

使用RANSAC算法可以極大地提高匹配的正確率，將不正確的匹配點篩選出來，最終得到大部分正確的匹配點。

2 試驗與分析

為了驗證基于RPC模型的高分衛星自動遙感影像精校正算法的有效性，本文以中國遙感衛星地面站衛星數據技術部通用遙感衛星數據處理預系統獲取的高分衛星一級產品作為研究對象，并以Landsat8影像作為標準影像進行試驗。其中高分一號衛星寬幅載荷影像作為待校正影像，分辨率為16 m，成像時間為2016年10月30日。Landsat8衛星全色波段影像作為參考影像，分辨率為15 m，成像時間為2016年5月1日。

得到的同名點分布如圖4所示。

圖4 同名點分布對比

控制點提取結果見表1。

從試驗結果分析，從圖4可以看到匹配的同名點分布均勻，通過目視觀察就可以確認這些點即所需要的同名點。通過表1可以看出X方向的最大誤差為27.4 m，最小誤差為1.0 m；Y方向的最大誤差為27.9 m，最小誤差為2.8 m，可以判定為穩定的同名點。

表1 控制點結果

3 結 語

本文首先分析了SIFT算法應用在多源遙感匹配時的缺點，然后結合拓撲信息、位置信息和SIFT特征向量實現了自動多源遙感影像匹配。經過對比試驗驗證，相比于計算機視覺領域常用的SIFT算法，本文方法可有效地提高匹配正確率，并且能夠獲得更多正確的同名點。

[2] LOWE D G. Distinctive Image Features from Scale-iInvariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.

[3] Lü B, ZHAO L, LI X. Remote Sensing Image Registration using SIFT and Vegetation Index Analysis[C]∥Global Navigation Satellite Systems. [S.l.]: CRC Press, 2015:575-579.

[4] 李芳芳, 賈永紅, 肖本林,等. 利用線特征和SIFT點特征進行多源遙感影像配準[J]. 武漢大學學報(信息科學版), 2010, 35(2):233-236.

[5] LI Q, WANG G, LIU J, et al. Robust Scale-invariant Feature Matching for Remote Sensing Image Registration[J]. IEEE Geoscience & Remote Sensing Letters, 2009, 6(2):287-291.

[6] Z Y,C Z,X Y. Multi-spectral Remote Image Registration Based on SIFT[J]. Electronics Letters, 2008, 44(2):107-108.

[7] 劉志文, 劉定生, 劉鵬. 應用尺度不變特征變換的多源遙感影像特征點匹配[J]. 光學精密工程, 2013, 21(8):2146-2153.

[8] 崔建軍, 李亞東, 張曉棟,等. 利用攝影基線改進SIFT算法[J]. 測繪通報, 2016(8):62-64.

[9] 陳華, 鄧喀中, 張以文,等. 結合SIFT和RANSAC算法的InSAR影像配準[J]. 測繪通報, 2015(12):30-33.

[10] 肖雄武, 郭丙軒, 李德仁,等. 一種具有仿射不變性的傾斜影像快速匹配方法[J]. 測繪學報, 2015, 44(4):414-421.

[11] 倪希亮. 基于尺度不變特征的多源遙感影像匹配[D]. 濟南：山東科技大學, 2010.

[12] 唐坤. 尺度不變特征的研究及其在圖像匹配中的應用[D]. 鎮江：江蘇科技大學, 2014.

[13] 徐展. 基于SURF特征點庫的遙感影像自動匹配研究[D]. 上海：華東師范大學, 2010.

[14] 蘇娟, 林行剛, 劉代志. 一種基于結構特征邊緣的多傳感器圖像配準方法[J]. Acta Automatica Sinica, 2009, 35(3):251-257.

[15] 魏征. 車載LiDAR點云中建筑物的自動識別與立面幾何重建[D]. 武漢：武漢大學, 2012.

AMulti-sensorRemoteSensingImageAutomaticMatchingMethodBasedonTopologicalInformationandSIFTFeatures

DU Chunpeng1,2,LI Jingshan1
(1. Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing 100094, China; 2. Chinese Academy of Sciences, Beijing 100000, China)

Based on the question of matching method of single feature matching in multi-source remote sensing images are often not ideal, a matching method for combination of topology information and SIFT automatic feature of multi-source remote sensing image is proposed in this paper. The method first in two images using the SIFT algorithm in scale space to extract feature vectors, then these feature points using the nearest neighbor the extraction of 1∶Nmultiple possible matching points. Secondly, the matching points are eliminated by the combination of location information and topological information, and the double edge matching strategy and the RANSAC method are used to eliminate the coarse tea. The experimental results show that compared with the SIFT algorithm commonly used in the field of computer vision, the proposed method can effectively improve the matching accuracy and obtain more correct points of the same name.

multi-sensor image registration; topological information; SIFT

杜春鵬，李景山.一種結合拓撲信息和SIFT特征的多源遙感影像自動匹配方法[J].測繪通報，2017(10)：115-119.

10.13474/j.cnki.11-2246.2017.0327.

2017-04-14；

2017-05-31

杜春鵬(1991—)，男，碩士，主要從事高性能遙感衛星數據地面預處理研究。 E-mail: ducp@radi.ac.cn

李景山。E-mail : jsli@ceode.ac.cn

P23

A

0494-0911(2017)10-0115-05