基于SIFT算子的多時相遙感影像高精度配準算法

韓軼龍，鞏丹超，魏彥銘，周增華

1. 信息工程大學地理空間信息學院，河南 鄭州，450052；2. 西安測繪研究所，陜西 西安，710054；3.地理信息工程國家重點實驗室，陜西 西安，710054

?

基于SIFT算子的多時相遙感影像高精度配準算法

韓軼龍1，鞏丹超2,3，魏彥銘1，周增華1

1. 信息工程大學地理空間信息學院，河南 鄭州，450052；2. 西安測繪研究所，陜西 西安，710054；3.地理信息工程國家重點實驗室，陜西 西安，710054

影像配準是影像處理的必要步驟，多時相遙感影像之間的配準則是變化檢測等應用領域的關鍵技術。多時相遙感影像是由傳感器在不同時間獲得的，盡管都是關于同一區域地物的信息，但是由于獲取時相不同，其入射角、空間分辨率、電磁波段等往往具有差異，使得影像配準成為難點。本文首先利用SIFT算子進行特征點的提取和匹配，其次構建不規則三角網將影像分為小三角形按照基于小面元的方法實現了多時相影像之間的高精度配準。實驗表明，相對于傳統基于特征的配準方法，該算法能夠針對存在旋轉縮放平移的多時相遙感影像，實現可靠的高精度配準。

多時相；影像配準；SIFT；Delaunay；TIN

1　引　言

影像配準就是將多幅影像納入統一坐標系下，其廣泛應用于計算機視覺、模式識別、影像理解等多個領域。隨著信息技術的發展，影像配準技術已成為測繪學科學者研究的熱門課題。影像配準研究的關鍵問題是配準的精度和可靠性，在兼顧配準精度的情況下，實現高可靠性影像的精確配準是配準技術研究的重點內容。本文在傳統特征點匹配方法的基礎上引入SIFT算子，結合小面元微分糾正的原理，設計了基于SIFT的多時相遙感影像高精度配準算法，并進行了多時相遙感影像的配準實驗。

2　傳統基于特征點的多項式配準方法

當前的配準技術主要分為兩類：基于灰度信息的配準和基于特征信息的配準。基于灰度信息的方法有互信息、相關系數等，這些方法依賴影像灰度信息，對噪聲敏感。基于特征的影像配準方法首先在待配準的影像中分別選取一些顯著特征，如邊緣、角點等，然后確定這些特征的對應關系，因其計算速度快和精度高等優點，成為近年來研究較多的方法。特別是基于特征點的影像配準方法，是研究的熱點問題。

特征點是基于特征的影像配準中最常用的特征信息，很多文獻中又稱它為興趣點或者關鍵點等。基于特征點的影像配準有很多優點，主要體現在以下方面：

(1)特征點的匹配度量值對位置變換不敏感，可以提高匹配的精度；

(2)特征點的提取可以減少噪聲的影響，對灰度變換、影像變形以及遮擋都有較好的適應能力。

基于特征點的多項式配準算法的主要步驟為：特征提取、特征匹配、模型參數估計、影像變換與插值。主要流程如圖1所示。

圖1　基于特征點的多項式配準算法流程

3　基于SIFT算子的小面元配準方法

3.1基本思想

SIFT(Scale-invariant Feature Transform)最初提出是作為一種關鍵點的特征，其對影像的尺度變化和旋轉是不變的，而且對光照的變化和影像變形具有較強的適應性。對于多時相遙感影像，其成像條件及場景較復雜，Mikolajczyk等針對多種場景，利用10種代表性的算子進行了實驗和性能比較，結果表明SIFT算子的性能最好。SIFT提取特征的主要優點是：

(1)在多尺度空間中采用DOG(Difference-of-Gaussian)算子檢測關鍵點，相比傳統的基于LOG(Laplacian of Gaussian)算子的檢測方法，運算速度大大加快；

(2)關鍵點的精確定位提高了精度，也提高了特征點的穩定性和可靠性；

(3)在構造描述時，以區域作為統計特性，而不是以單個像素點作為研究對象，提高了對影像局部變形的適應能力；

(4)對于16×16(單位：像素)的關鍵點鄰域和4×4(單位：像素)的子區域，在處理梯度幅度時都進行了類似于高斯函數的加權處理，強化了中心區域，淡化了邊緣區域的影響，從而提高了算法對幾何變形的適應性。

基于SIFT的多時相遙感影像高精度配準方法的主要思想是：在參考影像和目標影像上采用SIFT算子提取特征點作為配準控制點(RCP，Registration Control Point)，通過匹配獲得同名點對，然后由這些同名點對構成不規則三角網(TIN，Triangulated Irregular Network)，再以小三角形面元為單位進行糾正得到精確配準的影像。

3.2算法流程

(1)SIFT特征提取

特征點提取是影像配準至關重要的一步，是搜索影像中突出或具有明顯特性一系列點的過程。SIFT特征提取的主要步驟為：

圖2　基于SIFT算子的多時相遙感影像高精度配準流程圖

1)構建DOG影像金字塔。將影像通過一組不同尺度的高斯核函數濾波，生成一系列的高斯尺度空間的影像，然后兩相鄰尺度的高斯影像相減，即得到高斯差分影像金字塔。

2)尋找極值點。在DOG空間中，將每個像元的高斯差分值與同一尺度的8個相鄰點以及上下相鄰尺度對應的3×3(單位：像素)區域的共26個點的高斯差分值比較，若為極值并且絕對值大于預定閾值，則該像元所在位置即為候選特征點的坐標和相應的尺度。

3)確定特征點。通過曲面擬合方法精確確定候選點的位置、尺度，并剔除對比度低的點和邊緣響應點。

4)計算特征點主方向。在以特征點為中心、一定高寬范圍的區域內采樣，計算該區域內所有像元的梯度方向和梯度值，用直方圖統計鄰域像素的梯度方向，以直方圖峰值所代表的方向作為該特征點的主方向。

5)計算特征描述符。分別統計8個方向梯度值總和，并采取歸一化處理，得到的結果即構成特征描述符。

(2)SIFT特征匹配

SIFT特征匹配的主要步驟為：

1)計算不同特征點描述符的歐氏距離。對兩張待匹配影像上的不同特征點，計算其描述符的差平方和測度(即歐氏距離測度)，作為匹配的相似性測度，以歐氏距離最小的點對作為候選匹配點對。

2)確定匹配點對。本文采用BBF(Best Bin First)搜索算法，對每個待匹配特征點，通過搜索算法得到與其描述符的歐氏距離最鄰近(NN)和次鄰近(SCN)的兩個特征點，將最近鄰和次近鄰的歐氏距離之比(NN/SCN)與閾值比較，若比值小于閾值，則認為該最近鄰為正確匹配。閾值越小，獲得的匹配點對越少，正確率越高；反之匹配點對越多，正確率越低。本文實驗中閾值取0.7。

3)RANSAC算法剔除誤匹配點對

SIFT算子提取的特征點可達到亞像素級精度，誤差通常較小，但是構建不規則三角網和解算變換參數的前提是沒有誤匹配點，因此需將誤匹配點剔除。本文采用在計算機視覺領域應用廣泛的RANSAC(RANdom SAmple Consensus)算法。

(3)構建不規則三角網

不規則三角網(triangulated irregular network，TIN)在地形圖的制作中被廣泛使用。繪制等高線時，先用測量點構造TIN，然后再根據TIN內插等高線。在地形變化較大、特征點多的區域，三角網密集，能很好地反映地形變化；而在開闊、平坦的區域，特征點少，三角網稀疏，不會造成大量的冗余數據，也不會無謂地增加計算量。將其引入影像配準時，同樣具有這些優點。Delaunay三角剖分常被用于TIN的生成，本文采用的是Bowyer-Watson算法，執行結果如圖3所示。

圖3　Delaunay三角剖分的Bowyer-Watson算法構建TIN結果

(4)目標影像小面元糾正

1)逐三角形確定仿射變換參數。TIN將影像分成很多小的三角形面元，以各個三角形為單位，可對三角形內各個像素點進行幾何校正，從而實現對兩幅影像的配準。

圖4　同名小三角形面元仿射關系示意圖

下面以影像中任一小三角形面元T為例說明影像幾何校正的原理。如圖4目標影像中小三角形面元T的三個頂點分別為a、b、c，它們在參考影像中對應的點為A、B、C，它們的坐標分別為(xa,ya)、(xb,yb)、(xc,yc)、(xA,yA)、(xB,yB)、(xC,yC)，由仿射變換

其中，a0、a1、a2、b0、b1、b2是仿射變換參數。將(xa,ya)、(xb,yb)、(xc,yc)、(xA,yA)、(xB,yB)、(xC,yC)代入方程可以得到仿射變換參數。

2)雙線性插值。因為小三角形面元經過仿射變換后不能保證像素之間的對應關系，需采用插值方法以盡可能地保證影像素的連續性。本文采用較為常見的四像素雙線性插值。

3)掃描線法遍歷小三角形面元。已知變換參數和插值方法之后，即可得到配準影像，但如果采用逐像素遍歷小三角形面元內的像素的方法效率太低。本文采用優化的掃描線法遍歷小三角形面元，首先對小三角形面元形狀進行分類，然后對小三角形面元頂點進行排序，如圖5所示。

圖5　小三角形面元分類示意圖

現以平頂三角形為例介紹掃描線法三角形頂點排序規則：縱坐標越大，排序越靠前；如果縱坐標相等，則橫坐標越小，排序越靠前。排序后的小三角形面元頂點為(v1,v2,v3)，坐標分別為(x1,y1),(x2,y2),(x3,y3)。從三角形底部開始沿橫向的線段向上掃描。掃描的縱向范圍從(int)y3開始，到(int)y1結束。問題轉換為當掃描線縱坐標在(y3,y11)區間時，掃描線段的起點和終點確定問題。同理，平底三角形可以用同樣的方法進行掃描，一般三角形可依圖示轉化為平頂和平底三角形，從而確定每個小三角形面元內的像元。

4　實驗數據及結果分析

4.1多時相實驗數據

本文采用參考影像為2011年7月7日北京某地區影像(大小為1916像素×897像素)，目標影像為同地區2013年5月30日不同分辨率影像(大小均為1916像素×897像素)(如圖6a、b、c)。兩期影像亮度存在差異，可認為影像獲取時光照條件不同。三幅影像中地貌特征豐富，地物類別較為全面，可較為充分地反映配準結果。

圖6　實驗數據

4.2實驗結果及分析

本文利用SIFT算子進行特征點提取和匹配的實驗數據統計見表 1，由表中數據可以看出，不同光照條件下，SIFT針對旋轉和縮放兩種實驗條件均有較高的匹配成功率。

表1兩組實驗條件下SIFT算子性能比較

實驗參考影像特征點數目目標影像特征點數目粗匹配點對RANSAC剔除誤匹配點后成功率(%)旋轉1149984031617156896.97%縮放11499166841139796.59%

4.2.1實驗一，角度差異較大的多時相影像配準

為了產生角度差異較大的影像，我們對目標影像(2013年5月30日影像1)順時針旋轉45°，如圖7所示。對實驗影像分別進行基于SIFT的多項式配準和基于SIFT的小面元配準，并將配準影像與參考影像疊加，以棋盤模式顯示進行比較。

圖7　旋轉后的目標影像

a基于SIFT的多項式配準(局部) b基于TIN的小面元配準(局部)圖8　存在旋轉情況的配準結果(局部)

圖8a中山間小路等位置有明顯的錯位，說明配準的結果不準確；圖8b中對應位置處則無明顯錯位，說明配準影像與參考影像吻合得很好。因此，對于影像中有山區等地形起伏變化較大的區域，利用多項式配準方法的精度不夠；采用本文的方法選取12個分布均勻的同名點作為檢查點，得其中誤差在0.3個像素以內。

4.2.2實驗二，比例尺差異較大的多時相影像配準

取2013年5月30日影像2為目標影像，再次分別進行基于SIFT的多項式配準和基于SIFT的小面元配準，并將配準影像與參考影像疊加，以棋盤模式顯示進行比較。

a基于SIFT的多項式配準(局部) b基于TIN的小面元配準(局部)圖9　存在縮放情況的配準結果(局部)

圖9a右上角房屋等位置有明顯的錯位，說明配準的結果不準確；圖9b對應位置處則無明顯錯位，說明配準影像與參考影像吻合得很好。因此，針對城區遙感影像，利用多項式進行的配準方法精度不高；采用本文方法，選取12個分布均勻的同名點作為檢查點，得其中誤差在0.3個像素以內，說明本文方法有較強適應性。

表2部分檢查點精度統計

檢查點號實驗一實驗二X方向誤差(像素)Y方向誤差(像素)RMS(像素)X方向誤差(像素)Y方向誤差(像素)RMS(像素)10.26350.13450.2958420190.1644-0.23990.2908253262-0.2170.20580.2990696240.1947-0.2190.2930342813-0.26630.11390.289635806-0.15020.20380.25316887640.1954-0.21580.291119907-0.21850.17190.278014136

5　小　結

本文針對多時相遙感影像配準提出了一種基于SIFT算子的小面元影像配準方法，并利用多時相航空遙感影像數據對本文方法與基于SIFT的多項式配準方法進行對比實驗。實驗結果表明，該方法的配準精度高，對噪聲和幾何畸變不敏感，具有較好的可靠性，獲得了令人滿意的結果，表明本文方法在多時相遙感影像配準中具有一定的應用價值。

[1]Lowe D G. Distinctive Image Features from Scale Invariant Keypoints [J]. International Journal of Computer Vision, 2004, 60(2):91-110.

[2] 張永生，鞏丹超，劉軍. 高分辨率遙感衛星應用：成像模型、處理算法及應用技術[M]. 北京：科學出版社，2004.

[3] 柯濤, 張永軍. SIFT 特征算子在低空遙感影像全自動匹配中的應用[J]. 測繪科學，2009, 34(4): 23-26.

[4] 周培德.計算幾何——算法分析與設計[M]．北京：清華大學出版社，2000.

[5] Chrisochoides N P, Sukup F. Task parallel implementation of the Bowyer-Watson algorithm[M]. Cornell Theory Center, Cornell University, 1996.

[6] 呂金建. 基于特征的多源遙感圖像配準技術研究[D].長沙: 國防科技大學，2008.

[7] Mikolajczyk K, Schmid C. A performance evaluation of local descriptors [J]. Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[8] 李志林，朱慶. 數字高程模型[M]. 武漢: 武漢大學出版社，2003.

[9] 張祖勛，張劍清. 數字攝影測量學[M]．武漢：武漢大學出版社，2012.

[10]李曉明, 鄭鏈, 胡占義. 基于 SIFT 特征的遙感影像自動配準[J]. 遙感學報, 2007, 10(6): 885-892.

High Precision Registration Algorithm of Multi-temporal Remote Sensing Images Based on SIFT Operator

Han Yilong1, Gong Danchao2, 3, Wei Yanming1, Zhou Zenghua1

1. Institute of Geospatial Information, Information Engineering University, Zhengzhou 450052, China 2.Xi’an Research Institute of Surveying and Mapping, Xi’an 710054, China 3.State Key Laboratory of Geo-information Engineering, Xi’an 710054, China

Image registration is a necessary step in image processing, and the registration of multi-temporal remote sensing images is a key technology in change detection and other application fields. Since remote sensing images are acquired at different time, the angle of incidence, spatial resolution and wavebands are always different even if the images come from the same area, which make image registration a difficult problem. In this paper, feature points are extracted and matched firstly with SIFT operator at first. Secondly the image is divided into several small-angle triangles through constructing the Triangulated Irregular Network (TIN) with refined matching points. The experiment results show that compared with the classical registration based on key feature points, the algorithm can solve the problem of translation, rotation, equal scaling of multi-temporal remote sensing image and realize precise registration.

multi-temporal；image registration；SIFT；Delaunay；TIN

2015-07-22。

韓軼龍(1988—)，男，碩士研究生，主要從事攝影測量與遙感研究。

P231

A