基于SIFT的遙感圖像配準技術綜述

李孚煜， 葉發茂

(南昌大學計算機科學與技術系,南昌　330031)

基于SIFT的遙感圖像配準技術綜述

李孚煜， 葉發茂

(南昌大學計算機科學與技術系,南昌330031)

摘要：遙感圖像配準是圖像融合、變化檢測、圖像鑲嵌等應用中不可缺少的步驟。近年來，出現了大量基于尺度不變特征變換(scale invariant feature transform,SIFT)的遙感圖像配準方法。在對已有基于SIFT的遙感圖像配準文獻的調研分析基礎上，對各種SIFT遙感圖像配準技術進行了系統性評述，將各種改進方法分為SIFT提升算法、針對遙感圖像性質的改進、混合方法以及針對算法流程的改進等4類； 分析了不同類型改進方法的適用范圍和優缺點； 指出了SIFT遙感圖像配準技術存在的主要問題和難點，對其未來的發展方向進行了展望，為后續研究提供參考。

關鍵詞：尺度不變特征變換(SIFT)； 遙感圖像； 圖像配準； 特征提取

0引言

圖像配準是對同一場景從不同視角、用不同傳感器獲取的，有重疊區域的2景圖像進行幾何配準的過程[1]。在遙感圖像的實際應用中，配準是圖像融合、目標變化檢測、地物識別以及圖像鑲嵌過程中必不可少的步驟。近年來，基于圖像特征的配準方法得到了較快的發展，其中尺度不變特征(scale invariant features,SIF)是圖像特征中一種重要特征; 尺度不變特征變換(scale invariant features transform,SIFT)是Lowe[2]在總結現有基于不變量技術的特征檢測算法基礎上提出的一種基于尺度空間對圖像縮放、平移、旋轉、仿射變換、視角變換和光照變換保持不變的特征提取算法。由于其匹配能力強，提取出的特征穩定，所以從各種圖像局部不變特征描述子(discripter)中脫穎而出[3-4]，近年來在遙感圖配準領域得到了越來越多的應用。本文對SIFT遙感圖像配準技術的研究情況進行了系統評述。首先簡單描述了一般性的SIFT圖像配準方法； 然后介紹了為提高遙感圖像配準的準確度近年對SIFT提出的一些改進算法，并分析了各種改進算法的適用范圍和優缺點； 最后總結了SIFT遙感圖像配準技術目前存在的主要問題和缺陷，并對其未來的發展方向進行了展望。

1SIFT圖像配準

SIFT算法主要用于描述與檢測圖像中的局部性特征，它在空間尺度中尋找極值點，并提取出其位置、尺度和旋轉不變量。該算法由 Lowe 在1999年提出[5]，2004年完善[2]。SIFT遙感圖像配準的基本步驟[1]包括： ① 特征提取； ②特征匹配； ③配準模型確定； ④圖像重采樣。具體流程見圖1。

① RANSAC為隨機抽樣一致性(random sample consensus)算法。

圖1基于SIFT的圖像配準流程圖

Fig.1Flowchart of SIFT-based image registration

其中特征提取及特征匹配主要包括關鍵點檢測、局部特征描述子生成和特征點匹配。

1.1關鍵點檢測

SIFT算法是基于點的匹配算法，所以首先要找出具有代表性和穩定性的關鍵點。SIFT算法關鍵點檢測的目的就是在圖像的尺度空間中找出對圖像縮放、旋轉以及一定程度的噪聲保持不變的點的精確位置，并對這些點進行篩選，為后續處理搜集足夠多的信息。SIFT的關鍵點檢測分為以下4個步驟：

1)生成高斯差(difference of Gaussians, DoG)尺度空間。圖像的尺度空間L(x,y,σ)由一個變尺度的高斯函數G(x,y,σ)和圖像I(x,y)卷積得到，即

L(x,y,σ)=G(x,y,σ)*I(x,y) ,

(1)

如果把σ看成是尺度變量，那么在尺度空間中，不同σ的G(x,y,σ)就組成一個組(Octave)。DoG響應值圖像D(x,y,σ)由2個相鄰高斯尺度空間的圖像相減得到。實際算法中，DoG通過構建圖像金字塔來實現，即將圖像金字塔分成O組，每組S層，下一組的圖像由上一組圖像隔點降采樣取得。將每組上下相鄰2層的高斯尺度空間的圖像相減，得到DoG。

2)尋找尺度空間中的局部極值點作為候選關鍵點。每個檢測點都跟與其同尺度的8個相鄰點以及上下相鄰尺度的9個點(共8+9×2=26個點)進行比較，只保留局部極值點。這樣得到的局部極值點即為粗略特征點。

3)精化關鍵點檢測結果。通過子像元插值得到特征點的精確尺度，刪除受邊緣效應影響較大的點，通過子像元插值和去邊緣效應，精化關鍵點檢測結果。

4)生成關鍵點的主方向。根據關鍵點所在的尺度選取鄰域，在該鄰域內分36個方向統計所有點的梯度方向，取方向統計直方圖中主峰的對應方向為主方向。若存在相當于主峰80%以上的方向，則將這些方向取為輔方向。每個關鍵點只有一個主方向，大約20%的關鍵點有1個或多個輔方向。每個探測到的關鍵點都包括位置信息、所在尺度及主方向信息，可以用1個4維向量來描述。

1.2局部特征描述子生成

得到在尺度空間中對圖像縮放、旋轉保持不變的關鍵點之后，SIFT為每一個關鍵點的主方向和每個輔方向生成一個描述子，并讓這些描述子擁有盡可能多的不變性：

1)根據關鍵點所在尺度，選擇相應大小的鄰域，分為4×4個子區域，每個子區域有4像元×4像元。以主方向為基準對齊后，對每個子區域的梯度方向進行統計，形成8個方向的直方圖。因存在4×4個子區域，每個子區域的梯度直方圖有8個方向，故SIFT特征矢量有4×4×8=128維。由于直方圖只有局部小區域的灰度統計信息，而仿射變換對灰度頻率的影響甚微，所以如此產生的描述子對仿射變換也具有一定程度的不變性。

2)對特征矢量進行歸一化處理，以使其擁有一定程度的光照強度不變性。

1.3特征點匹配

SIFT算法根據描述子之間的歐氏距離來判斷其相似性，并根據相似性的大小進行特征點匹配。為減少誤匹配，通常先使用比值提純法對匹配結果進行提純。除查詢最近鄰的描述子之外，還要考慮次近鄰； 當次近鄰距離與最近鄰距離的比值小于閾值時，則認為這個SIFT圖像配準基本流程不夠顯著，剔除該匹配對。匹配對比值提純之后，一般還要使用隨機抽樣一致性(random sample consensus, RANSAC)方法剔除離群匹配對，以進一步減少誤匹配。

2遙感圖像配準

傳統SIFT算法是為解決不同視角之間目標或場景的可靠匹配而提出的。該方法針對同一種傳感器圖像之間的圖像匹配效果較好，但直接用于不同性質遙感圖像之間的配準可能會失效； 在復雜場景或相似場景下，SIFT算法容易出現誤匹配； 同時，傳統SIFT算法也存在生成128維的描述子速度慢等問題。為了使SIFT算法能更好地應用于遙感圖配準，很多研究者提出了不同的改進方案，可分為4類： ①SIFT提升算法； ②針對遙感圖像性質的改進； ③混合方法； ④針對算法流程的改進。

2.1SIFT提升算法

在計算機視覺領域，繼SIFT后又有大量提升算法[6-19]，有些已經被應用于遙感圖像配準。Bay等[20]借鑒了SIFT的思想，于2008提出加速魯棒特征(speeded-up robust features,SURF)描述子，用圖像積分代替卷積運算，提高了特征提取的速度； Liu等[21]把SURF應用于SAR圖像匹配，獲得了高匹配率。Morel等[8]提出了仿射無關的ASIFT(affine-SIFT )算法； Yang等[22]將ASIFT應用于圖像配準問題； Lin等[11]借鑒ASIFT的思想，改進了SURF，提出了仿射無關的ASURF(affine-SURF)算法。

針對SIFT描述子維數高(128維)導致計算量大的問題，Liu等[17]提出了利用核獨立成分分析(kernel independent component analysis, KICA)降維的KICA-SIFT，并將其應用于遙感圖配準。但這種提升方法需要圖像的學習樣本以生成特征空間投影矩陣，因而對不同類型的遙感圖像需要分別訓練，不能用于不同種類遙感圖像的配準。此外，SURF的描述子只有64維，計算速度比SIFT快，但對尺度變化較大的圖像無法保持特征的不變性。

Mikolajczyk等[7]于2005年提出的梯度位置定向直方圖(gradient location-orientation histogram, GLOH)采用對數極坐標同心圓計算梯度直方圖，在維度不變(128維)的情況下，提高了SIFT特征描述子的獨特性，提升了算法的魯棒性； 但此方法也需要訓練樣本。Sedaghat等[23]提出的魯棒性一致的尺度不變特征變換(uniform robust SIFT,UR-SIFT)算法利用網絡規則優化了SIFT特征點的分布，從而提高對具有局部變換的光學遙感圖像的配準精度。

此類算法將計算機領域的SIFT提升算法應用到遙感圖像配準，沒有針對遙感圖像的特點進行改進，對于光學遙感圖像之間的配準，能夠取得較好的效果； 但對于不同性質遙感圖像之間的配準，可能得不到好的效果，甚至可能會失效。

2.2針對遙感圖像性質的改進

遙感圖像種類繁多，性質各異，有些圖像與一般光學圖像性質的差異較大。為使專為一般光學圖像設計的SIFT算法能更好地應用于其他圖像，許多針對遙感圖像性質的改進被相繼提出。

2.2.1針對SAR圖像

SIFT本身是為有少量加性高斯噪聲的一般光學圖像設計的，SAR圖像固有的乘性相干斑噪聲嚴重影響了SIFT算法的關鍵點檢測及特征描述子的穩定性。針對SAR圖像的特征，研究者對SIFT做了相應的改進[24-29]。Lu等[24]在尋找尺度空間的局部極值點時，用24鄰域替代8鄰域，使提取出來的關鍵點有更好的抗噪性。Schwind等[25]提出跳過受光斑噪聲影響最大的尺度空間金字塔第一層(SIFT-OCT)，并且用無限對稱指數濾波器(infinite symmetric exponential filter, ISEF)處理圖像，以進一步減少光斑噪聲的影響，有效減少了計算量，抑制了光斑噪聲產生的偽關鍵點。其后Suri等[26]又提出在描述子匹配階段混合圖像互信息，以提高采集方式不同的SAR圖像之間匹配的一致性。Wang等[27]提出的雙邊濾波SIFT(bilateral filter SIFT,BFSIFT)算法用雙邊濾波器取代高斯濾波器生成尺度空間，用各向異性濾波器使濾除光斑噪聲時邊緣信息丟失較少； 該方法也略過尺度空間金字塔第一層，以減少光斑噪聲的影響并提高速度。Dellinger等[28]提出的SAR-SIFT算法依照雷達圖像特性重新定義了SAR圖像梯度，并修改了SIFT的關鍵點檢測算法，調整了主方向和描述子的生成方法； 實驗表明，該方法在SAR圖像匹配方面的效果遠優于傳統SIFT算法。

2.2.2針對不同類型圖像

SIFT本身對線性灰度變化具有不變性，但多源遙感圖之間的灰度差異復雜，可以是非線性的。Abedini等[30]對灰度差異較大的航攝圖像和LiDAR圖像分別用參數不同的SIFT算子提取特征，在匹配過程中用RANSAC和Baarda數據探測法剔除離群誤匹配。Yi等[31]針對多光譜遙感圖像配準問題提出的尺度約束SIFT (scale restricted SIFT,SR-SIFT)在匹配過程中有效減少了因多光譜遙感圖像灰度差異大而導致的誤匹配，但會減弱匹配的旋轉不變性。Li等[32]在此基礎上提出了尺度-方向聯合約束準則，并提升了特征描述子的魯棒性, 使其適用于多光譜及多傳感器的情況。Vural等[33]提出的方向限制SIFT (orientation-restricted SIFT, OR-SIFT)不區分反向的灰度，以此將構造特征描述子時所用的方向柱(bin)數量減少為4； 該方法能適應灰度可能相反的多光譜遙感圖像配準，速度快，但描述子的區分度有所下降。

2.2.3利用地理位置信息

遙感圖像帶有額外的地理位置信息，合理利用這些信息可以顯著提高配準的速度和精度。Liu等[34]針對部分由裝配了POS系統的機載干涉SAR系統采集的SAR圖像，改進了SIFT描述子的匹配步驟： 先根據POS提供的位置和姿態數據剔除距離較遠的匹配對，再根據匹配對的相關系數剔除誤匹配； 實驗結果表明匹配的準確率得到了大幅度提高。岳春宇等[35]提出先根據衛星遙感圖像間的幾何關系進行粗糾正，消除尺度和旋轉差異； 再提取SIFT特征，并用結構相似性指數測度(structure similarity index measure,SSIM)取代歐氏距離作為SIFT特征之間的相似性測度； 該方法適用于星載SAR圖像圖像與可見光圖像配準，幾何定位精度影響大，只在變形小的地形平坦地區效果較好。

此類方法充分利用遙感圖像特征和遙感圖像具有的信息改進SIFT遙感圖像配準，取得了一定的效果，也成為目前研究的熱點。但遙感圖像種類多、成像機理不同，導致圖像差異很大，要從不同性質遙感圖像中提取穩定、可靠的SIFT特征，還需開展進一步的研究。

2.3混合方法

除針對SIFT算法本身的改進外，還有很多研究將SIFT與其他方法結合起來。這些方法[36-40]將遙感圖像配準劃分為粗配準和精配準2個階段，在粗配準階段使用SIFT及其改進算法，然后使用其他方法進一步精配準。Yu等[36]先用SIFT特征描述子對多源遙感圖像進行粗配準以獲得相同尺度圖像，再從小波域中提取Harris角點進行精配準。劉向增等[37]和Yi等[38]先利用改進的具有仿射不變性的SIFT特征描述符對SAR圖像進行粗配準，再用奇異值分解(singular value decomposition,SVD)點匹配算法對圖像進行精配準，從而提高了該算法對幾何變化及灰度變化大的穩健性，但算法復雜度較高。Li等[39]結合SURF描述子和快速最小截平方和估計算子先對SAR圖像進行粗配準，再使用歸一化互相關方法進行精配準，取得亞像元級精度的變換參數。Ye等[40]先利用SR-SIFT對多光譜遙感圖像進行粗配準，然后用Harris算子和局部自相似性描述子找到匹配對，并用全局一致性檢驗移除誤匹配，完成精配準。宋智禮[41]針對多模態圖像之間灰度差異巨大會造成SIFT算法特征點的正確匹配率低的問題，提出了一種綜合利用特征點信息和圖像中輪廓信息的圖像配準新方法，有效提高了圖像特征點的正確匹配率。王曉華等[42]首先利用Canny邊緣檢測算法提取SAR圖像的閉合區域，用7階不變矩特征作為閉合區域的描述子進行粗配準，再運用改進Canny邊緣特征的SIFT算法進行精配準。

上述方法適用于尺寸、角度、平移以及各自畸變較大的圖像之間的配準，配準精度高，通常能達到亞像元級水平。其缺點是由于綜合了多種方法，增加了額外處理步驟，因而計算復雜度高，耗時長。

2.4針對算法流程的改進

還有些方法[43-50]改進了基于SIFT的圖像配準流程，在一些步驟中結合或直接用其他方法替換了原有步驟。為了找出盡可能多的有效候選匹配對，2006年李曉明等[43]提出先設定比較小的最近鄰與次近鄰的距離比率閾值，選出可靠性較高的匹配對，據此初步計算出幾何約束模型； 然后在該約束下對其余可能的匹配對進行挑選，以此擴展更多的匹配對。2008年Liu等[44]在特征提取中加入多尺度Harris檢測算子空間尺度表示，并通過聚類方法和歸一化互信息剔除誤匹配，使大尺度圖像和不同傳感器圖像配準效果得到提高。針對Lowe[2]提出的采用最近鄰與次近鄰的距離比率進行匹配的流程容易出現重復匹配、多對一匹配的問題，李芳芳等[45]與張建花等[46]分別提出了雙向匹配算法，減少了原流程的誤匹配。2010年Song等[47]在匹配步驟中使用三角區域取代RANSAC，能更好地處理大量SIFT描述子誤匹配的情況； 并提出了一種基于Lissajous曲線的新的相似性度量方法，提高了配準準確率。Goncalves等[48]在SIFT配準流程中加入了圖像分割步驟，通過分塊選取減少數據量。Qiu等[49]先用Contourlet變換將遙感圖像分解為高頻和低頻部分，再用不同方法分別提取特征區域對(低頻部分使用SIFT特征，高頻部分使用互相關系數)，最后再綜合配準，克服了傳統SIFT匹配算法完全忽略不同特征描述子之間的幾何關系、只注重局部優化的局限。

此類方法針對SIFT的配準流程進行改進，主要目的在于獲取更多可靠的SIFT特征匹配對，以提高配準精度。但這些方法將SIFT特征獨立看待，沒有將多個SIFT特征或者所有的SIFT特征作為一個整體，進行整體匹配。通過這種整體匹配，可以利用SIFT特征之間的空間位置和形狀等信息，減少單個SIFT算法因特征信息不足而可能導致的誤匹配。李偉峰等[50]把SIFT特征作為特征點集，用Hausdorff距離作為適應度函數,通過遺傳算法(genetic algorithm, GA)尋求圖像間的幾何變換參數。這種方法把基于特征點的匹配轉變為基于點集的匹配，具有更高的抗噪性。高華等[51]將所有的SIFT作為一個整體進行匹配，并用置信傳播(belief propagation,BP)算法求解最優匹配。

3問題與展望

3.1面臨的問題

對SIFT遙感圖像配準技術研究已有很多，但仍存在一些難點沒有解決，主要表現在2個方面：

1)不同性質遙感圖像配準的問題。對不同類型傳感器獲取的圖像進行配準時，由于噪聲性質差異和成像機理不同，像元表現形式不同，使得圖像之間灰度分布差異較大，直接使用SIFT方法進行配準的精度很低，甚至會匹配失敗。SIFT特征描述子很適合多源遙感圖像之間的配準，很多研究利用SIFT特征描述子并做出種種改進用于解決多源遙感圖像配準問題，但基本上都是針對有明顯地物(道路、河流等)特征的圖像，目前仍沒有統一的框架，尚未形成很成熟的方法及處理流程。因此，如何把SIFT方法更好地應用于多源遙感圖配準，仍需進一步深入研究。

2)關于配準速度的問題。許多實際應用對遙感圖像配準速度有較高要求。SIFT方法在特征提取和匹配過程中普遍耗時較多，不能滿足有實時性或應急需求的配準任務的要求。隨著遙感圖像的空間分辨率和光譜分辨率越來越高，單景遙感圖像的數據量會加倍增長，數據處理時間也會越來越長。因此，如何在保證配準精度的前提下提高配準效率越發顯得重要。

3.2展望

SIFT算法具有一些良好的特性，非常適用于遙感圖像配準。如何更好地發揮SIFT算法的特性，提高遙感圖像配準的精度和速度，以下幾方面可能會是有益的探索：

1)適用于不同性質遙感圖像配準的SIFT 特征描述子研究。很多研究者已經開始研究適用于不同數據源遙感圖像配準的SIFT特征描述子，并取得了一定的成果。但這些研究只是針對特定2種或幾種類型遙感圖像的SIFT特征描述子，尚未研究通用的遙感圖像配準SIFT特征描述子。因此，研究與遙感圖像性質無關、適用于不同數據源遙感圖像配準的SIFT特征描述子是未來研究的一個方向。

2)與人工智能技術結合。隨著人工智能技術的發展，已有一些人工智能方法應用到遙感圖像配準，如Ye等[52]應用人工免疫優化算法實現了遙感圖像粗配準。但目前還鮮有將人工智能方法應用于SIFT遙感圖像配準中。很多人工智能方法的引入可以改善SIFT遙感圖像配準方法，例如： 利用人工智能中的粗糙集方法進行SIFT描述子的降維； 利用人工智能中一些優化方法進行SIFT特征的匹配。

3)與并行計算技術結合。計算機硬件的發展以及并行計算和網格計算技術的發展，可為解決SIFT方法在特征提取和匹配過程中耗時較多、不能滿足實時性要求的問題提供較好的解決方案。有些研究者已經開始這方面的嘗試，例如Warn等[53]使用現場可編程邏輯門陣列(field programmable gate array,FPGA)直接在硬件上實現并行SIFT算法。因此，研發并行化SIFT遙感圖像配準算法也是未來研究的一個重要方向。

4)與其他配準方法結合。將SIFT的遙感圖像配準算法與其他配準方法進行集成，研究能夠根據具體情況自動評價和選擇配準算法的引擎[54]，為用戶提供更好的圖像配準解決方案，無疑將成為未來研究的一大趨勢。

4結論

1)SIFT方法從1999年被提出之后，在短短的10余年間，在遙感圖像配準領域得到了廣泛的應用，并且仍然處于蓬勃發展之中。

2)在對SIFT遙感圖像配準技術的研究進程進行系統評述的基礎上，本文描述了一般性的SIFT圖像配準方法和4類SIFT應用于遙感圖配準的改進算法，包括SIFT提升算法、針對遙感圖像性質的改進、混合方法以及針對算法流程的改進等，并分析了各種改進方法的適用范圍和優缺點。

3)SIFT遙感圖像配準技術目前所面臨的主要問題是如何實現多源不同性質遙感圖像的配準和在保證配準精度的前提下提高配準速度。

4)為更好地發揮SIFT算法的良好特性，進一步提高遙感圖像配準的精度和速度，有必要在適用于不同性質遙感圖像配準的SIFT 特征描述子研發、與人工智能技術結合、并行計算以及與其他配準方法相結合等方面做更深入的研究探索。

參考文獻(References)：

[1]Zitová B,Flusser J.Image registration methods:A survey[J].Image and Vision Computing,2003,21(11):977-1000.

[2]Lowe D G.Distinctive image features from scale-invariant key points[J].International Journal of Computer Vision,2004,60(2):91-110.

[3]王永明,王貴錦.圖像局部不變性特征與描述[M].北京:國防工業出版社,2010.

Wang Y M,Wang G J.Image Local Invariant Features and Descriptors[M].Beijing:National Defense Industry Press,2010.

[4]余先川,呂中華,胡丹.遙感圖像配準技術綜述[J].光學精密工程,2013,21(11):2960-2972.

Yu X C,Lyu Z H,Hu D.Review of remote sensing image registration techniques[J].Optics and Precision Engineering,2013,21(11):2960-2972.

[5]Lowe D G.Object recognition from local scale-invariant features[C]//The Proceedings of the 7th IEEE International Conference on Computer Vision.Kerkyra:IEEE,1999,2:1150-1157.

[6]Vedaldi A.An Implementation of SIFT Detector and Descriptor[R].Los Angeles:University of California,2006.

[7]Mikolajczyk,Schmid C.A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1615-1630.

[8]Morel J M,Yu G S.ASIFT:A new framework for fully affine invariant image comparison[J].SIAM Journal on Imaging Sciences,2009,2(2):438-469.

[9]Zhang N.Computing parallel speeded-up robust features(P-SURF) via POSIX threads[M]//Huang D S,Jo K H,Lee H H,et al.Emerging Intelligent Computing Technology and Applications.Berlin Heidelberg:Springer,2009:287-296.

[10]Duan C,Meng X,Tu C,et al.How to make local image features more efficient and distinctive[J].IET Computer Vision,2008,2(3):178-189.

[11]Lin C,Liu J,Cao L.Image matching by affine speed-up robust features[C]//Proceedings of Pattern Recognition and Computer Vision.Guilin,China:SPIE,2011,8004:80040G.

[12]Tuytelaars T,Mikolajczyk K.Local invariant feature detectors:A survey[J].Foundations and Trends in Computer Graphics and Vision,2008,3(3):177-280.

[13]Cheung W,Hamarneh G.N-sift:N-dimensional scale invariant feature transform for matching medical images[C]//Proceedings of the 4th IEEE International Symposium on Biomedical Imaging:From Nano to Macro.Arlington,VA:IEEE,2007:720-723.

[14]Ke Y,Sukthankar R.PCA-SIFT:A more distinctive representation for local image descriptors[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington,DC:IEEE.2004,2:506-513.

[15]Kupfer B,Netanyahu N S,Shimshoni I.An efficient SIFT-based mode-seeking algorithm for sub-pixel registration of remotely sensed images[J].IEEE Geoscience and Remote Sensing Letters,2015,12(2):379-383.

[16]Lingua A,Marenchino D,Nex F.Performance analysis of the SIFT operator for automatic feature extraction and matching in photogrammetric applications[J].Sensors,2009,9(5):3745-3766.

[17]Liu X Z,Tian Z,Leng C C,et al.Remote sensing image registration based on KICA-SIFT descriptors[C]//Proceedings of the Seventh International Conference on Fuzzy Systems and Knowledge Discovery(FSKD).Yantai:IEEE,2010,1:278-282.

[18]Bu F,Qiu Y,Liu J,et al.Improved bidirectional image registration based on Radon-SIFT[J].Journal of Computational Information Systems,2012,8(12):4997-5004.

[19]Gong M G,Zhao S M,Jiao L C,et al.A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information[J].IEEE Transactions on Geoscience and Remote Sensing,2014,52(7):4328-4338.

[20]Bay H,Ess A,Tuytelaars T,et al.Speeded-up robust features(SURF)[J].Computer Vision and Image Understanding,2008,110(3):346-359.

[21]Liu R H,Wang Y G.SAR image matching based on speeded up robust feature[C]//Proceedings of WRI Global Congress on Intelligent Systems.Xiamen:IEEE,2009,4:518-522.

[22]Yang J B,Hu F Y.Image registration algorithm based on ASIFT[J].Electronic Technology,2012(7):39-42.

[23]Sedaghat A,Mokhtarzade M,Ebadi H.Uniform robust scale-invariant feature matching for optical remote sensing images[J].IEEE Transactions on Geoscience and Remote Sensing,2011,49(11):4516-4527.

[24]Lu J,Wang B,Gao H M,et al.SAR images matching based on local shape descriptors[C]//Proceedings of IET International Radar Conference.Guilin:IEEE,2009:1-4.

[25]Schwind P,Suri S,Reinartz P,et al.Applicability of the SIFT operator to geometric SAR image registration[J].International Journal of Remote Sensing,2010,31(8):1959-1980.

[26]Suri S,Schwind P,Reinartz P,et al.Combining mutual information and scale invariant feature transform for fast and robust multisensor SAR image registration[C]//Proceedings of the 75th annual ASPRS Conference.Wessling,Germany:Remote Sensing Technology Institute,2009.

[27]Wang S H,You H J,Fu K.BFSIFT:A novel method to find feature matches for SAR image registration[J].IEEE Geoscience and Remote Sensing Letters,2012,9(4):649-653.

[28]Dellinger F,Delon J,Gousseau Y,et al.SAR-SIFT:A SIFT-like algorithm for applications on SAR images[C]//Proceedings of IEEE International Geoscience and Remote Sensing Symposium(IGARSS).Munich:IEEE,2012:3478-3481.

[29]Fan J W,Wu Y,Wang F,et al.SAR image registration using phase congruency and nonlinear diffusion-based SIFT[J].IEEE Geoscience and Remote Sensing Letters,2015,12(3):562-566.

[30]Abedini A,Hahn M,Samadzadegan F.An investigation into the registration of LIDAR intensity data and aerial images using the SIFT approach[C]//Proceedings of the 2nd International Archives of Photogrammetry,Remote Sensing and Spatial Information Sciences.Beijing,2008,37:3-11.

[31]Yi Z,Zhiguo C,Yang X.Multi-spectral remote image registration based on SIFT[J].Electronics Letters,2008,44(2):107-108.

[32]Li Q L,Wang G Y,Liu J G,et al.Robust scale-invariant feature matching for remote sensing image registration[J].IEEE Geoscience and Remote Sensing Letters,2009,6(2):287-291.

[33]Vural M F,Yardimci Y,Temizei A.Registration of multispectral satellite images with orientation-restricted SIFT[C]//Proceedings of IEEE International Geoscience and Remote Sensing Symposium.Cape Town:IEEE,2009,3:III-243-III-246.

[34]Liu J Z,Yu X C.Research on SAR image matching technology based on SIFT[C].Proceedings of the 2nd International Archives of Photogrammetry,Remote Sensing and Spatial Information Sciences.Beijing,2008,37:403-408.

[35]岳春宇,江萬壽.幾何約束和改進SIFT的SAR影像和光學影像自動配準方法[J].測繪學報,2012,41(4):570-576.

Yue C Y,Jiang W S.An automatic registration algorithm for SAR and optical images based on geometry constraint and improved SIFT[J].Acta Geodaetica et Cartographica Sinica,2012,41(4):570-576.

[36]Yu L,Zhang D R,Holden E J.A fast and fully automatic registration approach based on point features for multi-source remote-sensing images[J].Computers & Geosciences,2008,34(7):838-848.

[37]劉向增,田錚,溫金環,等.基于仿射不變SIFT特征的SAR圖像配準[J].光電工程,2010,37(11):121-127.

Liu X Z,Tian Z,Wen J H,et al.SAR image registration based on affine invariant SIFT features[J].Opto-Electronic Engineering,2010,37(011):121-127.

[38]Yi Z,Zhang X,Mu X,et al.SAR image registration based on SIFT and MSA[C]//Conferences of the Photoelectronic Technology Committee of the Chinese Society of Astronautics:Optical Imaging, Remote Sensing,and Laser-Matter Interaction.Suzhou:SPIE,2014,9142:91421K.

[39]Li D,Zhang Y H.A fast offset estimation approach for InSAR image subpixel registration[J].IEEE Geoscience and Remote Sensing Letters,2012,9(2):267-271.

[40]Ye Y X,Shan J.A local descriptor based registration method for multispectral remote sensing images with non-linear intensity differences[J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,90:83-95.

[41]宋智禮.基于特征點與邊界信息的全自動多模態遙感圖像配準方法[J].國土資源遙感,2014,26(3):48-54.doi:10.6046/gtzyyg.2014.03.08.

Song Z L.Automatic approach based on point and curve features for multimodal remote sensing image registration[J].Remote Sensing for Land and Resources,2014,26(3):48-54.doi:10.6046/gtzyyg.2014.03.08.

[42]王曉華,鄧喀中,楊化超.集成互補不變特征的SAR影像自動配準[J].國土資源遙感,2014,26(1):52-56.doi:10.6046/gtzyyg.2014.01.10.

Wang X H,Deng K Z,Yang H C.Automatic SAR image registration of integrated complementary invariant features[J].Remote Sensing for Land and Resources,2014,26(1):52-56.doi:10.6046/gtzyyg.2014.01.10.

[43]李曉明,鄭鏈,胡占義.基于SIFT特征的遙感影像自動配準[J].遙感學報,2006,10(6):885-892.

Li X M,Zheng L,Hu Z Y.SIFT based automatic registration of remotely-sensed imagery[J].Journal of Remote Sensing,2006,10(6):885-892.

[44]Liu X J,Yang J,Sun J W,et al.Image registration approach based on SIFT[J].Infrared and Laser Engineering,2008,37(1):156-160.

[45]李芳芳,肖本林,賈永紅,等.SIFT算法優化及其用于遙感影像自動配準[J].武漢大學學報:信息科學版,2009,34(10):1245-1249.

Li F F,Xiao B L,Jia Y H,et al.Improved SIFT algorithm and its application in automatic registration of remotely-sensed imagery[J].Geomatics and Information Science of Wuhan University,2009,34(10):1245-1249.

[46]張建花,白仲斐,惠廣裕.基于SIFT算法的異源遙感影像自動匹配研究[J].電子設計工程,2011,19(13):176-179.

Zhang J H,Bai Z F,Hui G Y.Research on automatic registration of multi-source remote sensing images based on SIFT algorithm[J].Electronic Design Engineering,2011,19(13):176-179.

[47]Song Z L,Li S,George T F.Remote sensing image registration approach based on a retrofitted SIFT algorithm and Lissajous-curve trajectories[J].Optics Express,2010,18(2):513-522.

[48]Goncalves H,Corte-Real L,Goncalves J A.Automatic image registration through image segmentation and SIFT[J].IEEE Transactions on Geoscience and Remote Sensing,2011,49(7):2589-2600.

[49]Qiu P R,Liang Y.The improved algorithm of remote sensing image registration based on SIFT and CONTOURLET transform[C]//Proceedings of the 4th IEEE International Conference on Software Engineering and Service Science(ICSESS).Beijing:IEEE,2013:906-909.

[50]李偉峰,周金強,方圣輝.基于改進Hausdorff距離的圖像配準方法[J].國土資源遙感,2014,26(2):93-98.doi:10.6046/gtzyyg.2014.02.16.

Li W F,Zhou J Q,Fang S H.Image registration method based on improved Hausdorff distance[J].Remote Sensing for Land and Resources,2014,26(2):93-98.doi:10.6046/gtzyyg.2014.02.16.

[51]高華,曹鋒,陳明星.基于SIFT-BP的圖像配準算法[J].重慶理工大學學報:自然科學,2011,25(12):106-110.

Gao H,Cao F,Chen M X.Algorithm of image registration based on SIFT-BP[J].Journal of Chongqing Institute of Technology:Natural Science,2011,25(12):106-110.

[52]Ye F M,Xu S P,Xiong Y H.Two-step image registration by artificial immune system and chamfer matching[J].Chinese Optics of Letters,2008,6(9):651-653.

[53]Warn S,Emeneker W,Cothren J,et al.Accelerating SIFT on parallel architectures[C]//Proceedings of IEEE International Conference on Cluster Computing and Workshops.New Orleans,LA:IEEE,2009:1-4.

[54]Moigne J L,Netanyahu N S,Eastman R D.Image Registration for Remote Sensing[M].Cambridge:Cambridge University Press,2011.

(責任編輯： 劉心季)

Summarization of SIFT-based remote sensing image registration techniques

LI Fuyu， YE Famao

(DepartmentofComputerScienceandEngineering，NanchangUniversity，Nanchang330031，China)

Abstract:Remote sensing image registration is an indispensable part in such aspects as remote sensing image fusion, change detection, and image mosaicking. Recently, many SIFT-based remote sensing image registration methods have been presented. In this paper, SIFT-based remote sensing image registration techniques are discussed in a systematic way. Improvements of these techniques are categorized into 4 types, i.e., application of improved-SIFT, improvement of remote sensing image properties, combination with other methods, and improvement of the algorithm process. Then, the advantages, disadvantages and scope of applications are analyzed for each category. The existent problems and difficulties of SIFT-based remote sensing image registration are summarized. Finally, the prospects of SIFT-based remote sensing registration are predicted so as to provide some valuable references for researchers in this field.

Keywords:scale invariant feature transform(SIFT)； remote sensing image； image registration； feature extraction

doi:10.6046/gtzyyg.2016.02.03

收稿日期：2014-12-17；

修訂日期：2015-03-18

基金項目：國家自然科學基金項目“基于人工禁忌免疫原理的多源遙感圖像自動配準研究 ”(編號： 41261091)資助。

中圖法分類號：TP 79

文獻標志碼：A

文章編號：1001-070X(2016)02-0014-07

第一作者簡介：李孚煜(1989-),男,碩士研究生,主要研究方向為遙感圖像配準。Email: lifuyu198919@gmail.com。

通信作者：葉發茂(1978-),男,副教授,主要從事遙感圖像處理和人工智能方面研究。Email: yefamao@ncu.edu.cn。

引用格式： 李孚煜,葉發茂.基于SIFT的遙感圖像配準技術綜述[J].國土資源遙感,2016,28(2)：14-20.(Li F Y,Ye F M.Summarization of SIFT-based remote sensing image registration techniques[J].Remote Sensing for Land and Resources,2016,28(2)：14-20.)