Harris-Laplace結合SURF的遙感圖像匹配拼接方法

年華孫立 于艷波

（北京空間機電研究所，北京 100094）

Harris-Laplace結合SURF的遙感圖像匹配拼接方法

年華孫立 于艷波

（北京空間機電研究所，北京 100094）

在遙感圖像的處理和應用中，為了更好地解譯、分析和研究圖像信息，往往需要把兩幅或多幅遙感圖像拼接為一幅圖像，文章針對遙感圖像在旋轉及受噪聲影響時匹配困難的問題，提出了將Harris-Laplace（哈里斯-拉普拉斯）檢測和SURF（快速穩健特征）算法相結合的匹配拼接方法。利用Harris-Laplace算法對遙感圖像進行多尺度特征點檢測，該特征點對光照變化、圖像噪聲和尺度改變具有不變性；然后，利用SURF算法確定特征點主方向并對特征進行描述；使用比值法進行初始匹配，接著用RANSAC（隨機抽樣一致性）算法剔除錯誤匹配點，并對匹配的圖像進行拼接。試驗結果表明，文中方法不但具有很好的抗旋轉性能和抗噪聲性能，而且較經典的SIFT（尺度不變特征變換）算法提高了匹配效率，能夠為遙感圖像的實時配準拼接以及幾何定位精度評價提供有力的技術支持。

哈里斯-拉普拉斯檢測 尺度不變特征 快速穩健特征算法 特征提取 遙感圖像匹配

0 引言

圖像配準是指同一目標的兩幅（或者兩幅以上）圖像在空間位置的對準。圖像配準技術過程，稱為圖像匹配或者圖像相關。常用的算法主要分為兩類：基于灰度的圖像匹配方法和基于特征的圖像匹配方法。基于特征的圖像匹配方法可以克服基于灰度的圖像匹配方法對于發生縮放或旋轉的圖像匹配精度低的缺點，因而在圖像匹配領域得到了廣泛的應用。基于特征的匹配方法包含特征提取和特征匹配兩個階段。前一個階段主要完成整幅圖像中的特征點及其屬性的提取（角點、頂點、邊緣、直線等），后一階段則是對提取的特征進行匹配，通過匹配的特征建立圖像間的映射變換得到匹配圖像，其中前一階段的結果（提取的特征和屬性）決定后一階段的精度和可信度[1]。目前基于特征提取算法主要有Forstner（福斯特納）[2]、SUSAN（最小核值相似區）[3]、Harris角點[4-5]、SIFT（尺度不變特征變換）[6]、SURF（快速穩健特征）[7]等。其中，Harris角點是C.Harris和M.J.Stephen于1988年對Moravec（莫拉維克）算子[4]做出改進繼而提出的一種檢測算法，Mikolajczyk和Schmid又在Harris檢測基礎上提出了具有尺度不變性能的Harris-Laplace[8]檢測。SIFT算法最早由David. G. Lowe于1999年提出，并在2004年進行了完善[9]，該算法是一種魯棒性很好的尺度不變特征算法，可以處理兩幅圖像之間發生平移、旋轉、尺寸變化、光照變化情況下的特征匹配問題，在一定程度上對視角變化、仿射變化也具備較為穩定的特征匹配能力，是公認有效的算法。李曉明等將SIFT算法應用到遙感影像的自動匹配[10]，取得了較好的效果。然而SIFT算法耗時長，很難滿足實時應用的要求，因此很多人對它進行了改進。Ke和Sukthankar提出將PCA（主成分分析）應用到圖像梯度中，得到了PCA-SIFT算法[11]，改進后的算法對特征進行了降維處理，從而簡化了SIFT算法的復雜度。2006年，Bay等人以SIFT算法為基礎提出了SURF算法，該算法不但具有尺度和旋轉不變性，而且在特征信息描述方面表現出了更好的性能，并且在計算速度上有明顯優勢，綜合性能要優于SIFT算法。

在遙感圖像數據處理中，圖像匹配是變化檢測、數據融合的基本預處理步驟，匹配精度對后續數據的處理產生重要的影響[12]。遙感圖像幾何質量參數的評價也都是通過控制點選取并進行同名點位置匹配完成的[13]。遙感圖像在獲取的過程中，受到大氣吸收與散射、傳感器標定、地形等因素影響，因此拍攝的圖像不僅受噪聲的影響，而且存在灰度差異或幾何畸變等，這使得遙感圖像的匹配過程比較困難。針對以上問題，本文結合Harris-Laplace檢測算法和SURF算法的穩定性，提出了一種特征提取方法，以Harris-Laplace檢測為特征點，以SURF算法進行特征算子描述，從而實現了遙感圖像的匹配和拼接。通過實驗并與經典SIFT算法進行比較，得出該算法在匹配精度和速度上的綜合性能優于SIFT算法，尤其在抗噪聲性能方面有明顯的優勢。

1 本文算法

基于特征的圖像匹配與拼接一般分為特征點檢測、特征點描述、特征描述子之間的匹配、圖像融合4個步驟。如何獲得穩健、性能良好的特征點也就成為匹配拼接圖像處理的關鍵基礎。

在特征點檢測方面，要求獲取的特征點不但含有豐富的圖像信息特征而且具有優良的性能。目前已有的成熟特征點檢測算法中，Harris角點具有旋轉不變性，對于圖像亮度和對比度變化不敏感，然而它不具有尺度不變性；SURF基于Hessian矩陣的特征點檢測過程對圖像二階偏微商進行了近似估算以及非極大值抑制，這會使圖像特征點損失掉很多高頻信息且只能獲得數量較少的特征點。將Harris檢測和高斯尺度空間結合的Harris-Laplace特征點檢測，在位置可重復性、定位精確度、尺度不變性等方面均有較好的性能，不但能夠保留圖像中重要特征信息而且提取的算法簡單。

在特征點描述方面，特征描述子應當能給特征點指定方向，具有旋轉不變性、尺度不變性以及噪聲魯棒性。二值化描述子通過對特征點鄰域內的灰度進行比較生成，計算量小，但是在有較多相似特征的情況下錯誤匹配率高；SURF算法采用均勻方向標準化的正方形區域中的點生成64維特征描述子，包含的信息更加豐富，具有更強的可區分性。

本文針對上述研究分析，考慮使用具有尺度不變性的Harris-Laplace角點取代SURF算法中數量較少的極值特征點，這樣既保留了SURF優良的特征描述性能，又彌補SURF算法中特征點少且損失了高頻信息的不足，保證了足夠數量的匹配點，從而提高遙感圖像匹配精度。本文的算法流程如圖1所示。

1.1 特征點檢測

1.1.1 尺度空間

尺度空間理論是檢測不變特征的基礎，主要討論信號平滑處理的問題。Lindeberg證明了高斯卷積核是實現尺度變換的唯一變換核[14]。

圖1 本文算法流程Fig.1 Algorithm flow chart

一幅二維圖像在不同尺度下的尺度空間函數L( x, y,σ)可由輸入的原始二維圖像I( x, y)與高斯核函數G( x, y,σ)卷積得到：

式中 （x，y）為尺度空間下的笛卡爾坐標；σ為高斯核函數G( x, y,σ)正態分布的方差，又稱尺度空間因子。高斯核函數G( x, y,σ)的計算公式為

式中， 尺度空間因子σ反映了圖像被平滑的程度，其值越小表征圖像被平滑程度越小，相應尺度也越小。

1.1.2 Harris-Laplace檢測

Harris-Laplace檢測算法實現流程如下：

1）二階矩陣表征了一個點在鄰域內的梯度分布[15]，使用高斯核函數對多尺度二階矩做加權，計算Harris二階矩陣：

式中 方陣μ(x, y,σI,σD)表示Harris二階矩陣；σI為積分尺度因子，是決定角點當前尺度的變量；σD為微分尺度因子，是決定角點附近微分值變化的變量；g(σI)表示積分尺度σI的高斯卷積核；g(σD)表示微分尺度σD的高斯卷積核；Lx(x, y,σD)和Ly(x, y,σD)表示對圖像使用g(σD)進行平滑后再在x和y方向進行一階微分的結果，Lx(x, y,σD)=I( x, y)*Gx(x, y,σD)，Ly(x, y,σD)=I( x, y)*Gy(x, y,σD)，其中Gx(x, y,σD)和Gy(x, y,σD)分別表示尺度因子為σD時高斯核函數在x、y方向上的一階微分。

2）計算每一層尺度上每個像元的Harris的響應值：

式中 detμ(x, y,σI,σD)為方陣μ(x, y,σI,σD)的行列式；trμ(x, y,σI,σD)為方陣μ(x, y,σI,σD)的跡；α為經驗值，一般取0.04～0.06的常數。

3）利用LoG（Laplacian of Gaussian，高斯拉普拉斯）函數對角點進行篩選[16]，對小于某個閾值的響應值置為零：

式中 Lxx和Lyy表示L(x,y,σn)在x和y方向上的二階微分；σn為給定的尺度空間值。

4）以該點為中心點，在其“8-鄰域”[17]內求極大值，并與該點Harris的響應值進行比較，較大者選作檢測點。

圖2 主方向的確定（滑動窗口圍繞特征點轉動）Fig.2 Orientation assignment (a sliding orientation window detects around the feature points)

1.2 特征點描述

1.2.1 主方向確定

為使特征點具有旋轉不變性能，必須為每個特征點尋找一個主方向。本文使用Haar小波的響應來確定特征點的主方向。首先以特征點為圓心，在半徑為6σ（σ為特征點尺度因子）的圓形鄰域內計算x和y方向的Haar小波響應dx和dy。為了獲得主方向，設計一個角度為π/3的滑動窗口，如圖2。通過滑動窗口對整個圓形區域的遍歷，計算該窗口處于每個角度時它所包含圖像點的Haar小波響應之和，統計每一點x、y方向的響應，則滑動窗口中所有點的響應之和構成一個矢量，其中最長矢量對應的方向即為特征點主方向。

1.2.2 構建特征描述子

構建特征描述子就是建立特征向量的過程。首先以特征點為中心構建一個20σ×20σ的矩形區域。沿著特征點的主方向，將矩形區域劃分為44×的子區域，在每塊子區域中計算x和y方向的Haar小波響應，用dx表示水平方向的響應，用dy表示垂直方向的響應，并對響應以及響應的絕對值進行累加和統計。由此，每個子區域有了4維的強度結構描述向量：

這樣，計算所有44×子區域，結果就是64維的描述向量，如圖3所示。該向量就是描述此特征點的描述子特征向量。圖4給出了三種圖像強度明顯不同的子區域的描述子屬性。其中，第一幅灰度均勻，所有強度結構的值都比較低；第二幅灰度在x方向上交替變化，則∑|dx|的值較大，其他值都比較小；第三幅灰度在x方向上逐漸加強，則∑|dx|和∑|dy|的值都較大，其他值比較小。可以看出，通過這種4維結構的描述向量能夠產生具有良好鑒別力的特征描述子。

圖3 特征描述子的生成Fig.3 Feature descriptor extraction

圖4 三種基本圖像子區域的特征描述子Fig.4 The descriptor entries of a sub-region of the underlying intensity pattern

1.3 特征點匹配

特征點的匹配是特征描述子之間相似度的度量[18]，本文通過最近鄰與次近鄰的比值來作為度量。計算兩個特征點描述子之間的歐式距離，找出與特征點描述子pi歐式距離最鄰近的特征點描述子pj和次鄰近的特征點描述子pk，pi與pj以及pi與pk兩組描述子之間的歐式距離分別為并計算它們的比值若比值r小于規定閾值則視為匹配成功，點（pi, pj）則為圖像中的一對匹配點，本文根據經驗值定義閾值為0.7。由于遙感圖像中包含大量相似的結構，分布在相似結構中的點有可能發生誤匹配，本文采用RANSAC（隨機抽樣一致性）算法對錯誤匹配的特征點進行剔除[19]，從而得到特征匹配點對。

2 試驗結果與分析

為驗證本文方法的有效性和可靠性，選取兩組數據進行測試分析，操作系統Windows XP，開發環境為MATLAB R2009a。第1組兩幅待匹配圖像采用我國首顆民用高分辨率立體測繪衛星“資源三號”[20]拍攝的迪拜棕櫚島遙感影像作為測試數據，并對其中一幅進行了旋轉，用以測試特征描述子的抗旋轉性能。第2組兩幅待匹配圖像采用自主研制的“資源一號”02C衛星相機拍攝的日本名古屋地區遙感影像作為測試數據，并在兩幅圖像中添加入了隨機椒鹽噪聲，用以測試特征描述子的抗噪聲性能。用本文提出的方法完成匹配并與經典SIFT算法的匹配性能進行比較，得到的遙感圖像特征匹配試驗結果見圖5和表1。

圖5 遙感圖像特征匹配Fig.5 Remote sensing image feature matching

表1 遙感圖像匹配試驗數據Tab.1 The matching results based on different methods

由以上兩組試驗結果可以看出，對于經過旋轉的第1組圖像，SIFT算法和本文算法的抗旋轉性能都很好，不同算法提取的特征均能達到較好的匹配效果，本文算法的匹配精度略優于SIFT算法。對于加入噪聲的第2組圖像，本文算法抗噪性能要明顯優于SIFT算法，SIFT算法出現了比較多的誤匹配，本文算法的所提取的特征具有更強的魯棒性；在匹配速度方面，本文算法的匹配耗時比SIFT算法少近1/2。可見本文算法在特征匹配的精度和速度上均優于SIFT算法。

在完成匹配的基礎上，進一步對圖像進行拼接試驗，圖6的拼接結果構造了一幅視覺可行的全景圖，顏色和結構都能在圖像間自然過渡。在拼接縫附近，兩幅圖像色調或紋理上沒有明顯的拼接縫，并且圖像之間的重疊區域沒有突變，過渡自然。

圖6 遙感圖像拼接結果Fig.6 Remote sensing image mosaic result

3 結束語

本文在研究了Harris-Laplace檢測以及SURF算法特征提取的基礎上，提出了將二者結合的方法應用到遙感圖像匹配拼接中。采用具有尺寸不變性的Harris-Laplace作為特征點，以SURF描述子進行特征構建，并利用RANSAC算法進行提純，該方法彌補了SURF特征點較少且損失了圖像高頻信息的不足。通過兩組試驗并與經典傳統算法進行比較，可以看出本文算法具有很好的抗旋轉性能和抗噪聲性能，在特征匹配的精度和速度上均優于SIFT算法，并且能夠達到良好的拼接水平。

References)

[1] 呂江安, 于晉, 陳琦. 基于SIFT特征的三線陣CCD影像立體匹配[J]. 航天返回與遙感, 2010, 31(2): 38-45. LYU Jiang’an, YU Jin, CHEN Qi. Stereo Matching of Three-line CCD Imagery Based on SIFT[J]. Spacecraft Recovery &Remote Sensing, 2010, 31(2): 38-45. (in Chinese)

[2] FOROOSH H. Extension of Phase Correlation to Subpixel Registration[J]. IEEE Transactions, 2002, 11(3): 188-200.

[3] SMITH S M, BRADY J M. SUSAN: A New Approach to Low Level Image Processing[J]. Journal of Vision, 1997, 23(1): 45-78.

[4] HARRIS C G, STENHENS M J. A Combined Corner and Edge Detector[C]//Proceedings of 4th Alvey Vision Conference Manchester: ICASSP, 1988: 147-152.

[5] 王崴, 唐一平. 一種改進的Harris角點提取算法[J]. 光學精密工程, 2008, 16(10): 1995-2000. WANG Wei, TANG Yiping. An Improved Algorithm for Harris Corner Detection[J]. Optics and Precision Engineering, 2008, 16(10): 1995-2000. (in Chinese)

[6] LOWE D G. Object Recognition from Local Scale-invariant Features[C]//Proceedings of 7th IEEE International Conference on Computer Vision. Corfu, Greece, 1999, 2: 1150-1157.

[7] BAY H, ESS A, TUYTELAARS T. SURF: Speeded Up Robust Features[J]. Computer Visio and Image Understanding, 2008, 110(3): 346-359.

[8] MIKOLAJCZYK K, SCHMID C. An Affine Invariant Interest Point Detector[C]//European Conference on Computer Vision, 2002, 2350: 128-142.

[9] LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[10] 李曉明, 鄭鏈, 胡占義. 基于SIFT特征的遙感影像自動配準[J]. 遙感學報, 2006, 10(6): 885-892. LI Xiaoming, ZHENG Lian, HU Zhanyi. SIFT Based on Automatic Registration of Remotely-sensed Imagery[J]. Journal of Remote Sensing, 2006, 10(6): 885-892. (in Chinese)

[11] YAN K, SUKTHANKAR R. PCA-SIFT: A more Distinctive Representation for Local Image Descriptors[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC: USAIEEE Computer Society, 2004: 511-517.

[12] TOWNSHENG J R G, JUSTIC C O, GUMEY C, et al. The Impact of Misregistration on Change Detection[J]. IEEE Trans on Geo-sciences and Remote Sensing, 1992, 30(5): 1054-1060.

[13] 陳藝蝦. 遙感圖像幾何定位精度評價方法研究[D]. 南京: 南京理工大學, 2013. CHEN Yixia. Research on Remote Sensing Image Geometric Positioning Accuracy Evaluation[D]. Nanjing: Nanjing University of Science and Technology, 2013. (in Chinese)

[14] LINDEBERG T. Scale-space Theory: a Basic Tool for Analysing Structures at Different Scales[J]. Journal of Applied Statistics, 1994, 21(2): 224-270.

[15] MIKOLAJCZYK K, SCHMID C. Indexing Based on Scale Invariant Interest Points[C]//Proceedings of the 8th International Conference on Computer Vision, 2001: 525-531.

[16] ZITOVA B, FLUSSER J. Image Registration Methods: A Survey[J]. Image and Vision Computing, 2003, 21(5): 977-1000.

[17] PRATT W K. Digital Image Processing[M]. 3rd ed. New York: Wiley Inter-science, 1991.

[18] 楊占龍. 基于特征點的圖像配準與拼接技術研究[D]. 西安: 西安電子科技大學機電工程學院, 2008. YANG Zhanlong. Research on Image Registration and Mosaic Based on Feature Point[D]. Xi’an: School of Electro-mechanical Engineering, Xidian University, 2008. (in Chinese)

[19] FISCHLER M A, BOLLES R C. Random Sample Consensus: a Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[20] 高衛軍, 孫立, 王長杰, 等. “資源三號”高分辨率立體測繪衛星三線陣相機設計與驗證[J]. 航天返回與遙感, 2012, 33(3): 25-34. GAO Weijun, SUN Li, WANG Changjie, et al. Design and Verification of Three-line Array Camera for ZY-3 High Resolution Stereo Mapping Satellite[J]. Spacecraft Recovery & Remote Sensing, 2012, 33(3): 25-34. (in Chinese)

Remote Sensing Image Matching and Mosaic Based on Harris-Laplace Combined with Scale-Invariant Algorithm

NIAN Hua SUN Li YU Yanbo
（Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China?）

In the area of remote sensing image application, two or more images are usually mosaiced as one image. According to remote sensing image matching, a method of image matching and mosaic based on Harris-Laplace combined with SURF algorithm is proposed in this paper. Firstly, feature points are detected by using Harris-Laplace in multiple scales, which has the capability of invariance to illumination changes, image noise and scale changes. Then, by calculating with SURF algorithm, the main directions of the feature points are determined and the feature descriptors are generated. Ratio method is used to get initial matching, and RANSAC algorithm is used to eliminate errors and achieve accurate matching, then the image mosaicing completed. The experiment results show that the method proposed has good anti-rotation and anti-noise performance, and improve the matching efficiency obviously compared with the classical SIFT algorithm. The method can be well applied in the remote sensing image processing and geometric positioning accuracy evaluation.

Harris-Laplace detection; scale-invariant; speed up robust features algorithm; feature extraction; remote sensing image matching

TP751.1

A

1009-8518(2016)06-0095-07

10.3969/j.issn.1009-8518.2016.06.011

年華，女，1982年生，2009年獲西北工業大學信號與信息處理專業碩士學位，工程師。主要從事光學遙感相機研制等工作。E-mail: joyfulnh@163.com。

（編輯：夏淑密）

2016-06-03