基于鄰域投票和Harris-SIFT特征的低空遙感影像匹配

胡小青，程朋根，2,陳曉勇，何海清，聶運菊

(1.東華理工大學 測繪工程學院,江西 南昌 330013；2.廣西空間信息與測繪重點實驗室,廣西 桂林 541004)

?

基于鄰域投票和Harris-SIFT特征的低空遙感影像匹配

胡小青1，程朋根1，2,陳曉勇1，何海清1，聶運菊1

(1.東華理工大學 測繪工程學院,江西 南昌 330013；2.廣西空間信息與測繪重點實驗室,廣西 桂林 541004)

影像匹配即通過一定的匹配算法在兩幅或多幅影像之間識別同名點的過程。現有的匹配方法[1]主要有特征匹配、灰度匹配以及相位匹配。就低空遙感影像的匹配而言，由于低空遙感平臺[2]的不穩定造成影像間重疊度不規則、比例尺不一致等問題，傳統基于灰度的匹配方法具有很大的局限性。 SIFT算子具有較好的抗尺度、抗旋轉和抗亮度變換能力，在圖像匹配領域有著廣泛的應用。但其提取的特征點僅是局部灰度極值點，并非視覺意義上的角點，且易受噪聲及細碎紋理的影響，在影像特征點分布均勻的情況下匹配率低且誤匹配率較高。Harris算子是另一種角點提取算子，其提取的角點分布均勻且定位精度高，但不具有尺度及亮度不變性。針對上述兩種算子的優缺點以及結合低空遙感影像的特點，本文提出一種基于近鄰域投票和Harris-SIFT特征的低空遙感影像匹配方法，從改進的特征點中提取和虛假匹配點的剔除兩個方面進行改進，以提高低空遙感影像的匹配效果。實驗結果表明本文算法在保證低空遙感匹配的精度的同時，明顯提高影像匹配的效率。

1算法總體思路

基于鄰域投票和Harris-SIFT特征的低空遙感影像匹配的算法框架如圖1所示。即通過以下4個步驟，完成兩幅圖像特征點的精確匹配。

圖1　低空影像匹配算法框架

1) Harris-SIFT 特征點檢測。采用非極大值抑制算法(NMS)分別檢測輸入圖像的SIFT特征，并用多尺度Harris角點特征部分篩選SIFT特征點，合并點集刪除重復點后得Harris-SIFT特征點集。

2) 不變特征描述。使用128維SIFT特征描述符對得到的特征點集進行描述。

3) 最近鄰域搜索算法初匹配。采用關鍵點特征向量的歐式距離作為兩幅影像中關鍵點的相似性判定度量。將最近鄰與次近鄰的距離比值小于閾值的點作為初始匹配點。

4) 鄰域投票剔除誤匹配點。檢查初始匹配點的鄰域，將局部主方向夾角并不是一致的匹配點剔除，得到最后的影像匹配結果。

2影像特征提取

2.1SIFT特征點檢測

SIFT 特征算子提取影像特征[3-5]，首先要生成尺度空間，即采用不同尺度的高斯函數進行濾波，生成金字塔分層結構，為了有效提取穩定的關鍵點，可使用高斯差分函數對影像進行卷積運算，以建立DOG金字塔影像。其中DOG算子的計算如下：

(1)

其中，高斯函數

(x,y)為像素坐標；σ則為高斯尺度因子。DOG函數中的極值點與尺度無關，SIFT算子基于這一特性，采用非極大值抑制算法初步定位特征點。由于DOG 極值檢測獲得的極值點的位置坐標均為整數,而實際特征點位置不一定位于整數坐標位置上，因此為了保證特征點的穩健性，消除DOG算子產生的邊緣響應，已獲得的極值還需要剔除對比度低和受邊緣效應影響的點，完成關鍵點的精確定位。

為了實現SIFT特征的旋轉不變性，需要利用關鍵點的局部影像特征(梯度)為每一個關鍵點指定一個主方向。計算高斯金字塔影像(x,y)處的梯度值及方向方法。

(2)

為確定關鍵點主方向，將關鍵點的鄰域像素梯度通過高斯加權考慮進來，并用梯度直方圖統計窗口內的梯度方向。在梯度直方圖中,找到最大值所對應的方向,該方向即為特征點的主方向。當存在另一個相當于主峰值 80%能量的峰值時,則將這個方向認為是該特征點的輔方向。至此，圖像的關鍵點檢測完畢，每個SIFT特征點都包含3個信息：位置、尺度和方向。

2.2多尺度Harris角點提取

SIFT算子提取的特征點僅是尺度空間內的灰度極值點，并非視覺意義上的角點，對比度不高，同時檢測出大量的特征點，不可避免的會產生冗余信息，這將直接影響影像匹配的精度與速度。因此，在許多具體的遙感影像應用方面需要對其進行篩選，提取更具代表性的特征點，降低對后續匹配運算速度和精度的影響。多尺度Harris[6-7]算子提取的角點不僅分布均勻、定位精度高，而且具有尺度不變性。

采用多尺度Harris特征提取算法對獲得的局部SIFT特征點進行篩選，即僅對不同組某一相同尺度的特征點進行篩選，與提取的SIFT特征點合并并刪除重復點后得到特征點集。此時，Harris算子的二階矩及CRF值見式(3)。

(3)

式中:gx,gy為x,y方向梯度；G(x,y,σ)為高斯函數；CRF為角點響應值，k為常數，經驗值為0.04~0.06。

為了提高算法檢測特征點的效率，本文提出改進的Harris-SIFT特征點檢測方法，其特征點提取的具體步驟如下：

1) 輸入圖像，通過不同尺度的高斯函數濾波，并進行圖像降采樣，得到圖像的高斯金字塔模型。

2) 高斯金字塔每組中相鄰上下兩層圖像相減，得到高斯差分金字塔模型。

3) 在差分高斯金字塔中尋找圖像空間和尺度空間的局部極值點,作為初始特征點。

4) 相同尺度的特征點歸為一個特征子集，取包含最多特征點的尺度作為多尺度Harris篩選的對象。

5) 將子集中的特征點像素坐標(x,y)和尺度因子σ代入式(3)，將CRF值大于給定閾值的點予以保留。合并未刪選的SIFT特征點集剔除重復點后得到新的特征點集。

6) 對生成的特征點確定主方向。

2.3不變特征描述

為保證 SIFT 特征向量具有旋轉不變性,首先,將坐標軸旋轉到關鍵點的主方向,確保旋轉不變性。然后計算以關鍵點為中心的 16×16 的窗口(關鍵點所在的行和列不取)內所有像素點的梯度模值和梯度方向，并對窗口內取樣點的梯度值進行高斯加權。將該鄰域分為4 × 4的子區域，并計算每個4×4的圖像小塊在8 個方向的梯度方向直方圖,繪制每個梯度方向的累加值，由此形成一個由 8 維的向量來表示的種子點。因此由4 × 4個種子點就可構成最佳的SIFT描述子，即最佳的SIFT描述子應具有4×4×8=128個特征向量。為了消除光照變化對特征向量的影響，需要對特征向量作標準化處理。針對線性的光照變化，將特征向量標準化為單位長度；針對非線性光照變化，先設置閾值，使單位特征向量的值不超過0.2，然后再將特征向量標準化為單位長度。

3影像匹配

3.1最近鄰粗匹配

由于使用128維的高維度對特征點進行描述，特征點描述符之間具有很大的差異性，因此在構造特征描述子之后，采用NN算法(最近鄰匹配算法)進行粗匹配。本文采用歐式距離為相似性度量，即首先找到待匹配點和最近鄰點的距離d1與待匹配點和次近鄰點的距離d2。若最近鄰與次近鄰之比小于閾值thresh，則認為該最近鄰點為待匹配點的候選匹配點。

3.2鄰域投票

由于圖像間存在各種幾何及光度變換、噪聲、量化誤差及圖像中可能存在相似的局部結構等多種因素的影響,基于歐式距離為相似性度量的特征匹配結果中可能存在錯誤的匹配,需要引入其他的約束對匹配的結果進行驗證。本文采用近鄰域投票[8-9]的方法剔除錯誤匹配點對得到精確的匹配點集。

基本思想：在正確匹配點的周圍一定存在更多的正確匹配結果；若不是正確的匹配結果，那么其鄰域內匹配點很少，甚至根本不存在匹配點。因此可以累計周圍的匹配點在局部主方向和距離上對該匹配點的貢獻。并判斷待匹配圖像與參考圖像的匹配點對距離相關度及局部夾角相關度是否在閾值范圍內，若在閾值范圍內的則為正確匹配點，否則放棄此點。同一幅圖像匹配點的距離及主方向差計算見式(4)。

(4)

式中：i,j為同一幅圖像任意的兩個匹配點，其中(xi,yi,θi)及(xj,yj,θj)則為任意的兩個匹配點的坐標及主方向。具體過程：

1) 首先通過最近鄰初匹配得到所有的匹配點數組match(i)，并統計匹配點總數為n。

2) 對待匹配圖像與參考圖像分別按照式(5)計算任意兩個匹配點的距離及主方向夾角差異，得到4個維數為n×b的矩陣。

本研究存在一定的局限性：(1)樣本數較少；(2)MRI檢查時早產兒日齡較大，不利于反映HIE患兒早期腦損傷；(3)早產兒HIE的診斷標準參考足月兒HIE的診斷指南，但是足月兒與早產兒腦結構存在一定的差異性，部分指標(如臍動脈血pH<7.0)也會受到早產的影響[25]。

3) 將待匹配圖像與參考圖像的距離及主方向夾角矩陣按行向量分別歸一化。

4) 計算左右兩幅圖像同一匹配點對的夾角內積及距離內積，以距離內積為例，如dot(img1(i,:),img2(i,:))

5) 判斷匹配點的內積值是否在給定閾值范圍內，滿足則證明為匹配點，否則放棄。距離及夾角閾值本文取為0.3。

4實驗與分析

本文采用由無人機遙感平臺獲取的兩組不同地區的低空遙感影像作為實驗數據，其中兩組影像分辨率均為2 m，第一組圖像分辨率為344×447像素；第二組圖像分辨率為390×327像素；像素相機型號是Canon EOS 5D Mark II，焦距一組為35 mm，另一組為50 mm。實驗環境為 CPU Intel Core T7100，主頻 1.80 GHz，內存 2 GB，操作系統Windows7，開發環境為 MATLAB R2013a。考慮到計算機內存的大小和效率問題，在構造尺度空間時本文通過對搜索窗口的降采樣來縮小匹配影像間的空間分辨率差異。實驗結果如圖2及圖3所示。

圖2　第一組圖像匹配結果

圖3　第二組圖像匹配結果

由兩組圖2和3(a)可以看到本文方法可以得到充足的匹配點，且取得較好的匹配結果。為了進一步驗證說明本文匹配方法的優點，采用兩組待匹配的低空遙感影像的匹配結果與經典的Harris-SIFT特征匹配算法進行對比實驗。經典的Harris-SIFT特征匹配是利用多尺度Harris對全部的SIFT特征點進行篩選，然后采用RANSAC算法[10]剔除虛假匹配點。本文算法是采用局部尺度篩選特征點，且基于鄰域投票剔除誤匹配，對比結果見表1。為了獲得一定數量的匹配點，本文將最近距離與次近鄰距離的比值閾值設為0.75，曲率比例系數r為15，匹配耗時為代碼運行3次的平均耗時(即取3次匹配耗時的平均值)，且檢測點耗時為左右兩幅影像檢測點耗時的平均值。

表1　本文方法與經典Harris-SIFT方法比較

5結束語

本文提出的基于鄰域投票和改進的Harris-SIFT特征的低空遙感影像匹配方法從特征點的提取及誤匹配點的剔除兩方面進行了改進，特征點提取階段得到了具有高對比度的特征點，誤匹配點剔除階段采用了基于鄰域匹配點的投票代替了傳統的迭代方法，最終使得匹配效率得到了提高。相對于基于Harris-SIFT的遙感影像匹配方法，本文提出的匹配方法能得到較好的匹配結果。但是，不管是Harris-SIFT方法還是本文的方法，對于影像出現陰影及植被覆蓋的情況，提取的特征點都很少甚至沒有特征點，且兩種方法提取的特征點都容易受仿射變化的影響。

參考文獻：

[1]R.A Lane and N A Thacker. Overview of Stereo Matching Research [J]. Imaging Science and Biomedical Engineering Division, Medical School University of Manchester, 1998.

[2]曾濤, 楊武年, 簡季. 無人機低空遙感影像處理在汶川地震地質災害信息快速勘測中的應用[J]. 測繪科學,2009,34(1)：64-65.

[3]David G. Lowe. Object recognition from local scale-invariant features [J]. International Conference on Computer Vision,1999,3(1):1150-1157.

[4] David G. Lowe. Distinctive Image Features from Scale-Invariant Keypoints [ J]. Internatioanl Journal of Computer Vision, 2004, 60(2):91-110.

[5]Lindeberg T. Scale-space theory. A basic tool for analysing structures at different scales. Journal of Applied statistics. 1994,21(2)：224-270.

[6]Mokhtarian F,Suomela R. Curvature Scale Space Based Image Corner Detection [C]. European Signal Processing Conference, Island of Rhodes, Greece,1998.

[7]Gueguen L, Pesaresi M. Multi Scale Harris Corner Detector Based on Differential Morphological Decomposition [J].Pattern Recognition Letters,2009,30(1):544-557.

[8]Roweis S T, Saul L K. Nonlinear Dimensionality Reduction by Locally Linear Embedding. Seience,2000, 290(5500):2323-2326.

[9]魏萊, 王守覺, 徐菲菲. 一種自適應鄰域選擇算法[J]. 模式識別與人工智能,2008,21(3): 406-409.

[10] Capel D P. An effective bail-out test for RANSAC consensus scoring[A]. In Clocksin W, Fitzgibbon A, Tort P.eds: Proceedings of Conference on British Machine Vision[C], Oxford, England: British Machine Visio association.2005:629-638.

[責任編輯：李銘娜]

摘要：文中提出一種基于鄰域投票和改進的Harris-SIFT特征的低空遙感影像匹配方法。首先用NMS算法提取多尺度的Harris-SIFT特征并對其進行方向描述，然后根據最近鄰與次近鄰特征點距離之比確定初始匹配點對，最后通過近鄰域選擇投票的方法剔除候選點中的虛假匹配點，進而實現低空遙感影像的配準。實驗表明該算法在獲得充足匹配點且保證匹配精度的同時，明顯提高影像匹配的效率。

關鍵詞：Harris-SIFT特征；鄰域選擇；特征匹配

A low-altitude remote sensing matching method based on neighborhood selection algorithm and Harris-SIFT featuresHU Xiaoqing1,CHENG Penggen1,2,CHEN Xiaoyong1,HE Haiqing1,NIE Yunju1

(1.School of Geomatics,East China Institute of Technology,Nanchang 330013,China；2.Guangxi Key Laboratory of Spatial Information and Geomatics,Guilin 541004,China)

Abstract：Based on the neighborhood selection algorithm and improved Harris-SIFT features,a method for low-altitude remote sensing matching is presented.Firstly,it extracts Harris-SIFT features using NMS algorithm and generates feature descriptors,then uses ratio method to get initial matching.Finally,it uses neighborhood selection algorithm to eliminate errors and achieves accurate matching.Experiments show the algorithm can get adequate matching points,ensure accuracy and improve the matching efficiency.

Key words：Harris-SIFT features；neighborhood selection algorithm；feature matching

通訊作者：程朋根(1964-)，男，博士，教授.

作者簡介：胡小青(1987-)，女，碩士研究生.

基金項目：國家自然科學基金資助項目(41161069)；廣西空間信息與測繪重點實驗室資助課題(13-051-14-18，11-031-08-26)

收稿日期：2014-10-22;修回日期：2015-03-05

中圖分類號：P237

文獻標識碼：A

文章編號：1006-7949(2016)02-0033-05