改進的SURF彩色遙感圖像配準算法

李少毅，王曉田，楊 開

(西北工業大學 航天學院，西安 710072)

改進的SURF彩色遙感圖像配準算法

李少毅，王曉田，楊 開

(西北工業大學 航天學院，西安 710072)

為了進一步提高彩色遙感圖像的配準精度，針對遙感圖像配準過程中色彩信息利用率低以及誤匹配率高的問題，提出一種改進的SURF(Speeded Up Robust Feature)彩色遙感圖像配準算法;該算法首先在對彩色遙感圖像進行特征點檢測基礎上，對特征點描述算子進行改進，以使顏色空間變換后得到的特征點色彩信息添加到原描述算子中,并對特征點描述算子進行歸一化處理，以增加算子的獨特性和對旋轉、尺度、光照的魯棒性；其次，結合單向匹配和雙向匹配的比值，提出了一種最優化閾值選擇準則，如果歐氏距離比率小于最優化閾值，完成特征點匹配，得到正確匹配點對，再通過變換矩陣得到配準圖像;實驗結果表明，在保證實時性的條件下，該算法相比于原SURF算法，準確性和穩定性都有一定提高，具有一定的理論和應用價值。

圖像配準；改進描述符；最優閾值

0 引言

隨著對遙感數據需求的急劇增加，與之密切相關的遙感圖像配準技術也逐漸成為研究的熱點，并已被廣泛應用于遙感圖像處理、目標識別、醫學影像分析、機器視覺、以及三維重建等諸多學科和領域[1]。

目前，圖像配準算法分為兩類：基于區域灰度的配準方法和基于特征的配準方法。基于區域灰度的配準方法計算復雜，對圖像平移、旋轉、仿射變換都比較敏感，而基于特征的配準方法有效克服了以上缺點，尤其點特征在配準實時性和精確性方面具有明顯優勢，成為研究的熱點。近幾十年來，研究者們在基于特征點圖像配準研究中取得了巨大突破，相繼提出了Moravec算法[2]、Harris算法[3]、SUSAN算法[4]和SIFT(scale invariant feature transform)算法[5-6]。SIFT算法不僅對于旋轉、平移、縮放等變換具有不變性，對于仿射變換模型也具有很強的魯棒性，而且可以在多尺度空間進行特征點檢測，可以消除尺度變化對配準的影響，同時光照對其影響也較小，在配準實時性和精確性方面明顯優于其他算法[6]。2006年，在SIFT算法研究的基礎上，Bay[7]等人引入了積分圖像[8](Integral Image)和盒子濾波[9](Box Filters)的概念，提出了SURF(speed up robust features)算法，該算法的主要優點是保持了SIFT高魯棒性的同時，使得配準時間在很大程度上得到優化，它實際上是SIFT的加速版。然而，基于特征點的配準算法對于彩色圖像的配準大部分是將彩色圖像變換成灰度圖像，僅利用圖像的亮度信息進行配準，沒有充分利用圖像的色彩信息。文獻[10]提出了將RGB分量的強度歸一化后再用SURF算法來處理彩色圖像，此算法具有部分幾何不變性，但描述色彩不變特征時仍有局限性。文獻[11]提出了一種基于顏色不變量的SURF配準算法，此算法充分利用了圖像的顏色信息，但算法耗時較長，實時性差，沒有考慮特征點自身的色彩信息。

本文針對遙感圖像配準過程中色彩信息利用率低以及誤匹配率高的問題，提出一種改進的SURF彩色遙感圖像配準算法，克服了原SURF算法特征點少和沒有充分利用色彩信息的問題，在保證實時性的條件下，準確性和穩定性得到了一定的提高。

1 經典SURF算法原理

SURF算法包括特征點檢測、特征點描述和特征點匹配三部分。

特征點檢測是SURF算法的基礎，特征點檢測是在尺度空間金子塔的基礎上，對DoH(determinant of hessian)進行簡化和近似，并利用積分圖像快速提取圖像中的特征點的過程。

DoH特征點檢測原理如下：設X=(x,y)為圖像I(x,y)中的某一點，它在尺度σ上的Hessian矩陣定義為：

(1)

(2)

為了降低特征點提取過程的復雜度，提高實時性，采用盒子濾波和積分圖像的概念，對Lxx(X,σ)、Lxy(X,σ)和Lyy(X,σ)進行簡化和加速。盒子濾波近似地代替高斯二階微分，用Dxx(X,σ)、Dyy(X,σ)、Dxy(X,σ)簡化模板分別代替x方向、y方向和xy方向的高斯二階微分濾波結果。下面給出對于σ=1.2高斯二階微分濾波對應的大小為9*9的xy方向盒子濾波，如圖1所示。

圖1 盒子濾波簡化xy方向濾波示意圖

Hessian矩陣的行列式：

(3)

特征點由尺度空間金字塔中局部極值點組成，具有尺度不變性。

特征點描述是利用特征點周圍鄰域的梯度方向分布特性，為每個特征點指定方向參數，從而使描述子對圖像具有旋轉不變性。

像素點的梯度分布特性和描述向量構造通過進行Haar小波響應計算，Haar小波響應示意如圖2所示。

圖2 Haar小波響應和Haar小波模板

選定特征點主方向后，沿主方向將特征點周邊矩形區域劃分4*4=16個子塊，利用Haar模板進行響應值計算，得到沿主方向的dy和垂直于主方向的dx，對每個子塊的響應值進行統計，得到對每個子塊的矢量：

(4)

如圖3所示，描述符向量由特征點周圍所有子塊的向量構成，特征描述符向量長度便為4*4*4=64維，生成的描述符向量記為：

(5)

其中:Vi(i=1,2,3,...,15,16)表示16個子塊所對應的描述向量。

圖3 特征描述符的構造

特征點匹配過程是在兩個特征點集中按照某種相似性度量準則搜索相互距離最近的特征點的過程。本文所使用的相似性度量準則為最近歐氏距離與次近歐氏距離比值的度量準則。

對于目標集中每一個特征點，在基準集中查詢得到它的最近鄰disnt和次近鄰dissnt，若滿足：

(6)

則保留這個特征點與其最近鄰構成的匹配點對，否則剔除這個匹配點對。公式中的T是判斷閾值，一般在0.4-0.8之間取值，多數算法中選擇0.8。

最后采用隨機抽樣一致性算法(RandomSampleConsensus,RANSAC)提純匹配點對，求取滿足最小二乘意義下誤差最小的變換矩陣，得到精確的圖像變換模型，實現配準。

2 SURF算法的改進

SURF算法在對特征點進行描述時，僅利用特征點周圍鄰域的灰度信息進行描述，忽略了它自身色彩信息，為提高配準精度，需將色彩信息加入描述向量，以提高特征點差異性。

2.1 特征點描述向量的改進

特征點自身色彩信息根據顏色空間不同參數值也不相同。顏色空間中最為經典的顏色模型即為RGB模型。彩色遙感圖像一般被分成R、G、B的成分并加以保存的。然而，在自然環境下獲取的一些彩色遙感圖像對亮度比較敏感，即RGB顏色空間的分量與亮度密切相關。即只要亮度改變，3個分量都會隨之相應地改變。所以，RGB顏色空間適合于顯示系統，卻并不適合于圖像處理。如果用它來表述特征點色彩信息，亮度差異造成配準誤差較大。

HSV模型屬極坐標空間定義的顏色模型，是以近似于人心理上能感知的特性作維數形成的空間，如色度、飽和度、亮度。該模型可以適應光照強度不斷變化的場合，因此能夠有效地用于彩色圖像處理。

RGB顏色空間轉換到HSV顏色空間的變換為：

(7)

下面對改進具體過程進行介紹，坐標為(x,y)特征點，其在RGB顏色空間表示為R(x,y)、G(x,y)、B(x,y)，將其進行顏色空間轉換，轉換到HSV顏色空間為H(x,y)、S(x,y)、V(x,y)。

將其增加到原始算法描述符中，得到新的彩色描述符如下：

(8)

為使表述更加清晰，將(4)式進行簡單變換:

(9)

隨后對公式(8)式進行重新定義如下：

(10)

為了對旋轉、尺度、光照有更好的魯棒性。需對得到的改進描述向量進行歸一化處理：

(11)

(12)

從公式(11)中可以看到，特征點自身的彩色信息被加載進來，構成了67維的描述向量，和原來的算法相比，時間上沒有太大變化，但性能上因為考慮色彩信息，差異性增加，使得精度會進一步提升。

2.2 特征點匹配閾值的優化

考慮到現實生活中處理的圖像種類繁多，不盡相同，因此對閾值T的需求也會有所差別，閾值設置為固定值便會顯得不太合理，沒有普遍的實用性，因此這里我們提出一種最優化閾值選擇準則，使其對不同種類圖像都有一定通用性。在保證特征點對足夠多的基礎上，錯誤匹配點對最大程度上被壓制，從而提高配準精度。

大量學者采用最近鄰/次近鄰方法匹配，可以得到單向匹配特征點對，但會導致多對一的匹配，隨著特征點數量的增加，誤匹配率也增加。

雙向匹配可以很好的剔除誤匹配點對，主要思想是基于最近鄰/次近鄰匹配的基礎上，從圖像image1到圖像image2對特征點進行遍歷搜索匹配，然后從圖像image2到圖像image1進行遍歷搜索匹配，將檢測結果一致點對保留下來，否則，將其刪除，從而實現特征點一對一的匹配。

本文將雙向匹配點對/單向匹配點對比值作為最優化閾值選擇的準則，在判斷閾值T(0.4～0.8)選定時，單向匹配點對足夠多，雙向匹配檢測到的誤匹配點對足夠少時，選定的閾值即為最優閾值，具體步驟如下：

首先，結合判斷閾值T選取范圍確定搜索區間為0.4～0.8，根據實驗經驗，實際中公差選為0.02效果最佳。

然后，對于任意選定的閾值T0=0.4+0.02*k(k=1,2,...20),計算雙向匹配點對數N與單向匹配點對數M的比值。

最后根據雙向匹配點對數M與單向匹配點對數N的比值，最大值對應的T0即為最優閾值，記作：Toptimal=T0，由此，就得到最優閾值。

2.3 基于改進SURF算法的遙感圖像配準

改進算法流程圖如圖4所示：

實現步驟如下：

1)利用Hession矩陣的行列式對參考圖像和待配準圖像進行特征點檢測，同時對于所找到的特征點進行描述，形成64維描述向量；

2)特征點自身色彩信息加入描述向量中，利用顏色空間變換將特征點R、G、B分量值轉換成H、S、V分量，構成67維包含色彩信息的描述向量，增加差異性；

3)對特征點描述向量歸一化，增加魯棒性；

4)利用單向匹配點對和雙向匹配點對的比值，作為最優化閾值選擇的準則，在保證特征點對足夠多的基礎上，最大程度上壓制錯誤匹配點對，從而提高配準精度。結合最近鄰與次近鄰比值小于最優閾值的度量準則實現特征點匹配；

5)RANSAC算法提純匹配點對，求取變換矩陣，實現配準。

圖4 改進SURF算法流程圖

3 仿真分析與比較

為了證明算法的可行性及其性能，本文用彩色遙感圖像對其進行仿真驗證。試驗中仿真平臺的硬件環境為：AMDA8-4500MAPUwithRadeon(tm)HDGraphics，2.00GHz，4.0GB內存的PC機；軟件開發工具為：Windows7操作系統，MATLAB2013a。

實驗參數特征點檢測階段尺度空間構建為5組，高斯模板為0.33。

3.1 實驗及結果

如圖5所示的兩幅遙感圖像，image1和image2分別被稱為待配準圖像和參考圖像，使用SURF算法和本文改進SURF算法對彩色遙感圖像進行匹配。

圖5 彩色遙感圖像配準圖

客觀上用提取特征點數量，正確匹配點對與正確率，以及時間3個指標進行評價。如表1、表2所示分別給出了特征點對比分析表以及時間評價表，可以看出本文改進方法在待配準和參考圖像提取特征點數量分別為383個和307個，匹配點對38對，正確率高達96%，明顯優于SURF算法；時間上有一定增加，但是相對于精度上的提高，是值得的。所以綜合上述兩個方面進行評價分析可知，本文改進算法整體上提高了配準圖像質量[13-14]。

表1 特征點對比分析表

表2 時間評價表

3.2 仿射變換驗證精度

彩色遙感圖像image1和image2之間幾何變換關系固定，可以很容易的得到理論值變換矩陣Hture。利用改進SURF彩色遙感圖像配準算法代碼與SURF原作者推薦的代碼，按照默認參數進行配準，求取待配準圖像相對于參考圖像的仿射變換矩陣Himprove和Hsurf，并與實際真實值進行對比，與真實值越接近，仿射矩陣求取精度越高，仿射變換中參數m7、m8和m9默認為0、0和1。由于該算法當中涉及隨機數選取過程，只用一次仿真結果無法準確反映實驗結果，這里對這兩幅無人機遙感圖像進行十次仿真實現，取各參數平均值，十次仿真實驗參數取平均值后具體數據如表3所示。

從以上數據可以看出，按照原作者提出算法對彩色遙感圖像配準求取出的仿射變換矩陣，6個參數與真實數據都有一定的偏差，偏差較大，最大偏差0.433 0。本文改進SURF圖像配準方法求取出的仿射變換矩陣，6個參數與真實數據都非常接近，最大的偏差只有0.120 4，精度明顯高于原作者提出的

表3 仿射變換矩陣參數

算法。不失一般性，隨后選取八對無人機遙感圖像分別進行試驗，得出相同的結果，原作者提出的算法其最大偏差平均值為0.218高于改進的最大偏差平均值0.134，六參數接近程度改進算法明顯優于原作者提出的算法，可見對于彩色遙感圖像進行配準，改進算法很大程度上使得配準精度得到提升。

3.3 歸一化互相關測度驗證精度

歸一化互相關算法通過比較兩幅圖像之間的歸一化互相關來判斷配準結果優劣[12]。首先將待配準圖像仿射變換到參考圖像坐標系，這時就滿足歸一化互相關條件，適合于具有平移和小角度旋轉關系的圖像配準，從該圖像中截取一部分作為模板求取它與參考圖像的相關程度，以此作為判斷配準精度的準則。

由圖6我們可以發現歸一化互相關可以實現最終配準，但是從配準的效果圖我們可以很方便的判斷改進的配準效果明顯優于原作者的算法，原算法在兩幅圖疊放邊緣明顯存在錯位。而且根據歸一化公式[12]我們可以很方便的求取原SURF算法和改進SURF算法歸一化互相關峰值分別為0.816 3和0.960 3，這里的歸一化互相關數值越大，精度便越高，所以改進SURF算法配準效果明顯優于原算法。

圖6 彩色遙感圖像歸一化互相關評價

4 結束語

本文提出了一種魯棒的SURF彩色遙感圖像配準算法，在特征點描述階段通過彩色空間變換充分利用彩色遙感圖像的色彩信息，增加特征點描述符的獨特性和對旋轉、尺度、光照魯棒性；在特征點匹配階段，結合單向匹配和雙向匹配的比值，提出了一種最優化閾值選擇準則，提高匹配精度。實驗結果表明，該算法在保證算法實時性基礎上，彩色遙感圖像配準準確性和穩定性都有一定提高。對于多源遙感圖像配準問題和紅外制導導彈末制導配準問題是下一步研究的方向。

[1] 溫紅艷. 遙感圖像拼接算法研究[D]. 武漢: 華中科技大學, 2009.

[2] Thangavel P K, Kokila R. An extension of FFT based image registration[J]. Advances in Intelligent Systems and Computing, 2013, 177(2): 729-737.

[3] Harris C G, Stephen M. A Combined Corner and Edge Detector[A]. Proceedings of the Fourth Alvey Vision Conference[C].1988: 8-12.

[4] Smith S M, Brady J M. SUSAN: A new approach to low level image processing[J]. International Journal of Computer Vision, 1997, 23(1): 45-78.

[5] Linderberg T. Feature detection with automatic scale selection[J]. International Journal of Computer Vision, 1998, 30(2):79-116.

[6] Lowe D G. Object recognition from local scale-invariant features[A]. Proceedings of International Conference on Computer Vision[C]. 1999: 1150-1157.

[7] Bay H, Essa A, Tuytel A T. Speeded-up Robust Features(SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[8] Simard P, Bottou L, Haffner P. Boxlets: a fast convolution algorithm for signal processing and neural networks[C]. Proceedings of the 1998 Conference on Advances in Neural Information Processing Systems, 1999:571-577.

[9] Viola P, Jones M. Rapid object detection using a boosted cascade of simple features[C]. Conference on Computer Vision and Pattern Recognition, 2001: 511-518.

[10] Lowe D G. Distinctive image features from scale-invariant key points[J]. International Journal of Computer Vision, 2004, 60(3): 91-110.

[11] Fan Peng, Men A D, Chen M Y, el al. Color-surf: a surf descriptor with local kernel color histograms[A]. IEEE Computer Vision and Patter Recognition[C]. 1999, (2): 726-730.

[12] Pan W H, Wei S D, Lai S H. Efficient NCC-based image matching based on novel hierarchical bounds[J]. Lecture Notes in Computer Science, 2008(468):807-815.

[13] 張 永, 武玉建. 一種改進的SIFT圖像特征匹配算法[J]. 計算機工程與應用, 2014, 50(9): 167-170.

[14] 張永梅， 張晨希，巴德凱. 改進SIFT變換與客觀評價結合的圖像配準算法[J]. 計算機測量與控制, 2015, 23(6): 2090-2093.

An Improved Surf algorithm for Color Remote Sensing Image Registration

Li Shaoyi，Wang Xiaotian，Yang Kai

(College of Astronautics, Northwestern Polytechnical University, Xi’an 710072, China)

To further improve the registration precision of color remote sensing image, an improved SURF registration algorithm is put forward aiming at solving the problem of low utilization rate of color information and high share of wrong matching pairs. Firstly, a modified descriptor is constructed adding in color information to increase the descriptor’s distinctiveness and robustness. Secondly, combined with the ratio of one-way matching and two-way matching, an optimal threshold method is put forward to increase the accuracy. If the Euclidean distance ratio is less than the optimal threshold, the correct matching points could be acquired. And the registered image was obtained based on transformation matrix. Experimental results show, compared with the original SURF algorithm, that the improved algorithm has certain improvement in terms of accuracy and stability while guaranteeing the real time. It has certain values in both theory and practice.

image registration; modified descriptor; optimal threshold

2016-10-30；

2016-12-05。

上海航天科技創新基金(SAST2016073)。

李少毅(1986-)，男，陜西西安人，博士后，主要從事圖像處理與目標識別方向的研究。

1671-4598(2017)01-0209-04

10.16526/j.cnki.11-4762/tp.2017.01.058

E926.3

A