一種復雜場景下景物圖像的匹配算法*

梁　棟（上海海事大學　信息工程學院，上海　201312）

一種復雜場景下景物圖像的匹配算法*

梁棟
（上海海事大學信息工程學院，上海201312）

針對同一傳感器從不同視角拍攝圖像的匹配，提出一種Harris-SIFT算法。首先對圖像進行多尺度的預處理，使用動態閾值的Harris算子提取特征點，隨后生成128維的SIFT特征向量并對特征向量進行相似度檢測，最后建立匹配對應關系，實現特征向量的一一匹配。實驗結果表明，該算法可有效適用于復雜場景下景物圖像的匹配。

Harris算子；SIFT算子；動態閾值；相似度檢測

0　引言

圖像匹配是將不同時間、不同傳感器（成像設備）或不同拍攝條件下獲取的兩幅圖像進行配準的過程，目前已經被廣泛地應用于遙感數據分析、計算機視覺、圖像處理等領域［1］。全景圖像的匹配研究是計算機視覺和圖像處理領域的重要組成，是一種較好的在復雜場景中匹配景物的方法，把人工繪制交通規劃圖和計算工程預算轉變為機器勞動，既提高了運算精度還減少了運算時間。

通常圖像的匹配方法［2］主要有基于圖像灰度相關的匹配、基于變換域的匹配、基于特征的圖像匹配。目前最常見的匹配方法是基于特征的圖像匹配，它首先尋找出適合用于匹配的圖像特征，如顏色、紋理、邊緣、輪廓、特征點以及幾何中心等，然后對找到的特征進行映射配準。HARRIS C等人［3］提出了一種通過檢測角點來實現圖像匹配的方法，利用了圖像的自相關函數抗干擾能力強的特點，實驗結果表明其對旋轉、平移之后圖像的匹配具有較高的精確度。參考文獻［4］介紹了一種新的特征計算方法，無需設置特定閾值并減少了因經驗值K固定導致重要特征點丟失的問題。LOWE D G首先提出了SIFT，隨后對SIFT算法［5］進行完善，該算法具有旋轉、平移和尺度不變性，是目前圖像拼接領域應用較廣泛的一種算法。在SFIT基礎上改進的算法有很多，比較著名的有SURF、PCA-SIFT、C-SIFT等。

復雜場景下的景物圖像匹配要求算法的實時性好，精確度高，本文結合Harris算子和SIFT算子的優點，提出了一種適用于復雜場景下景物圖像匹配的Harris-SIFT算法。

1　算法原理

1.1Harris角點檢測算子

Harris算子采用自相關函數運算檢測角點［6］，利用一階偏導描述亮度變化和微分算子反映像素點在任意方向的灰度變化，能有效區分角點和邊緣，有較好的旋轉不變性和魯棒性。

經典Harris算子計算特征點的響應函數可以表示為：

其中，K為經驗值，0.04≤K≤0.06；Det（M）和Trace（M）分別為2階實對稱矩陣M的行列式和跡。設fx、fy分別為圖像x、y方向的梯度值，λ1和λ2是矩陣M的特征值，則有：

設定固定閾值T，當R＞T時，可確定R為檢測到的特征點。經典Harris算法［7］速度快，穩定性高，且具有良好的旋轉不變性和平移不變性，但是Harris不具備尺度不變性，無法適用于復雜場景下景物圖像的高精度匹配。結合景物圖像實時性高的特征點，算子可以使用動態閾值K，提高實時性。

1.2SIFT匹配算法

尺度不變特征轉化（Scale Invariant Feature Transform，SIFT）算法提取圖像的局部特征進行匹配運算，具有良好的旋轉不變性和尺度縮放不變性［8］。

SIFT算法是建立在尺度空間理論基礎上的。尺度空間就是在圖像信息處理模型中引入一個被視為尺度的參數，通過連續變化尺度參數獲得多尺度下的尺度空間表示序列，對這些序列進行尺度空間主輪廓的提取，并以該主輪廓作為一種特征向量，實現邊緣、角點檢測和不同分辨率上的特征提取等。而尺度空間算子對圖像的分析與圖像的位置、大小、角度以及仿射變換無關，即滿足平移不變性、尺度不變性、歐幾里德不變性以及仿射不變性。尺度空間在實現時使用高斯金字塔表示。高斯金字塔的構建分為兩部分：（1）對圖像做不同尺度的高斯模糊；（2）對圖像做降采樣（隔點采樣）。

SIFT算法的金字塔模型是指將原始圖像不斷降階采樣，得到一系列大小不一的圖像，由大到小，從下到上構成的塔狀模型。原圖像為金子塔的第一層，每次降采樣所得到的新圖像為金字塔的一層（每層一張圖像），每個金字塔共n層。金字塔的層數根據圖像的原始大小和塔頂圖像的大小共同決定，其計算公式如下：

其中，M、N為原圖像的大小，t為塔頂圖像的最小維數的對數值。對于大小為512×512的圖像，金字塔上各層圖像的大小如圖1所示，當塔頂圖像為4×4時，n=7；當塔頂圖像為2×2時，n=8。

但SIFT算法匹配復場景下景物圖像時，檢測到的特征點太多，特征信息不豐富，且特征點的冗余度高。此外由于每個SIFT特征都是128維的特征向量，而且算法中包含大量的高斯卷積過程，因此運算量十分巨大，匹配的時間較長。SIFT是計算兩幅圖像之間特征點的相似度來進行匹配的，為進一步提高匹配精度，可以對單幅圖像尋找到的全部特征點進行相似度檢測，減少算法冗余度，提高匹配精度。

圖1　高斯金字塔示意圖

SIFT算法的特點有：（1）旋轉、尺度縮放、亮度變化保持不變性；（2）特征點數量信息量豐富，適用于在海量特征數據庫中進行快速、準確的匹配；（3）多量性，即使少數的幾個物體也可以產生大量的SIFT特征向量；（4）可擴展性，可以很方便地與其他形式的特征向量進行聯合。

2　Harris-SIFT算法

由于景物圖像的信息源場景復雜，且特征點相似度較高，本文使用結合了Harris和SIFT優點的Harris-SIFT算法，并在一些具體步驟上使用了新的方法。算法功能如圖2所示。

圖2　算法功能圖

（1）預處理

在匹配前先對兩幅圖像進行預處理［9］，采用Retinex算法對圖像進行增強處理，預減少灰度、對比度、光照強度對兩幅圖像的配準精確度的影響。算法共由以下4部分組成。

①將輸入的圖像I（x，y）分離成R（x，y）、G（x，y）、B（x，y）3幅圖像；

②確定高斯環境函數，選取3個不同的標準偏差σ值為：5、80、250，并根據式（4）和式（5）計算出K；

③在3個尺度下，分別對R（x，y）、G（x，y）、B（x，y）進行SSR處理，并利用式（6）對結果進行加權處理后得到（x，y）、（x，y）、（x，y）；

（2）Harris特征點定位

選取Harris算子檢測特征點，并針對景物圖像實時性較高的特點，采用一種新的Harris特征點計算式（8）。設圖像的旋轉角度為Δ，1、2為任選的兩組向量，（，）為圖像的質心。

（3）生成特征向量

隨后對Harris算子生成的特征點使用SIFT算法尋找主方向：

其中，L是特征點本身所在空間的尺度函數。對特征點進行采樣，并用直方圖統計其在尺度空間上的方向特性，隨后對統計得到的直方圖進行低通濾波處理，選取處理過后的直方圖的主方向作為特征點的主方向。

確定特征點的主方向之后，需要計算特征向量對特征不變性進行描述。給特征點每個方向的直方圖分配8個方向，以關鍵點為中心取4×4的窗口，然后在每4×4個子區域上計算8個方向的梯度方向直方圖，并對4×4個子區域的8個方向的梯度直方圖根據位置依次排序，這樣就構成了一個4×4×8=128維的特征向量，即為SIFT特征向量。

由于復雜場景下建筑圖像的特征點信息量相似度較高，為了減少誤匹配，對SIFT特征向量進行了相似度檢測：

分別對兩幅圖像的特征向量進行斯皮爾曼相關系數的計算，當ρ→1時，表明兩個特征點十分相似，舍掉一個，剩余的特征向量用于匹配。

（4）建立特征匹配關系

特征匹配是對提取到的特征向量間建立起一定的對應關系，利用歐式距離的最小值作為匹配成功的依據。過程由兩步實現：①先使用BBF法在兩幅圖像的所有特征向量中尋找與該特征向量最近鄰和次近鄰的兩個點，并判斷該特征向量的最近鄰和次近鄰距離的比值T是否小于閾值K。若T＜K，那么這兩點為正確匹配；若T＞K，則不是正確匹配。②使用隨機采樣法來提純已經匹配好的特征點，剔除錯誤的匹配。

3　實驗結果分析

在Core I5處理器，4GB內存的PC上，使用MATLAB 2010進行仿真，并對實驗結果進行比較和分析。

圖3～圖5分別使用三種方法提取特征點，SIFT算子提取到的特征點數量過多，且特征信息不顯著的點較多。而Harris算子提取的特征點數量適中，特征點信息豐富，但丟失了一些重要的特征點。表1對比了3種方法提取特征點的性能。經典Harris算子提取特征點數量要小于SIFT，運算時間也較快。而本文算法提取的特征點數量多于經典Harris算子、少于SIFT，此外本文算法檢測到的特征點分布比經典Harris均勻，重要特征點的數量也更多；從運算時間分析，本文算法也略快于經典Harris算子。

圖3　SIFT算法

圖4　Harris算子

圖5　本文算法

表1　特征點提取對比實驗

圖6和圖7是分別使用SIFT算法和本文算法對兩組圖像進行匹配的實驗結果。對比兩幅圖像，本文算法尋找到的匹配處的特征點包含的信息量豐富，匹配分布均勻。而SIFT算子尋找到的匹配處的很多特征點包含的信息量很少且位置相對集中。表2比較了兩種算法的性能，本文算法的匹配成功對數多于SIFT算子，匹配正確率較高，運行速度較快，且特征點的數量越多，本文算法的速度優勢越大。

An algorithm applying for matching the scenes under complex scenes

Liang Dong
（College of Information Engineering，Shanghai Maritime University，Shanghai 201312，China）

This paper proposes a Harris-SIFT algorithm for matching images which is taken from different perspectives about the same sensor.Firstly，the image is pretreated.Secondly，using Harris of dynamic threshold to operator extracts feature points，and then generating SIFT feature vector 128-dimensional vector with a similarity detection.Finally，the feature vectors achieve a match in correspondence relation.Experimental results show that the algorithm can be effectively applied to the imaging matching of the scene in complex scenes.

Harris algorithm；SIFT algorithm；variable threshold；similarity detection

TP751.1

A

1674-7720（2015）10-0048-03

國家自然科學基金項目（61404083）