Gabor二進制編碼異源圖像匹配方法*

涂國勇，李壯，周韶斌，李偉建，于友合(.中國酒泉衛星發射中心，甘肅酒泉72750；2.國防科技大學航天科學與工程學院，湖南長沙4007；.中國人民解放軍9626部隊，湖南懷化48000)

Gabor二進制編碼異源圖像匹配方法*

涂國勇1，2，李壯1，2，周韶斌1，李偉建1，于友合3(1.中國酒泉衛星發射中心，甘肅酒泉732750；
2.國防科技大學航天科學與工程學院，湖南長沙410073；3.中國人民解放軍96326部隊，湖南懷化418000)

異源圖像匹配是圖像處理領域尚未解決的問題。其中，合成孔徑雷達圖像與光學圖像差異較大，用現有方法匹配通常難以得到滿意結果。針對這個問題，提出一種基于Gabor編碼的異源圖像匹配方法:選取一組Gabor濾波器，分別對大圖和小圖進行Gabor卷積；采用池化方法對卷積結果進行壓縮表示；對池化結果二值化并轉換為二進制表示得到Gabor二進制編碼特征；采用二進制位操作計算實時圖與基準圖對應窗口特征的相似性，相似性最大值對應圖像匹配結果。本方法采用二進制對圖像進行描述，減少了計算量，同時也更好地描述了異源圖像間的共性特征。實驗結果表明，本方法具有較高的匹配概率，計算時間少于現有方法。

圖像匹配；異源圖像；Gabor濾波器；二進制編碼；特征池化

由不同類型傳感器獲得的圖像被稱為異源圖像。由于不同傳感器間的成像特性存在差別，同一場景在異源圖像上可能呈現完全不同的圖像，因此傳統的同源圖像匹配方法一般無法直接應用于異源圖像。

現有的異源圖像匹配方法可以分為兩類:基于特征的方法和基于區域的方法。基于特征的方法包括:利用邊緣特征的匹配方法［1］、利用輪廓特征的匹配方法［2］、利用人造景物特征的匹配方法［3］、綜合邊緣特征與點特征的匹配方法［4］等。此類方法要求異源圖像中能夠檢測到一致的特征，因此通常只適用于圖像之間差異較小的情況。當異源圖像差異較大時，如合成孔徑雷達(Synthetic Aperture Radar，SAR)圖像與光學圖像，很難提取到一致特征，從而難以采用基于特征的方法進行匹配。

基于區域的方法將整幅圖像的灰度信息或者基于灰度的區域描述進行匹配。常用的基于區域的異源圖像匹配方法有互信息［5］、相位一致性［6］、梯度場相關［7］、隱含相似性［8］、子區一致性［9］、色調映射［10］等。其中，互信息及其各種改進算法在異源圖像匹配中使用得最為廣泛。互信息是兩個隨機變量統計相關性的測度。當兩幀具有共同物理結構的圖像達到最佳匹配時，對應窗口內的互信息應為最大值。由于互信息方法不需要對不同成像模式下圖像灰度級間的關系作任何假設，也不需要對圖像進行分割或任何預處理，因此特別適合用于異源圖像的匹配［11］。然而，盡管互信息對于紅外圖像和可見光圖像匹配效果很好，但其對SAR圖像與可見光圖像的匹配效果卻不甚理想。另外，互信息方法需要對每個搜索窗口計算聯合熵，其計算量很大，處理時間較長。

本文提出基于Gabor二進制編碼的異源圖像匹配方法。方法通過Gabor卷積、池化、二值化、二進制表示等操作提取異源圖像的共性特征，通過二進制位操作對圖像特征進行快速匹配。與已有方法相比，其具有更高的匹配概率和更少的計算時間。

1 異源圖像匹配問題描述

圖像匹配的目的是尋找兩圖之間的幾何變換參數，根據圖像場景大小將輸入圖像分別記為小圖Ia和大圖Ib，則圖像匹配可以表示為式(1)描述的全局尋優問題，即在變換空間UT中尋找使圖像相似度S達到最大值的變換參數Tm。

式中，T(Ia)是對小圖實施幾何變換T得到的變換圖像，S［T(Ia)，Ib］是T(Ia)與Ib的相似性度量，UT表示幾何變換空間。本文提出基于Gabor二進制編碼的異源圖像共性特征描述，并應用該特征解決二維平移空間中的異源圖像匹配問題。當UT為仿射空間或射影空間時，只需在對應空間進行特征相似性計算并尋找極大值即可得到匹配結果。

異源圖像匹配一直都是圖像處理領域的一個難題。異源遙感圖像難以匹配的原因主要在于:

1)圖像中可能存在嚴重噪聲，如SAR圖像中的斑點噪聲。

2)圖像間的灰度非一致變化。

圖像間的灰度關系可以分為線性映射關系、非線性映射關系和非一致映射關系。對于不同光照情況下拍攝的同源圖像，通常滿足線性映射關系，可用歸一化協方差相關方法進行匹配。對于可見光圖像與紅外圖像，近似滿足非線性映射關系，可以用互信息、相位一致性、隱含相似性、色調映射等方法進行匹配。對于差異較大的異源圖像，如SAR圖像與光學圖像，圖像間的灰度級不滿足一致對應關系，但是局部的邊緣存在一定的對應性。常用邊緣匹配方法對這類圖像進行匹配。但是，對邊緣的定義存在很大的主觀性，而且在SAR圖像和光學圖像中提取出對應的邊緣也是一個艱難的問題。

2 Gabor二進制編碼匹配方法

方法分為四個步驟:選取一組Gabor濾波器分別對大圖和小圖進行卷積計算；采用池化方法對圖像進行壓縮表示；對池化結果進行二值化并用二進制表示得到Gabor二進制編碼特征；采用二進制位操作計算實時圖與基準圖對應窗口特征的相似性，得到匹配結果。

圖1為計算圖像的Gabor二進制編碼特征過程示意。其中步驟①計算圖像與Gabor濾波器的卷積，步驟②對卷積結果進行池化、二值化并轉化為二進制表示。圖4中給出了池化尺度W分別為2，4，8時的Gabor編碼特征。在進行圖像匹配時，可以在池化尺度8上對兩幅圖像計算特征實現粗匹配，在池化尺度1上計算特征實現精匹配。

圖1 Gabor二進制編碼特征計算過程Fig.1 Feature calculation procedure of Gabor binary coding

2.1 Gabor濾波器

二維Gabor函數為二維橢圓高斯函數調制的復平面波，定義如式(2)，其中:x'=x cosθ+y sinθ，y'=-x sinθ+y cosθ；ax，ay為橢圓高斯函數的標準差；wx，wy為濾波器徑向中心頻率的分量；角度θ決定了Gabor函數的方向。二維Gabor奇函數和偶函數分別如式(3)、式(4)。二維Gabor函數的頻率響應如式(5)。

一組包含2個尺度，4個方向的Gabor濾波器如圖2所示，其中(a)圖為Gabor奇函數，(b)圖為Gabor偶函數。

圖2 可視化的Gabor函數Fig.2 Visualization of Gabor functions

研究表明，Gabor奇函數比Gabor偶函數更適合用于描述異源圖像的共性特征［12］。因此，采用Gabor奇函數構成濾波器組。Gabor濾波器中心頻率變化對特征圖像相似性影響較小，方向變化對特征圖像相似性影響較大。本文采用1尺度8方向的Gabor濾波器組，參數為wx=wy=0.125，ax=ay=4，θ∈{0°，22.5°，45°，…，157.5°}。

2.2 Gabor編碼特征

采用Gabor濾波器對圖像進行卷積。由于Gabor濾波器的取值范圍為［-1，1］，卷積結果可能為正數或負數。若對輸入圖像反色，Gabor卷積結果也將發生符號反轉。為了適應異源圖像中的灰度差異，將Gabor卷積結果進行取絕對值操作。

設圖像尺寸為w×h。對于圖像上任意一點(x，y)，該點處的Gabor卷積結果可由一個n維向量v(x，y)表示，n為Gabor濾波器的數目。因此卷積結果需采用w×h×n字節數據表示。可以看出，圖像經Gabor卷積運算后得到的數據大小遠大于原始圖像的數據大小。出于存儲空間和計算效率考慮，需對數據進行壓縮表示。

首先進行池化操作。在圖像中等間距劃分大小為k×k的像素池。對于像素池pm，n(其中m，n分別為像素池在水平方向和垂直方向的編號)，將池中的點進行求和，有s(m，n)=x，y)。全部像素池的求和結果組合起來構成了對原始數據的池化表示。池化操作后的數據量由w×h×n字節降為w×h×n/(k×k)字節。

對池化結果進行二值化，并用二進制數進行描述，得到Gabor二進制編碼特征。具體方法為，將s(m，n)表示為［a1(m，n)，a2(m，n)，…，an(m，n)］，其中最大的d個值(本文中，設置d= 3)置為1，其他值置為0。并將得到的新向量轉化為二進制數，向量中的每一維對應了二進制數中的一位。如當s(m，n)為8維向量時，b(m，n)為8位二進制數。則Gabor二進制編碼特征大小為w×h×n/(8×k×k)字節。本文設置的參數中Gabor濾波器數目n=8，則Gabor二進制編碼特征大小為w×h/(k×k)字節。圖3為二值化及二進制表示的示意圖。

圖3 特征的二進制表示Fig.3 Feature binarization

Gabor奇濾波器對圖像中對應方向的邊緣有較強的響應。因此Gabor二進制編碼特征可以看作是對圖像中邊緣方向的一種表達。方法中的池化操作相當于對像素池中的卷積結果進行空間平滑，增加了特征的穩定性。二值化操作在每個位置上選擇三個最強的邊緣方向，并且賦予同樣的值，提高了特征對異源圖像差異的適應性。二進制表示將每個位置上的特征壓縮到一個字節表示，減少了特征存儲空間。圖4為同一區域的可見光圖像與SAR圖像及各自的Gabor二進制編碼特征的放大顯示。特征圖尺寸遠小于原圖尺寸。相比原始異源圖像，特征圖具有更好的灰度一致性，可采用簡單快速的比較方法進行相似性計算。

圖4 異源圖像的Gabor二進制編碼特征Fig.4 Gabor binary coding features ofmulti-sensor images

2.3 特征匹配

采用二進制位操作對圖像特征進行匹配。對于小圖與大圖中的對應窗口，分別計算二者的Gabor二進制編碼特征B1，B2。則特征相似性定義為

S(B1，B2)=∑m，nfbit［B1(m，n)＆B2(m，n)］

(6)式中:＆為按位與操作；fbit(·)為按位累積函數，其輸出值為輸入二進制數據值為1的位的數目。如二進制數00011100，其按位累積結果fbit(00011100)為3。可以用移位和位與操作快速計算fbit(·)。另外，還可以根據系統位寬，將多個字節組成32位或64位的雙字，再用式(6)計算特征相似性，進一步減少CPU計算時間。

將Gabor二進制編碼特征應用于第1節中的圖像匹配框架，即得到基于Gabor二進制編碼的異源圖像匹配方法。

3 實驗結果

為了對不同算法進行對比實驗，首先構建了測試圖像庫。圖像庫中包括13組異源圖像，每組圖像包括1幅基準圖和對應不同位置的多幅實時圖。其中，基準圖為可見光圖像，大小為400× 400像素，實時圖為SAR圖像，大小為200×200像素。

定義匹配成功率為

式中，NSuccess為匹配成功(結果距離真值小于5個像素)的次數，NTotal為總的匹配次數。

分別用互信息方法、相位一致性方法、梯度場相關方法和本文方法對測試圖像進行匹配。互信息、相位一致性和本文方法的代碼都在MATLAB上實現并采用單核運算，梯度場相關方法在C語言下實現。匹配結果如表1。

表1 匹配方法比較Tab.1 Comparison ofmatchingmethods

由表可知，本文方法的匹配成功率遠遠高于其他方法。采用本文方法的單次匹配時間為0.36s，其中對大圖的特征計算時間為0.29s。在景象匹配圖像制導中，大圖通常為預加載的基準圖，可以事先進行大圖的特征計算，則實時匹配時間只有0.07s。在互信息方法中，二維聯合直方圖及聯合熵的運算占了大部分的計算時間，而這些運算需要小圖的參與，故實時計算時間遠大于本文方法，由于相位一致性方法中沒有對特征進行壓縮表示，特征計算時間和相似性計算時間均高于本文方法，該方法也可以事先計算大圖特征，其實時匹配時間為0.42s。梯度場相關方法是SAR圖像與光學圖像匹配效果較好的一種算法，其總的處理時間最短，但是無法進行離線預處理。

部分匹配結果如圖5，圖中只給出了MATLAB環境實現的3種方法的處理結果，圖中的亮度最大值對應了匹配結果。本文方法的相似性最大值對應了正確匹配坐標。在相位一致性和互信息的相似性分布圖中，正確匹配坐標只對應了局部極大值，其全圖最大值分別對應了不同的錯誤匹配坐標。實驗結果說明本文方法具有更高的可靠性。

圖5 一組對比結果Fig.5 A group of comparison result

4 結論

針對SAR圖像和光學圖像匹配問題，提出了基于Gabor二進制編碼特征的匹配方法。該方法不僅匹配概率高于傳統方法，而且對計算時間和存儲空間的需求也很小，特別適合在計算能力受限的運算平臺上使用。Gabor函數可以在頻域不同尺度、不同方向上提取圖像的特征。文中提出的Gabor二進制編碼特征本質上是對圖像不同區域中尺度和方向信息的一種描述。尺度、方向信息通常由被拍攝的場景決定，不易受拍攝條件、拍攝器材的影響。因此，Gabor二進制編碼特征非常適合用于異源圖像匹配。另外，該特征還可以應用于目標識別、目標跟蹤等領域。

由于特征中用到的Gabor濾波器具有方向性，因此該特征無法做到旋轉不變。受此限制，本文提出的匹配方法只適用于平移變換空間內的匹配，其在仿射空間匹配問題中的應用有待進一步研究。

References)

［1］Kim Y S，Lee JH，Ra JB.Multi-sensor image registration based on intensity and edge orientation information［J］.Pattern Recognition，2008，41(11):3356-3365.

［2］Pan C，Zhang Z，Yan H，et al.Multisource data registration based on NURBS description of contours［J］.International Journal of Remote Sensing，2008，29(2):569-591.

［3］Wegner J D，Soergel U.Registration of SAR and optical images containing bridges over land［C］//Proceedings of the EARSeL Symposium:Remote Sensing—New Challenges of High Resolution，2008.

［4］許輝，吳詩其.LEO衛星網絡中基于螞蟻算法的分布式QoS路由［J］.計算機學報，2007，30(3):361-367.XU Hui，WU Shiqi.A distributed QoS routing based on ant algorithm for LEO satellite network［J］.Chinese Journal of Computers，2007，30(3):361-367.(in Chinese)

［5］Pluim J P W，Maintz J B A，Viergever M A.Mutualinformation-based registration of medical images:a survey［J］.IEEE Transactionson Medical Imaging，2003，22 (8):986-1004.

［6］Kovesi P.Image features from phase congruency［J］.Journal of Computer Vision Research，1999，1(3):1-26.

［7］Haber E，Modersitzki J.Intensity gradient based registration and fusion of multi-modal images［C］//Proceedings of Medical Image Computing and Computer-Assisted Intervention，2006.

［8］李壯，楊夏，雷志輝.基于空間子區一致性的異源圖像匹配方法［J］.國防科技大學學報，2011，33(1):31-34.LI Zhuang，YANG Xia，LEI Zhihui.Multi-sensor image matching based on spatial subarea congruency［J］.Journal of National University of Defense Technology，2011，33(1): 31-34.(in Chinese)

［9］Hel-Or Y，Hel-Or H，David E.Fast template matching in non-linear tone-mapped images［C］//Proceedings of the IEEE International Conference on Computer Vision(ICCV)，2011，1355-1362.

［10］Parmehr EG，Zhang C，Fraser C S.Automatic registration of multi-source data using mutual information［J］.International Society for Photogrammetry and Remote Sensing，2012，7: 303-308.

［11］徐一丹，李斌，李壯，等.空間關聯與多子區規范化梯度方向直方圖的異源圖像匹配［J］.國防科技大學學報，2014，36(4):112-117.XU Yidan，LI Bin，LI Zhuang，et al.Multi-sensor images registration using multi-areas standardized histogram of oriented gradient and spatial adjacent similarity［J］.Journal of National University of Defense Technology，2014，36(4): 112-117.(in Chinese)

Gabor binary encoding for multi-sensor imagematching

TU Guoyong1，2，LIZhuang1，2，ZHOU Shaobin1，LIWeijian1，YU Youhe3
(1.Jiuquan Satellite Launch Center，Jiuquan 732750，China；2.College of Aerospace Science and Engineering，National University of Defense Technology，Changsha 410073，China；3.The PLA Unit96326，Huaihua 418000，China)

Multi-sensor imagematching is a challenging problem in image process field.As synthetic aperture radar images and optical images have significant differences，most existingmethods cannot achieve satisfied matching result.To respond to this issue，a new multi-sensor image matchingmethod based on Gabor binary encoding was presented:the big and small input images were first convoluted respectively by a group of Gabor filters；the compressed representation was executed on the convolution resultby using poolingmethod；the binarization of pooling resultswas conducted and it was transformed into binary code to create Gabor binary encoding features；the similarities of corresponding window features between real-time images and reference images were calculated by using bitmanipulation and the maximum value indicated the matching result.Thismethod describes images by binary representation，so the computation complexity ismuch lower than that of the traditionalmethod，while the common characters are better revealed.Experimental results show that the proposedmethod hasmuch highermatching rate and requiremuch lower computation time than those of the existingmethods.

imagematching；multi-sensor image；Gabor filters；binary coding；feature pooling

TP391.41

A

1001-2486(2015)05-175-05

10.11887/j.cn.201505027

http://journal.nudt.edu.cn

2014-10-26

國家自然科學基金資助項目(61402489)

涂國勇(1970—)，男，湖南張家界人，高級工程師，碩士，E-mail:tgyphq67215@163.com