基于多尺度多方向Gabor模板的光學/SAR景象匹配

蔣運輝

(中國西南電子技術研究所,成都 610036)

基于多尺度多方向Gabor模板的光學/SAR景象匹配

蔣運輝

(中國西南電子技術研究所,成都 610036)

合成孔徑雷達(SAR)成像制導通常采用光學基準圖和SAR實時圖進行特征提取和景象匹配。提出了一種光學/SAR異類影像匹配方法,利用多尺度多方向Gabor模板提取圖像的Gabor特征后進行特征匹配,首先對SAR圖像進行方向Frost濾波預處理,然后分別計算光學圖像和SAR圖像的高斯梯度圖像,再利用多尺度多方向二維Gabor濾波器模板分別對兩幅高斯梯度圖像進行特征提取,最后對兩組特征矩陣進行歸一化互相關匹配。該方法直接利用光學圖像和SAR實時圖進行景象匹配,實驗表明,該異類影像匹配方法較其他傳統方法具有較高的魯棒性和準確性。

光學圖像;SAR圖像;景象匹配;Gabor濾波模板;歸一化互相關匹配

1 引 言

合成孔徑雷達(SAR)成像制導以其全天候、全天時、抗干擾能力強等優點,已經成為精確制導的研究熱點[1]。基于SAR實時圖的景象匹配是SAR成像制導的關鍵技術之一。由于我國高分辨SAR影像資源較少,SAR影像資源保障比較困難,因此景象匹配所需基準圖通常采用光學圖像制備,提取光學基準圖和SAR實時圖的共性特征進行匹配。

異類影像匹配方法有很多,一些學者在這方面進行了較為深入的研究,也提出了許多有效的算法,包括基于邊緣匹配、區域匹配、相關匹配等。邊緣匹配[2]通常采用Hausdorff距離作為匹配相似性度量,缺點是運算量大,而且對實時圖信噪比以及邊緣提取準確性有較高要求。區域匹配[3]是對基準圖和實時圖進行區域分割和灰度填充后進行匹配,適宜于機場、港口等SAR圖像灰度對比明顯的場景,但是區域匹配依賴于區域分割的準確程度,過分割或者欠分割都影響匹配精度甚至出現失配的情況。

歸一化互相關匹配(NCC)[4]算法以其匹配精度高、易于工程實現的優點被廣泛應用于成像匹配末制導,但該算法也有一定局限性。首先要預先制備光學基準圖,將光學圖像仿真成SAR圖像,或制備成區域灰度分布與SAR圖像類似的二值或多值基準圖,然后將其與SAR實時圖進行歸一化互相關匹配,因此光學基準圖的制備是決定匹配性能好壞的關鍵性因素之一,由于需要人工參與制備,因此受人員的專業素質和制備經驗影響較大,給景象匹配帶來不確定因素,同時增加了戰斗保障的難度。其次,基于灰度的歸一化互相關匹配受圖像畸變影響較大,如果基準圖和實時圖之間存在幾何上的旋轉、縮放、畸變,將對相關匹配的準確性帶來較大影響。

本文提出了一種新的光學/SAR異類影像匹配方法,綜合利用Gabor濾波器抗畸變干擾能力強和歸一化互相關算法匹配精度高的優點,直接利用光學圖像和SAR實時圖進行基于多尺度多方向Gabor模板的相關匹配,無需預先對光學圖像進行基準圖制備。首先對SAR圖像進行方向Frost濾波,在保持邊緣細節的同時抑制相干斑噪聲;然后分別計算光學圖像和SAR圖像的高斯梯度圖像,再利用多尺度多方向二維Gabor濾波器組分別對兩幅高斯梯度圖像進行特征提取;最后對兩組特征矩陣進行歸一化互相關匹配。

2 SAR圖像相干斑抑制

SAR圖像存在著嚴重的相干斑噪聲,計算其高斯梯度圖像之前必須先進行相干斑的抑制。首先利用比率平均算子檢測出邊緣方向,然后進行方向Frost濾波[5],在保持邊緣的同時大大抑制了相干斑噪聲。

Frost濾波器[6]對每個脈沖的響應為

式中,K1是濾波器的歸一化參數;CI(t0)是從以 t0為中心的窗口計算得到圖象中局部區域的變化系數(計算式CI=σI/ I); t =(x,y)是空間坐標的模,即以當前像素為中心的局部區域內像素到中心點的距離。

Frost濾波實際上是一種自適應權值的加權均值濾波器,能較好地去除圖像噪聲,但該方法不能很好地保持圖像的邊緣。為了盡最大可能濾除圖像噪聲的同時保持圖像中的邊緣細節,可采用方向濾波的方法。利用比率-平均邊緣檢測器[7]判斷當前像素處是否存在邊緣,若存在邊緣,則給出邊緣方向,在邊緣方向上進行一維Frost濾波;若當前像素處不存在邊緣,則進行二維Frost濾波。

3 高斯梯度圖像

3.1 光學/SAR圖像邊緣及梯度模型

眾所周知,光學或SAR圖像的邊緣橫截面類似于階躍函數(如圖1所示),其一階導數與脈沖函數相似(如圖2所示),但是光學圖像和SAR圖像邊緣的一階導數往往呈現形狀相同、符號不同的情況,但其絕對值形狀和符號都相同,因而具有相同的梯度模型。

圖1 邊緣橫截面函數模型Fig.1 Functionmodel of edge cross section

圖2 邊緣函數梯度模型Fig.2 Gradient model of edge function

3.2 高斯梯度圖像

高斯函數具有很好的邊緣提取的性能,利用二維高斯函數的梯度模板對光學/SAR圖像進行濾波可以計算圖像的高斯梯度圖像。二維高斯濾波器[8]方程及其一階偏導數方程為

二維高斯濾波器的梯度函數為

將光學圖像和SAR圖像分別與二維高斯梯度模板卷積就得到了光學梯度圖像和SAR梯度圖像。

4 多尺度多方向二維Gabor濾波

4.1 二維 Gabor濾波

二維Gabor函數[9]就是一個被高斯函數調制的正弦或余弦函數,其數學形式為

式中,σx和σy是尺度參數,ω是頻率參數,θ確定了Gabor函數的朝向,gi(x,y)是復數形式,由奇偶兩部分組成,奇部分表示高斯函數調制正弦函數,偶部分表示高斯函數調制余弦函數。圖3為一組Gabor模板,θ每隔 20°一個模板,上面18個是奇模板,下面18個是偶模板。

圖3 一種尺度18個方向的Gabor模板Fig.3 Gabor templates with one scale and 18 directions

4.2 多尺度多方向Gabor濾波器特征矩陣

每個Gabor模板和光學/SAR圖像中與Gabor模板大小相同的局部圖像卷積就得到了一個特征值,每個尺度若構建36個Gabor模板,就可以用這36個Gabor模板分別與光學/SAR局部圖像卷積就得到了36個特征值組成的一個特征矩陣,這個特征矩陣就可以表征在該尺度下光學/SAR局部圖像的特征。本文采用多種尺度下的特征矩陣組成一個更大的特征矩陣,就可以將光學圖像和SAR圖像的相關運算轉化為利用各自像的局部圖像分別計算得到的特征矩陣進行相關運算,即圖像的匹配轉化為對特征矩陣的匹配問題。

圖4是2種尺度 18個方向的Gabor模板,上面36個Gabor模板是一組大尺度模板,下面36個模板是一組小尺度模板,可以將這72個Gabor模板分別與光學和SAR局部圖像相卷積得到一個8×9的特征矩陣,然后分別對光學局部圖像特征矩陣與SAR圖像局部特征矩陣利用歸一化互相關算法計算這兩個特征矩陣的相關性度量。

圖4 兩種尺度18個方向的Gabor模板Fig.4 Gabor templateswith two scales and 18 directions

基于多尺度多方向Gabor濾波器組的特征矩陣相關運算的運算量較傳統的歸一化互相關運算的運算量大大降低了。以Gabor模板大小為33×33為例,傳統的灰度歸一化互相關運算需要計算兩個33×33=1 089像素的圖像矩陣相關運算,現在只需計算8×9=72個元素的特征矩陣的相關運算,運算量呈數量級減少了。

5 基于Gabor特征矩陣的歸一化互相關匹配

5.1 歸一化互相關匹配原理

傳統的基于灰度的歸一化互相關匹配直接對基準圖和實時圖進行相關匹配運算。當實時圖在基準圖中可能范圍內遍歷的時候,保留實時圖在基準圖各個可能位置上的去均值歸一化互相關度量值,所有的互相關值的集合形成相關曲面,相關曲面的相關峰中的最大值記做最高峰。通常最高峰所對應的位置即為實時圖在基準圖中的匹配位置。而最高峰鄰域之外的相關峰極大值為次高峰,次高峰與最高峰之間的比值可以作為匹配置信度的衡量。

已知基準圖X尺寸為M×N,實時圖Y尺寸為m×n,則歸一化互相關的相關性度量值為

式中,xij為基準圖子圖X中第i行、第j列像元的灰度值;yij為實時圖Y中第i行、第j列像元的灰度值。相關系數極大值對應子圖在基準圖上的位置即為最佳匹配位置。

傳統的歸一化互相關匹配算法適用于對同源圖像的景象匹配,而且對圖像的旋轉、縮放等幾何畸變十分敏感,因此研究新的魯棒性算法十分必要。

5.2 基于Gabor特征矩陣的歸一化互相關匹配

本文將多尺度多方向Gabor特征提取與歸一化互相關匹配相結合,提出對光/SAR圖像的Gabor特征矩陣進行相關匹配,兼顧了Gabor濾波器對圖像畸變不敏感的特點,同時具有歸一化互相關算法匹配準確性高的特點,而且大大提高了實時性,因此具有較強的實用價值。

對于大基準圖和小實時圖的景象匹配,基準圖X尺寸為M×N,實時圖Y尺寸為m×n,則小實時圖在大基準圖中遍歷搜索區域的大小為(M-m)×(N-n),實時圖在基準圖中每移動一個像素的位置都需要將實時圖與基準圖中當前像素位置處的基準圖子圖重新匹配一下,即將實時圖特征矩陣與基準圖子圖特征矩陣進行相關匹配。

由于實時圖和基準圖子圖往往要遠大于Gabor模板,若Gabor模板大小為k×k,則將實時圖和基準圖子圖劃分成(m/k)×(n/k)個Gabor卷積區域,而每個卷積區域都能計算得到一個小Gabor特征矩陣,因此(m/k)×(n/k)個小Gabor特征矩陣將組成一個大Gabor特征矩陣。

以實時圖大小為480×320、Gabor模板大小為33×33為例,小Gabor特征矩陣大小 9×8,而大Gabor矩陣由14×9個小Gabor特征矩陣組成,即大Gabor特征矩陣的大小為126×72。因此兩個480×320的圖像匹配轉化為兩個126×72大小的特征矩陣進行匹配,相關匹配運算量大大減少了。

5.3 實時匹配優化

為了提高景象匹配的實時性,需要從以下幾個方面對算法進行優化。

(1)搜索策略優化

可以對基準圖和實時圖進行金字塔分解,逐級縮小圖像,進行多級匹配[10]計算,一般分兩三層就可。先在底層圖像中,通過隔行隔列搜索和Gabor特征匹配,計算相關面,得到塔式分解底層搜索粗匹配位置,然后返回上一級塔式分解的實時圖和基準圖,在粗匹配點的鄰域內進行精匹配。

(2)Gabor特征計算優化

基準圖各子圖的Gabor特征矩陣不需要實時計算,可以在實時處理前預先計算或加載;實時圖的Gabor特征矩陣需要實時計算,但可以在遍歷搜索循環前預先計算出來,循環遍歷搜索時只需對預先計算好的Gabor特征矩陣進行歸一化互相關處理。

(3)歸一化互相關算法優化[11]

計算rk的值可以轉化為計算下式:

6 實驗結果

實驗中采用背景復雜的某機場場景圖像,圖5為星載可見光遙感影像基準圖,圖6為SAR實時圖,圖7為經過方向Frost濾波后的SAR實時圖,圖8為光學基準圖的高斯梯度圖,圖9為SAR實時圖(圖7)的高斯梯度圖。

圖5 光學基準圖Fig.5 Optical reference iamge

圖6 SAR實時圖Fig.6 real-time SAR image

圖7 SAR方向Frost濾波圖Fig.7 SAR Frost direction filtering image

圖8 光學高斯梯度圖Fig.8 OpticalGaussian gradient image

圖9 SAR高斯梯度圖Fig.9 SAR Gaussian gradient image

為了驗證算法的匹配可靠性和精度,對存在各種旋轉、縮放畸變的SAR實時圖與光學基準圖進行匹配驗證。實驗采用了大量SAR圖像進行了算法驗證,對機場機庫、典型建筑、港口艦船等3類場景進行匹配試驗,每類場景選取5幅SAR實時圖,同時對每副SAR圖像單獨或同時施加旋轉和縮放畸變進行匹配試驗,并對試驗結果進行了分析,得到如表1所示結果。

表1 匹配實驗結果Table 1 Results of matching experiment

7 結束語

從匹配試驗結果來看,本文所述的基于多尺度多方向二維Gabor模板的光學/SAR景象匹配算法綜合利用了Gabor特征提取和歸一化互相關算法,較傳統的景象匹配算法而言具有非常大的優勢,不僅不需要在地面上預先對光學圖像進行復雜的基準圖制備,而且采用了Gabor濾波器特征提取能克服SAR實時圖的多種畸變,同時對Gabor特征矩陣進行歸一化互相關運算使之具有較高的匹配精度。另外,本文所述方法與傳統歸一化互相關匹配算法相比大大提高了算法的實時性。

實驗表明,本文所述的光學/SAR異類影像匹配方法具備優良的算法適應性、實時性和較高的匹配精度,具有較強的工程實用價值,有望在SAR成像制導領域得到進一步應用。下一步工作應利用特定應用平臺采集大量試驗數據對其進行充分實驗驗證,對算法的工程實現性進行進一步研究。

[1]夏思宇.精確制導技術及其現狀與發展[J].航空科學技術,2003(1):11-13.

XIA Si-yu.Precision Guidance Technique and Its Status and Development[J].Aeronautical Science and Technology,2003(1):11-13.(in Chinese)

[2]臧鐵飛,沈庭芝,陳建軍,等.改進的Hausdorff距離和遺傳算法在圖像匹配中的應用[J].北京理工大學學報,2000,20(6):733-737.

ZANG Tie-fei,SHEN Ting-zhi,CHEN Jian-jun,et al.The Application of Improved Hausdorff Distance and Genetic Algorithm in Image Matching[J].Journal of Beijing Institute of Technology,2000,20(6):733-737.(in Chinese)

[3]Gonzalez R C,Woods R E.Digital Image Processing[M].2nd ed.Cranbury,NJ:Pearson Education Inc.,2002.

[4]Tsai S X.Introduction to the Scene Matching Missile Guidance Technologies[R]//AD-A315 439/0/XAB.Fort Belvoir,V A:DTIC,1996:1-11.

[5]蔣運輝,陳懷新.基于小波方向濾波的有云層遙感圖像艦船檢測方法[J].電訊技術,2008,48(1):90-93.

JIANG Yun-hui,CHEN Huai-xin.Ship DetectionMethod Based on Wavelet DirectionalFilter in Cloudy Remote Sensing Images[J].Telecommunication Engineering,2008,48(1):90-93.(in Chinese)

[6]Frost V S,Stiles JA.A model for radar images andits application to adaptive digital filtering of multiplicative noise[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1982(4):157-166.

[7]Bovik A C.On detecting edges in speckle imagery[J].IEEE Transactions on Acoust,Speech,Signal Processing,1988,36(10):1618-1627.

[8]蔣運輝,皮亦鳴.基于Hough變換和遺傳算法的SAR圖像道路檢測[J].雷達科學與技術,2005(3):156-162.

JIANG Yun-hui,PI Yi-ming.RoadDetection inSAR Image Based on Hough Transformation and Genetic Algorithm[J].Radar Science and Technology,2005(3):156-162.(in Chinese)

[8]Liu Cheng-jun,Wechsler H.Gabor feature based classification using the enhanced Fisher linear discriminant model for face recognition[J].IEEETransactions on Image Processing,2002,11(4):467-476.

[10]何芳芳,孫繼銀,劉小雷,等.分層搜索在景象匹配中的應用研究[J].現代防御技術,2005,33(4):36-38.

HE Fang-fang,SUN Ji-yin,LIU Xiao-lei,et al.Layered-searching for scene matching[J].Modern Defense Technology,2005,33(4):36-38.(in Chinese)

[11]蔣運輝.光學/SAR圖像的多DSP實時匹配系統的設計與實現[J].電子測量與儀器學報,2011,25(5):449-454.

JIANG Yun-hui.Design and implementation of a multi-DSPs′real-time matching system based onoptical andSAR images[J].Journal of Electronic Measurement and Instrument,2011,25(5):449-454.(in Chinese)

JINAG Yun-hui was born in Wugang,Hunan Province,in 1977.He received the B.S.degree from University of Electronic Science and Technology of China in 2005.He is now an engineer.His research interests include image processing,target recognition,precision guidance.

Email:jiangyh@swiet.com.cn

Optical/SAR Scene Matching Based on Two-dimensional Multi-scale and Multi-direction Gabor Templates

JIANG Yun-hui
(Southwest China Institute of Electronic Technology,Chengdu 610036,China)

Generally optical reference image and SARreal-time image are used for feature extraction and scene matching in SAR(Synthetic Aperture Radar)imaging guidance.The heterogenous optical/SAR image matching method proposed in this paper extracts and matches image Gabor features using two-dimensional multi-scale andmulti-direction Gabor templates.Firstly,directional Frost filtering preprocessing on SAR image is performed.Secondly,the Gaussian gradient image of the optical and SAR image are calculated respectively.Then,features are extracted from the two Gaussian gradient images using multi-scale and multi-direction two-dimensional Gabor filter group respectively.Finally,NCC(normalized cross-correlation)matching on the two characteristic matrixes is performed.The proposed method implements scene matching using optical image and real-time SAR image directly.The experiment result shows that the heterogenous image matching method is more robust and accurate than other traditional methods.

optical image;SAR image;scene matching;Gabor filtering templates;normalized cross-correlation matching

TN957.52

A

10.3969/j.issn.1001-893x.2012.06.018

1001-893X(2012)06-0922-06

2012-03-05;

2012-05-09

蔣運輝(1977—),男,湖南武岡人,2005年于電子科技大學獲通信與信息系統專業碩士學位,現為工程師,主要研究方向為圖像處理、目標識別、精確制導。