基于雙窗口小波-Contourlet變換的圖像融合算法

高雪妮

（廣西大學 計算機與電子信息學院，廣西 南寧 530004）

基于雙窗口小波-Contourlet變換的圖像融合算法

高雪妮

（廣西大學 計算機與電子信息學院，廣西 南寧 530004）

提出一種基于雙窗口小波-Contourlet變換的圖像融合算法。首先采用小波-Contourlet變換對圖像進行分解，接著采用兩種不同尺寸的窗口計算系數的特征值：低頻子帶采用區域能量法和高頻子帶采用區域方差法，分別比較雙窗口下的高頻子帶和低頻子帶的系數特征值，比較的結果作為得到融合系數選擇的依據，最后采用逆小波-Contourlet變換得到融合圖像。仿真實驗證實，在特征類型選擇一致的情況下，該方法的融合性能優于小波變換法和Contourlet變換法，融合圖像質量較好。

小波變換；contourlet變換；圖像融合；雙窗口

1 引言

由于小波變換在高維的情況下并不能充分利用圖像本身特有的幾何特征，并不是最優的和“最稀疏”的函數表示方法，因此，人們致力于發展一種新的高維函數的最優表示方法。多尺度幾何分析 (multistage geometric analysis,MGA)就是近年來發展起來的一類彼此及其相似的圖像表示方法，它在數學分析、計算機視覺、模式識別、統計分析等不同學科中得到研究人員的關注。

2002年，Do M N和VetterliM提出了一種圖像二維稀疏表示方法：Contourlet變換，[1-2]也稱塔型方向濾波器組 (PDFB，Pyramidal Directional Filter Bank)，是多尺度幾何分析方法中表現較為突出的一種方法。Contourlet變換的基函數的支撐區間具有隨尺度變化的長條形結構，改變化將多尺度分析和多方向分析分開進行，滿足“拋物線尺度關系”，滿足“各向異性尺度關系”，因而能夠運用較少的系數對奇異曲線進行線性逼近，是一種“真正”的二維圖像稀疏表示方法，對于細小的有方向的輪廓和線段的表達有著獨有的優勢。它不僅繼承了小波變換的多分辨率時頻分析特征，而且擁有良好的各向異性特征，它能用比小波更少的系數來表示光滑的曲線，是一種多分辨率的、局域的、多方向的圖像表示方法。

Contourlet變換采用拉普拉斯金字塔變換分解，由于拉普拉斯金字塔沒有對高頻子帶進行下采樣，因此比小波分解多出了1/4的高頻子帶數據冗余。為了降低冗余，Ramin Eslami和Hayder Radha于2004年提出了小波-Contourlet變換，[3]采用二維小波變換對圖像進行分解而不是拉普拉斯金字塔變換。由于小波分解與重構都是無冗余的，因此，小波-Contourlet變換不會產生冗余。本文對基于小波-contourlet變換算法進行改進，采用雙窗口策略對融合系數進行選擇，改進的算法能有效捕捉圖像各向異性的高頻信息，克服了信息冗余，降低了融合系數選擇的失誤率。

2 小波-contourlet變換

2.1 contourlet變換

Contourlet變換是多尺度分析方法中最為突出和理想的一種，Contourlet變換由兩個部分組成：拉普拉斯金字塔變換和方向濾波器組。其分解過程表示如下：首先采用拉普拉斯金字塔變換對輸入圖像進行多尺度分解，得到輸入圖像的高頻子帶和低頻子帶，其中，低頻子帶是輸入圖像經過二維低通濾波和下采樣后得到的低頻成為，其分辨率為輸入圖像的1/2，高頻子帶則是輸入圖像與同級尺度的低頻子帶上采樣濾波后的差值，接著，對低頻子帶繼續采用拉普拉斯金字塔變換進行分解，得到一系列不同分辨率上的高頻子帶和一個低頻子帶。然后，對不同分辨率上的各高頻子帶采用方向濾波器組進行分解，得到不同方向的帶通方向子帶。上頁圖1給出了Contourlet變換的分解原理圖。上頁圖2是Contourlet變換的頻域分解圖。

圖1 Contourlet變換原理圖

圖2 Contourlet頻域分解圖

圖3 四方向濾波器組框圖

2.2 小波-contourlet變換

在Contourlet變換中，由于拉普拉斯金字塔變換沒有對高頻子帶進行分解，因此Contourlet變換比小波變換多出了1/4的高頻子帶數據冗余。為了降低數據冗余，Contourlet變換采用拉普拉斯金字塔變換分解，由于拉普拉斯金字塔沒有對高頻子帶進行下采樣，因此比小波分解多出了1/4的高頻子帶數據冗余。為了降低冗余，Ramin Eslami和Hayder Radha于2004年在文獻 [6]中提出了小波-Contourlet變換，采用二維小波變換對圖像進行分解而不是拉普拉斯金字塔變換。由于小波分解與重構都是無冗余的，因此，小波-Contourlet變換不會產生冗余。基于小波-Contourlet變換的基本思想是：利用小波變換的分解方式代替拉普拉斯金字塔分解，分解后得到一個低頻子帶和三個方向的高頻子帶：水平方向、垂直方向和對角線方向，[7]然后采用方向濾波器對小波分解中的低頻子帶進行多方向濾波。小波-Contourlet變換比小波變換、Contourlet變換更能稀疏地表示圖像的幾何結構特征。圖4是圖像方向數為 [4,2,2,0]的3級小波-Contourlet變換示意圖。

圖4 小波-contourlet變換

3 融合規則

對圖像進行小波變換，得到一個低頻子圖和3n個高頻子圖 （n為分解層數），小波-Contourlet變換是在小波變換的基礎上，繼續對3n個高頻子圖采用方向濾波器組進行方向濾波，濾波的方向數常用的有4,3,2,1,0。由于低頻子圖主要是圖像的輪廓信息，可以采用局域能量的融合規則，而高頻子帶代表了圖像的邊緣、紋理、突變等細節信息，因此可以采用局域方差的融合規則。

以圖像中某像素f(x,y)為中心的k×k窗口W的方差可以定義為：

以圖像中某像素f(x,y)為中心的k×k窗口W的能量可以定義為：

窗口能量值越大，則表示該窗口內的信息越豐富。

目前，基于區域的Contourlet變換的融合算法中，都是基于單窗口的，如文獻 [8]提出的算法中，低頻系數根據區域能量進行選擇，高頻系數根據局域對比度進行選擇；文獻 [9]提出一種基于區域特征自適應的融合算法，高頻分量以空間頻率為度量標準結合自適應算子進行區域的自適應融合。區域特征值相對于單個系數值能更充分地反映子帶的特征信息，但區域的大小對特征值的影響也是不能忽略的。小波-Contourlet變換將圖像的高頻子帶分解到不同方向上，變換后的能量集中在有限的系數上，其余大部分系數的幅值接近于零。采用區域特征值作為判斷指標，則必須考慮到區域的大小對特征值的影響情況，而目前采用的區域大小都是隨機的，或者是通過多次實驗選擇一個最佳區域大小，這對實時系統的實現是相當不利的。本文采用雙窗口的融合策略，通過不同窗口 （即區域）大小選擇不同的融合系數，再根據兩類方案融合系數的特點進行最終融合系數選擇。

本文算法具體步驟如下：

步驟1 對源圖像A和B采用小波變換進行分解，得到一個低頻子帶Li和一系列高頻子帶H，其中，i=A或B；j=HL或LH或HH，代表水平、垂直、對角線三個方向；k=1，2，…N，代表分解的層數。

步驟3 對低頻子帶Li，采用k1×k1窗口逐個系數進行掃描，計算窗口的能量Ei,h，其中h表示低頻子帶的第h個系數。

步驟5 比較EA,h和EB,h的大小，作為融合圖像低頻子帶系數的選擇依據：

其中，RLh代表融合圖像低頻子帶系數。

步驟7 采用k2×k2（k1≠k2）窗口，重復執行步驟3至步驟6，得到另一種系數選擇方案。假設第一種方案得到的低頻系數為RLh1，高頻系數為RH1；第二種方案得到的低頻系數為RLh2，高頻系數為RH2。

步驟8 比較兩種方案。對于低頻子帶，若RLh1=RLh2，則最終的融合系數為RLh=RLh1=RLh2；若RLh1≠RLh2，則按照下面方法選擇：

4 本文方法的過程描述

所提出的基于雙窗口小波-Contourlet變換的不同聚焦圖像融合算法的總體過程參見圖5。

圖5 本章算法框圖

5 實驗和性能分析

本論文實驗采用MATLAB6.5軟件編程實現，運行環境CPU 2.3GHz 896MB內存，操作系統Windows XP。由于在實際應用中，標準圖像是不存在的，它只是人們為了實驗的研究而人為地造出來，因此對于不同聚焦圖像融合來說，可以通過對一副場景中所有物體都清晰的圖像進行模糊處理，通過模糊圖像的不同部分得到不同的原始圖像，而原來清晰圖像就作為標準圖像。本文實驗圖像采用的是美國Lihigh大學提供的典型不同聚焦圖像融合實驗圖像。

圖6是對clock圖像分別采用小波變換 (WDT)、Contourlet變換 (CT)、本文算法三種算法進行融合實驗的結果。實驗用圖clock圖像已經經過嚴格配準，512×512像素，256灰度級。低頻子帶采用區域能量法作為融合規則，高頻子帶采用區域方差法作為融合規則，并且都是采用3層分解方式。

圖6 clock圖像融合實驗結果

圖7 clock圖像融合實驗結果局部圖

表1 clock融合結果評價參數比較

從主觀視覺效果上看，圖6(d)的小波變換法算法得到的融合效果較模糊，而且在圖像邊緣處出現明顯的虛影現象，如大時鐘的上邊緣處，見圖7(d)所示；圖6(e)的Contourlet變換融合效果相對于小波變換算法有一定的改善，但有的邊緣處理的效果還是不夠理想，也出現了部分虛影想象，如圖7(e)所示。圖6(f)是本文算法融合結果，圖像的邊緣平滑，沒有出現虛假輪廓，融合圖像畫面較清晰，如圖7(f)的局部圖所示。為了客觀地評價融合圖像的質量，選用均方根誤差和相似性度量作為評價指標，對三類融合算法進行性能分析。如表1所示，采用CT變換法比小波變換法得到的評價指標好，特別是均方根誤差相差較大，說明CT變換比小波變換在細節表現方面更突出，而本文算法得到的均方根誤差和相似性度量均優于CT變換，說明采用本文算法得到的融合圖像攜帶的信息量更多。

6 結論

WBCT變換作為一種新的圖像多尺度幾何分析工具，具有多分辨率性、時頻局域性、方向各異性，相對于小波變換僅具有三個方向特征，能夠有效地捕捉圖像各個方向的特征，特別是對奇異曲線能夠實現有效的逼近。因此，將WBCT變換應用到圖像融合中，將會得到比小波變換更有效的融合性能。

本文提出一種基于雙窗口WBCT變換的不同聚焦圖像融合算法。首先采用小波變換對圖像進行分解，然后采用方向濾波器組對高頻子帶進行方向濾波。低頻子帶根據局域能量法進行融合，高頻子帶根據局域方差進行融合。考慮到單窗口尺寸對圖像特征有影響，本文采用兩類窗口尺寸，通過比較兩類窗口尺寸下的融合圖像的WBCT變換結果，得到最終的融合圖像的WBCT變換，然后采用逆WBCT變換得到融合圖像。WBCT變換比小波變換和CT變換優異的地方在于：首先是用小波變換取代拉普拉斯金字塔，可以避免拉普拉斯金字塔產生的冗余；其次是高頻子帶具有更多的各向異性，更充分地描述了圖像的細節信息，為圖像融合提供了可靠的信息。實驗證實，本文算法的融合性能優于小波變換、CT變換。本文提出的融合算法針對窗口大小對圖像特征統計量的影響，采用雙窗口比較融合策略，能夠有效地減少這種影響對融合圖像質量產生的影響。

[1]M NDo,VetterliM.Contourlets:a directionalmulti-resolution image representation[A].Processing of IEEE InternationalConferenceon Image Processing Rochester,2002:357-360.

[2]M NDo,VetterliM.The contourlet transform:an efficientdirectionalmulti-resolution image representation[J].IEEE Transactionson Image Processing,2005,14(12):2091-2106.

[3]EslamiR,Radha H.Waveletbased contourlet transform and its application to image coding[A].IEEE International Conference on Image Processing,2004:3189-3192.

[4]MallatS,HwangW L.Singularity detection and processingwith wavelets[J].Information Theory,IEEE Transactions on,Volume:38,Issue:2March 1992，38(2):617-643.

[5]Bamberger RH,Smith M JT.A filterbank for the directionaldecomposition of images:theory and design[J].IEEETrans Signal Pico,1992,40(4):882-893.

[6]M.N.Do,M.Vetterli.Pyramidaldirectional filterbanksand curvelets[C].IEEE InternationalConference on Image Processing(ICIP),Thessaloniki,Greece,October2001:158-161.

[7]Mallat,S.Zero-crossingsofawavelet transform[J].Information Theory,IEEETransactionson,1991，37(4):1019-1033.

[8]吳體瑞,吳小俊.一種基于區域和Contourlet變換的多聚焦圖像融合新算法[J].中國體視學與圖像分析,2007,12(2):98-104.

[9]梅益君,王元慶.基于點擴散函數的多聚焦圖像融合方法[J].計算機工程,2007,19(10):193-195.

An Algorithm for Image Fusion by W avelet-Contourlet Transform and DoubleW indows

Gao Xueni
(School of Computer,Electronics and Information of Guangxi University,Nannning 530004，China)

An algorithm for image fusion by wavelet-contourlet transform and double windows is proposed in this paper.Firstly,the image is decomposed bymeans of wavelet-contourlet transform.Secondly,the characteristic value of coefficients is calculated in two windows of different sizes:the value of low-frequency sub-band calculated through regional energy and the value of high-frequency sub-band calculated through regional variance.Meanwhile,the characteristic values under the two sub-bands in the double windows are compared respectively and the results of the comparison are taken as the selection basis of fusing the coefficients.Finally,a fused image is obtained through inversed wavelet-contourlet transform.Simulation experiments indicates that,in the same type of feature selection,the fusion effect of thismethod is better than that ofwavelet transform and contourlet transform and leads to better fused images.

wavelet transform;contourlet transform;image fusion;double windows

TP391

A

1673-8535(2010)03-0001-09

高雪妮（1984-），女，廣西來賓人，廣西大學計算機與電子信息學院碩士研究生，主要研究方向：圖像處理。

（責任編輯：高 堅）

2010-03-01

廣西自然科學基金資助項目(0832283)；梧州學院基金資助項目(2008D011)