基于小波－Ｃｏｎｔｏｕｒｌｅｔ變換和區(qū)域能量融合規(guī)則的圖像融合算法

摘 要：利用小波-Contourlet變換的多尺度和多方向性特征以及基于區(qū)域能量的融合規(guī)則在選取融合系數(shù)上的優(yōu)勢，提出了一種基于小波-Contourlet變換和區(qū)域能量融合規(guī)則的圖像融合算法，并引入Cycle Spinning來消除變換缺乏平移不變性而引起的圖像失真。實驗結果表明，該算法明顯降低了融合圖像的RMSE值，減少了運算時間，達到了良好的視覺效果。

關鍵詞：小波-Contourlet變換；區(qū)域能量；Cycle Spinning；圖像融合

中圖分類號：TP391 文獻標志碼：A

文章編號：1001-3695(2008)07-2197-03

Image fusion based on rule of local energy using WBCT

YIN Binga， YU Meia，LIANG Donga，b， BAO Wen-xiab



(a.Educational Department Key Lab of ICSP，b.School of Electronic Science Technology， Anhui University， Hefei 230039，China)



Abstract:Fusion rules are very important in image fusion algorithms. Because the rule of local energy has advantage in choosing coefficients and the wavelet based Contourlet transform is of multi-scale and multi-direction.A method based on the rule of local energy for image fusion using wavelet based Contourlet transform (WBCT) was proposed. Because the transform was shift-variant，Cycle Spinning was employed to restrain image distortion.The experimental results indicate that this method can get lower RMSE value and better visual effect.The runtime of the method is reduced at the same time.

Key words：wavelet based Contourlet transform; local energy; Cycle Spinning; image fusion

圖像融合是把來自多傳感數(shù)據(jù)的信息互補合成一幅新的圖像，以提供比原圖像更豐富的視覺信息。它在遙感圖像處理、目標識別、醫(yī)學、機器人視覺等方面具有廣闊的應用前景。多聚焦圖像融合是圖像融合研究內(nèi)容之一，它是指在相同的成像條件下，鏡頭聚焦目標不同的多個圖像，通過融合得到一個聚焦度清晰的圖像。

多聚焦圖像融合算法是目前融合領域研究的熱點， 目前的算法主要可以分為兩大類：a）基于數(shù)學或統(tǒng)計學的方法，如加權平均、比值變換、主分量分析(PCA)^[1]、高通濾波等；b）多分辨率分析的方法^[2]，如基于金字塔式的分解算法^[3]、基于小波變換的算法^[4]等。就各種算法的實際效果看，加權平均的算法會降低圖像的對比度；主分量分析算法要求被替換的和替換的數(shù)據(jù)之間有較強的相關性，通常情況下，這種條件并不成立；具有多分辨率分析特征的小波變換方法已在圖像融合領域得到廣泛應用，但是二維可分離小波基只具有有限的方向，即水平、垂直、對角。方向性和各項異性上的缺陷使得小波變換不能充分利用圖像本身的幾何正則性，因而不能很好地表示圖像中的方向信息^[5]。Contourlet變換^[6]、小波-Contourlet變換^[7]的提出很好地克服了小波變換的缺陷。

在融合算法中， 融合規(guī)則的選取至關重要。比較常用的有變換系數(shù)絕對值最大的融合規(guī)則以及變換系數(shù)局部方差最大的融合規(guī)則。已有的多分辨率融合算法都是將小波變換、Contourlet變換分別與這兩者相結合，但是基于變換系數(shù)絕對值最大的算法融合效果不夠明顯，基于方差最大的算法運行時間較長。本文將小波-Contourlet變換與基于區(qū)域能量的融合規(guī)則^[8]相結合，提出了一種基于小波-Contourlet變換和區(qū)域能量融合規(guī)則的圖像融合算法，算法中引入Cycle Spinning^[9]來消除變換缺乏平移不變性而引起的圖像失真。

1 基本理論

1．1 小波-Contourlet變換

2002年M.N.Do等人提出的一種真正二維圖像表示方法Contourlet變換^[10]。它是一種二維分段光滑信號的稀疏表示方法，它能用比小波更少的系數(shù)來表達光滑的曲線（圖1）。它是由塔形方向濾波器組(PDFB)將圖像分解成各個尺度上的帶通方向子帶，它有兩級實現(xiàn)，即子帶分解和方向變換（圖2）。首先用LP(Laplacian pyramid)變換對圖像進行多尺度分解以捕獲奇異點；然后由方向濾波器組(DFB)將分布在同方向上的奇異點合成一個系數(shù)。方向濾波器組是能把圖像分解成2的任意次冪個方向的臨界抽樣濾波器組。Contourlet變換提供了一種靈活的多尺度、局部的、方向性分析方法。

Contourlet對圖像的表達雖然是超越了小波，但是它的第一層是用LP來實現(xiàn)的。由于LP變換的冗余性，Contourlet變換有4/3的冗余，LP變換在去除相關性方面也比不上小波。Eslami和Radha結合小波與Contourlet變換的優(yōu)點提出小波-Contourlet變換(WBCT)，它也由兩級濾波器組成（圖3）。第一級，WBCT利用小波代替Contourlet變換中的LP變換進行多尺度分解；第二級也是一個方向濾波器組，每一層小波會獲得三個高頻子帶(LH、HL、HH)，對三個高頻子帶使用方向數(shù)相同的方向濾波器組。由此可以看出小波-Contourlet變換能夠為圖像提供更稀疏的表達。



1．2 融合規(guī)則

1．2．1 一般規(guī)則

一般融合所采用的融合規(guī)則主要有兩種：

a）基于單個像素點的圖像融合規(guī)則。這一類算法主要有基于絕對值最大最小的選取規(guī)則，即挑選圖像每一個位置上具有最大或最小絕對值的變換系數(shù)到融合圖像的相應位置，即

b)基于像素點鄰域特征的圖像融合規(guī)則，大多集中在鄰域方差。也就是選取高頻系數(shù)中鄰域方差較大的那一個作為融合后的系數(shù)。在一個窗口內(nèi)，局部方差越大，細節(jié)越豐富。

其中: CkA(2j，x，y)、CkB(2j，x，y)分別為兩幅待融合圖像經(jīng)小波變換在第k個融合子帶、在分辨率 2j下 (x，y)位置的變換系數(shù)； VkOA(2j，x，y)、VkOB(2j，x，y)分別為第k個融合子帶、在分辨率 2j下的變換系數(shù)以 (x，y)為中心的局域窗口的方差值； DkF(2j，x，y)為融合系數(shù)。

1．2．2 基于區(qū)域能量的選取規(guī)則

為了獲得視覺特性更佳、細節(jié)更豐富的融合效果，文獻[8]提出了一種基于區(qū)域能量的融合規(guī)則。將待融合的兩幅圖像分別進行多尺度分解，低頻系數(shù)進行加權平均。利用不同的特征選擇算子，有方向地計算對應細節(jié)圖像以像素（i，j）為中心的區(qū)域能量E(i，j)，E(i，j)可以作為圖像信息突出程度的衡量。根據(jù)E(i，j)計算兩幅圖像的匹配度R(i，j)，通過匹配度與閾值c的比較，對變換系數(shù)進行加權運算決定融合后的高頻系數(shù)^[11]。鄰域窗口可以是3×3或5×5等。為方便計算設：

其中：tmp(i，j)表示以(i，j)為中心的3×3鄰域窗口。由此可計算兩幅待融合圖像變換系數(shù)的區(qū)域能量：

其中：tmp1與tmp2分別表示參與融合的兩幅圖像的對應窗口。定義R(i，j)為以圖像變換系數(shù) (i，j)位置為中心的鄰域的匹配度：

R(i，j)取值在[-1，1]。當 R(i，j)＝1時認為來自兩幅圖像的信息完全匹配，當 R(i，j)＝0表示兩幅圖像完全不匹配；若兩幅待融合圖像在某位置處相似程度很高，則其匹配度幅值一定很大；若相似程度很低，則其匹配度幅值一定很小。由此可以設定閾值c，當 R(i，j)≥c時，認為兩圖像相關，分別提取細節(jié)分量的一部分作為融合圖像的細節(jié)分量；當 R(i，j)＜c，則表示兩個圖像不相關，高頻系數(shù)中區(qū)域能量越大，則細節(jié)越豐富，可以作為融合后的變換系數(shù)。融合的加權系數(shù)W按下式確定，其中c=0．5。

最后由權值得出融合系數(shù) ：

因為像素之間存在很大的相關性，單個像素不能很好地表達圖像特征，所以基于單個像素點的融合規(guī)則并不優(yōu)于基于鄰域特征的融合規(guī)則。局部方差和區(qū)域能量均能表達鄰域特征。基于局部方差的融合規(guī)則直接根據(jù)變換系數(shù)局部方差的大小來決定變換系數(shù)的取舍，沒有考慮兩幅圖像的相關度。而待融合的圖像一般都具有一定的相關度，基于區(qū)域能量的融合規(guī)則充分考慮了圖像的相關度，利用圖像匹配度和閾值的比較來確定融合的加權系數(shù)。由此可以看出在融合算法中采用基于區(qū)域能量的規(guī)則可以達到更好的融合效果。

1．3 Cycle Spinning

由于對數(shù)據(jù)下抽樣過程的存在，三種變換都缺乏平移不變性，信號中不連續(xù)點的鄰域在處理過程中會產(chǎn)生視覺失真，稱為吉布斯現(xiàn)象。Coifman提出的Cycle Spinning（CS）算法就是將數(shù)據(jù)進行循環(huán)平移，對平移后的數(shù)據(jù)作處理再反平移，將多次平移處理的結果平均，從而可以得到吉布斯現(xiàn)象明顯減弱的結果。假設經(jīng)Cycle Spinning處理的結果由S^表示，則



其中： (K1，K2)為最大平移量；S為循環(huán)平移算子；T為變換算子；θ為融合算子。

2 基于小波-Contourlet變換和區(qū)域能量融合規(guī)則的圖像融合算法

鑒于小波-Contourlet變換、基于區(qū)域能量的融合規(guī)則以及Cycle Spining這三者的優(yōu)點，提出一種基于小波-Contourlet變換和區(qū)域能量融合規(guī)則的圖像融合算法。算法步驟如下：

a)將待融合圖像行和列分別作8次平移，得到共64組圖像。

b)分別對每組兩幅圖像作小波-Contourlet變換，建立各自的多分辨圖像序列，得到不同子帶不同方向上的變換系數(shù)。

c)采用基于區(qū)域能量的融合規(guī)則對變換系數(shù)進行處理，得到目標圖像的變換系數(shù)。

d)對融合系數(shù)作反變換，最后反平移，得64個結果圖像。

e)取64個結果圖像的平均值得最終融合結果。

3 融合算法評價

本文算法采用融合圖像與標準圖像之間的均方誤差根（RMSE）以及算法運行的時間來評價。RMSE的計算公式為

其中： (M，N)為圖像大小；xR為參考圖像， xF為融合后的圖像。RMSE值越小，說明融合圖像與參考圖像的差距越小。

4 實驗結果與分析

本文將小波、Contourlet、小波-Contourlet分別與三種融合規(guī)則交叉配合進行了實驗，并對引入與不引入Cycle Spinning進行了實驗， 對大小為256×256圖像實驗結果如圖4所示。結果中wbct-energy-cs表示采用基于區(qū)域能量的融合規(guī)則，用小波-Contourlet變換并引入Cycle Spinning作圖像融合：其他類似。本文算法利用MATLAB 6.5編程實現(xiàn)，運行環(huán)境P4 2.4 GHz CPU，操作系統(tǒng)Windows XP。

圖4給出的Pepsi圖像運用不同方法得到結果。可以看出，本文的算法得到的融合圖像信息最豐富，具有最好的視覺效果。

表1給出了不同融合算法得到的RMSE值，從結果上看，無論采用哪種變換進行融合，采用區(qū)域能量的融合規(guī)則所得到的融合效果都是最好。當采用相同的融合規(guī)則時，運用小波-Contourlet并引入Cycle Spinning進行融合所得到的結果也是最好。

表2給出了基于鄰域特征的兩種融合規(guī)則即基于局部方差最大和基于區(qū)域能量融合規(guī)則的算法耗時。從實驗結果看，由于引入Cycle Spinning要對64幅圖像進行融合再取平均，就增加了程序的運算量，對于一種固定的變換，引入Cycle Spinning要比不引入所用的時間長；但是同樣引入Cycle Spinning與同樣不引入的情況下，基于區(qū)域能量的融合規(guī)則所用的時間要遠遠小于基于局部方差最大的算法所用的時間，從而可以更好地滿足融合系統(tǒng)的實時性要求。

5 結束語

基于區(qū)域能量的融合規(guī)則能更好地提取豐富的細節(jié)信息，小波-Contourlet變換與小波變換以及Contourlet相比能對圖像進行更稀疏的表達，Cycle Spinning的引入消除了變換缺乏平移不變性而引起的圖像失真。本文提出的基于小波-Contourlet變換和區(qū)域能量融合規(guī)則的圖像融合算法明顯降低了RMSE值，達到了良好的視覺效果，同時減少了運算時間。該算法同樣也適用于多幅多聚焦圖像的融合。



參考文獻：

［1］

ACHALAKUL T， LEE J， TAYLOR S. Resilient image fusion[C]// Proc of International Conference on Parallel Processing Workshops. Toronto:[s.n.]，2000: 291-296.

[2]TOET A. A morphological pyramidal image decomposition[J].Pattern Recognition Letters， 1989，9(3):255-261.

[3]THEVENAZ P， UNSER M. A pyramid approach to sub-pixel image fusion based on mutual information[C]// Proc of IEEE International Conference on Image Processing.Lausanne， Switzerland：[s.n.]， 1996: 265-268.

[4]LI H， MANJUNATH B S， MITRA S K.Multisensor image fusion using the wavelet transform [J].Graphical Models and Image Processing， 1995， 57(3):235-245.

[5]焦李成，譚山.圖像的多尺度幾何分析:回顧和展望 [J].電子學報，2003，31(12A):1975-1981.

[6]DO MN ， VETTERLI M. The Contourlet transform: an efficient directional multiresolution image representation[J]．IEEE Trans on Image Proc，2005，14(12)：2091-2106.

[7]ESLAMI R， RADHA H. Wavelet-based Contourlet transform and it’s application to image coding[C]// Proc of IEEE International Conference on image Processing.Singapore:[s.n.]，2004:3189-3192.

[8]BURT P J， KOLCZYUSKI R J. Enhanced image capture through fusion[C]// Proc ofthe 4th International Conference on Computer Vision.Berlin:[s.n.]，1993.173-182.

[9]ESLAMI R， RADHA H. The Contourlet transform for image denoising using Cycle Spinning[C]// Proc ofAsilomar Conference on Signals， Systems， and Computers.Pacific Grove:[s.n.]，2003:1982-1986.

[10]DO M N， VETTERLI M.Contourlets: a directional multiresolution image representation[C]// Proc of IEEE International Conference on Image Processing.Rochester:[s.n.]，2002:357-360.

[11]陶觀群，李大鵬，陸光華.基于小波變換的不同融合規(guī)則的圖像融合研究[J].光子學報，2004，33(2): 221-224.

注：“本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文。”