基于Ｃｏｎｔｏｕｒｌｅｔ變換的多聚焦圖像融合

摘要：由于可見光成像系統的聚焦范圍有限，很難獲得同一場景內所有物體都清晰的圖像，多聚焦圖像融合技術可有效地解決這一問題。Contourlet變換具有多尺度多方向性，將其引入圖像融合，能夠更好地提取原始圖像的特征，為融合圖像提供更多的信息。該文提出了一種基于區域統計融合規則的Contourlet變換多聚焦圖像融合方法。先對不同聚焦圖像分別進行Contourlet變換，采用低頻系數取平均，高頻系數根據區域統計值決定的融合規則，再進行反變換得到融合結果。文中給出了實驗結果，并對融合結果進行了分析比較，實驗結果表明，該方法能夠取得比基于小波變換融合方法更好的融合效果。

關鍵詞：圖像融合；Contourlet變換；小波變換

中圖分類號：TP391文獻標識碼：A文章編號：1009-3044(2008)34-1700-03

Multifocus Image Fusion Based on Contorlet Transform

DING Lan

(College of Information Science Technology， Nanjing University of Aeronautics and Astronautics， Nanjing 210016， China)

Abstract: Due to the limited depth-of-focus of optical lenses ， it is often difficult to get an image that contains all relevant objects in focus. Multifocus image fusion method can solve this problem effectively. Contoulet transform has varying directions and multiple scales. When the contourlet transform is introduced to image fusion ， the characteristics of original images are taken better and more information for fusion is obtained. A new multifocus image fusion method is proposed in this paper， based on contourlet transform with the fusion rule of region statistics. Different focus images are decomposed using contourlet transform firstly， then low-bands are integrated using the weighted average ， high-bands are integrated using region statistics rule. Then the fused image will be obtained by inverse contourlet transform. The experimental results are showed， and compared with the method based on wavelet transform. Experiments show that this approach can achieve better results than the method based on wavelet transform.

Key words: image fusion; contourlet transform; wavelet transform

1 引言

對于可見光成像系統來講，由于成像系統的聚焦范圍有限，場景中的所有目標很難同時都成像清晰，這一問題可以采用多聚焦圖像融合技術來解決，即用同一成像鏡頭對場景中的兩個（多個）目標分兩次（多次）進行成像，將這些成像中清晰部分融合成一幅新的圖像，以便于人的觀察或計算機的后續處理。

小波變換作為一種圖像多尺度幾何分析工具，具有良好的空域和頻域的局域性，在圖像融合領域得到了廣泛的應用[1-5]。但是，小波分析的優勢在于反映信號的點奇異性，即反映奇異點的位置和特征，而對二維圖像中的邊緣如各種曲線或直線狀特征等更高維的奇異性，小波則難以表達其特征。因此，人們提出了將脊波變換[6]以及曲波變換(Curvelet) [7-8]用于圖像融合，但是由于Curvelet變換是一種基于塊剖分的變換，處理時需要對各剖分塊進行疊加處理，這樣不僅增加了計算量也增加了計算的冗余度，另外Curvelet變換[9]和脊波變換最關鍵的步驟是極坐標系和笛卡兒坐標系的轉換，這種轉換非常困難。而Contourlet變換是一種近似的Curvelet變換數字實現方式，走的卻是一條與Curvelet變換相反的技術路線。Contourlet變換首先直接在數字域中定義，再將數字域和連續域聯系起來，在連續域中討論Contourlet變換的逼近性能。Contourlet變換具有比Curvelet變換少得多的冗余度，因此將Contourlet變換[10-11]應用于圖像融合領域將有很好的發展前景。

本文提出了一種基于區域統計融合規則的Contourlet變換多聚焦圖像融合方法，先對不同聚焦圖像分別進行Contourlet變換，采用低頻系數取平均，高頻系數根據區域統計值決定的融合規則，再進行反變換得到融合結果。文中給出了實驗結果，并與基于小波變換的融合方法所得結果進行比較。

2 Contourlet變換

離散Contourlet 變換也稱塔形方向濾波器組（Pyramidal Direction Filter Bank，PDFB），是小波變換的一種新擴展，具有多分辨率、局部定位、多方向性、近鄰界采樣和各向異性等性質，其基函數分布于多尺度、多方向上，少量系數即可有效地捕捉圖像中的邊緣輪廓，而邊緣輪廓正是自然圖像中的主要特征[12]。

Contourlet 變換首先使用一個類似小波的多尺度分解捕捉奇異點，再根據方向信息將位置相近的奇異點匯集成輪廓段。拉普拉斯塔形濾波器結構（Laplacian Pyramid，LP）用于對圖像的多分辨率分解：首先產生原始信號的一個低通采樣逼近及原始圖像與低通預測圖像之間的一個差值圖像，對得到的低通圖像繼續分解得到下一層的低通逼近和差值圖像，如此逐步濾波得到圖像的多分辨率分解。相比臨界采樣小波，LP分解在高維情況下每層僅產生一個帶通圖像，避免了擾頻現象（因為LP 濾波器組僅對低通圖像下采樣）。二維方向濾波器組（Directional Filter Bank，DFB）應用于LP 分解得到的每一級高頻分量上，在任意尺度上可分解得到2的n次方數目的方向子帶。LP與DFB結合形成的雙層濾波器組結構稱為塔形方向濾波器組PDFB，由于PDFB 實質上是以輪廓段的方式逼近原始圖像，因此也稱為離散Contourlet 變換。圖1(a)給出了離散Contourlet變換的濾波器組結構，原始圖像經PDFB 結構分解，得到一個低通圖像和分布于多尺度、多方向上的高頻分量。圖1(b)為Contourlet頻域分解圖，實際應用中，方向數隨著尺度增大而增多。圖像經Contourlet 分解后的系數相當稀疏，絕大部分系數幅值接近零，幅值較大的系數往往聚集在輪廓邊緣附近，且在尺度間有一定的相關性和延續性。圖2 給出了Contourlet 分解的一個例子，圖像peppers經2 級LP 分解，最細致層上方向數為8。

■

圖1 Contourlet變換濾波器組結構圖及頻率分解

■

圖2 peppers的2級Contourlet分解示意圖

3 基于Contourlet變換的圖像融合算法

融合準則的選擇是決定小波融合效果的關鍵因素，現有的小波系數融合準則主要有基于單個像素的取大法、取小法、加權平均法等和基于區域的能量法、方差法等。通常來說，基于小波的融合準則都可用在Contourlet融合中。本文采用了低頻系數取平均，高頻系數根據區域統計值決定的融合準則。假設兩幅待融合的圖像為圖A和圖B，融合以后圖像為圖F，先計算兩幅圖像Contourlet分解后的每個高頻系數相鄰N ×N 窗口的統計數CA和CB，然后再根據CA 和CB 的值來決定融合圖像的高頻系數。具體的融合準則如下：

■

其中Wi(A)(k，l)、Wi(B)(k，l)分別為圖像A和圖像B的第i個高頻分量的第(k，l)點所對應的高頻系數， Wi(F)(k，l)為融合后圖像F對應的第i個高頻分量的第(k，l)點的高頻系數。為了驗證本文融合準則的有效性，進行了實驗（如圖3所示）。在圖3中有兩幅圖像，其中(b)是(a)模糊處理后（均值濾波后）的結果。

對圖3中(a)和(b)利用系數取大法和區域統計法兩種不同的融合規則進行Contourlet融合，并提取出融合后的高頻Contourlet系數，分別計算其與清晰圖像對應的高頻Contourlet系數的差值，用三維圖像顯示各自的差值Contourlet系數，如圖4所示。差值越小，說明融合準則越好。從圖4可以看出，區域統計法要明顯優于常用的系數取大法。

4 實驗結果分析

為了使融合結果的比較更具有一般性，基于小波變換的融合方法也采用文中的融合準則，由于小波分解大于3層后層數對融合效果的影響已經很小，因此基于小波變換融合的分解層數取3層。Contourlet變換的LP 采用“9-7”金字塔濾波器，其原因是線性相位并且近似滿足正交性的特點使得“9-7”濾波器更適合于圖像信號的處理。Contourlet變換的DFB 采用“pkva”方向性濾波器，分解層數也取3層，融合準則中的N取3。本文對多組圖像進行了融合實驗，現給出其中一組圖像的實驗結果。圖5為原始圖像1，聚焦在右邊，右邊的景物清晰，左邊的景物模糊。圖6為原始圖像2，聚焦在左邊，左邊的景物清晰，右邊的景物模糊。圖7為基于小波變換融合后的結果。圖8為Contourlet變換的融合結果。

■

圖5 原始圖像1 圖6 原始圖像2圖7 小波融合結果 圖8 Contourlet融合結果

從融合結果可以看出，基于小波變換的融合方法雖然也可以得到左右邊景物都比較清晰的圖像，但是在一些邊緣處出現了明顯的模糊現象。從圖7中間的字母處可以看到這一點。而基于Contourlet變換的圖像融合方法則能得到清晰的邊緣，這正是由于小波是各向同性的，無法精確表達具有方向的邊緣特征所導致。而Contourlet變換的多分辨率、局部定位、多方向性使得基于Contourlet變換的圖像融合取得了更好的融合效果。

為了客觀定量評價融合結果，本文采用的評價指標有：圖像的信息熵、圖像的清晰度和均方根誤差。

1) 圖像的信息熵。圖像的信息熵表示圖像的平均信息量，對圖像信息熵的對比可以比較圖像的細節表現能力。對于灰度范圍為{0， 1， ...，L - 1}的圖像，其信息熵為：

■

式中，Pi為灰度值等于i的像素數與圖像總像素數之比，L為灰度級總數。

2) 圖像的清晰度。圖像的清晰度可以采用梯度法來衡量，圖像的梯度計算公式為：

■

M，N分別為圖像的行數與列數。如果g越大，則圖像清晰度越高，好的融合算法可以有效地改善圖像清晰度。

3) 均方根誤差RMSE（Root Mean Square Error）。融合圖像F和標準參考圖像R間的均方根誤差定義為：

■

其中，M，N分別為圖像的行數與列數。均方根誤差越小，說明融合效果越好。

表1 實驗結果比較

■

從表1可以看出，相比于基于小波變換的融合結果，基于Contourlet變換的融合結果信息熵和清晰度更大，而均方根誤差更小。由此可以看出，基于Contourlet變換的融合方法在圖像的細節表現能力、圖像的清晰度和融合效果方面都優于基于小波變換的融合方法。

4 結論

本文提出了一種基于區域統計融合規則的Contourlet變換多聚焦圖像融合方法，先對不同聚焦圖像分別進行Contourlet變換，采用低頻系數取平均，高頻系數根據區域統計值決定的融合規則，再進行反變換得到融合結果。文中給出了實驗結果，并對融合結果進行了分析和比較，實驗結果表明Contourlet變換的融合結果優于基于小波變換的融合結果，Contourlet作為一種新的圖像多尺度幾何分析工具在圖像融合領域有著潛在的應用前景。

參考文獻：

[1] 劉斌，彭嘉雄.具有緊支撐正交非張量積小波的圖像融合[J].光學學報，2004，24(9):1214-1218.

[2] 吳艷，楊萬海，李明.基于小波分解和進化策略的圖像融合方法[J].光學學報，2003，23(6):671-676.

[3] 李明，吳艷，吳順君.彩色紋理分析中的多特征數據融合方法[J].光學學報，2004，24(12):1617-1622.

[4] 劉貴喜，楊萬海.基于多尺度對比度塔的圖像融合方法及性能評價[J].光學學報，2001，21(11):1336-1342.

[5] 劉衛華，周利華.基于小波概率估計的圖像融合方法研究[J].光子學報，2004，33(1):101-104.

[6] 李暉暉，郭雷，李國新.基于脊波變換的SAR與可見光圖像融合研究[J].西北工業大學學報，2006，24(4):418-422.

[7] 張強，郭寶龍.一種基于Curvelet變換多傳感器圖像融合算法[J].光電子，2006，17(9):1123-1127.

[8] 李暉暉，郭雷，劉航.基于二代Curvelet變換的圖像融合研究[J].光學學報，2006，26(5):657-661.

[9] Cohen L L，Schumacher.Curves and Surf aces[M].Nashville，TN:Vanderbilt University Press，2000:10-120.

[10] 陳密，李德仁，秦前清，等.基于contourlet變換的遙感影像融合算法[J].小型微型計算機系統，2006，11(27):2052-2056

[11] 李光鑫，王珂.基于contourlet變換的彩色圖像融合算法[J].電子學報，2007，1(35):112-116

[12] 易文娟，郁梅，蔣剛毅.Contourlet:一種有效的方向多尺度變換分析方法[J].計算機應用研究，2006，1(6):18-22.