區域能量和圖像自相似的NSCT域圖像融合*

龔 淼, 張尤賽, 李垣江

(江蘇科技大學 電子信息學院,江蘇 鎮江 212003)

區域能量和圖像自相似的NSCT域圖像融合*

龔 淼, 張尤賽, 李垣江

(江蘇科技大學 電子信息學院,江蘇 鎮江 212003)

非降采樣輪廓波變換(NSCT)不僅具有平移不變性，還擁有足夠的冗余信息，可以更有效地提取源圖像中的方向信息，使得融合后的圖像更符合人眼的視覺特性。利用NSCT在圖像處理中的優勢，針對紅外光與可見光圖像的融合，提出了一種新的基于改進的區域能量和圖像自相似的NSCT域圖像融合算法。首先，利用NSCT將圖像分解為一個低頻子帶和多個不同方向的帶通子帶；然后，對低頻子帶采用區域能量自適應加權融合規則，帶通方向子帶則利用圖像自相似進行系數的融合；最后，對融合系數進行NSCT逆變換，以重構生成融合圖像。實驗結果表明：與一些現有算法相比，該算法的圖像融合結果在人眼主觀視覺標準和客觀評價標準上均具有明顯優勢。

圖像融合； 非降采樣輪廓波變換； 區域能量； 圖像自相似

0 引 言

圖像融合是將不同工作模式下的多個圖像傳感器所獲取的圖像信息加以綜合，以獲得更全面和更準確的描述[1～3]。

非降采樣輪廓波變換(nonsubsampled contourlet transform，NSCT)[4]具有多分辨率、各向異性及平移不變性等優點[5]，能夠很好地捕獲自然圖像中的幾何結構信息，在圖像融合領域取得了比較好的效果[6,7]。

但在紅外光與可見光圖像融合領域中，NSCT雖然能夠較好地保留可見光圖像背景信息的細節，卻不能很好地表達紅外光圖像中的目標信息[8]。另外，在基于多尺度變換的圖像融合過程中，融合規則的選定是影響融合效果的關鍵因素之一。對于低頻系數，最常用的方法是平均法，但是這種方法容易使源圖像低頻系數中的部分有用信息丟失，在一定程度上降低了融合圖像的對比度。對于高頻系數，一般認為絕對值越大的系數，擁有越明顯的細節信息，但容易造成融合系數的誤選，導致無法獲取源圖像中最有效的有用信息。所以為了更好地利用NSCT在圖像融合領域的優勢，需在NSCT域選擇合適的高低頻系數的融合規則。

綜上所述，本文提出了一種基于區域能量和圖像自相似的NSCT域紅外光與可見光圖像融合算法。利用NSCT對源圖像進行多尺度分解，對于低頻圖像，采用空間頻率改進的區域能量比的融合規則，以突出紅外目標，并保留更多的可見光背景信息；對于高頻圖像，采用圖像自相似方法作為系數的融合規則，使圖像保留更多的細節信息。

1 NSCT

NSCT由非降采樣方向濾波器組和非降采樣金字塔濾波器組2個部分組成。NSCT引入了Atrous算法對濾波器進行上采樣來實現圖像的分解與重構，使其成為一類實用的超小波變換方法。圖1為NSCT的變換結構。

圖1 NSCT變換結構

2 圖像自相似

用源圖像的共享自相似性來形成圖像像素融合的自適應區域[9～11]。設源圖像中的參考塊為Qv∈Cj×j，區域的中心像素為v，候選塊Qp∈Ci×i與C(v)∈Ci×i。Qv的相似性定義如下

εp=‖G‖F

(1)

(2)

圖2 共享相似塊的自適應區域

融合后圖像的像素一般選擇源圖像中清晰度最高的像素，稱為最大值原則[12]，如式(3)所示

(3)

式中 O為清晰度指標；fF為融合后的圖像。通常可利用計算每個像素的清晰度之和O(v)來替代像素最大值的方法，克服圖像融合過程中產生的方塊效應。

3 詳細算法

3.1 低頻融合規則

(LX(m,n)-LX(m,n-1))2]

(4)

低頻系數融合規則如下

(5)

式中X為源圖像;LX為源圖像分解后的低頻系數矩陣;K為小波分解層數。

(6)

圖像融合的低頻系數矩陣為LF

(7)

(8)

(9)

式中 mean[·]為計算均值；std[·]為計算標準差。

3.2 高頻融合規則

(10)

式中rA(n)為在空間位置n的計數；rA(n)和rB(n)的初始值為0，直到所有自適應區域都比對完成后停止，得到一個與源圖像大小相同的rA和rB的計數映射。可用rA(n)和rB(n)得到像素v的最終投票結果，并通過分配相應的權重來得出融合圖像的像素值，如式(11)所示

(11)

式中rA(v)和rB(v)一般不為0。

3.3 融合步驟

首先將源圖像進行NSCT分解，然后用改進的區域能量和圖像自相似確定融合圖像的低頻與高頻系數，最后經過NSCT逆變換得出融合圖像。具體步驟如下：

1)利用NSCT變換分別分解出源圖像A和B的低頻系數和高頻系數；

2)根據上述區域能量式(4)～式(9)，對源圖像低頻系數進行融合；

3)根據上述圖像自相似式(1)～式(3)和式(10)～式(11)，融合源圖像的高頻系數；

4)對低頻系數和高頻系數的融合結果進行NSCT逆變換得出融合圖像F。

4 實驗結果與分析

實驗選取了2組圖像，如圖3所示。圖3(a)為大小為256×256的圖像“e518a”。實驗中，給出的圖像自相似規則的搜索區域大小為16×16，所有圖像的相似塊數量為16。

圖3 組源圖像

圖4和圖5分別給出了基于Curvelet變換的圖像融合算法，基于SF-NSCT的圖像融合算法、傳統DWT圖像融合算法和本文算法針對兩組實驗圖像的融合結果。

圖4 第1組紅外光與可見光圖像融合

圖5 第2組紅外光與可見光圖像融合

圖4、圖5中，4種圖像融合算法均能保持源圖像的主要信息和特征，但在圖像融合結果的細節處仍存在較明顯的差異。經Curvelet變換和傳統DWT算法融合后，圖像的背景更接近于紅外光圖像，圖像灰度值較大，且Curvelet變換融合結果伴有明顯的振鈴現象。SF-NSCT和本文算法的融合圖像的背景更接近于可見光圖像，灰度值較適中且背景信息較為清晰，在細節特性上，如行人和車輛與燈光重疊部分更為清晰，整體的圖像對比度更高。表1給出了圖4、圖5中采用不同融合算法的融合圖像結果的客觀評價指標，每組圖像每個評價指標的最優值用粗字體加以標示。

表1 圖4，圖5中不同算法融合結果的評價指標對比

表1中圖4和圖5融合結果的客觀評價指標說明，本文算法融合結果的信息熵E、平均梯度G、空間頻率SF與邊緣互信息Qab/f4個評價指標與其他算法融合結果相比皆為最高。所以本文融合算法有助于提升圖像的層次感，增加融合后圖像信息量，并能較多地保留源圖像中的信息，與主觀評價結果一致。

5 結 論

基于區域能量的圖像融合規則能夠克服基于像素融合規則的片面性，可以更好地體現圖像的局部特征。經NSCT分解后的圖像的高頻子帶可反映出圖像的紋理和邊緣信息，選用圖像自相似融合規則可以提高融合圖像的清晰度。實驗結果說明：本文所提算法可以更好地突出紅外圖像中的目標信息，保存可見光圖像的背景信息，增強對比度，在主觀視覺效果與客觀評價指標上均有一定地改善和提升。

[1] 朱 煉,孫 楓,夏芳莉，等.圖像融合研究綜述[J].傳感器與微系統,2014,33(2):14-18.

[2] 高繼森,董亞楠,沈 瑜，等.基于改進Tetrolet變換的圖像融合算法研究[J].計算機科學,2015,42(5):320-322.

[3] 趙景朝,曲仕茹.基于Curvelet變換與自適應PCNN的紅外與可見光圖像融合[J].西北工業大學學報,2011,29(6):849-853.

[4] Cunha A L da,Zhou J,Do M N.The nonsubsampled contourlet transform:Theory,design,and applications[J].IEEE Transactions on Image Processing,2006,15(10):3089-3101.

[5] 黃曉青.基于模糊邏輯的紅外光與可見光圖像融合技術[D].重慶：重慶大學,2012.

[6] 張 蕾,金龍旭,韓雙麗，等.采用非采樣Contourlet變換與區域分類的紅外和可見光圖像融合[J].光學精密工程,2015,23(3):810-818.

[7] Qu Xiaobo,Yan Jingwen,Xiao Hongzhi,et al.Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J].Automatica SINICA,2008,34(12):1508-1514.

[8] 何國棟,石建平,馮友宏,等.一種新的紅外與可見光圖像融合算法[J].傳感器與微系統,2014,33(4):139-141.

[9] Dabov K,Foi A,Katkovnik V,et al.Image denoising by sparse 3D transform-domain collaborative filtering[J].IEEE Transactions on Image Processing,2007,16(8):2080-2095.

[10] Qu Xiaobo,Hou Yingkun,Lam Fan,et al.Magnetic resonance image reconstruction from undersampled measurements using a patch-based nonlocal operator[J].Medical Image Analysis,2014,18(6):843-856.

[11] Guo Di,Yan Jingwen,Qu Xiaobo.High quality multi-focus image fusion using self-similarity and depth information[J].Optics Communications,2014,10:31.

[12] Zhong Z,Blum R S.[C]∥Proceedings of the IEEE,1999:1315.

Fusion of images based on regional energy and image self-similarity in NSCT domain*

GONG Miao, ZHANG You-sai, LI Yuan-jiang

(School of Electronics and Information,Jiangsu University of Science and Technology,Zhenjiang 212003,China)

Nonsubsampled contourlet transform(NSCT)not only has translation invariance,but also has sufficient redundancy information,and it can more effectively extract direction information from source image,so that the fused image is more consistent with human visual characteristics.A new image fusion algorithm for visible-infrared image based on improved region energy and image self-similarity in NSCT domain is proposed.The two source images are decomposed into low-frequency subbands and high-frequency subbands by NSCT.As for the low frequency subband coefficients, an regional energy adaptive weighting image fusion algorithm is presented;while as for the high-frequency subband coefficients, based on self-similarity.Fusion coefficients are reconstructed by inverse NSCT to reconstruct to form fusion image.Compared with some existing algorithms, the proposed fusion algorithm results has obvious advantages in the human eye subjective visual standards and objective evaluation criteria.

image fusion; nonsubsampled contourlet transform(NSCT); regional energy; image self-similarity

10.13873/J.1000—9787(2017)05—0074—03

2016—05—18

江蘇省博士后基金資助項目(1302027C);江蘇省高校自然科學研究面資助項目(15KJB510008)

TP 391

A

1000—9787(2017)05—0074—03

龔 淼(1991-)，女，碩士研究生，研究方向為計算機視覺與圖像處理。

李垣江(1981-)，男，通訊作者，博士研究生，講師，研究方向為信號與圖像處理、計算機視覺、故障診斷，E—mail:gongmiaogm@126.com。