基于改進譜殘差顯著性圖的紅外與可見光圖像融合

李辰陽，丁 坤，翁 帥，王 立

〈圖像處理與仿真〉

基于改進譜殘差顯著性圖的紅外與可見光圖像融合

李辰陽1，丁 坤1,2，翁 帥1，王 立1

（1. 河海大學，江蘇 常州 213022；2. 常州市光伏系統集成與生產裝備技術重點實驗室，江蘇 常州 213022）

為了將可見光圖像與紅外圖像中的細節信息更多的呈現在融合圖像中，突出目標特征并獲得更好的圖像視覺效果，本文提出一種基于改進譜殘差顯著性圖的紅外與可見光圖像融合方法。首先用改進的譜殘差顯著性檢測算法提取紅外圖像的顯著性圖并獲得融合圖像的顯著性系數，然后對源圖像進行雙樹復小波分解，并根據特定的融合規則分別對圖像的低頻部分以及高頻部分進行融合，最后采用雙樹復小波逆變換重構獲得最終的融合圖像。實驗表明，本文融合方法相較于傳統融合方法融合質量更高并且在視覺效果上有顯著提升。

譜殘差顯著性；圖像融合；雙樹復小波分解；融合規則

0 引言

圖像融合是指將多源信道對同一目標采集到的多幅圖像綜合成一幅高質量圖像[1]。紅外成像傳感器根據測量目標本身與背景紅外輻射的差異成像，抗干擾能力強，但分辨率較低，容易丟失細節信息；而可見光圖像通常具有較高的對比度以及分辨率，能體現更多細節信息。因此紅外圖像與可見光圖像有著良好的互補性，紅外圖像與可見光圖像的融合也成為圖像融合技術的研究熱點，在軍事、遙感等領域已取得了廣泛的應用[2]。

基于多尺度分解的方法一直是圖像融合技術研究的熱點。余美晨等人在梯度金字塔變換[3]的基礎上采取不同的層次融合策略生成融合圖像。Ashish等人將多尺度局部形狀算子與拉普拉斯金字塔變換[4]相結合提出了一種新型的圖像融合方法。但常用的金字塔變換缺乏方向性且數據冗余度高，融合后圖像不夠清晰，圖像信息量較少。Gonzalo等人提出了基于小波變換[5]的圖像融合算法，克服了數據冗余的問題，但缺乏方向選擇性以及平移不變性。Seal等人將Curvelet變換[6]應用于多尺度圖像融合，雖然能夠分析任意角度的方向，但計算量太大，圖像處理效率較低。雙樹復小波變換[7]在小波變換的基礎上進行改進，保留小波變換優點的同時，具有多方向選擇性以及近似平移不變性，其計算效率高、重構效果好，融合圖像質量較高，因此本文使用雙樹復小波變換進行多尺度變換。

圖像融合規則也是影響融合圖像質量的重要因素，傳統基于平均（AVE）的融合規則往往會降低圖像的對比度，融合圖像的視覺效果較差[8]。針對這一問題，本文提出一種基于改進譜殘差（Spectral Residual，SR）顯著性圖的融合算法，應用改進的譜殘差顯著性模型對紅外圖像進行顯著性分析獲得融合圖像的顯著性權重，并根據顯著性權重設計低頻部分的融合規則，高頻部分則采用局部方差最大值融合規則。

1 算法思想

1.1 紅外圖像的譜殘差顯著性分析

視覺顯著性是指針對某一特定場景，人類的視覺系統會選擇性地忽略不感興趣的區域，并自動關注感興趣區域[9]。而如何對圖像中的顯著性區域進行量化已經成為近年來計算機視覺領域的研究熱點。

從信息論的角度，圖像信息(Image)可以分成兩部分：

(Image)＝(Innovation)＋(Prior) (1)

式中：(Innovation)表示圖像中顯著的部分，而(Prior)表示圖像中的冗余信息。Spectral Residual算法[10]就是基于這種思想，分析處理輸入圖像的對數譜，去除圖像中的冗余部分，得到輸入圖像的顯著部分。

首先對輸入圖像進行傅里葉變換，獲取振幅譜()以及相位譜()作為先驗信息：

()＝R(á[()]) (2)

()＝S(á[()]) (3)

然后根據振幅譜()求輸入圖像的殘差譜，譜殘差為圖像Log譜與平均頻譜的差值，計算公式如下：

()＝log(()) (4)

()＝()*h() (5)

()＝()－() (7)

式中：()表示圖像的Log譜；()表示平均頻譜；h()表示局部×均值濾波器；()表示輸入圖像的殘差譜。

最后根據殘差譜()與先驗信息中的相位譜()進行傅里葉逆變換，就能夠得到輸入圖像的顯著性譜()，計算公式如下：

雖然Spectral Residual顯著性檢測算法運算效率高，但其只能在一定程度上給出顯著性區域的位置，并不能得到視覺效果良好的顯著性圖，如圖1～圖2所示。

圖2 場景2紅外圖像以及顯著性圖

為了得到視覺效果更好的顯著性圖，本文在SR顯著性檢測算法的基礎上進行改進，引入輸入圖像中每個像素點的全局對比度，計算公式如下：

式中：contrast(I)表示輸入圖像中像素點的全局對比度；I表示像素點的灰度值；I表示輸入圖像中任意像素點的灰度值；I與I的取值都在[0,255]范圍內，||×||表示灰度距離度量。然后分別對殘差譜()與全局對比度contrast(I)進行歸一化處理：

在map()與map()中，系數越大表示顯著性越強，因此在對map()與map()進行融合時，采用最大值選擇規則，具體的融合規則如下：

改進前后的顯著性圖如圖3～圖4所示：

圖3 場景1算法改進前后顯著性圖

圖4 場景2算法改進前后顯著性圖

經過改進后的顯著性圖不僅有效地保留了紅外圖像中顯著性目標的邊緣信息，顯著性圖的視覺效果也有了明顯的提升。

1.2 雙樹復小波變換

為了克服傳統小波變換在方向選擇性以及平移不變性上的局限，Kingsbury對傳統小波變換進行了改進，提出雙樹復小波變換[7]：雙樹復小波變換對輸入圖像的行和列分別進行獨立的離散小波變換（兩個獨立的離散小波變換也稱為雙樹復小波變換中的樹a和樹b），最終形成一種雙樹結構。

如圖5所示，樹a作用于輸入圖像的行，樹b作用于輸入圖像的列，0表示樹a對應的低通濾波器，1表示樹a對應的高通濾波器，0表示樹b對應的低通濾波器，1表示樹b對應的高通濾波器，ˉ2表示降采樣（隔點采樣）。每一級分解能夠得到兩個低頻子帶(＋1,1)、(＋1,2)，低頻子帶還可以繼續分解從而得到不同尺度下的高、低頻成分；每一級分解獲得低頻子帶的同時，還能夠得到6個不同方向上的高頻子帶(＋1,)，(＝1, …, 6)，高頻子帶的方向分別為±15°、±45°、±75°。

相較于傳統小波變換，雙樹復小波變換不僅保留了傳統小波變換的優點，還具備方向選擇性（6個方向：±15°、±45°、±75°）以及近似平移不變性，能有效提高輸入圖像分解以及重構的精度，提高圖像融合的質量。

圖5 雙樹復小波分解示意圖

1.3 圖像融合規則設計

本文圖像融合算法主要分為低頻部分融合以及高頻部分融合兩部分，具體的融合算法流程如圖6所示。

圖6 融合算法流程圖

1.3.1 低頻系數融合

經過雙樹復小波變換后，源圖像的能量主要集中在低頻部分，為使融合后的圖像具有高對比度以及良好的視覺效果，本文在上述工作的基礎上利用紅外圖像的顯著性圖進行低頻系數的融合，具體的融合規則如下：

F()＝()×IR()＋[1－()]×Ⅵ() (13)

式中：F()表示融合圖像的低頻部分；IR()表示紅外圖像低頻部分；Ⅵ表示可見光圖像低頻部分；()為改進后的顯著性系數。

1.3.2 高頻系數融合

經過雙樹復小波變換得到的源圖像的高頻部分反映圖像的邊緣信息，會對融合圖像的細節產生較大影響。局部方差是度量高頻部分不同區域包含源圖像信息量多少的常用方法[11]，局部方差計算公式如下：

局部方差越大表明對應區域所包含的源圖像的信息量越多，因此可以根據局部方差極大值規則進行圖像高頻部分的融合，具體的融合規則如下：

2 實驗結果及分析

為了驗證本文基于改進譜殘差顯著性圖的紅外與可見光圖像融合算法的有效性，本文選取3組已配準的紅外與可見光圖像，并使用多種經典的融合算法對選取的圖像進行融合，評估不同融合算法的融合效果。本文使用的對比融合方法包括：拉普拉斯金字塔變換（Laplacian Pyramid，LP）、離散小波變換（Discrete Wavelet Transform，DWT）、基于視覺顯著性與對比度增強的圖像融合（Guided-filtering Nonsubsample Contourlet Transform，GFNSCT）[12]以及本文提出的基于改進譜殘差顯著性圖的紅外與可見光圖像融合算法，其中用于對比實驗的拉普拉斯金字塔變換、離散小波變換，在低頻部分直接進行算術平均，高頻部分取絕對值最大系數。

2.1 圖像主觀評價

各種對比算法融合結果如圖7～圖9所示。

圖7 場景1融合結果

圖8 場景2融合結果

圖9 場景3融合結果

從主觀上評價，本文提出的融合算法呈現了更多的圖像細節，在圖7中車輛以及商鋪輪廓清晰，圖8、圖9中樹枝處的紋理細節也清晰可見。與此同時本文提出的融合算法在對比度方面也有著明顯的提高，并且在融合圖像的視覺效果方面明顯優于傳統的融合算法，這點在圖7中體現得最為明顯。

2.2 圖像客觀分析

在本文中采用標準差（Standard Deviation，SD）、信息熵（Information Entropy，IE）、空間頻率（Spatial Frequency，SF）、互信息（Mutual Information，MI）[13]以及c[14]5個客觀評價指標對融合結果進行量化評價。

式中：表示圖像灰度的平均值，SD反映融合圖像的對比度，標準差越大融合圖像對比越明顯。

式中：RF與CF分別為圖像的行頻率與列頻率；空間頻率體現融合圖像頻譜的豐富度；空間頻率越大融合圖像越清晰。

式中：R,F(,)為理想圖像R與融合圖像F的歸一化聯合直方圖分布；R()與F()分別為圖像的歸一化邊緣直方圖分布；為灰度級數。互信息反映融合圖像從源圖像中獲取信息的豐富程度，互信息越高，表明融合圖像與源圖像關聯度高。

式中：p表示圖像中灰度值為的像素所占的比例。圖像信息熵是一種特征的統計形式，能夠反映圖像平均信息量的多少。

c是基于人眼視覺系統提出的融合圖像評價標準，c值越大表明融合圖像的視覺效果越好。

本文所有運算均在同一臺電腦上運行，配置1.8GHz四核CPU，16GB運行內存，所有實驗都建立在Matlab 2014a平臺上。

客觀評價指標如表1所示。從表中可以看出，本文算法在信息熵、空間頻率、互信息以及c等5方面明顯優于傳統算法，證明其在圖像信息量、對比度以及人眼視覺效果等方面比傳統融合算法有著顯著提升，與上文主觀評價所得到的結果一致。與GFNSCT融合算法相比，對于空間頻率這一指標的差距并不明顯，這是因為本文算法所選擇的雙樹復小波變換方法雖然具有近似平移不變性，但仍需進行上、下采樣，導致融合圖像清晰度不高，最終體現于空間頻率這一指標并不突出；但對其他4個指標而言，本文算法均有明顯提升，其中c的提升最為明顯，說明本文算法在融合圖像視覺效果方面的提升尤為明顯。

3 結語

本文在改進譜殘差顯著性模型的基礎上，提出了一種基于顯著性圖的紅外與可見光圖像融合方法。首先對紅外圖像進行顯著性分析，提取顯著性圖，接著對源圖像進行雙數復小波變換，并根據顯著性圖設計低頻部分的融合規則，最終得到質量更高的融合圖像。實驗結果表明，本文方法有效可行，且得到的融合圖像在圖像信息、圖像對比度尤其是視覺效果這些方面有著顯著提升。

表1 融合圖像客觀評價結果

Table 1 The objective evaluation results of fused images

[1] 敬忠良, 肖剛, 李振華. 圖像融合——理論與應用[M]. 北京: 高等教育出版社, 2007.

JING Zhongliang, XIAO Gang, LI Zhenhua.[M]. Beijing: Higher Education Press, 2007.

[2] 劉信樂. 熱紅外圖像與可見光圖像融合方法研究[D]. 成都: 電子科技大學, 2013.

LIU Xinle. Research on Fusion Method of infrared image and visible image[D]. Chengdu: University of Electronic Science and Technology of China, 2013.

[3] 余美晨, 孫玉秋, 王超. 基于拉普拉斯金字塔的圖像融合算法研究[J].長江大學學報: 自然科學版, 2016, 13(34): 770-776.

YU Meichen, SUN Yuqiu, WANG Chao. Image fusion algorithm based on Laplacian pyramid[J]., 2016, 13(34): 770-776.

[4] Ashish V Vanmali, Vikram M Gadre. Visible and NIR image fusion using weight-map-guided Laplacian–Gaussian pyramid for improving scene visibility[J]., 2017(6): 1063-1082.

[5] Gonzalo P, Jesus M A wavelet-based image fusion tutorial[J]., 2004, 37(9):1855-1872.

[6] Seal Ayan, Bhattacharjee Debotosh, NasipuriMita. A trous wavelet transform based hybrid image fusion for face recognition using region classifiers[J]., 2018(12): 2185-2188.

[7] 王少杰, 潘晉孝, 陳平. 基于雙樹復小波變換的圖像融合[J]. 核電子學與探測技術, 2015, 35(7): 726-728.

WANG Shaojie, PAN Jinxiao, CHEN Ping. Image fusion based on DT-CWT[J].2015, 35(7): 726-728.

[8] 林子慧, 魏宇星, 張建林, 等. 基于顯著性圖的紅外與可見光圖像融合[J]. 紅外技術, 2019, 41(7): 640-645.

LIN Zihui, WEI Yuxing, ZHANG Jianglin, et al. Image fusion of infrared image and visible image based on saliency map[J]., 2019, 41(7): 640-645.

[9] TIAN Huawei, FANG Yuming. Salient region detection by fusing bottom-up and top-down features extracted from single image[J]., 2014, 23(10): 4389-4397.

[10] HOU X, ZHANG L. Salient detection: A spectral residual approach[C]//, 2007: 18-23.

[11] 郭玲, 楊斌. 基于視覺顯著性的紅外與可見光圖像融合[J]. 計算機科學, 2015, 42(6): 211-214.

GUO Ling, YANG Bin. Image fusion of infrared image and visible image based on visual saliency[J]., 2015, 42(6): 211-214.

[12] 張承鴻, 李范鳴, 吳瀅躍.基于視覺顯著性與對比度增強的紅外圖像融合[J]. 紅外技術, 2017, 39(5): 421-426.

ZHANG Chenghong, LI Fanming, WU Yingyue. Image fusion of infrared image and visible image based onvisual saliency and contrast enhancement[J]., 2017, 39(5): 421-426.

[13] ZHENG Y F, Essock E. A new metric based on extended spatial frequency and its application to DWT based fusion algorithms[J]., 2007, 8(2): 177-192.

[14] QU G, ZHANG D, YAN P. Information measure for performance of image fusion[J]., 2002, 38(7): 313-315.

Image Fusion of Infrared and Visible Images Based on Residual Significance

LI Chenyang1，DING Kun1,2，WENG Shuai1，WANG Li1

(1. Hohai University, Changzhou 213022, China; 2. Photovoltaic Key Laboratory of Jiangsu Province, Changzhou 213022, China)

To make the fusion image show more image details and to obtain a better image visual effect, a fusion method based on residual significance is proposed. First, the infrared image is analyzed using residual significance to obtain its significance coefficients. Then, the source images are decomposed using a dual-tree complex wavelet transform, and the low- and high-frequency components are fused according to different fusion rules. Finally, the fusion image is reconstructed using the inverse transformation of a dual-tree complex wavelet. Experimental results showed that the fusion method proposed in this paper produced higher quality images and better visual effects than those of the traditional fusion method.

spectral residual significance, image fusion, dual-tree complex wavelet transform, fusion rules

TP751.1

A

1001-8891(2020)11-1042-06

2019-12-15；

2020-09-07.

李辰陽（1995-），男，碩士研究生，主要從事圖像處理方面的研究。E-mail：576419467@qq.com

國家自然基金項目（51777059）；江蘇高校“青藍工程”；六大人才高峰工程（GDZB-006）。