基于NSCT結合顯著圖與區域能量的紅外與可見光圖像融合

牛振華，邢延超，林英超，王晨軒

基于NSCT結合顯著圖與區域能量的紅外與可見光圖像融合

牛振華，邢延超，林英超，王晨軒

（青島理工大學 信息與控制工程學院，山東 青島 266520）

針對傳統的紅外與可見光圖像融合出現的清晰度和對比度偏低，目標不夠突出的問題，本文提出了一種基于Non-subsampled Contourlet（NSCT）變換結合顯著圖與區域能量的融合方法。首先，使用改進的頻率調諧（Frequency-tuned, FT）方法求出紅外圖像顯著圖并歸一化得到顯著圖權重，單尺度Retinex（Single-scale Retinex, SSR）處理可見光圖像。其次，使用NSCT分解紅外與可見光圖像，并基于歸一化顯著圖與區域能量設計新的融和權重來指導低頻系數融合，解決了區域能量自適應加權容易引入噪聲的問題；采用改進的“加權拉普拉斯能量和”指導高頻系數融合。最后，通過逆NSCT變換求出融合圖像。本文方法與7種經典方法在6組圖像中進行對比實驗，在信息熵、互信息、平均梯度和標準差指標中最優，在空間頻率中第一組圖像為次優，其余圖像均為最優結果。融合圖像信息量豐富、清晰度高、對比度高并且亮度適中易于人眼觀察，驗證了本文方法的有效性。

圖像融合；Non-subsampled Contourlet變換；區域能量自適應加權；拉普拉斯能量和

0 引言

為了應對不同拍攝場景的需求，發展出了多種多樣的圖像傳感器。雖然傳感器種類眾多，但是只能使用單一的圖像傳感器拍攝一種類型的圖像，例如紅外圖像中不具備可見光圖像的特征。對于此種局限性科研工作者開始研究多傳感器圖像融合技術，從而得到包含多種顯著特征信息的圖像，豐富了使用單一傳感器所成圖像的信息。近年來學者們對紅外圖像和可見光圖像融合技術的研究越來越多，特別是在環境感知和視頻監控領域[1]。

紅外傳感器的成像原理是捕獲物體散發紅外線的輻射量，目標物體輻射量越大所成的圖像就越明亮。由于環境背景的溫度較低，根據紅外傳感器的特性，背景圖像較暗存在分辨率低和信息丟失的問題。可見光傳感器的成像原理與光照強度有關，光線越強所成的圖像就越清晰，具有高分辨率、紋理信息和細節信息豐富的特點。缺點是照明條件不良時圖像質量較差。所以迫切需要將兩種圖像的優點進行融合，得到信息豐富、特征顯著的融合圖像，利于人類視覺感知與分析處理[2]。

目前圖像融合的方法可以分為：變換域方法[3]、空間域方法[4]、深度學習方法[5]和其他方法[6]。基于多尺度變換的方法是變換域中的經典算法，如拉普拉斯金字塔（Laplacian pyramid, LP）[7]和離散小波變換（Discrete Wavelet Transform, DWT）[8]。近年來涌現了一些新的方法，如雙樹復小波變換（Dual-Tree Complex Wavelet Transform, DTCWT）[9]、曲波（Curvelet Transform, CVT）[10]、輪廓波變換（Contourlet Transform）[11]和非下采樣輪廓波變換（Non-subsampled Contourlet Transform, NSCT）[1,12-13]被引入圖像融合。

金字塔變換易模糊，而小波中存在的共同缺點是不能有效地表示曲線和邊緣。為了更準確地表示圖像中的空間結構，研究者提出了用曲波基來表示圖像[14]。除了曲波，輪廓波是另一種可以捕捉圖像內在幾何結構的變換，更適合處理二維信號[15]。Contourlet涉及下采樣過程，沒有移位不變性。NSCT解決了Contourlet的問題，具有良好移位不變性和方向選擇性。

Zhai等[16]提出了一種以亮度為特征的全局對比度顯著性檢測算法（Luminance Contrast, LC），Achanta等人[17]提出了在頻率域基于全局對比度的顯著性檢測方法（Frequency-tuned, FT）方法。同時視覺顯著性檢測也被成功應用在圖像融合領域，并取得了較好的結果[18-19]。LC算法容易將非顯著性區域判定為顯著區域，FT算法使用了高斯差分濾波器，提取出的顯著圖像邊緣保持能力下降，容易使融合圖像產生偽影。

針對上述小波出現的問題，本文選擇NSCT作為分解方法，并且利用雙邊濾波器（Bilateral Filter , BF）[20]的平滑功能和保邊作用，對FT算法進行了優化。使用單尺度Retinex[21-23]（Single-Scale Retinex, SSR）算法對可見光圖像進行增強，提高圖像的細節特征和亮度。針對區域能量權重易引入其他信息的問題，提出了一種結合顯著圖與區域能量權重的融合規則。

1 改進的FT算法與Retinex理論

1.1 Frequency-tuned算法

FT[17]顯著性檢測算法是一種基于頻率調諧的方法。FT算法采用高斯差分（Difference of Gaussian, DoG）帶通濾波的方法，高斯核大小選取為5×5，頻率范圍為(0,p/2.75]。獲取紅外圖像顯著圖公式定義為：

式中：m為(,)平均值；whc(,)是(,)的高斯模糊；||×||為歐氏距離。

1.2 雙邊濾波器

雙邊濾波是一種非線性濾波器[20]，由空間域濾波和值域濾波組成，同時考慮了像素間的空域信息和灰度相似性，達到了良好的平滑和保持邊緣的效果。其數學定義式為：

式中：(,)為雙邊濾波后的圖像；(,)為輸入圖像；(,)為以(,)為中心(2＋1)×(2＋1)的區域，為濾波半徑；(,,,)是權重系數。通常將(,,,)定義為：

(,,,)＝(,,,)(,,,) (3)

式中：(,,,)表示定義域核；(,,,)表示值域核：

式中：和為標準差，在灰度平坦區域進行高斯濾波，在邊緣處值域核用來保持邊緣。

1.3 紅外顯著圖檢測

由于FT算法使用高斯濾波，邊緣信息會丟失，造成融合結果出現偽影和細節丟失的問題。本文提出采用雙邊濾波器來代替FT算法中的高斯差分濾波器，雙邊濾波器不僅保留了高斯平滑的作用還增強了邊緣保持的能力，保留了原圖像更多的細節信息。改進后的FT算法獲取的顯著圖為：

式中：BF(,)表示輸入圖像經過雙邊濾波后在(,)處的灰度值；BF(,)表示紅外圖像的顯著圖。圖1為LC算法[16]、FT算法[17]和本文算法得到的紅外顯著圖。通過觀察LC方法也會將很多背景信息判斷為顯著部分，FT方法要優于LC方法，本文方法既提取出了圖1(a)中原圖像目標人物的信息，又降低了背景的干擾保留了目標的邊緣信息。并對顯著圖BF(,)進行歸一化處理：

式中：BF|min是BF(,)最小值；BF|max是BF(,)最大值；norm(,)表示歸一化后的值。

(a) 原圖(a) Original image(b) LC方法(b) LC method (c) FT方法(c) FT method(d) 改進FT方法(d) Improved FT method (e) 歸一化改進FT(e) Normalization of improved FT method

1.4 單尺度Retinex算法

由于可見光圖像的質量與光照有關，雨天、霧天和光線不足時造成分辨率較低、細節輪廓不明顯、圖像質量較差。所以在圖像融合中為了能獲得質量較高的融合圖像，需要對可見光圖像預處理達到增強的效果。Retinex算法是Land等人[21]提出的，圖像(,)由兩個分量組成：反射分量(,)和照度分量(,)。圖像(,)可以表示為：

(,)＝(,)×(,) (8)

式中：(,)表示了圖像的本質屬性，可以通過(,)來估計(,)的值消除(,)對圖像的影響，從而實現圖像增強，通過兩邊取自然對數，單尺度Retinex可以表示為：

(,)＝ln[(,)]－ln[(,)] (9)

式中：(,)表示SSR后的圖像；(,)由(,)經過高斯平滑得到：

(,)＝(,)*(,) (10)

式中：*表示卷積運算；(,)表示高斯濾波函數：

式中：表示高斯環繞尺度；是一個尺度，必須滿足式(12)：

實驗中設為85，設為1。圖2表示經過SSR增強后的可見光圖像。

(a) 原圖(a) Original image(b) SSR增強后的圖像(b) SSR-enhanced image

從圖2可以清楚地觀察到經過SSR增強后的圖像比原圖像更加清晰，并且不會產生過度明亮的區域影響人眼的觀察。

2 NSCT域圖像融合

2.1 非下采樣輪廓波變換

圖3 NSCT分解示意圖

2.2 算法流程和融合規則

2.2.1 算法流程

本文提出的基于NSCT變換結合顯著圖與區域能量自適應加權的紅外圖像與Retinex增強的可見光圖像融合方法流程如圖4所示，輸入圖像為紅外圖像IR(,)和可見光圖像IV(,)，輸出為融合圖像IF(,)。具體可以分為6步：

1）使用SSR獲得增強的IVSSR(,)。

2）使用BF改進的FT計算紅外圖像的BF(,)，對BF(,)歸一化得到顯著圖的權重系數norm(,)。

4）低頻系數融合：使用區域能量自適應加權算法計算IR(,)和IV(,)的權重，與norm(,)構建聯合權重，根據新的權重計算IFlow(,)。

2.2.2 低頻系數融合規則

低頻系數代表了圖像的整體輪廓，保留了大部分能量。因此，低頻圖像的融合結果對整幅圖像的融合效果起到決定性的作用，效果好的低頻圖像的融合策略既能夠保留圖像的近似信息又保留了其中的細節信息。

圖4 本文圖像融合方法流程框圖

基于低頻部分包含有大量能量信息，所以低頻融合規則選取區域能量自適應加權方法。又因為只需要提取紅外圖像中顯著部分進行圖像融合，盡可能多地去除背景信息的影響，能量高的地方可能是紅外圖像需要融合的地方，也有可能是某處背景信息，若引入到后面的融合過程，可能會造成最終的融合圖像出現偽影或噪聲，從而影響后續的觀察與圖像處理。因此，使用1.3節提出的改進FT算法計算紅外圖像顯著圖，排除大部分背景噪聲的影響，并對紅外顯著圖進行歸一化處理，從而計算出顯著部分占原始圖像的比例是多少。再結合區域能量自適應加權方法計算出的紅外圖像與可見光圖像每部分的權重，組成聯合權重系數矩陣。

區域能量定義為：

式中：IR(,)和IV(,)代表IR和IV的能量；(,)為權重矩陣，窗口大小一般為3×3，(,)為：

定義1(,)和2(,)為區域能量自適應權重：

定義聯合權重為IR(,)和IV(,)，其數學公式定義為：

式中：分別定義1￠(,)＝norm(,)＋1(,)和2￠(,)＝1－norm(,)＋2(,)。

低頻融合規則可以表示為：

IFlow(,)＝IR(,)IRlow(,)＋IV(,)IVlow(,) (18)

且IR(,)＋IV(,)＝1。本文提出的融合規則綜合考慮了紅外圖像和可見光圖像的顯著性和區域能量的差異性，通過歸一化紅外圖像的顯著圖得到顯著圖的概率分布，顯著圖的概率與紅外圖像的區域能量自適應權重組成聯合權重，1－norm(,)則表示紅外圖像的非顯著部分。兩部分概率相互平衡，抑制了因單一融合規則引入的無效背景甚至噪聲信息。

2.2.3 高頻系數融合規則

高頻子帶圖像表示邊緣和紋理信息。高頻融合一般用絕對值取大的策略。這種方案對噪聲比較敏感，同時也有可能丟失一些重要信息。因為系數選擇是基于絕對值，只比較單個系數而不考慮相鄰系數。本文選擇拉普拉斯能量和（Sum Modified Laplacian, SML）作為活動水平度量參數，SML是一種表征圖像邊緣特征的參數，能夠反映圖像的邊緣信息。傳統的修正拉普拉斯算子（Modified Laplacian, ML）只能計算鄰域內水平和垂直方向上的系數，忽略了對角線上像素對圖像的影響，本文選擇ML算子局部窗口大小為3×3，由于對角線像素與中心點的距離之比為21/2，因此改進后的ML算子數學公式定義為：

式中：(,)表示源圖像，改進的加權拉普拉斯能量和的數學定義為：

手機用戶規模不斷擴大。根據中國工商業研究所(China Business Industry Research Institute)2017-2022年發布的《中國第三方移動支付產業市場前景和投資機會研究報告》(Research Report)顯示，截至2017年12月，中國移動電話用戶總數已達到7.53億。與2016相比，人群的比例增加了2.4%。

式中：ML是窗口加權系數矩陣，因為局部窗口中心灰度值對圖像邊緣起主要作用，定義ML為：

WSML計算每個高頻子帶的系數：

對(,)進行一致性校驗得到最終的融合決策圖F(,)，通過在3×3窗口中的一致性驗證使用多數過濾操作。也就是說，在每個3×3窗口，如果更多數量的系數來自圖像A，而中心系數來自B，那么中心系數也來自圖像A。否則它是保持原樣，反之亦然。融合的高頻子帶如下所示：

3 實驗分析

為了驗證本文提出方法有效性，本文將與7種較經典的方法進行比較，其中包括文獻[24]提到的5種方法：LP、RP（ratio of low-pass pyramid）、DTCWT（dual-tree complex wavelet）、CVT（curvelet transform）和NSCT，DCHWT[25]和Hybrid-MSD（hybrid multi-scale decomposition）[26]。選擇TNO數據集[27]中的6組圖像進行實驗，其中的圖像經過嚴格配準，6組圖像分別記為：Nato_camp、Tree、Duine、APC_4、Kaptein_1654和Movie_18。

實驗平臺為：處理器是11th Gen Intel(R) Core(TM) i5-11400H @ 2.70GHz，16GB內存，Windows11操作系統。軟件環境平臺為MATLAB R2021b。改進FT算法中參數設為：窗口大小為5、d＝3和r＝0.2。SSR中設為85，設為1。NSCT分解層數設為4層，每一層的方向分解數為[2, 3, 3, 4]，NSP濾波器設置為“pyrexc”，NSDFB設置為“vk”。圖像全部調整為200×200像素。融合結果如圖5～10所示。

(a) IR(b) IV(c) LP(d) RP(e) DTCWT (f) CVT(g) NSCT(h) DCHWT(i) Hybrid_MSD(j) Proposed

(a) IR(b) IV(c) LP(d) RP(e) DTCWT (f) CVT(g) NSCT(h) DCHWT(i) Hybrid_MSD(j) Proposed

(a) IR(b) IV(c) LP(d) RP(e) DTCWT (f) CVT(g) NSCT(h) DCHWT(i) Hybrid_MSD(j) Proposed

(a) IR(b) IV(c) LP(d) RP(e) DTCWT (f) CVT(g) NSCT(h) DCHWT(i) Hybrid_MSD(j) Proposed

(a) IR(b) IV(c) LP(d) RP(e) DTCWT (f) CVT(g) NSCT(h) DCHWT(i) Hybrid_MSD(j) Proposed

(a) IR(b) IV(c) LP(d) RP(e) DTCWT (f) CVT(g) NSCT(h) DCHWT(i) Hybrid_MSD(j) Proposed

3.1 主觀評價

從圖5～10中可以看出，7種對比方法和本文提出的方法都基本提取出了紅外目標并完成了圖像融合的目標。從6組融合圖像整體效果中，融合圖像的對比度、亮度和清晰度都有提升，其中，Tree、Duine、APC_4和Movie_18提升尤為明顯。

在Nato_camp中本文方法融合圖像紅外目標比LP、RP、DTCWT、CVT和NSCT亮度更強，比DCHWT和Hybrid_MSD的分辨率更高，樹木草叢的紋理更加明顯。在Tree中樹木輪廓與地面差異明顯，能夠清楚分辨出樹與地面的位置關系，保留了可見光圖像的特征且增強了可見光圖像的亮度、對比度和清晰度。Duine的融合結果與Tree的結果類似，都提高了融合圖像的亮度、對比度和清晰度。在APC_4中亮度和清晰度得到提升，較其他方法保留了更多可見光圖像的細節信息，土地和灌木比其他方法要清晰和明亮，提高了圖像的分辨率。在Kaptein_1654中本文方法比其他方法紅外目標更明顯，左下角植物細節明顯好于其他方法的融合圖像。在Movie_18中房子側面和正面都要比其他方法的結果更清晰，對比度更高，車子更加明顯，雖然紅外目標亮度低于Hybrid_MSD方法，但是本文方法的融合圖像整體的亮度、清晰度和對比度更高，地面輪廓分明。

綜上，本文方法的融合圖像清晰度和對比度更高，整體亮度適中，更加適合人眼的觀察。

3.2 客觀評價

本文選用文獻[28]中的5種客觀評價標準作為本文方法的綜合評價指標，其中包括：信息熵（Information Entropy, IE）[28]、空間頻率（Spatial Frequency, SF）[28]、互信息（Mutual Information, MI）[28]、平均梯度（Average Gradient, AG）[28]和標準差（Standard Deviation, SD）[28]。文獻[28]指出信息熵、空間頻率和互信息值越大包含的信息量越多。平均梯度表征細節信息，值越大圖像邊緣和細節融合效果越好。標準差體現了某一點灰度值對于整體的分布性，值越大圖像容納的信息越豐富，圖像的質量越好。

綜上，這5種評價指標值越大融合效果越好。6組融合圖像的客觀評價結果如表1～6所示，并將最好的結果加粗顯示。由表1～6可知，相比于其他對比的方法，本文方法的結果均在所有評價結果中有所提升，其中，本文提出的方法在后5組圖像的評價結果均為最優。在Tree、Duine、APC_4和Movie_18圖像中，5項指標的提升尤為明顯，在Kaptein_1654圖像中，在SF指標中較次優值略有提升，對比其他方法提升幅度較大，在IE、MI、AG和SD中提升幅度較大。在Nato_camp圖像中本文方法的SF值低于Hybrid_MSD方法，但其他結果仍是最優的。

通過主觀評價和分析表1～6中的評價結果，表明了本文方法得到的融合圖像紋理和細節信息量更豐富，清晰度和對比度更高，而且比單一的NSCT方法性能均有提升，驗證了本文所提方法的有效性和正確性。

表1 Nato_camp客觀評價結果

表2 Tree評價結果

表3 Duine客觀評價結果

表4 APC_4客觀評價結果

表5 Kaptein_1654客觀評價結果

表6 Movie_18客觀評價結果

4 結語

本文提出了一種基于NSCT變換的圖像融合方法。首先使用SSR增強可見光圖像。在FT方法的基礎上，使用了邊緣保持效果更好的雙邊濾波器計算紅外圖像顯著圖，抑制了融合邊緣產生的偽影，并結合區域能量自適應加權設計了新的低頻融合規則構造新的融合權重，顯著圖的加入可以抑制由區域能量自適應加權所引入的紅外圖像的背景和噪聲。高頻系數融合采用改進的“加權拉普拉斯能量和”，該方法增加了水平與對角線像素的權重，而傳統的拉普拉斯能量和只有水平垂直方向，改進的方法邊緣細節保持能力更強。實驗結果表明，在主觀評價和客觀評價方面，本文提出的方法顯著優于其他7種方法，融合圖像具有亮度適中、清晰度高和對比度高的特點，說明了本文方法正確和有效。

[1] 楊孫運, 奚崢皓, 王漢東, 等. 基于NSCT和最小化-局部平均梯度的圖像融合[J]. 紅外技術, 2021, 43(1): 13-20. YANG Sunyun, XI Zhenghao, WANG Handong, et al. Image fusion based on nsct and minimum-local mean gradient[J]., 2021, 43(1): 13-20.

[2] 肖中杰. 基于NSCT紅外與可見光圖像融合算法優化研究[J].紅外技術, 2017, 39(12): 1127-1130.

XIAO Zhongjie. Improved infrared and visible light image fusion algorithm based on NSCT[J]., 2017, 39(12): 1127-1130.

[3] ZHANG B, LU X, PEI H, et al. A fusion algorithm for infrared and visible images based on saliency analysis and non-subsampled Shearlet transform[J]., 2015, 73: 286-297.

[4] ZHOU Z, WANG B, LI S, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]., 2016, 30: 15-26.

[5] MA J, YU W, LIANG P, et al. Fusion GAN: A generative adversarial network for infrared and visible image fusion[J]., 2019, 48: 11-26.

[6] ZHANG Y, ZHANG L, BAI X, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]., 2017, 83: 227-237.

[7] Mertens T, Kautz J, Reeth F V. Exposure fusion[C]//, 2007: 382-390.

[8] ZHANG Z, Blum R S. A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application[C]//, 1999, 87(8): 1315-1326.

[9] Lewis J J, Callaghan R J O, Nikolov S G, et al. Pixel- and region-based image fusion with complex wavelets[J]., 2007, 8(2): 119-130.

[10] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]., 2007, 8(2): 143-156.

[11] YANG S, WANG M, JIAO L, et al. Image fusion based on a new contourlet packet[J]., 2010, 11(2): 78-84.

[12] Cunha A L, ZHOU J P, DO M N. The nonsubsampled Contourlet transform: theory, design, and applications [J]., 2006, 15(10): 3089-3101.

[13] 郭明, 符拯, 奚曉梁. 基于局部能量的NSCT域紅外與可見光圖像融合算法[J]. 紅外與激光工程, 2012, 41(8): 2229-2235.

GUO Ming, FU Zheng, XI Xiaoliang. Novel fusion algorithm for infrared and visible images based on local energy in NSCT domain[J]., 2012, 41(8): 2229-2235.

[14] Cands E J, Donoho D L. Curvelets and curvilinear integrals[J]., 2001, 113(1): 59-90.

[15] DO M N, Vetterli M. Contourlets: a directional multiresolution image representation[C]//, 2002, 1: I-357-I-360.

[16] ZHAI Y, SHAH M. Visual attention detection in video se-quencesusing spatiotemporal cues[C]//14, 2006: 815-824.

[17] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]//, 2009: 1597-1604.

[18] 葉坤濤, 李文, 舒蕾蕾, 等. 結合改進顯著性檢測與NSST的紅外與可見光圖像融合方法[J]. 紅外技術, 2021, 43(12): 1212-1221.

YE Kuntao, LI Wen, SHU Leilei, LI Sheng. Infrared and visible image fusion method based on improved saliency detection and non-subsampled shearlet transform[J]., 2021, 43(12): 1212-1221.

[19] 唐中劍, 毛春. 基于顯著導向的可見光與紅外圖像融合算法[J]. 太赫茲科學與電子信息學報, 2021, 19(1): 125-131

TANG Zhongjian, MAO Chun. Visible and infrared image fusion algorithm based on saliency guidance[J]., 2021, 19(1): 125-131.

[20] 王惠琴, 呂佳蕓, 張偉. 基于雙邊濾波-BM3D算法的GPR圖像去噪[J]. 蘭州理工大學學報, 2022, 48(1): 91-97.

WANG Huiqin, LYU Jiayun, ZHANG Wei. GPR image denoising based on bilateral filtering BM3D algorithm[J]., 2022, 48(1): 91-97.

[21] Edwin H Land. The retinex theory of color vision [J]., 1977, 237(6): 108-129.

[22] 程鐵棟, 盧曉亮, 易其文, 等. 一種結合單尺度Retinex與引導濾波的紅外圖像增強方法[J]. 紅外技術, 2021, 43(11): 1081-1088.

CHENG Tiedong, LU Xiaoliang, YI Qiwen, et al. Research on infrared image enhancement method combined with single-scale retinex and guided image filter[J]., 2021, 43(11): 1081-1088.

[23] 翟海祥, 何嘉奇, 王正家, 等. 改進Retinex與多圖像融合算法用于低照度圖像增強[J]. 紅外技術, 2021, 43(10): 987-993.

ZHAI Haixiang, HE Jiaqi, WANG Zhengjia, et al. Improved Retinex and multi-image fusion algorithm for low illumination image enhancemen[J]., 2021, 43(10): 987-993.

[24] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]., 2015, 24: 147-167.

[25] Kumar B. Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform[J]., 2013, 7: 1125-1143.

[26] ZHOU Z, BO W, SUN L, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]., 2016, 30: 15-26.

[27] Toet Alexander. TNO image fusion dataset[EB/OL]. 2014, https://doi.org/10.6084/m9.figshare.1008029.v1.

[28] 張小利, 李雄飛, 李軍. 融合圖像質量評價指標的相關性分析及性能評估[J]. 自動化學報, 2014, 40(2): 306-315.

ZHANG Xiaoli, LI Xiongfei, LI Jun. Validation and correlation analysis of metrics for evaluating performance of image fusion[J]., 2014, 40(2): 306-315.

Infrared and Visible Image Fusion Based on NSCT Combined with Saliency Map and Region Energy

NIU Zhenhua，XING Yanchao，LIN Yingchao，WANG Chenxuan

(School of Information and Control Engineering, Qingdao University of Technology, Qingdao 266520, China)

To address the problems of low clarity and contrast of indistinct targets in traditional infrared and visible image-fusion algorithms, this study proposes a fusion method based on non-subsampled contourlet transform (NSCT) combined with a saliency map and region energy. First, an improved frequency-tuning (FT) method is used to obtain the infrared image saliency map, which is subsequently normalized to obtain the saliency map weight. A single-scale retinex (SSR) algorithm is then used to enhance the visible image. Second, NSCT is used to decompose the infrared and visible images, and a new fusion weight is designed based on the normalized saliency map and region energy to guide low-frequency coefficient fusion. This solves the problem of region-energy adaptive weighting being prone to introducing noise, and the improved "weighted Laplace energy sum" is used to guide the fusion of high-frequency coefficients. Finally, the fused image is obtained by inverse NSCT. Six groups of images were used to compare the proposed method with seven classical methods. The proposed method outperformed others in terms of information entropy, mutual information, average gradient, and standard deviation. Regarding spatial frequency, the first group of images was second best, and the remaining images exhibited the best results. The fusion images displayed rich information, high resolution, high contrast, and moderate brightness, demonstrating suitability for human observation, which verifies the effectiveness of this method.

image fusion, Non-subsampled Contourlet Transform, adaptive weight of regional energy, sum modified Laplacian

V271.4；TP391

A

1001-8891(2024)01-0084-10

2022-03-22；

2022-05-11.

牛振華（1996-），男，碩士研究生，主要從事圖像處理方面的研究。E-mail: 2215176247@qq.com。

邢延超（1973-），男，博士，副教授，研究方向為數字信號處理，水聲通信技術。E-mail：9609891@qq.com。

山東省自然科學基金（ZR2021MF101）。