結合信息感知與多尺度特征的紅外與可見光圖像融合

曲海成，胡倩倩，張雪聰

專欄：〈多源圖像融合〉

多源圖像融合能最大限度地綜合各信道有利信息，在計算機視覺、軍事遙感、醫學圖像處理等領域發揮著重要作用。近年來，在以混合型融合算法為代表的智能化浪潮推動下，多源圖像融合領域取得了長足的發展和進步?；诖?，《紅外技術》面向研究人員推出“多源圖像融合專欄”，力圖展示多源圖像融合技術的最新研究成果，為從事相關研究的讀者提供參考。

通過廣泛征集和嚴格評審，本期專欄收錄了來自西安工業大學、中國石油大學等從事多源圖像融合團隊的7篇論文。論文內容既有對紅外與可見光圖像融合等熱門方向的研究，也有面向全色與多光譜圖像融合、夜視抗暈光針對性融合、無人機目標檢測自適應融合等最新應用技術的研究。

然而，圖像特征的差異性、探測環境的復雜性、應用場景的多樣性等都對多源圖像融合技術的發展和應用提出了更嚴峻的挑戰。本期專欄只是一個起點，希望能夠啟發廣大讀者做出更多更精彩的研究。

最后，感謝各位審稿專家和編輯的辛勤工作。

——楊風暴

結合信息感知與多尺度特征的紅外與可見光圖像融合

曲海成，胡倩倩，張雪聰

（遼寧工程技術大學 軟件學院，遼寧 葫蘆島 125105）

現有的基于深度學習圖像融合算法無法同時滿足融合效果與運算效率，且在建模過程中大部分采用基于單一尺度的融合策略，無法很好地提取源圖像中上下文信息。為此本文提出了一種基于信息感知與多尺度特征結合的端到端圖像融合網絡。該網絡由編碼器、融合策略和解碼器組成。具體來說，通過編碼器提取紅外與可見光圖像的多尺度特征，并設計特征增強融合模塊來融合多個尺度的不同模態特征，最后設計了一個輕量級的解碼器將不同尺度的低級細節與高級語義信息結合起來。此外，利用源圖像的信息熵構造一個信息感知損失函數來指導融合網絡的訓練，從而生成具有豐富信息的融合圖像。在TNO、MSRS數據集上對提出的融合框架進行了評估實驗。結果表明：與現有的融合方法相比，該網絡具有較高計算效率；同時在主觀視覺評估和客觀指標評價上都優于其它方法。

圖像融合；多尺度特征；信息感知；特征增強

0 引言

由于成像設備硬件限制，單一類型的傳感器只能捕獲部分場景信息，通常無法全面地表征成像場景。多模態圖像融合能夠將多個傳感器捕獲的有用信息整合到單幅融合圖像中，以實現對場景有效且全面地表征。典型的多模態圖像融合包括紅外和可見光圖像融合以及醫學圖像融合等。

本文重點研究紅外與可見光圖像融合。紅外傳感器可以捕獲目標自身的熱輻射信息，能夠全天候地突出行人、車輛等顯著目標，但是紅外圖像存在邊緣細節模糊、無法提供足夠的環境照明信息等缺點；而可見光圖像利用物體表面對光的反射原理成像，相比紅外圖像來說，可見光圖像具有更高的對比度和更豐富的紋理細節，但是卻容易遭受極端環境的影響而丟失場景中的目標，在夜間或云霧等條件下不能取得較好的成像效果，成像具有一定的局限性。值得注意的是，紅外圖像和可見光圖像具有很強的互補特性，將這些互補特征通過圖像融合技術集成到單一圖像中，一方面可以獲取紅外圖像中如車、行人等顯著目標，另一方面可以獲得可見光圖像中豐富的背景細節信息，從而得到具有更好的場景表達和視覺感知效果的圖像，能夠有效地促進諸如目標檢測[1-2]、目標識別[3]、圖像分割[4]等實際計算機視覺應用。

根據圖像融合方法的原理，現有的紅外與可見光圖像融合算法可分為傳統算法和基于深度學習算法兩大類。傳統的圖像融合算法通常利用數學變換在空間域或者變換域進行活動水平測量，并設計特定的融合規則實現紅外與可見光圖像融合。代表性的方法通常分為以下5類：基于多尺度變換（Multiscale transformation，MST）[5-8]，基于稀疏表示（Sparse representation，SR）[9-10]，基于子空間[11-12]以及基于顯著性[13]和混合方法[14]。

基于多尺度變換的方法將原始圖像分解成不同尺度提取特征，并針對每個尺度設計相應的融合策略，最后重建圖像。SR通常在局部圖像塊上執行，得到的融合圖像符合人類視覺感知?；谧涌臻g的方法將高維輸入圖像投影到低維空間或子空間中，獲取原始圖像的內部結構。基于顯著性的方法可以保持顯著目標區域的完整性，提高融合圖像的視覺質量?；旌戏椒▽⑵渌愋偷姆椒ㄕ系蕉喑叨茸儞Q框架中，結合不同方法的優點來提高圖像融合性能。傳統算法雖然取得了一定的效果，但其融合性能高度依賴手工設計，限制了融合性能的進一步提升，另一方面，諸如SR等傳統方法耗時較長，也限制了傳統融合方法的進一步發展。

近年來，考慮到基于卷積神經網絡（CNN）提取圖像特征的優點，采用深度學習的方法可以獲得更好的圖像質量。Li等[15]提出一種用于紅外與可見光圖像融合的DenseFuse，在編碼器網絡中引入密集連接提取圖像深度特征，實現特征重用，使用L1范數策略或加法策略融合編碼器提取的深層特征，最后使用解碼器生成融合圖像；由于深度特征的不可解釋性，手工設計的融合策略無法為深度特征分配恰當的權重以至于無法有效地捕獲這些深度特征的特性。為了避免手工設計融合策略帶來的弊端，Ma等[16]和武等[17]將生成對抗網絡引入圖像融合領域中，將圖像融合問題視為特征對抗問題；Hou等[18]基于像素強度衡量源圖像中的顯著性程度，指導融合網絡保留源圖像中豐富的顯著信息；考慮到光照條件對融合圖像的影響，Tang等[19]提出基于光照感知的漸進式融合網絡PIAFusion，構造光照感知損失函數指導融合網絡的訓練。

雖然以上方法可以很好地恢復空間細節信息，但網絡結構都為單一尺度，受限于感受野大小，無法很好地提取圖像上下文信息。因此，Li等[20]提出多尺度圖像融合自編碼器框架NestFuse，編碼器采用連續下采樣方式提取多尺度特征，解碼器則使用蜂巢連接融合不同尺度的特征，并設計了基于空間/通道注意力機制的融合策略，更好地融合圖像中的背景細節和顯著區域；為了解決NestFuse融合策略不可學習的問題，Li等[21]提出RFN-Nest，進一步在其基礎上設計了殘差融合網絡（Residual Fusion Network，RFN）代替手工制作的融合策略。

然而上述多尺度特征網絡架構模型往往設計較為復雜，其模型對計算能力、內存消耗、顯存容量的高要求，阻礙了其在資源受限的設備上的應用，而且RFN-Nest融合策略的訓練與編碼器解碼器的訓練是分開的，對不同模態的特征無法充分提取。為此本文提出一種基于多尺度特征提取的無監督紅外與可見光圖像融合網絡（Multi-scale Features Fusion Network, MFF-Net）。主要工作如下：

1）在RFN-Nest框架基礎上進一步簡化網絡設計，構建一個輕量化的多尺度特征提取融合網絡；

2）利用源圖像的信息熵構造一個信息感知損失函數來指導融合網絡的訓練，從而生成具有豐富信息的融合圖像；

3）針對多尺度深度特征的融合，設計特征增強融合模塊來融合同一尺度下的不同模態特征，融合策略與編碼器、解碼器同時訓練，充分訓練網絡對不同模態圖像的特征提取能力；

4）在TNO[22]和MSRS[19]數據集上進行對比實驗，從主觀視覺描述、客觀指標評價以及推理時間等方面對實驗結果進行分析。

1 融合方法

1.1 網絡結構

圖1 MFF-Net整體框架

表1 編碼器網絡整體結構

融合層則由3個特征增強融合模塊（Feature Enhancement Fusion Module，FEF）組成，分別用來融合解碼器提取出的每個尺度的紅外特征和可見光特征；解碼器則根據融合的多尺度特征重建出融合圖像。

1.2 特征增強融合模塊

圖2 FEF網絡結構

Fig.2 Architecture of FEF network

圖3中的表示原始特征圖的輸出通道，而的數值由公式(3)自動獲得：

式中：odd表示離|×|中數值最近的一個奇數。ECA模塊在不降維的基礎上同時考慮了跨通道的信息交互，使得其能夠學習到更加有效的通道注意力權重。

圖3 ECA模塊示意圖

Fig.3 Diagram of ECA module

1.3 解碼器網絡

圖4 解碼器網絡結構

表2 解碼器網絡整體結構

1.4 損失函數設計

損失函數應當使融合圖像包含更多紅外圖像中的熱輻射信息以及可見光圖像中的背景細節紋理信息，因此設計了強度損失和梯度損失，其數學表達分別如公式(4)和公式(5)所示。

式中：max(ir,vi)表示取ir和vi對應像素的最大值，用來表示紅外與可見光圖像中的顯著信息。和表示特征圖的高度和寬度。int用來衡量融合圖像和源圖像對中顯著信息的像素損失，而紅外圖像中的熱輻射信息通常在源圖像對中表現為顯著信息，因此強度損失可以使得融合圖像包含更多的紅外熱輻射信息。?表示計算梯度的函數，本文采用Sobel算子來計算圖像的梯度。grad表示的是融合圖像與輸入圖像的顯著梯度信息損失均值，可以使得融合圖像包含更多可見光圖像中的背景細節紋理信息。

然而強度損失容易受到光照條件的影響，使得融合圖像過分關注亮度過高但是信息很少的區域。為此本文創新性地提出一種基于信息感知的像素損失函數，數學表達如下：

綜上所述，總的損失函數定義為：

式中：,1,2是用來平衡不同損失函數的超參數?？梢钥闯隹偟膿p失函數分為兩個部分：第一部分為融合圖像的像素損失，包括強度損失和基于信息感知的像素損失；第二部分為梯度損失。

2 實驗及結果分析

2.1 實驗設置

實驗在Windows10操作系統和NVIDIA GTX 1080Ti GPU上完成，程序版本為Pytorch 1.9.0，訓練與測試平臺為PyCharm。融合結果的客觀質量評價指標結果在Matlab 2018a上計算得到。本文方法的訓練集選用MSRS數據集，包含1444對對齊的高質量紅外和可見光圖像。為了生成足夠的訓練數據，本文以步長64將這些圖像裁剪成64×64的圖像塊，共計56280個圖像塊。同時為了加快運行速度，所有的圖像數據在被送入模型前都被歸一化為[0,1]。在測試部分選用MSRS測試集和TNO測試集，分別包括361對和42對紅外與可見光圖像。為了驗證網絡的泛化性，使用在MSRS訓練集得到的權重進行TNO數據集的測試。

在訓練時，對于損失函數中的系數，設置1＝5、2＝30、＝0.2。采用Adam優化器更新參數，訓練輪次為30輪，學習率計劃設置如公式(11)所示，前15輪采用固定學習率0.001訓練，后15輪采用線性衰減學習率。

對于包含彩色可見光圖像的MSRS數據集，本文首先將彩色可見光圖像從RGB顏色空間映射到YCbCr顏色空間，然后采用不同的融合方法將可見光圖像的Y通道和紅外圖像進行融合，最后將融合圖像作為新的Y通道再結合可見光圖像的Cb和Cr通道，將圖像數據重新映射回RGB顏色空間。

實驗中選擇了7種典型的、最新的融合方法在MSRS、TNO數據集上進行大量的定性和定量實驗來評估所提出的融合網絡的性能。其中包括2種傳統的融合算法：CBF[24]和WLS[25]，以及DenseFuse[15]、FusionGAN[16]、NestFuse[20]、RFN-Nest[21]和PIAfusion[18]5種基于深度學習的融合方法。以上所有方法均按照原始論文設置參數。

同時為了客觀評價融合圖像的性能，本文使用如下7個評價指標：標準差（standard deviation，SD）、空間頻率（spatial frequency，SF）、信息熵（entropy，EN）、互信息（mutual information，MI）、視覺保真度（visual information fidelity，VIF）、abf、差異相關和（the sum of the correlation of differences，SCD）。其中，SD、SF是基于圖像特征的評估指標；EN、MI是基于信息論的評估指標；VIF是基于人類視覺感知的評估指標；SCD和abf是基于源圖像與融合圖像的評估指標。SD表示各像素灰度的標準差，值越大表示融合圖像的對比度越高；SF使用圖像像素值的變化率來表示圖像的清晰程度，值越大表示融合圖像越清晰；EN反映融合圖像紋理信息的豐富程度，其熵值越大，則說明其保留了更豐富的源圖像信息，MI用于度量兩幅圖像之間的相似程度，值越大表示融合圖像保留源圖像信息越多，質量越好；VIF越大圖像質量越好，SCD值越大，融合圖像中保留的源圖像對中的互補信息越多；abf用于評價源圖像中的顯著目標在融合圖像中的呈現情況的指標，值越大表明融合圖像中顯著信息越多。

2.2 MSRS對比實驗

本文從MSRS測試數據集中挑選4組具有代表性的對比實驗，包括2個白天和2個夜間場景。不同方法的融合結果對比如圖5和圖6以及圖7、圖8所示，并用不同顏色的矩形框給出局部放大圖。

從圖5和圖6中可以看出：CBF方法的融合結果較差，融合結果中包含了大量的噪聲，在兩組對比圖中的天空區域污染嚴重，清晰度差，丟失了大量的圖像細節；DenseFuse、FusionGAN、RFN-Nest方法得到的融合結果，雖然沒有產生較多的噪聲，但是圖像中天空區域污染嚴重，整體較為模糊，細節信息保留的不是很好，如第一組中紅色框中的人物均被虛化，尤其FusionGAN融合方法中的人物還存在一定程度的偽影；紅色框中的建筑物標識信息只有WLS融合方法與本文提出的方法有所保留，但本文方法保留細節信息更為突出；對于NestFuse和PIAFusion方法，雖然整體獲得了比較不錯的效果，但是對于紅外圖像的信息保留的較少，在第二組中PIAFusion融合方法由于過度關注光照條件，紅外圖像中綠色框中的大樓細節信息丟失比較嚴重；WLS和本文方法總體上獲得了較好的融合效果，但是WLS方法的融合圖像整體偏暗，路面細節信息不夠突出，且綠色方框內的大樓信息不如本文方法的顯著性強。

圖5 MSRS數據集中白天場景一融合結果

圖6 MSRS數據集中白天場景二融合結果

總體來看，本文方法得益于精心設計的信息感知損失函數以及特征增強模塊對編碼器提取的多尺度特征充分利用，在細節保留與顯著性增強方面有明顯優勢，清晰度與對比度也比較客觀，不僅保留了源圖像場景信息，也對場景信息進行了增強，可以實現紅外和可見光圖像信息的良好平衡。

圖7 MSRS數據集中夜間場景一融合結果

圖8 MSRS數據集中夜間場景二融合結果

不同于白天場景，紅外與可見光圖像在夜間場景中只能提供有限的場景信息，因此，如何更大程度地將紅外與可見光圖像中有意義的信息有效融合是一個難題。

如圖7和圖8所示，雖然不同算法都對紅外圖像和可見光圖像中的互補信息進行了一定程度的融合，但融合結果仍然存在一些細微的變化。在兩組對比圖中，CBF方法綠色框中的柵欄和路面交通標識線污染嚴重，清晰度低；DenseFuse、FusionGAN、RFN-Nest方法得到的融合結果雖然沒有產生較多污染，但模糊了綠色框中目標的輪廓，細節信息丟失嚴重；對于WLS、NestFuse和PIAFusion方法，雖然融合結果不錯，但是對紅外圖像中的信息紋理保留不充分，且WLS整體偏暗。

總體來看，其他方法存在紋理細節的污染和顯著目標的弱化等問題。本文方法能夠有效融合源圖像中的互補信息，得益于本文提出的特征增強融合模塊，以及基于信息感知的像素損失函數，從而生成包含豐富信息的融合圖像。

表3顯示了不同融合算法在MSRS數據集上的客觀評價指標，取值為每個指標的平均值。其中最優值用黑色加粗字體表示，次優值用藍色數字表示。相比其他算法，本文所提方法在SD、EN、VIF、SCD、Qabf這5個指標上都取得最優值。

具體分析來說，本文在EN上取得最優說明本文的融合結果包含最多的信息量；在SD和VIF上表現最優說明本文的結果表現出最高的對比度，并且能呈現出最符合人類視覺感知的視覺效果；在SCD與abf上取得最優值的結果說明融合圖像中保留了源圖像對中的互補信息最多，并且融合圖像中保留紅外源圖像中顯著目標信息最多。這些結論與定性結果中的結果相一致；此外本文在指標MI和SF上表現出具有競爭力的融合性能。但是相比于其他融合方法，本文的融合結果包含豐富的紋理信息和邊緣信息。在不影響細節保留和顯著信息增強的前提下，圖片整體偏亮，對比度略低，而SF通過圖像像素值的變化率來衡量圖像質量，因此本文算法并未在幾種評估指標平均值上均達到最優，但總的來說，本文提出的融合方法下的融合結果和源圖像間保持了較高的相關性。

2.3 TNO對比實驗

在TNO數據集上不同方法下的紅外與可見光圖像融合前后的結果如圖9和圖10所示。

實驗中選取兩組具有代表性的融合圖片，并在圖中用不同顏色框給出局部放大圖。

表3 融合算法在MSRS數據集上的客觀評價指標

圖9 TNO數據集部分一融合結果圖

圖10 TNO數據集部分二融合結果圖

從第一組圖片可以看出，CBF方法下的融合結果比較粗糙，雖然保留了源圖像間的互補信息，但同時也存在一些噪聲和污染，比如藍色框中的交通標識牌和紅色框中的樹枝和天空，且房屋與背景信息不能很好地區分開，同樣的問題出現在WLS、DenseFuse、RFN-Nest、FusionGAN、NestFuse方法中，且FusionGAN獲得的融合結果傾向于保留紅外典型目標，而損失了大量的可見光結構信息，比如藍色框中的交通標識牌信息和綠色框中人物前的植物，從而導致融合結果比較模糊。PIAFusion方法雖然沒有出現這個問題，但由于過度關注光照信息，從而造成部分細節信息以及顯著性信息丟失，從紅色框中可以看出，丟失了紅外圖像中樹枝的信息，且綠色框中人物顯著性信息保留的也不夠充分；

在第二組圖片中，CBF、FusionGAN方法下的融合結果也存在前景信息與背景不能很好地區分開的問題，NestFuse、DenseFuse、RFN-Nest、WLS方法下的融合結果雖然保留了可見光圖像紋理細節，但是目標亮度嚴重缺乏，且圖像背景較暗，導致其對比度偏低，部分細節不明顯。且WLS融合結果存在噪聲，沒有PIAFusion方法和本文方法下的融合圖片清晰光滑，但同樣PIAFusion方法由于偏向于光照信息從而導致紅色框中的煙囪信息丟失。

相較而言，本文方法的融合結果充分保留了源圖像的互補信息，能在顯著性目標和結構紋理的保留上取得較好的平衡，且整體比較清晰，對比度較高。

不同融合算法在TNO數據集上的客觀評價指標見表4。表中指標值為42幅融合圖像的平均值，其中最優值用黑色加粗字體表示，次優值用藍色字體表示。

相比表中其它算法，本文算法在EN、MI、abf、SCD評價指標上表現為最優值，在SD、VIF上表現次優值；說明本文方法下的融合圖像包含豐富的紋理信息與顯著信息，融合圖像保留了更多的源圖像對中的互補信息，與源圖像具有較強的相似性。SF指標中，傳統算法CBF表現最高值，但本文算法與之數值相差僅為0.01左右，而且從融合圖像根據主觀評價來看，CBF算法融合圖像有不同程度的失真。

表4 融合算法在TNO數據集上的客觀評價指標

綜合主觀評價和客觀指標，本文算法在TNO數據集上仍有較好的表現，說明本文算法泛化能力較好。

同時為了對比不同方法的運行效率，在表4中添加了不同方法的推理速度，推理速度指將圖像數組輸入到模型或者算法時開始直至得到輸出的總時間消耗。推理速度不涉及到數據的預處理和后處理操作。

由表4可以看出，本文的方法相較于PIAFusion、NestFuse、RFN-Nest、CBF和FusionGAN在CPU中的推理速度明顯提升，這得益于設計了輕量化的解碼器結構。雖然在CPU中的推理速度低于DenseFuse和WLS，但得益于CUDA加速，在GPU上的差距并不是很明顯。

2.4 消融實驗

為了驗證本文提出的特征增強融合模塊和各損失函數的作用，本節使用TNO數據集中的42對典型紅外與可見光圖像設計了消融實驗。采用客觀評價對所有方法生成的融合圖像進行測評。

其中，針對本文提出的特征增強融合模塊（FEF），設計如下消融實驗：

（1）除融合策略外，其余如學習率、訓練輪數、損失函數系數等配置均固定；

（2）使用均值策略和最大值策略代替FEF模塊，分別使用Mean、Max表示。

融合策略消融實驗結果見表5。可以看出，本文提出的FEF與其他兩個融合策略相比，指標abf有略有降低，其余指標均明顯提升，表5中的數據驗證了本文FEF融合策略的有效性。

為了驗證各損失函數的作用，本文設計了如下消融實驗：

1）為驗證像素損失的有效性，設置1＝0,2＝30，記作1；

2）為驗證梯度損失的有效性，設置1＝5,2＝0,＝0.2，記作2；

3）為驗證強度損失的有效性，設置1＝5,2＝30,＝0，記作3；

4）為了驗證信息感知像素損失函數的有效性，設置1＝5,2＝30,＝1，記作4；

5）本文采用的1＝5,2＝30,＝0.2，記作5。

關于損失函數的消融實驗對比結果見表6。

表5 FEF模塊的消融實驗結果

表 6 損失函數的消融實驗

通過對比5與1，可以發現去掉像素損失后，只有指標SF、abf略有上升外，其余指標均有所降低，尤其指標MI大幅下降，在5與3的對比中同樣可以觀察到這一點，這說明去掉像素損失中的強度損失會造成融合圖像中包含的源圖像信息顯著減少；通過對比5與2，可以發現移除梯度損失后，指標abf明顯下降，可以得知移除梯度損失會造成融合圖像中包含源圖像中的顯著信息減少；通過對比5與4，發現在已有強度損失和梯度損失的前提下，增加信息感知像素損失后，與信息相關的指標EN、MI、SCD進一步得到提升，可以得知增加該損失函數可以促使網絡生成更加具有豐富信息的融合圖像。

同時從指標整體上來看，使用強度損失、信息感知像素損失和梯度損失的方案5相較于其余方案獲得了更多的最優值。因此本文的損失函數采用方案5。

3 結論

本文提出了結合信息感知與多尺度特征的紅外與可見光圖像融合方法，首先設計了多尺度特征編碼和解碼網絡，以充分利用不同尺度的紅外與可見光圖像特征；然后在編碼器和解碼器中間構建了可學習的特征增強融合模塊FEF，以融合各個尺度的不同模態特征。此外，本文提出了基于信息感知的像素損失函數，以指導網絡生成具有豐富信息的融合圖像。消融實驗驗證了FEF模塊和損失函數中各部分的有效性。同時，在MSRS和TNO數據集上，與7種典型方法進行了對比實驗，結果表明本文方法在推理速度、主客觀評價方面的綜合表現具有優越性。如何構造更加輕量級的融合網絡以便后續計算機視覺應用是下一步重點研究的內容。

[1] 白玉, 侯志強, 劉曉義, 等. 基于可見光圖像和紅外圖像決策級融合的目標檢測算法[J]. 空軍工程大學學報: 自然科學版, 2020, 21(6): 53-59.

BAI Yu, HOU Zhiqiang, LIU Xiaoyi, et al. An object detection algorithm based on decision-level fusion of visible light image and infrared image[J].: Natural Science Edition, 2020, 21(6): 53-59.

[2] CAO Yanpeng, GUAN Dayan, HUANG Weilin, et al. Pedestrian detection with unsupervised multispectral feature learning using deep neural networks[J]., 2019, 46: 206-217.

[3] 段輝軍, 王志剛, 王彥. 基于改進YOLO網絡的雙通道顯著性目標識別算法[J]. 激光與紅外, 2020, 50(11): 1370-1378.

DUAN Huijun, WANG Zhigang, WANG Yan. Two-channel saliency object recognition algorithm based on improved YOLO network[J]., 2020, 50(11): 1370-1378.

[4] Tang Linfeng, Yuan Jiteng, Ma Jiayi. Image fusion in the loop of high-level vision tasks: A semantic-aware real-time infrared and visible image fusion network[J]., 2022, 82: 28-42.

[5] CHEN Jun, LI Xuejiao, Luo Linbo, et al. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition[J]., 2020, 508: 64-78.

[6] LIU Xingbin, MEI Wenbo, DU Huiqian. Structure tensor and nonsubsampled shearlet transform based algorithm for CT and MRI image fusion[J]., 2017, 235: 131-139.

[7] LIU Yipeng, JIN Jing, Wang Qiang, et al. Region level based multi-focus image fusion using quaternion wavelet and normalized cut[J]., 2014, 97: 9-30.

[8] Zhang Qiong, Maldague X. An adaptive fusion approach for infrared and visible images based on NSCT and compressed sensing[J]., 2016, 74: 11-20.

[9] Li Hui, Wu Xiaojun J, Kittler J. MDLatLRR: A novel decomposition method for infrared and visible image fusion[J]., 2020, 29: 4733-4746.

[10] Liu Yu, Chen Xun, Ward R K, et al. Image fusion with convolutional sparse representation[J]., 2016, 23(12): 1882-1886.

[11] Fu Zhizhong, Wang Xue, Xu Jin, et al. Infrared and visible images fusion based on RPCA and NSCT[J]., 2016, 77: 114-123.

[12] Mou Jiao, Gao Wei, Song Zongxi. Image fusion based on non-negative matrix factorization and infrared feature extraction[C]//6th(CISP)., 2013, 2: 1046-1050.

[13] Ma Jiayi, Chen Chen, Li Chang, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]., 2016, 31: 100-109.

[14] Liu Yu, Liu Shuping, Wang Zengfu. A general framework for image fusion based on multi-scale transform and sparse representation[J]., 2015, 24: 147-164.

[15] Li Hui, Wu Xiaojun. DenseFuse: A fusion approach to infrared and visible images[J]., 2018, 28(5): 2614-2623.

[16] Ma Jiayi, Yu Wei, Liang Pengwei, et al. FusionGAN: A generative adversarial network for infrared and visible image fusion[J]., 2019, 48: 11-26.

[17] 武圓圓, 王志社, 王君堯, 等. 紅外與可見光圖像注意力生成對抗融合方法研究[J]. 紅外技術, 2022, 44(2): 170-178.

WU Yuanyuan, WANG Zhishi, WANG Junyao, et al. Infrared and visible image fusion using attention-based generative adversarial networks[J]., 2022, 44(2): 170-178.

[18] Hou Ruichao, Zhou Dongming, Nie Rencan, et al. VIF-Net: an unsupervised framework for infrared and visible image fusion[J]., 2020, 6: 640-651.

[19] Tang Linfeng, Yuan Jiteng, Zhang Hao, et al. PIAFusion: A progressive infrared and visible image fusion network based on illumination aware[J]., 2022, 83: 79-92.

[20] Li Hui, Wu Xiaojun, Durrani T. NestFuse: An infrared and visible image fusion architecture based on nest connection and spatial/channel attention models[J]., 2020, 69(12): 9645-9656.

[21] Li Hui, Wu Xiaojun, Kittler J. RFN-Nest: An end-to-end residual fusion network for infrared and visible images[J]., 2021, 73: 72-86.

[22] Toet Alexander. TNO Image Fusion Dataset[EB/OL]. [2022-08-20]. https://doi.org/10.6084/m9.figshare.1008029.v2.

[23] WANG Qilong, WU Banggu, ZHU Pengfei, et al. ECA-Net: efficient channel attention for deep convolutional neural networks[C]//(CVPR), 2020: 11531-11539.

[24] Kumar B S. Image fusion based on pixel significance using cross bilateral filter[J]., 2015, 9(5): 1193-1204.

[25] MA Jinlei, ZHOU Zhiqiang, WANG Bo, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

Infrared and Visible Image Fusion Combining Information Perception and Multiscale Features

QU Haicheng，HU Qianqian，ZHANG Xuecong

(School of Software, Liaoning Technical University, Huludao 125105, China)

Existing image fusion algorithms based on deep learning are unable to satisfy the demands of computational efficiency and fusion effect. Most have also adopted a fusion strategy based on a single-scale model, which cannot effectively extract the contextual information in images. This study proposes an end-to-end image fusion network based on information perception and multiscale features. The network consists of an encoder, a fusion strategy, and decoder. Specifically, the multiscale features of the infrared and visible images were extracted by the encoder, and a feature complementary enhancement module was designed to fuse different modal multiscale features. Finally, the lightweight decoder was designed to combine the low-level details and high-level semantic information. In addition, the information entropy of the source image was used to construct an information-sensing loss function to train the fusion network and generate the fused image with rich information. The proposed fusion framework was evaluated on the TNO and MSRS datasets. The results show that compared with existing fusion methods, the proposed network was superior to other methods in terms of both subjective visual description and objective index evaluation, with higher computational efficiency.

image fusion, multi-scale feature, information perception, feature complementary enhancement

TP391

A

1001-8891(2023)07-0685-11

2022-08-28；

2022-11-30.

曲海成（1981-），男，博士，副教授，主要研究方向：圖像與智能信息處理。E-mail：quhaicheng@lntu.edu.cn。

遼寧省教育廳一般項目（LJ2019JL010）；遼寧工程技術大學學科創新團隊資助項目（LNTU20TD-23）。