基于多尺度注意力機制的紅外與可見光圖像融合研究

摘要：紅外與可見光圖像的融合旨在提取和整合源圖像中的信息，以生成包含重要且互補信息的結果。然而，目前的融合規則在有效提取最有價值的信息方面存在不足，無法很好地保留關鍵信息。文章在DenseFuse網絡中引入了多頭注意力模塊（Multiscale Attention Block，MAB）。該模塊通過多尺度大核注意力機制，更有效地捕捉全局與局部信息。這使得融合后的圖像具有更加豐富的語義信息，從而提升其在后續高層次視覺任務中的表現。

關鍵詞：圖像融合；多尺度注意力機制；多頭注意力模塊

中圖分類號：TP3919文獻標志碼：A

0引言

由于成像傳感器的物理局限性，捕捉一致且高質量的場景圖像非常困難。在這種情況下，圖像融合顯得尤為重要，其目標是通過多個樣本重建一幅理想的場景圖像，這些樣本提供了關于視覺內容的額外信息。這項技術廣泛應用于目標跟蹤［1］、自動駕駛和視頻監控等領域［2-3］。融合任務須要利用算法生成一幅單一圖像，該圖像整合來自不同源圖像的互補信息。

圖像融合包括3個關鍵過程：特征提取、融合策略和重構。目前的研究主要集中在這些元素中的一個或多個方面，以提升融合效果。現有的融合方法可分為2大類：傳統算法和基于深度學習的融合方法。本文探討的是一種基于深度學習的自編碼器融合技術。

基于自編碼器的開創性可見光與紅外圖像融合方法是DenseFuse［4］。該方法利用MSCOCO數據集對自編碼器進行預訓練［5］，采用不同的融合策略（如加法和L1范數）來實現特征融合。本文在DenseFuse網絡中引入多尺度大核注意機制（MAB模塊）［6］，以有效捕捉全局和局部信息，保留高頻信息。這一改進增強了模型的表示能力，同時降低了計算復雜度，從而提升了其在后續高層次視覺任務中的表現。

1MAB模塊及其網絡構架

11MAB模塊

本文中的MAB模塊結構如圖1所示，包含2個組成部分：多尺度大核注意（Multiscale Large Kernel Attention，MLKA）模塊和門控空間注意單元（Gated Spatial Attention Unit，GSAU）。給定輸入特征X，MAB的整個過程為：

其中，LN（·）和λ分別是層歸一化和可學習的縮放因子。和fi（·）表示保持維數的逐元素乘法和第i個逐點卷積。MLKA（·）和GSAU（·）是MLKA和GSAU模塊。MLKA通過多尺度大核卷積來捕捉不同尺度的特征，從而學習圖像中的長距離依賴關系。GSAU則利用門控機制和空間注意力，顯著降低了傳統多層感知機的計算開銷，提升了模型的效率。

MAB的模塊設計注重計算效率，通過簡化的門控機制和空間注意單元降低計算復雜性。因此，在計算資源有限但對高質量輸出有要求的情況下，MAB顯得尤為實用。

12網絡架構

本文應用MAB網絡的整體結構如圖2所示，主要由編碼器和譯碼器2部分組成。通過編碼器中的卷積操作，可以從源圖像中提取淺層特征。密集塊的設計旨在盡可能保留編碼網絡中的深層特征，確保在融合策略中有效利用所有顯著特征。通過密集連接，中間層的信息得到了充分利用。同時，其引入MAB模塊以進一步提取深層特征。淺層特征能夠保留更多細節信息，而深層特征則傳遞語義信息，這對重構顯著特征至關重要。解碼器由4個卷積層組成，其輸出的融合層將作為解碼器的輸入。本文采用這種簡單而高效的架構來重建最終的融合圖像，特征融合采用L1范數策略，其性能優于加法策略。

2MAB用于可見光與紅外圖像融合

本文通過對TNO數據集［7］、M3FD數據集和LLVIP數據集進行了大量實驗［8-9］，以驗證所提出的融合框架，進行了定性和定量比較。實驗在Windows 11操作系統和NVIDIA RTX 4060 GPU上進行，使用Pytorch作為深度學習框架，訓練與測試平臺為PyCharm。

21定性比較結果

本文選取TNO數據集、M3FD數據集和LLVIP數據集中各3種紅外和可見光圖像，將DenseFuse與改進的方法進行對比，如圖3—5所示。從對比結果來看，改進的方法的清晰度明顯優于DenseFuse。

22定量比較結果

本文采用了6個典型的定量比較指標，分別為信息熵（Information Entropy，EN）［10］、標準差（Standard Deviation，SD）［11］、互信息（Mutual Information，MI）［12］、視覺信息保真度（Visual Fidelity，VIF）［13］、空間頻率（Spatial Frequency，SF）和基于梯度的融合性能（Gradientbased Fusion Performance，Qabf）［14-15］。

221EN：信息熵

信息熵（EN）是通過信息論計算圖像中所包含信息量的度量方法。其具體定義為：

在這個公式中，L代表灰度級數量，而pl則表示融合圖像中相應灰度級的歸一化直方圖。信息熵（EN）的數值越高，表明融合圖像所包含的信息越豐富。

222SD：標準差

標準差（SD）是反映融合圖像的對比度及分布的指標。其具體定義為：

在該公式中，μ表示融合圖像的平均值。人類的視覺系統通常更傾向于被高對比度的區域吸引，因此，具有更高標準差（SD）的融合結果往往會展現出更好的對比度。

223MI：互信息

MI測量2個圖像之間的相似度，即，融合圖像從原始圖像獲取了多少信息。其具體定義為：

224VIF：視覺保真度

VIF是基于自然場景統計和人類視覺系統（Human Vision System，HSV）的指標，用于量化融合圖像F與源圖像X之間共享的信息量。具體而言，其使用融合圖像與源圖像信息的比值來定義VIF。其具體定義為：

在這個公式中，其中，k和b分別代表子帶和塊（射頻）索引；gK，b是在第k個子帶中第b個塊的標量增益場，sK，b和cu相應地被定義。很明顯，當考慮多個子帶時，gK，b和sK，b是gi和si的廣義定義。VIF用于量化圖像失真，包括額外的噪聲、模糊和全局或局部對比度。VIF越高，意味著融合結果越符合人類視覺感知。

225SF：空間頻率

SF表示圖像細節清晰度和空間變化。其具體定義為：

226Qabf：基于梯度的融合性能

Qabf是一種客觀的非參考質量評估指標，用于評估融合圖像的質量。該算法采用局部度量方法來估計輸入圖像中重要信息在融合圖像中的呈現效果。其具體定義為：

從表1—3的數據可以看出，改進的方法在絕大多數指標上顯示出優越性，只有少數數據略低于改進前的方法（表中的加粗數據）。具體而言，改進方法在信息熵（EN）方面表現更高，意味著融合圖像包含了更豐富的信息量。在標準差（SD）上，改進方法也展現出更高的數值，表明其融合圖像具有更好的對比度和視覺吸引力。互信息（MI）的高值進一步證實了改進方法在保留源圖像信息方面的有效性。視覺信息保真度（VIF）的高值表明，改進方法生成的融合圖像更符合人類的視覺感知，能夠在不增加額外噪聲、模糊和對比度變化的情況下，更好地保留源圖像的信息。空間頻率（SF）的高值顯示了改進方法在保留圖像細節和紋理方面的卓越能力。基于梯度的融合性能（Qabf）的高值進一步證實了改進方法在融合圖像質量上的優勢，特別是在邊緣信息的保留上。

綜上所述，改進的方法在定量評估的各個方面均優于傳統的DenseFuse網絡。這些結果不僅證明了改進方法的有效性，也為未來的圖像融合技術提供了新的方向。通過更有效地捕捉全局和局部信息，改進的方法能夠生成更高質量的融合圖像，這對于后續的高層次視覺任務，如目標識別和場景理解等，具有重要意義。

3結語

本文在DenseFuse網絡中引入了MAB模塊，通過多尺度大核注意機制，有效捕捉全局和局部信息，從而使融合圖像具備更豐富的語義信息，提升了該圖像在后續高層次視覺任務中的表現。通過大量定性和定量實驗，結果表明，改進的方法明顯優于DenseFuse網絡。

參考文獻

［1］裴旭.基于深度學習的海上目標跟蹤與預警系統設計與實現［J］.無線互聯科技，2023（24）：68-70，74.

［2］劉忠波.智能視頻監控及分析技術在綜合安防系統中的應用［J］.無線互聯科技，2023（4）：13-15.

［3］王開峰.基于MPC的自動駕駛汽車橫向控制算法研究［J］.無線互聯科技，2022（24）：34-36.

［4］LI H，WU X J.DenseFuse：A fusion approach to infrared and visible images［J］.IEEE Transactions on Image Processing，2019（5）：2614-2623.

［5］LIN T Y，MAIRE M，BELONGIE S，et al.Proceedings of the European Conference on Computer Vision，2014［C］.Cham：Springer，2014.

［6］WANG Y，LI Y S.Multiscale Attention Network for Single Image SuperResolution［EB/OL］.（2024-04-13）［2024-10-20］.https：//arxiv.org/abs/220914145.

［7］TOET A.TNO Image Fusion Dataset ［EB/OL］.（2014-04-26）［2023-10-20］.https：//figshare.com/articles/dataset/TNO_Image_Fusion_Dataset/1008029.

［8］LIU J Y，FAN X，HUANG Z B，et al.Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2022［C］.New Orleans：IEEE，2022.

［9］JIA X，ZHU C，LI M，et al.Proceedings of the IEEE/CVF International Conference on Computer Vision （ICCV） Workshops，2021［C］.New Orleans：IEEE/CVF，2021.

［10］VAN AARDT J.Assessment of image fusion procedures using entropy，image quality，and multispectral classification［J］.Journal of Applied Remote Sensing，2008（1）：023522.

［11］ZHU X X，BAMLER R.A Sparse Image Fusion Algorithm with Application to PanSharpening［J］.IEEE Transactions on Geoscience and Remote Sensing，2013（10）：2827-2836.

［12］MA J Y，MA Y，LI C.Infrared and visible image fusion methods and applications：A survey［EB/OL］.（2019-01-28）［2024-06-20］.https：//www.sciencedirect.com/science/article/abs/pii/S1566253517307972.

［13］HAN Y，CAI Y，CAO Y，et al.A new image fusion performance metric based on visual information fidelity［J］.Information Fusion，2013（2）：127-135.

［14］PETROVIC V，XYDEAS C.Proceedings of the Tenth IEEE International Conference on Computer Vision （ICCV’05），October 17-20，2005［C］.Beijing：IEEE Computer Society，2005.

［15］PIELLA G，HEIJMANS H.Proceedings of the 2003 International Conference on Image Processing （Cat.No 03CH37429），September 14-17，2003［C］.Barcelona：IEEE，2003.

（編輯王永超）