紅外與可見光圖像交互注意力生成對抗融合方法

王志社，邵文禹，楊風暴，陳彥林

（1 太原科技大學 應用科學學院，太原 030024）

（2 中北大學 信息與通信工程學院，太原 030051）

0 引言

紅外傳感器對熱源輻射敏感，通過捕捉物體發出的熱輻射感知熱源目標特性，但所獲得的紅外圖像通常缺乏結構特征和紋理細節。相反，可見光傳感器通過光反射成像，圖像具有較高的空間分辨率和豐富的紋理細節，但不能有效突出目標特性，且易受到外界環境影響，特別在低照度的環境條件下，信息丟失嚴重。紅外與可見光圖像融合旨在綜合兩類傳感器的優勢，互補生成的融合圖像具有更好的目標感知和場景表達，在目標跟蹤［1］、目標檢測［2］和行人重識別［3］等領域有廣泛應用。

現有的傳統圖像融合方法大致可分為多尺度變換［4］、稀疏表示［5］、顯著性融合［6］、子空間融合［7］和擬態融合［8］等。傳統圖像融合方法通常以相同的特征變換或特征表示提取圖像特征，采用合適的融合規則進行合并，再通過反變換重構獲得最終融合圖像。由于紅外與可見光傳感器成像機制不同，紅外圖像以像素亮度表征目標特征，而可見光圖像以邊緣和梯度表征場景紋理。傳統融合方法不考慮源圖像的內在不同特性，采用相同的變換或表示模型無差別地提取圖像特征，不可避免地造成融合性能低、視覺效果差的結果。此外，融合規則是人為設定的，且越來越復雜，計算成本高，限制了圖像融合的實際應用。

目前，由于深度學習的卷積操作具有很強的特征提取能力，且可從大量數據中學習構建模型參數，深度學習成為圖像融合領域最有潛力的方向［9］。……