紅外與可見光圖像多特征自適應融合方法

王君堯，王志社，武圓圓，陳彥林，邵文禹

（太原科技大學 應用科學學院，山西 太原 030024）

0 引言

紅外傳感器具備全天時全天候工作能力，能夠獲取捕捉目標的熱輻射信息，但所獲取的紅外圖像存在分辨率低、對比度差、邊緣模糊等缺點。可見光傳感器通過光反射成像，能夠獲取場景、紋理和細節等信息，但容易受惡劣天氣、光照等環境因素影響。紅外與可見光傳感器成像機理不同，成像頻段不同，表征前景目標和后景細節的特征信息差異大，成像條件和成像特性都具有很強的互補性。因此，圖像融合技術可以整合紅外與可見光圖像的互補特征信息，從而合成一幅有利于人眼觀察或其他視覺任務的單一圖像，能夠廣泛應用于實時監控[1]、目標跟蹤[2]、目標檢測[3]、行人識別[4]等領域。

傳統圖像融合方法通常依據目標特性或成像機制等先驗知識，構建相應特征提取模型，再設計相應的融合規則，通過反變換得到最終的融合圖像。常見的融合方法有多尺度變換[5]、稀疏表示[6]、顯著性融合[7]和混合方法[8-9]等。傳統的融合方法依賴固定的數學模型，僅能對某一類特征敏感，且無差別提取紅外與可見光圖像特征，特征提取能力不足。此外，需要人工設計相應的融合規則，計算復雜度高，且規則單一，缺乏對圖像特征自適應的提取能力。因此，傳統方法的融合圖像容易導致細節丟失、圖像扭曲和人造紋理等問題，無法達到理想效果。

近年來，由于卷積運算具有較強特征提取能力，基于深度學習融合方法[10-13]利用大量圖像數據，不斷訓練網絡模型，獲取最優模型參數，有效地提高了圖像融合性能。……