基于多任務卷積神經網絡的紅外與可見光多分辨率圖像融合

朱雯青，張 寧，李 爭*，劉 鵬，湯心溢

1.中國科學院上海技術物理研究所，上海 200083 2.中國科學院大學，北京 100049 3.中國科學院紅外探測與成像技術重點實驗室，上海 200083

引 言

隨著傳感器技術的發展，單一傳感器已經滿足不了日益發展的需求。圖像融合技術能夠結合不同圖像傳感器的優勢對目標特征進行表達，從而獲得增強目標特性的效果。紅外與可見光圖像融合技術一直是圖像融合領域的研究熱點之一，紅外探測器能在低光照、惡劣天氣條件下描述熱目標，目標顯著性強卻紋理細節信息少，可見光圖像分辨率高、符合人眼視覺感受但是容易受到光照天氣的影響。圖像融合技術將紅外與可見光波段的信息以適宜的策略進行有效信息，廣泛應用在多光譜遙感分析、軍事探測等領域。

國內外有較多學者從事紅外與可見光圖像融合算法的研究，提出了基于引導濾波[1]、稀疏表示[2]、脈沖耦合神經網絡[3]等融合算法。同時深度學習在圖像融合領域也取得了較大進展，如Liu等提出了一種基于孿生卷積網絡的圖像融合算法[4]，Ma等首次提出了基于生成對抗網絡的端到端圖像融合算法[5]，Li等提出了基于空間通道注意力機制的卷積網絡融合算法[6]等。但是大部分算法都只適用于紅外圖像與可見光圖像分辨率一致的情況下。在實際應用中，因硬件工藝、成本的限制，紅外探測器的分辨率遠低于可見光探測器，但是從硬件上提升紅外探測器分辨率的成本很高。……