基于幀差檢測技術與區域特征的紅外與可見光圖像融合算法

賀興容 龔奕宇 范松海 吳天寶 劉益岑 劉小江

關鍵詞： 紅外與可見光圖像融合; 信息互補; 幀差檢測; 目標分簇; 圖像分割; 算法復雜度比較

中圖分類號： TN911.73?34; TP391 ? ? ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）01?0057?05

Abstract： An infrared and visible image fusion algorithm based on frame difference detection technique and region feature is proposed to improve the fusion quality of the infrared image and reduce its fusion complexity. The frame difference method is designed to detect the target in infrared image for target clustering and image segmentation. The target is accurately located by means of the information among frames. Some different fusion rules are designed according to the characteristics of target region， and the image fusion is realized by means of the effective information complementation of infrared and visible images. The theoretical analysis of the complexity of the fusion algorithm is carried out. The fusion experiments are performed for the unmoving observable target， and moving observable target in infrared and visible image. The experimental results show that， in comparison with the available image fusion techniques， the proposed technique has higher fusion quality， and its fusion image can reflect the target and background more accurately.

Keywords： infrared and visible image fusion; information complementation; frame difference detection; target clustering; image segmentation; algorithm complexity comparison

0 ?引 ?言

無人機（Unmanned Aerial Vehicle，UAV）是不需要機載飛行員就有飛行能力的飛機，可通過遠程控制、半自主、自主或多種方式同時控制UAV，UAV能在許多領域中執行給定的任務[1]。為了完成各種各樣的任務，UAV首先需要配備傳感器載荷采集任務區域的圖像并實現環境感知，傳感器載荷包括紅外傳感器和可見光傳感器。融合同一場景的紅外和可見光圖像是UAV目標檢測和識別的基礎。然而，機載傳感器拍攝的圖像是動態的，會增加可見光和紅外圖像融合的難度[2]。為了獲得形勢評估，提取目標信息是很重要的，事實上，可見光圖像中的紋理和顏色信息非常豐富，而紅外圖像中的目標信息非常突出，尤其是人造目標，據此，為了更有效地利用目標信息，可以基于目標區域來劃分圖像區域。

圖像融合分為四個信息表示層次，即信號、像素、特征和決策[3]。文獻[4]提出基于稀疏表示與非下采樣Contourlet變換的紅外和可見光圖像融合算法，通過對圖像進行NSCT變換，獲取其高頻與低頻系數，利用系數表示提取低頻系數特征，再設計不同的融合規則，實現高頻、低頻系數融合，但該算法無法有效地采集目標信息。文獻[5]提出一種基于色彩對比增強的紅外和可見光圖像融合算法，有利于目標檢測和提高觀察者性能。文獻[6]提出一種基于數據同化和遺傳算法（Genetic Algorithm，GA）的紅外和可見光圖像融合框架。文獻[7]引入快速離散曲波變換（Fast Discrete Curvelet Transform，FDCT）和清晰度評價操作符來實現紅外和可見光圖像融合。其他紅外和彩色可見光圖像融合算法見文獻[2，8?9]，其中基于離散小波變換（Discrete Wavelet Transform，DWT）的融合算法執行效果好，盡管NSCT、FDCT和其他新穎變換在部分性能上優于DWT，但變換并不是紅外和可見光圖像融合的關鍵和核心問題[10]。本文僅使用DWT來研究融合相關的目標檢測和感知，DWT的計算復雜度較低[11]。文獻[12?13]提出的可見光和紅外圖像融合算法，研究了目標融合檢測在不同幀使用相關信息可以滿足低實時融合的要求。

動態圖像融合有其自身的特征，要求融合算法在時間和空間上一致且具有較強的魯棒性。為了利用不同區域特征并且得到更有效的目標和背景信息，提出基于幀差檢測技術與區域特征的紅外與可見光圖像融合算法?；趧討B目標檢測和目標區域分割，然后使用幀之間的信息實現穩定性和時間的共識，根據目標區域的特征設計不同的融合規則實現可見光和紅外圖像的融合。最后，測試所提算法的融合質量并分析其復雜度。

3.2 ?可見光和紅外圖像中目標運動且可觀察

接下來，在可見光和紅外圖像中目標運動且可觀察的條件下執行兩幅圖像的融合實驗。源圖像中存在多個運動車輛目標，給多源圖像融合增加了難度。通過目標檢測，將源圖像劃分成4個不同區域，即區域[R1，R2，R3，R4]和背景，如圖5c）和圖5d）所示。依據不同的區域采用不同的融合規則，與基小波算法做對比研究。圖5e）和圖5f）中的結果表明，本文提出的算法比基小波算法背景更豐富，目標更凸顯。

3.3 ?各融合算法的復雜度分析

為了更好地體現本文算法的優越性，將本文算法的復雜度與各個較為先進的算法進行比較，包括加權平均、主成分分析、拉普拉斯金字塔、梯度金字塔、對比度金字塔、離散小波變換，全局和局部特征的主成分分析（GLFP）[2]，增強Gabor特征的線性判別分析（EGFL） [4]，虛擬樣本擴展的2DPCA（VSE?2DPCA）[9]，分塊Fisher線性判別分析（BFLD）[2]，以及通用Fisher線性判別分析（GFLD）[11]算法進行對比，分別比較了訓練時間復雜度、測試時間復雜度及空間復雜度，具體比較結果如表2所示，其中，[m]和[n]分別表示圖像矩陣的行數和列數，[L，M]和[N]分別表示熵、互信息和邊緣保持。

從表2可以看出，與加權平均算法相比，本文算法在分割階段的時間復雜度稍微高了一點，其他均相同;與主成分分析算法相比，本文算法的各個復雜度均相當;與拉普拉斯金字塔、梯度金字塔算法相比，本文算法的分割階段時間復雜度稍微高了點，但是融合階段的時間復雜度比它們低了一半;與對比度金字塔、離散小波變換算法相比，本文算法的分割階段、融合階段時間復雜度及總體空間復雜度均低了很多。在提高識別率的同時，本文算法仍然能夠保持與其他相關算法相當甚至更低的復雜度。

4 ?結 ?語

本文提出基于幀差檢測技術與區域特征的紅外與可見光圖像融合算法，有助于UAV實現環境感知。不同于基于區域分割的傳統融合算法，本文為目標檢測提出一個幀差算法，用于分割源圖像，而且本文基于目標區域設計了不同的融合規則來融合可見光和紅外圖像，能獲得更多目標信息并且在源圖像中保留更多背景信息。實驗結果驗證了所提算法的合理性與優異性。

參考文獻

[1] LIU Zhanwen， FENG Yan， ZHANG Yifan. A fusion algorithm for infrared and visible images based on RDU?PCNN and ICA?bases in NSST domain [J]. Infrared physics and technology， 2016， 79（8）： 183?190.

[2] YIN Ming， DUAN Puhong， LIU Wei. A novel infrared and visible image fusion algorithm based on shift?invariant dual?tree complex shearlet transform and sparse representation [J]. Neurocomputing， 2016， 32（6）： 11?17.

[3] LIU C H， QI Y， DING W R. Infrared and visible image fusion method based on saliency detection in sparse domain [J]. Infrared physics and technology， 2017， 83（4）： 94?102.

[4] 王珺，彭進業，何貴青，等.基于非下采樣Contourlet變換和稀疏表示的紅外與可見光圖像融合方法[J].兵工學報，2014，34（7）：815?820.

WANG Jun， PENG Jinye， HE Guiqing， et al. Fusion method for visible and infrared image based on non?subsampled Contourlet transform and sparse representation [J]. Acta armamentarii， 2014， 34（7）： 815?820.

[5] 錢小燕，韓磊，王幫峰.紅外與可見光圖像快速融合算法[J].計算機輔助設計與圖形學學報，2012，23（7）：1211?1216.

QIAN Xiaoyan， HAN Lei， WANG Bangfeng. A fast fusion algorithm of visible and infrared images [J]. Journal of computer?aided design and computer graphics， 2012， 23（7）： 1211?1216.

[6] 付煒，裴歡，廖曉玉，等.多源遙感圖像融合的數據同化算法[J].自動化學報，2013，37（3）：309?315.

FU Wei， PEI Huan， LIAO Xiaoyu， et al. Data assimilation algorithm of multi?fountain remote sensing image fusion [J]. Acta automatica Sinica， 2013， 37（3）： 309?315.

[7] SUN Zhenfeng， LIU Jun， CHANG Qimin. Fusion of infrared and visible images based on focus measure operators in the curvelet domain [J]. Applied optics， 2012， 51（12）： 1910?1921.

[8] 李光鑫，吳偉平，胡君.紅外和彩色可見光圖像亮度?對比度傳遞融合算法[J].中國光學，2011，4（2）：161?166.

LI Guangxin， WU Weiping， HU Jun. Luminance?contrast transfer base fusion algorithm for infrared and color visible images [J]. Chinese journal of optics， 2011， 4（2）： 161?166.

[9] 邢雅瓊，王曉丹，劉健，等.基于NSST域的紅外和彩色可見光圖像融合[J].系統工程理論與實踐，2016，35（6）：536?544.

XING Yaqiong， WANG Xiaodan， LIU Jian， et al. Fusion technique for infrared and color visible image in non?subsample shearlet transform domain [J]. Systems engineering： theory and practice， 2016， 35（6）： 536?544.

[10] 楊風暴，董安冉，張雷.DWT、NSCT和改進PCA協同組合紅外偏振圖像融合[J].紅外技術，2017，39（3）：201?208.

YANG Fengbao， DONG Anran， ZHANG Lei. Infrared polarization image fusion using the synergistic combination of DWT， NSCT and Improved PCA [J]. Infrared technology， 2017， 39（3）： 201?208.

[11] 劉衛，殷明，欒靜，等.基于平移不變剪切波變換域圖像融合算法[J].光子學報，2013，42（4）：496?503.

LIU Wei， YIN Ming， LUAN Jing， et al. Image fusion algorithm based on shift?invariant shearlet transform [J]. Acta photonica Sinica， 2013， 42（4）： 496?503.

[12] 趙春暉，劉春紅，王克成.基于第二代小波的超譜遙感圖像融合算法研究[J].光學學報，2015，25（7）：891?896.

ZHAO Chunhui， LIU Chunhong， WANG Kecheng. Research on fusion of hyperspectral remote sensing image based on second generation wavelet [J]. Acta optica Sinica， 2015， 25（7）： 891?896.

[13] ZHOU Zehua， TAN Min. Infrared image and visible image fusion based on wavelet transform [J]. Advanced materials research， 2014， 35（6）： 1011?1017.

[14] JING Z L， PAN H， LI Y K， et al. Evaluation of focus measures in multi?focus image fusion [J]. Pattern recognition letters， 2007， 28（4）： 493?500.