基于區域間相似度的紅外與可見光圖像融合算法研究

任全會，孫逸潔，黃燦勝

基于區域間相似度的紅外與可見光圖像融合算法研究

任全會1，孫逸潔1，黃燦勝2

（1. 河南省智慧教育與智能技術應用工程技術研究中心，河南 鄭州 451460；2. 廣西民族師范學院 數理與電子信息工程學院，廣西 崇左 532200）

針對傳統的紅外圖像與可見光圖像融合算法存在局部模糊、背景信息不完整的問題，文章提出了一種新的融合算法。使用邊緣檢測算子實現圖像輪廓的提取，同時還進行基于能量的加權融合處理；使用區域間相似度的方法實現信號域的提取，最后根據過信號強度進行圖像的融合。為了驗證算法的正確性，文章進行了對比測試，同時還使用標準差、信息熵和平均梯度3個參數進行了定量分析，本文方法和傳統的加權平均算法相比標準差最大提高106.3%，測試結果表明，本文提出的融合方法融合效果更好，具有一定的實用價值。

紅外圖像；融合算法；邊緣檢測；相似度

0 引言

紅外圖像已經被廣泛地應用到各個領域，在惡劣天氣和光線不好的環境下也可以展現出物體目標，但是紅外圖像的缺點是對比度不高，地物輪廓不清晰。可見光圖像地物輪廓清晰，但是惡劣天氣和光線不好的環境下容易丟失目標物體。可以使用圖像融合的方式實現兩種圖像的信息互補，從而得到清晰度高和目標可識別的融合圖像[1]。

兩種圖像融合能在像素級、特征級和決策級3個層次上實現[2]。現在研究的焦點是像素級層面上。國內外學者也進行了大量研究，研究方法也比較多，比如加權平均法、取大法、區域方差等。目前應用比較廣泛的是多分辨率融合算法，小波變換算法、Contourlet變換、IHS變換等等，使用此類算法融合后的圖像會出現局部模糊的現象和吉布斯（Gibbs）現象[3]。為了解決此類問題，提出了一種新的紅外圖像和可見光圖像的融合算法，使用邊緣檢測算子實現圖像輪廓的提取，同時還進行基于能量的加權融合處理；使用區域間相似度的方法實現信號域的提取，最后根據過信號強度進行圖像的融合。

1 邊緣檢測算子的圖像輪廓處理算法

1.1 圖像輪廓的處理

兩幅圖像邊緣信號的模值相除可以得到：

1.2 基于能量的加權融合處理

假設判斷邊緣強度的臨界值是，其取值范圍是0～1，通過測試，當＝0.65的時候效果最佳。如果＜，就能確定此信號屬于邊緣信號，通過一個重要的參數基于能量的加權融合進行處理[5]；如果Q(,)≥Q(,)，融合的小波系數就可以表示成：(,)＝MAX×(,)＋MIN×(,)；如果Q(,)＜Q(,)，融合的小波系數就可以表示成：(,)＝MIN×(,)＋MAX×(,)。MAX和MIN表達式分別是：

MIN＝1－MIN(5)

因此，就可以把小波變換的區域能量表示成：

因此就可以得到兩幅圖像的能量表達式：

為了進一步提高圖像的融合質量，設(,)表示匹配度，此參數是以(,)位置為中心領域的，則：

如果≥，就能確定此信號不屬于邊緣信號，使用基于能量的算法，比較兩幅圖像的能量大小，圖像的能量值越小，表示此圖像的邊緣信息越不顯著[6]，具體表示成：

2 圖像區域信息處理算法

根據兩幅圖像融合的性質，同時結合各個區域間的相關性，使用分類處理的方法進行融合[7]。

文章引入一個重要的參數平均梯度特征，使用此參數把各個區域之間的相似度函數重新優化，這樣就能夠提高保存圖像有效信號的效果[8]。區域相似度可以表示成：

區域中的均值可表示為：

參數平均梯度特征主要的功能就是可以客觀地反映出圖像的相對清晰程度[9]，可以準確地描繪圖像的微弱變化細節，可以為圖像的科學融合提供重要的依據[10]，優化后的表達式可以表示成：

式(12)和(13)中：Da(,)表示橫向的差分值；Db(,)表示縱向的差分值。

根據兩幅圖像區域間的相似度不同[11]，使用不同的方法進行融合，這樣可以大大提高融合的效果，當Sim(u,M,u,N)大于等于相似度閾值時[12]，使用區域信號強度這個參數實現圖像的融合，區域圖像的相關信號強度可以表示成：

式(14)和(15)中：D,M(,)和D,N(,)分別紅外圖像和可見光圖像在(,)處的細節分量；D表示正在檢測的圖像區域；(,)表示掩模矩陣，主要的功能是對|D,M(,)|和|D,N(,)|進行線性濾波[13]。

如果Sim(u,M,u,N)小于相似度閾值，也就是說此時兩幅圖像的區域間的相似度不高時，使用基于能量的融合算法實現紅外圖像和可見光圖像的融合[14]。也就是說通過對比兩幅圖像的能量實現融合，如果紅外圖像的能量比可見光圖像的能量大，表明紅外圖像的邊緣信息更為突出；反之，就表明可見光圖像的邊緣信息更為突出，其函數表達式是：

3 測試結果和結論

為了驗證算法的正確性，使用小波融合算法、加權平均算法、IHS（Intensity，Hue，Saturation）變換算法和本文算法對兩組圖像進行對比測試，文章進行了兩組圖像的對比測試，圖1是一組帶有人物的待融合圖像，圖2是一組不帶人物的待融合圖像，采用測試的平臺是Matlab 2018a。小波融合算法，小波變換的固有特性使其在圖像處理中有如下優點：完善的重構能力，保證信號在分解過程中沒有信息損失和冗余信息；加權平均算法，權重系數可調，適用范圍廣，可消除部分噪聲，源圖像信息損失較少，但會造成圖像對比度的下降，需要增強圖像灰度；IHS變換算法，但空間分辨率較低，而全色圖像具有高空間分辨率，但光譜分辨率較低。

圖1 第一組待融合圖像

圖2 第二組待融合圖像

Fig.2 The second group of images to be fused

圖3 第一組圖像對比測試結果

圖4 第二組圖像對比測試結果

從測試結果可以看出這4種方法把源圖像的重要信息都有效保留，兩組圖像的使用加權平均算法和IHS變換算法得到的圖像比較暗并且比較模糊，使用小波融合算法得到的圖像亮度比較高，可以相對完整地包含有紅外圖像的目標信息，并且也包含豐富的可見光圖像的背景信息，但是圖3和圖4的(a)～(c)都存在局部模糊的現象，背景信息缺失嚴重。通過仔細對比圖4中房屋下目標人物可以看出，圖像(a)～(c)中的人物非常模糊，而本文方法則對此目標任務得到了有效的保留。

為了進一步驗證文章算法的優越性，還使用參數標準差、信息熵和平均梯度進行了定量測試分析，參數信息熵表征圖像的整體信息，標準差反映了圖像像素值與均值的離散程度，平均梯度表征圖像的清晰度，此3個參數越大就表明融合圖像的效果越好[15]。測試數據如表1和表2所示。

從3個參數的測試數據可以看出，本文方法的指標和其它3種方法來比都得到明顯提高。第一組圖像的融合數據中，本文方法的標準差比加權平均算法的標準差提高了61.3%，第二組數據中更是提高了106.3%。這就充分說明，和其它方法相比，本文方法的圖像融合效果更好。

表1 第一組圖像融合數據

表2 第二組圖像融合數據

4 結論

文章論述了一種紅外圖像與可見光圖像融合算法，此算法使用兩種不同的方法對圖像的邊緣輪廓進行處理，并且根據圖像相似度的不同使用不同的方法進行融合。為了驗證本文方法的正確性，進行了一系列的對比測試，從圖像對比測試可以看出，本文方法可以更多地保留源圖像的重要信息；從定量的3個參數的結果來看，特別是標準差，最多可以提高106.3%，和傳統的融合算法相比，此方法可以有效地解決局部模糊的現象和吉布斯現象，有效地提高了融合圖像的效果。本文算法優勢明顯，具有較強的實用價值。

[1] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]., 2019, 45:153-178.

[2] LIU Y, CHEN X, Ward R K, et al. Medical image fusion via convolutional sparsity based morphological component analysis[J]., 2019, 26(3): 485-489.

[3] 蔡鎧利, 石振剛. 紅外圖像與可見光圖像融合算法研究[J]. 沈陽理工大學學報, 2016(3): 17-22.

CAI Kaili，SHI Zhengang. Research on Image Fusion Algorithm of Infrared and Visible Image[J]., 2016(3):17-22.

[4] 郝志成, 吳川, 楊航, 等. 基于雙邊紋理濾波的圖像細節增強方法[J].中國光學, 2016, 9(4): 423-431.

HAO Zhicheng, WU Chuan, YANG Hang,et al.Image detail enhancement method based on multi-scale bilateral texture filter[J]., 2016, 9(4): 423-431.

[5] FU Z, WANG X, LI X, et al. Infrared and visible image fusion based on visual saliency and NSCT[J]., 2017, 46(2): 357-362.

[6] DING S, ZHAO X, HUI X, et al. NSCT-PCNN image fusion based on image gradient motivation[J]., 2018, 12(4): 377-383.

[7] KOU F, LI Z, WEN C, et al. Edge-Preserving smoothing pyramid based multi-scale exposure fusion[J]., 2018, 53: 235-244.

[8] ZHOU Z, BO W, SUN L, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]., 2016, 30: 15-26.

[9] YANG B, LUO J, GUO L, et al. Simultaneous image fusion and demosaicing via compressive sensing[J]., 2016, 116(7): 447-454.

[10] ZHANG Y, BAI X, WANG T. Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure[J]., 2017, 35: 81-101.

[11] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[12] YANG Y, QUE Y, HUANG S, et al. Multiple visual features measurement with gradient domain guided filtering for multisensor image fusion[J]., 2017, 66(4): 691-703.

[13] ZHANG L, ZENG G, WEI J. Adaptive region-segmentation multi-focus image fusion based on differential evolution[J]., 2018, 33(3): 32.

[14] YAN X, QIN HL, LI J, et al. Infrared and visible image fusion using multiscale directional nonlocal means filter[J]., 2015, 54(13): 4299-4308.

[15] CUI G M, FENG H J, XU Z H, et al. Detail preserved fusion of visible and infrared images using regional saliency extraction and multi-scale image decomposition[J]., 2015, 341: 199-209.

Infrared and Visible Image Fusion Algorithm Based on Regional Similarity

REN Quanhui1， SUN Yijie1，HUANG Cansheng2

(1.,451460,; 2.,,,532200,)

To address the problems of local blur and incomplete background information in the traditional fusion algorithm of infrared and visible images, a new fusion algorithm is proposed in this paper. The edge detection operator was used to extract the image contour, and weighted fusion based on energy was also executed. The similarity between regions was used to extract the signal domain. Finally, image fusion is performed according to the over-signal strength. To verify the correctness of the algorithm, a comparative test was conducted and a quantitative analysis was performed using three parameters: standard deviation, information entropy, and average gradient. Compared with the traditional weighted average algorithm, the standard deviation of this method was up to 106.3 %. The test results confirmed that the fusion method proposed in this study has a better fusion effect and practical value.

infrared image, fusion algorithm, edge detection, similarity

TN223

A

1001-8891(2022)05-0492-05

2021-08-29；

2021-11-23.

任全會（1978-），男，漢族，河南鄭州人，副教授，主要研究方向：電子系統設計和EDA技術。E-mail:hzkd_2006@163.com。

黃燦勝（1970-），男，漢族，廣西崇左人，高級實驗師，研究方向為人工智能。E-mail: 645948468@qq.com。

2022年度河南省重點研發與推廣專項（科技攻關）（222102320125）；2022年度河南省高等學校重點科研項目（22B510021）。