基于HMSD和改進(jìn)的顯著性檢測(cè)的圖像融合

吳陽(yáng)陽(yáng)，李 旭，張鵬泉

（杭州電子科技大學(xué) 電子信息學(xué)院，浙江 杭州 310018）

0 引 言

圖像融合是信息融合的一個(gè)分支。紅外傳感器抗干擾能力強(qiáng)，但其空間分辨率較低，缺少紋理細(xì)節(jié)。可見(jiàn)光圖像具有更多細(xì)節(jié)信息和高分辨率，但在光照很弱或物體被遮擋的情況下效果不好［1］。為了利用可見(jiàn)光和紅外圖像的互補(bǔ)信息，紅外和可見(jiàn)光圖像融合非常必要，現(xiàn)已廣泛應(yīng)用于眾多領(lǐng)域中［2］。

近年來(lái)，對(duì)可見(jiàn)光和紅外圖像研究人員提出了許多不同的融合方法。多尺度變換是廣泛應(yīng)用的紅外與可見(jiàn)光融合方法。Zuo Y等人提出了雙樹(shù)復(fù)小波變換，是傳統(tǒng)小波分解的改進(jìn)，提高了計(jì)算效率［3］。劉斌等人提出了方向性對(duì)比度金字塔融合方法，得到了清晰度和分辨率更高的圖像［4］。Da Cunha A L等人提出了非下采樣輪廓波變換，具有平移不變性，突出了圖像輪廓［5］。

顯著性檢測(cè)是圖像處理領(lǐng)域的一個(gè)研究熱點(diǎn)。文獻(xiàn)［6］提出了一種頻率調(diào)諧（frequency-tuned，F(xiàn)T）方法，基于Lab空間顏色以及像素與平均像素的歐氏距離計(jì)算顯著值。Cheng M M等人提出了一種基于直方圖的對(duì)比度（histogrambased contrast，HC）法［7］。Zhai Y等人提出了基于亮度對(duì)比度（luminance contrast，LC）圖像顯著性檢測(cè)算法［8］。

本文提出了基于多尺度分解和改進(jìn)的LC顯著性檢測(cè)的紅外與可見(jiàn)光圖像融合。采用梯度引導(dǎo)濾波器和高斯濾波器結(jié)合的圖像分解模型對(duì)圖像進(jìn)行分解，將改進(jìn)的顯著性檢測(cè)應(yīng)用到融合規(guī)則上，得到偽影少、目標(biāo)突出的融合圖像。

1 相關(guān)理論

1.1 梯度引導(dǎo)濾波器

近年來(lái)，邊緣保留濾波器是圖像處理的一個(gè)研究熱點(diǎn)。邊緣保留濾波器在圖像分解過(guò)程中具有良好的邊緣保持性。常用的邊緣保留濾波器包括引導(dǎo)圖像濾波器、加權(quán)最小二乘濾波器和雙邊濾波器。引導(dǎo)圖像濾波器［9］是一種計(jì)算復(fù)雜度低的邊緣保留的局部濾波器，但其會(huì)遭受光暈偽影，所以本文使用梯度引導(dǎo)濾波器對(duì)圖像進(jìn)行混合多尺度分解，在引導(dǎo)圖像濾波器中引入一階邊緣條件約束，圖像的視覺(jué)外觀更好［10］。

1.2 改進(jìn)的LC顯著性檢測(cè)算法

LC顯著性檢測(cè)算法是以對(duì)比度為特征提取顯著性，保留熱輻射高和低的區(qū)域，導(dǎo)致融合圖像中的非目標(biāo)區(qū)域產(chǎn)生高亮，所以本文修改了算法，抑制了黑暗區(qū)域，使目標(biāo)區(qū)域得到良好顯示

式中 dis（Ik，Ii）＝Ik-Ii，其中，i 和k 為圖像中像素的位置，dis為灰度值距離。

圖1為改進(jìn)的LC 顯著性檢測(cè)算法和LC 顯著性檢測(cè)對(duì)比。兩種方法都可以保留最顯著的對(duì)象，即2 個(gè)場(chǎng)景中的2個(gè)人。然而，LC方法保留了黑暗區(qū)域，如天空和窗戶。改進(jìn)的LC方法可以有效地提取紅外圖像中的顯著性區(qū)域，如人物和建筑物輪廓，同時(shí)抑制非目標(biāo)區(qū)域，如天空，并減少了偽影。融合后的圖像中目標(biāo)得到了很好的對(duì)比度，非目標(biāo)區(qū)域保持干凈。

圖1 LC算法改進(jìn)前后顯著性

2 所提出的算法

2.1 多尺度分解

利用梯度引導(dǎo)濾波器的邊緣保持特性和高斯濾波器的平滑特性，將紅外和可見(jiàn)光進(jìn)行多尺度分解，得到不同尺度的信息。對(duì)不同層次的圖像采用不同的融合策略。最后，組合融合后的子層級(jí)重構(gòu)融合圖像。圖2為多尺度圖像分解的算法結(jié)構(gòu)。

圖2 多尺度圖像分解結(jié)構(gòu)

用ZT和ZG表示經(jīng)過(guò)梯度引導(dǎo)濾波器和高斯濾波器得到的圖像。初始化輸入圖像Z并賦值給Z（0）G，圖像分解層數(shù)為3，i 為分解級(jí)別。源圖像被分解成不同層次D ＝Z-ZT，E ＝ZT-ZG。其中，D為小尺度紋理細(xì)節(jié)層，E為大尺度邊緣特征層。構(gòu)建第i 層尺度分解D（i）＝Z（i-1）G-Z（i）T，E（i）＝Z（i）T-Z（i）G。分解的基層B ＝Z（3）G

2.2 圖像融合策略

小尺度層包含源圖像的紋理細(xì)節(jié)信息，為了保留較多的紋理細(xì)節(jié)，本文采用最大值的融合策略

大尺度層包含源圖像的邊緣特征，為了盡可能將紅外信息注入融合圖像，采用加權(quán)融合策略，計(jì)算權(quán)重系數(shù)Pi

歸一化

計(jì)算紅外光的融合權(quán)重

其中，采用高斯函數(shù)gσ對(duì)權(quán)值進(jìn)行平滑處理，設(shè)置σ ＝2。

大尺度層的融合結(jié)果

基層中包含了最粗尺度的信息，包含了圖像的大部分信息。為了使目標(biāo)區(qū)域突出，本文使用了改進(jìn)的LC 顯著性檢測(cè)。由于紅外圖像目標(biāo)通常比背景更突出，只對(duì)紅外圖像進(jìn)行顯著性提取，保持紅外圖像目標(biāo)區(qū)域的能量。經(jīng)此處理得到的融合圖像較好地保留目標(biāo)區(qū)域的對(duì)比度，獲得更好視覺(jué)效果。策略如下

式中 S為歸一化的顯著性值，BIR和BVIS分別為紅外和可見(jiàn)光圖像的基層。

最終重構(gòu)融合圖像

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法的有效性，對(duì)已經(jīng)配準(zhǔn)的2 組紅外與可見(jiàn)光圖像進(jìn)行融合，評(píng)估各融合算法的效果。融合算法包括：多分辨率奇異值分解（multi-resolution singular value decomposition，MSVD）［11］、交叉雙邊濾波器（cross bilateral filter，CBF）［12］、視覺(jué)顯著映射加權(quán)最小二乘（visual saliency map weighted least square，VSMWLS）法［13］、基于引導(dǎo)濾波融合（guided filtering fusion，GFF）［14］、混合多尺度分解（hybrid multi-scale decomposition，HMSD）［15］。

3.1 主觀性能評(píng)價(jià)

圖3和圖4為本文方法和其他算法的實(shí)驗(yàn)對(duì)比結(jié)果。從主觀性能上評(píng)價(jià)，由圖3可以看出，本文的算法人物目標(biāo)突出，人和背景的對(duì)比度高，背景物體清晰可見(jiàn)，與其他算法相比融合效果更好。由圖4 可以看出，本文的算法其中房屋左上角天空背景的偽影少，房屋門(mén)口的目標(biāo)人物清晰，利于人類(lèi)觀測(cè)，融合結(jié)果更好。本文提出的算法對(duì)比度高、視覺(jué)效果優(yōu)，更符合人類(lèi)視覺(jué)觀察。

圖3 第1 組實(shí)驗(yàn)的融合結(jié)果

圖4 第2 組實(shí)驗(yàn)的融合結(jié)果

3.2 客觀性能評(píng)價(jià)

在本文中采用平均梯度（average gradient，AG）、信息熵（entropy，EN）、互信息（mutual information，MI）、QCB幾種客觀評(píng)價(jià)標(biāo)準(zhǔn)來(lái)對(duì)融合結(jié)果進(jìn)行量化評(píng)價(jià)，如表1。上述的指標(biāo)越大代表相融合效果越好。

表1 2 組圖像的客觀評(píng)價(jià)對(duì)比

從表1中第1 組圖像可以看出，本文提出的方法除了QCB指標(biāo)略低于HMSD算法，其他指標(biāo)均高于其他算法；從第2組圖像中可以看出，本文提出的算法指標(biāo)都排在第1或第2位。說(shuō)明通過(guò)本文獲得的融合圖像清晰度高，信息豐富，對(duì)比度高，視覺(jué)效果好。本文提出的算法在AG、EN、MI和QCB4個(gè)客觀指標(biāo)上有明顯的優(yōu)勢(shì)，是一種較為優(yōu)秀的融合方法。

4 結(jié) 論

由于可見(jiàn)光與紅外圖像的特點(diǎn)不同，使得融合圖像中會(huì)存在目標(biāo)不突出、對(duì)比度低、偽影多的問(wèn)題。本文提出了一種基于混合多尺度分解和改進(jìn)的顯著性檢測(cè)的紅外與可見(jiàn)光圖像融合方法。將改進(jìn)的LC顯著性算法結(jié)合到多尺度分解上，使得融合結(jié)果更加符合人類(lèi)視覺(jué)，減少了偽影的產(chǎn)生，突出目標(biāo)特性。由客觀評(píng)價(jià)指標(biāo)也證明了本文算法的優(yōu)勢(shì)。未來(lái)將進(jìn)一步優(yōu)化算法，研究差異化的融合策略在不同場(chǎng)景上的應(yīng)用。