基于支持度變換的紅外與可見光圖像融合算法

張 雷，羅長(zhǎng)更，張穎穎，李根全，楊興強(qiáng)，王肖霞

(1.南陽師范學(xué)院物理與電子工程學(xué)院，南陽473061;2.中北大學(xué)信息與工程學(xué)院，太原030051)

引 言

隨著傳感器技術(shù)的發(fā)展，最近20年來，圖像處理和多傳感器數(shù)據(jù)處理技術(shù)成為人們研究的熱點(diǎn)［1］，單一的光學(xué)傳感器不可能完全反映圖像特征，采用不同的傳感器可以有效地解決這一問題，圖像融合技術(shù)在充分分析不同傳感器圖像特性的基礎(chǔ)上，結(jié)合不同傳感器圖像的優(yōu)勢(shì)特性，形成對(duì)場(chǎng)景和目標(biāo)更全面、更可靠、更精確的描述［2］，在早期圖像融合研究的基礎(chǔ)上，20世紀(jì)80年代中期，BURT和ADELSON采用拉普拉斯金字塔實(shí)現(xiàn)了多重圖像鑲嵌［3］，TOET構(gòu)造出對(duì)比度金字塔，并實(shí)現(xiàn)了紅外圖像與可見光圖像融合［4］，1989年MALLAT提出快速離散小波變換［5］，此后小波變換在圖像融合中得到了廣泛應(yīng)用，STEINNOCHER采用小波變換對(duì)衛(wèi)星遙感圖像進(jìn)行了融合［6］，2002年DO 和 VETTERLI提出了 Contourlet變換［7］，這些多分辨率分析方法都取得了較好融合效果，由于可見光圖像和紅外圖像融合可以更全面地反映場(chǎng)景特征，成為各國(guó)的研究熱點(diǎn)，在軍事、醫(yī)學(xué)、航空等領(lǐng)域得到廣泛的應(yīng)用。

圖像融合主要分為像素級(jí)融合、特征級(jí)融合和決策級(jí)融合，目前大多數(shù)融合算法都屬于像素級(jí)融合，主要有金字塔算法［8］、小波變換算法［9］、Contourlet變換［7］等算法，這些多分辨率分析算法可以有效提取圖像的有效信息。小波變換具有良好的空域和頻域特性，但是存在平移敏感性和方向有限缺陷［10］。Contourlet變換是一種靈活的多尺度、局域的、方向性的分析方法，可以很好地捕捉圖像的幾何結(jié)構(gòu)，但是輪廓波變換基函數(shù)光滑度不理想，存在頻譜混淆現(xiàn)象［11］。2007年ZHENG等人提出了支持度變換的多分辨率分析方法［12］，該算法首次采對(duì)多聚焦圖像以及遙感圖像進(jìn)行支持度變換，融合結(jié)果在互信息量、加權(quán)融合質(zhì)量上都取得了較好的效果，支持度變換不僅可以很好地表征圖像的細(xì)節(jié)信息，非下采樣，具有平移不變的特性，不會(huì)產(chǎn)生振鈴效應(yīng)和虛假信息，可以克服金字塔算法和小波算法的缺點(diǎn)，同時(shí)算法相對(duì)簡(jiǎn)單，運(yùn)算速度快［13］，是一種很好的多尺度分析工具。

［13］和參考文獻(xiàn)［14］中利用支持度變換對(duì)雙色中波紅外圖像進(jìn)行融合，在可見光和紅外圖像融合中還很少應(yīng)用，首先利用支持度濾波器對(duì)圖像進(jìn)行多尺度分解，分解后的圖像分為支持度圖像和近似圖像，支持度圖像包含圖像的細(xì)節(jié)信息，近似圖像包含了圖像的低頻信息。目前支持度算法對(duì)近似圖像帶圖像融合規(guī)則主要是算數(shù)平均或簡(jiǎn)單的加權(quán)平均(見參考文獻(xiàn)［13］～參考文獻(xiàn)［15］)，算法雖然簡(jiǎn)單，但是造成圖像的對(duì)比度的下降，使圖像的邊緣變得模糊［16］，因此作者根據(jù)支持度變換以及紅外和可見光圖像的特點(diǎn)，采用局部能量比例調(diào)制的方法對(duì)近似圖像進(jìn)行融合，利用局部方差比例加權(quán)對(duì)支持度圖像進(jìn)行融合。

1 支持度變換基本原理

支持度變換是根據(jù)最小二乘支持向量機(jī)(least square support vector machine，LS-SVM)的基礎(chǔ)上提出的一種新的圖像多尺度變換方法。以高斯徑向核函數(shù)作為核函數(shù)，濾波器大小為5×5。對(duì)濾波器填充0可以構(gòu)造出一系列多尺度支持度濾波器［7］。圖像的支持度變換步驟如下。

給定的圖像 I，其支持度值序列{S1，S2，…，SN}通過圖像多分辨率分解得到，其式為:

式中，Bi為支持度濾波器，*為卷積符號(hào)。

第i+1層低頻圖像通過Ii與Si的差值得到，如下式所示:

圖像重建如下式所示:

式中，N為最終分解層數(shù)。

2 融合算法

(1)對(duì)紅外圖像Ii和可見光圖像Iv進(jìn)行支持度變換，得到低頻子帶圖像 Ii，l和 Iv，l，高頻子帶圖像 Ii，h，n和Iv，h，n(n=1，…，N)。

(2)分解后低頻系數(shù)占據(jù)了變換后圖像的絕大部分能量，反映源圖像的近似特征，因此低頻子帶圖像采用局部能量進(jìn)行融合，算數(shù)平均與簡(jiǎn)單加權(quán)方法會(huì)造成場(chǎng)景的對(duì)比度降低，采用局部能量最大會(huì)造成圖像中可見光圖像信息量下降，如果單純地采用局部能量比的方法，會(huì)造成場(chǎng)景對(duì)比度下降較大［17］，余弦函數(shù)在區(qū)間［0，π/2］上為減函數(shù)，可以平衡加權(quán)系數(shù)，因此本文中采用局部能量比例調(diào)制加權(quán)的方法對(duì)低頻子帶圖像進(jìn)行融合，保持融合圖像的對(duì)比度和清晰度。其過程如下。

計(jì)算低頻子帶圖像局部能量，如下式所示:

式中，下標(biāo)m取i或v，表示紅外圖像和可見光圖像，ω(i，j)為局部能量加權(quán)窗口，本文中采用3×3窗口。

局部能量比計(jì)算如下式所示:

式中，α(i，j)為(i，j)處局部能量比。

融合公式為:

式中，Hl(i，j)為融合后的低頻子帶圖像。

(3)高頻子帶圖像包含圖像的細(xì)節(jié)信息，局部方差反映了灰度值的離散程度，圖像信息量越大，細(xì)節(jié)越豐富，圖像的方差就越大，高頻系數(shù)采用局部方差比例加權(quán)的方法進(jìn)行融合。

式中，σi，n為紅外圖像高頻子帶圖像方差，σv，n為可見光圖像高頻子帶圖像方差。

式中，β(i，j)為局部方差比，Hh，n(n=1，…，N)為融合后的高頻子帶圖像。

基于支持度變換融合算法流程圖見圖1。

Fig.1 Process of support value transform

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文中算法的有效性，采用小波算法、Contourlet變換算法和參考文獻(xiàn)［13］～參考文獻(xiàn)［15］中的加權(quán)平均支持度算法與本文中算法對(duì)可見光圖像和紅外圖像進(jìn)行融合。圖2a、圖3a為不同的可見光圖像，圖2b、圖3b為不同的紅外圖像，圖4a、圖5a為小波算法融合圖像，圖4b、圖5b為Contourlet變換算法融合圖像，圖4c、圖5c為參考文獻(xiàn)［13］～參考文獻(xiàn)［15］中的加權(quán)平均支持度算法，圖4d、圖5d為本文中算法融合圖像。圖中UN為聯(lián)合國(guó)(the united nations)簡(jiǎn)稱。

Fig.2 a—UN camp visible image b—UN camp infrared image

Fig.3 a—visible image b— infrared image

Fig.4 a—UN camp image wavelet transform b—UN camp image contourlet transform c—UN camp image weighted mean support value transform fusion algorithm in reference［13］～ refe-rence［15］d—UN camp image fusion algorithm of this paper

Fig.5 a—wavelet transform b—contourlet transform c—weighted mean support value transform fusion algorithm in reference［13］～reference［15］ d—fusion algorithm of this paper

域特性，算法具有較好的穩(wěn)定性和融合效果，但是同其它算法相比在灰度值動(dòng)態(tài)范圍以及細(xì)節(jié)信息和信息量上都較差;Contourlet變換算法采用方向?yàn)V波器組對(duì)圖像進(jìn)行多分辨率分析，效果較小波算法好，但是融合圖像有偽輪廓;參考文獻(xiàn)［13］～參考文獻(xiàn)［15］中的支持度變換算法具有平移不變性，同時(shí)克服了偽輪廓，但是融合規(guī)則上采用加權(quán)平均融合算法容易造成圖像對(duì)比度下降、細(xì)節(jié)缺失;本文中算法采用局部能量比例調(diào)制加權(quán)融合規(guī)則。克服了上述算法的缺點(diǎn)，在結(jié)果上優(yōu)于其它算法。為了更好地對(duì)圖像做出評(píng)價(jià)，采用主觀和客觀兩方面對(duì)圖像進(jìn)行進(jìn)一步評(píng)價(jià)。

從圖像主觀評(píng)價(jià)來看，視覺效果上參考文獻(xiàn)［13］～參考文獻(xiàn)［15］中的支持度算法雖然優(yōu)于Contourlet變換算法，但是場(chǎng)景對(duì)比度相對(duì)較低;Contourlet變換算法優(yōu)于小波算法，但圖像出現(xiàn)明顯的偽輪廓;本文中算法融合圖像中樹木、草叢、柵欄、房屋等背景圖像較其它算法清晰，更符合人的視覺特性，細(xì)節(jié)信息更豐富，清晰度、場(chǎng)景對(duì)比度更高，視覺效果更好，目標(biāo)也較為清晰，同時(shí)克服了Contourlet變換算法偽輪廓的缺點(diǎn)，整體效果優(yōu)于其它3種算法。

主觀評(píng)價(jià)上述幾種算法具有簡(jiǎn)單、快捷的特點(diǎn)，但是主觀性強(qiáng)、不易量化［18］。為了克服主觀評(píng)價(jià)的缺點(diǎn)，選取一些客觀量作為評(píng)價(jià)指標(biāo)，目前常用的客觀評(píng)價(jià)指標(biāo)主要有:信息熵E、標(biāo)準(zhǔn)差σ、平均梯度▽ˉG等［19］。本文中采用用標(biāo)準(zhǔn)差、平均梯度、熵對(duì)圖像進(jìn)行評(píng)價(jià)，標(biāo)準(zhǔn)差反應(yīng)了圖像灰度級(jí)的離散程度，平均梯度反應(yīng)圖像的清晰程度，熵反應(yīng)圖像的信息量［20］，公式如下:

式中，σ為圖像的標(biāo)準(zhǔn)差，E為圖像的熵，▽ˉG為平均梯度，f(i，j)為輸入圖像，u為圖像的平均灰度值，M和Q為圖像行列值，P(l)為圖像灰度級(jí)概率。

從表1(圖4～圖5評(píng)價(jià)指標(biāo))中的客觀指標(biāo)來看，本文中算法的標(biāo)準(zhǔn)差、平均梯度和熵都最大，說明本文中算法的融合圖像灰度值的動(dòng)態(tài)范圍、清晰度和信息量都較其它算法好，具有比較好的客觀效果。

Table 1 Image evaluation index

4 結(jié)論

針對(duì)支持度變換具有平移不變，不會(huì)產(chǎn)生振鈴效應(yīng)和虛假信息，算法簡(jiǎn)單等特點(diǎn)，本文中提出了局部能量比例調(diào)制的可見光和紅外圖像融合算法，該算法在低頻系數(shù)上采用局部能量比例調(diào)制加權(quán)的方法進(jìn)行融合，避免了算術(shù)平均、簡(jiǎn)單加權(quán)和單純局部能量比算法對(duì)比度下降的問題，高頻系數(shù)采用局部方差比例加權(quán)的方法，通過與小波算法、Contourlet變換算法和參考文獻(xiàn)［13］～參考文獻(xiàn)［15］中的支持度算法相比，融合圖像背景細(xì)節(jié)豐富、信息量大、清晰度高、目標(biāo)清晰、視覺效果好、算法過程簡(jiǎn)單，達(dá)到了融合的目的。

參考文獻(xiàn)

［1］ UKIMURA O.Image fusion［M］.Rijeka，Croatia:InTech，2011:1-438.

內(nèi)容是這樣的，班主任：20日不用補(bǔ)課了，開學(xué)直接來上課。一個(gè)同學(xué)家長(zhǎng)問：老師，是真的嗎？班主任說：當(dāng)然是真的，讓你們開開心心地玩幾天。

［2］ GUO M，WANG Sh M.Image fusion based on region and directional variance weighted entropy［J］.Systems Engineering and Electronics，2013，35(4):721-724(in Chinese).

［3］ BURT P J，ADELSON E H.Merging image through pattern decomposition［J］.Proceedings of the SPIE，1985，575:173-182.

［4］ TOET A，LODEWIK J，RUYVEN V，et al.Merging thermal and visual image by a contrast pyramid［J］.Optical Engineering，1992，28(7):789-792.

［5］ MALLAT S A.Theory for multi-resolution signal decomposition:the wavelet representation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1989，11(7):674-693.

［6］ STEINNOCHER K.Application of adaptive filters for multisensoral image fusion［J］.Geoscienceand Remote Sensing，1997，3(8):910-912.

［7］ DO M N，VETTERLI M.Contourlets:a new directional multiresolution image representation［C］//Signals，Systemsand Computers，Conference Record of the Thirty-Sixth Asilomar Conference，Image Processing.New York，USA:IEEE，2002:497-501.

［8］ BURT P J.The pyramid as structure for efficient computation［J］.Multire Solution Image Processing and Analysis，1984，12(3):6-35.

［9］ GAO Y，WANG A M，WANG F H，et al.Application of improved wavelet transform algorithm in image fusion［J］.Laser Technology，2013，37(5):690-695(in Chinese).

［10］ YU W J，GU G H，YANG W.Fusion algorithm of infrared polarization images based on wavelet transform［J］.Laser Technology，2013，37(3):289-292(in Chinese).

［11］ YANG Y T，ZHU M，HE B G，et al.Fusion algorithm based on improved Projected gradient NMF and NSCT［J］.Optics and Precision Engineering，2011，19(5):1144-1150(in Chinese).

［12］ ZHENG Sh，SHI W Zh，LIU J，et al.Multisource image fusion method using support value transform［J］.IEEE Transactions on Inage Processing，2007，16(7):1831-1839.

［13］ YANG F B，LIN S Zh，LENG M.Fusion of dual color MWIR image based on segmentation and support value transform［J］.Journal of Infrared and Millimeter Wave，2010，29(5):363-366(in Chinese).

［14］ LIN S Zh，YANG F B，JI L N，et al.Fusion of dual color MWIR image with weak signal based on suprathreshold stochastic resonance［J］.Journal of infrared and Millimeter Wave，2011，30(6):547-550(in Chinese).

［15］ LI W W，YANG F B，LIN S Zh.Second fusion method of infrared polarization image［J］.Journal of Applied Optics，2012，33(3):516-520(in Chinese).

［16］ LI Y F，F(xiàn)ENG X Y，F(xiàn)AN Y，et al.A fast multi-sensor image mutual fusion algorithm［J］.Opto-Electronic Eegineering，2011，38(8):117-123(in Chinese).

［17］ GUO M，F(xiàn)U Zh，XI X L.Novel fusion algorithm for infrared and visible images based on local energy in NSCT domain［J］.Infrared and Laser Engineering，2012，41(8):2230-2235(in Chinese).

［18］ LI Sh Sh，WANG Q，F(xiàn)ENG X L.A novel quality based on luminance and contrast model for image fusion［J］.Laser＆ Optoelectronics Progress，2011(6):1-6(in Chinese).

［19］ LUO X Q，WU X J.An evaluation method of image fusion based on region similarity［J］.Acta Electronica Sinica，2010，38(5):1152-1155(in Chinese).

［20］ WANG X W，WANG Sh L.Novel method image fusion［J］.Laser＆Infrared，2012，42(9):1055-1057(in Chinese).