基于NLEMD的紅外與可見(jiàn)光圖像融合

余月華，汪 鑫，熊海涵，王麗芳

(重慶大學(xué)城市科技學(xué)院電氣信息學(xué)院，重慶 402167)

圖像融合［1］主要是從輸入圖像中提取有用的信息，去除不需要的信息。紅外攝像機(jī)的廣泛使用極大地促進(jìn)了紅外與可見(jiàn)光圖像融合技術(shù)的發(fā)展。目前，圖像融合的主流方法是多分辨率分析的方法，例如 WT［2］，NSCT［3］和 LPT［4］等。多分辨率分析方法通常假設(shè)圖像為平穩(wěn)信號(hào)，但圖像的本質(zhì)是非平穩(wěn)信號(hào)，運(yùn)用非平穩(wěn)信號(hào)處理方法進(jìn)行圖像融合更符合圖像的特性。現(xiàn)有的非平穩(wěn)信號(hào)時(shí)頻分析方法主要有短時(shí)傅里葉變換［5］、小波變換［6］、Wigner-Ville 分布［7］、自適應(yīng)展開(kāi)方法［8］、Chirplet變換［9］、Hilbert-Huang 變換［10］等。短時(shí)傅里葉變換具有在時(shí)頻平面上分辨率不變等缺陷。小波變換計(jì)算復(fù)雜度較高。Wigner-Ville分布的時(shí)間－帶寬積達(dá)到了Heisenberg不確定性原理給出的下界，是目前時(shí)頻分辨率最高的時(shí)頻分析方法，但是存在較強(qiáng)的交叉項(xiàng)干擾。自適應(yīng)展開(kāi)方法在線性調(diào)頻信號(hào)分解過(guò)程存在較多截?cái)嗪托盘?hào)分量之間的混合畸變。Chirplet變換在信號(hào)的頻率成分隨時(shí)間非線性變化時(shí)會(huì)造成基函數(shù)數(shù)目的增加，影響變換結(jié)果的處理。Hilbert-Huang變換的最大特色是通過(guò)經(jīng)驗(yàn)?zāi)Ｊ椒纸猓?1］(empirical mode decomposition，EMD)使非平穩(wěn)信號(hào)平穩(wěn)化，從而使瞬時(shí)頻率有意義，進(jìn)而導(dǎo)出有意義的希爾伯特時(shí)頻譜。經(jīng)驗(yàn)?zāi)Ｊ椒纸庖罁?jù)數(shù)據(jù)自身的時(shí)間尺度特征將信號(hào)分解為若干個(gè)本征模式函數(shù)和一個(gè)剩余量，無(wú)須預(yù)先設(shè)定任何基函數(shù)，在處理非平穩(wěn)信號(hào)方面具有非常明顯的優(yōu)勢(shì)。經(jīng)驗(yàn)?zāi)Ｊ椒纸庾畛踽槍?duì)一維信號(hào)提出，不能很好地滿足實(shí)際需要，因此，一些學(xué)者在一維EMD的基礎(chǔ)上提出了二維經(jīng)驗(yàn)?zāi)Ｊ椒纸猓?2］，但是傳統(tǒng)二維經(jīng)驗(yàn)?zāi)Ｊ椒纸夂蟮谋菊骱瘮?shù)模式容易出現(xiàn)“灰度斑”并且分解速度慢。為了克服以上算法的缺陷，徐等［13－14］提出了限鄰域經(jīng)驗(yàn)?zāi)Ｊ椒纸?neighborhood limited empirical mode decomposition，NLEMD)。

1 限鄰域經(jīng)驗(yàn)?zāi)Ｊ椒纸?/h2>

限鄰域經(jīng)驗(yàn)?zāi)Ｊ椒纸猓?3］的基本思想是在求取局部均值時(shí)控制每次分解的最小頻率，即在本次分解中頻率高于某一設(shè)定值的信息能夠被分解，否則留到以后分解層次中分解。它和傳統(tǒng)二維經(jīng)驗(yàn)?zāi)Ｊ椒纸獾牟煌瞧洳扇【植孔赃m應(yīng)均值來(lái)代替?zhèn)鹘y(tǒng)經(jīng)驗(yàn)?zāi)Ｊ椒纸庵型ㄟ^(guò)上下包絡(luò)來(lái)求取均值。NLEMD最關(guān)鍵的部分是局部自適應(yīng)均值的求解。

局部自適應(yīng)均值求解步驟［14］如下:

步驟1 設(shè)定最大鄰域N×N，初始鄰域M×M，步幅step，窗口K=M;

步驟2 以當(dāng)前像素為中心，首先在窗口K內(nèi)尋找極值點(diǎn)個(gè)數(shù)，如果極值點(diǎn)個(gè)數(shù)大于或等于某個(gè)閾值thrd，并且以當(dāng)前像素為中心近似呈空間對(duì)稱(chēng)分布，則求取窗口K內(nèi)像素均值avg，轉(zhuǎn)步驟4;

步驟3 K=K+step，如果K＜N，轉(zhuǎn)步驟2;否則求取窗口K內(nèi)像素均值avg;

步驟4 以avg作為當(dāng)前像素的局部均值，轉(zhuǎn)到下一個(gè)像素，K=M，轉(zhuǎn)步驟2，直至對(duì)整幅圖像所有像素點(diǎn)操作完畢。

2 融合準(zhǔn)則

圖像經(jīng)過(guò)限鄰域經(jīng)驗(yàn)?zāi)Ｊ椒纸夂蟮氖Ｓ嗔考吹皖l部分，主要包含圖像的趨勢(shì)信息，反映圖像的輪廓信息，占據(jù)圖像的主要能量。目前，對(duì)剩余量的融合準(zhǔn)則有加權(quán)平均法［15］、模值取大［16］、局部能量取大［17］等。加權(quán)平均法沒(méi)有考慮圖像的亮度特征和邊緣信息，融合后的圖像對(duì)比度低，視覺(jué)效果不理想。模值取大的融合準(zhǔn)則只考慮了單像素點(diǎn)的信息，未考慮相鄰像素之間的相關(guān)性。局部能量最大法雖然考慮了鄰近像素點(diǎn)的相關(guān)性，但是它傾向于選擇高亮度的圖像區(qū)域，不能增強(qiáng)低亮度的區(qū)域邊緣信息。模糊邏輯的融合準(zhǔn)則善于表達(dá)界限不清晰的定性知識(shí)和經(jīng)驗(yàn)，將圖像的不確定性用隸屬函數(shù)來(lái)定量表示。對(duì)剩余量使用模糊邏輯的融合準(zhǔn)則進(jìn)行融合，更好地表示圖像低頻部分的信息，提高融合圖像質(zhì)量。本文針對(duì)分解圖像的低頻部分選用高斯函數(shù)的模糊邏輯融合方法，高頻部分選用模值取大的融合方法。

設(shè)紅外圖像剩余量系數(shù)為CIR(i，j)，可見(jiàn)光圖像剩余量系數(shù)為CTV(i，j)，融合后圖像系數(shù)為CF(i，j)，則高斯函數(shù)模糊邏輯準(zhǔn)則方法如下:

其中:μ和σ分別為紅外圖像剩余量圖像像素的均值和標(biāo)準(zhǔn)差;η0(i，j)為可見(jiàn)光圖像加權(quán)系數(shù)，η1(i，j)為紅外圖像加權(quán)系數(shù);k為自適應(yīng)調(diào)整均值，多次實(shí)驗(yàn)結(jié)果表明k=1.0時(shí)效果較好，因此這里取 k=1.0。

3 實(shí)驗(yàn)結(jié)果

3.1 不同分解方法對(duì)比實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)對(duì)UN Camp、Kayak兩組紅外與可見(jiàn)光圖像進(jìn)行融合，其分解算法選用限鄰域經(jīng)驗(yàn)?zāi)Ｊ椒纸?NLEMD)，拉普拉斯金字塔變換(LPT)、平穩(wěn)小波變換(SWT)。限鄰域經(jīng)驗(yàn)?zāi)Ｊ椒纸鈱訑?shù)為5。拉普拉斯金字塔變換采用Burt型濾波器，圖像分解層數(shù)為4。平穩(wěn)小波變換使用的小波基為bior 4.4小波基，分解層數(shù)為4。融合準(zhǔn)則高頻部分選用絕對(duì)值最大融合準(zhǔn)則，低頻部分選用高斯隸屬函數(shù)模糊邏輯(k=1.0)融合準(zhǔn)則。在實(shí)驗(yàn)中對(duì)兩組紅外與可見(jiàn)光圖像分別使用以上幾種分解方法進(jìn)行圖像融合，實(shí)驗(yàn)結(jié)果表明了限鄰域經(jīng)驗(yàn)?zāi)Ｊ椒纸馑惴ǖ挠行浴?/p>

圖1中，圖(c)、(d)的亮度較大，圖像的對(duì)比度較低，無(wú)法清楚看到樹(shù)木和欄桿;圖(e)在視覺(jué)方面有較好的表現(xiàn)效果。圖2中，圖(c)的海洋與陸地的分割線模糊，圖像對(duì)比度較低;圖(d)的對(duì)比度較低;圖(e)的視覺(jué)效果較好。

表1給出了UN Camp和Kayak圖像融合客觀評(píng)價(jià)表。對(duì)于UN Camp圖像，可以看出NLEMD融合后的圖像在標(biāo)準(zhǔn)差、信息熵、梯度和空間頻率方面都是最大。對(duì)于Kayak圖像，NLEMD融合后的圖像標(biāo)準(zhǔn)差、信息熵、梯度和空間頻率都最大。綜上可知:采用NLEMD得到的融合圖像質(zhì)量比使用拉普拉斯金字塔變換和小波變換得到的融合圖像質(zhì)量要好，融合效果更佳。

圖1 不同分解方法UN Camp圖像融合結(jié)果

圖2 不同分解方法Kayak圖像融合結(jié)果

表1 UN Camp和Kayak圖像融合客觀評(píng)價(jià)

3.2 不同融合準(zhǔn)則對(duì)比實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)對(duì)UN Camp、Kayak兩組紅外與可見(jiàn)光圖像進(jìn)行融合，分解算法選用限鄰域經(jīng)驗(yàn)?zāi)Ｊ椒纸?NLEMD)，分解層數(shù)為5。高頻采用模值取大的融合準(zhǔn)則，低頻分別使用模值取大、加權(quán)平均和模糊邏輯的融合準(zhǔn)則進(jìn)行融合。

圖3中，圖(b)、(d)的圖像亮度大，對(duì)比度較低，背景細(xì)節(jié)無(wú)法清晰顯示;圖(a)的人物特征目標(biāo)和道路細(xì)節(jié)不清晰，圖(c)的效果最好。表2給出了UN Camp圖像的低頻不同融合準(zhǔn)則的融合結(jié)果客觀評(píng)價(jià)標(biāo)準(zhǔn)，通過(guò)表2發(fā)現(xiàn)當(dāng)?shù)皖l使用模糊邏輯時(shí)，圖像的標(biāo)準(zhǔn)差、信息熵、梯度和空間頻率都是最大的，因此可以得到結(jié)論:當(dāng)高頻使用模值取大的融合準(zhǔn)則時(shí)，低頻使用模糊邏輯(k=1.0)融合準(zhǔn)則融合后的圖像質(zhì)量較好，融合效果最佳。

圖3 高頻模值取大，低頻不同融合準(zhǔn)則UN Camp圖像融合實(shí)驗(yàn)結(jié)果

表2 UN Camp不同融合準(zhǔn)則融合結(jié)果客觀評(píng)價(jià)

圖4中，圖(b)、(d)的圖像亮度較大，對(duì)比度較低，圖像清晰度較差;圖(a)中的人物特征目標(biāo)相比其他幾幅圖較為模糊;圖(c)中的人物特征目標(biāo)最清晰。表3給出了Kayak圖像的低頻不同融合準(zhǔn)則的融合結(jié)果客觀評(píng)價(jià)標(biāo)準(zhǔn)，可以看到當(dāng)?shù)皖l使用模糊邏輯(k=1.0)時(shí)，融合圖像的標(biāo)準(zhǔn)差、信息熵和梯度都最大，空間頻率相比模值取大和局部能量的結(jié)果低，但相比余下方法得到的結(jié)果要高。從整體上看，圖(c)的融合效果最佳，因此可以得到結(jié)論:當(dāng)高頻使用模值取大的融合準(zhǔn)則時(shí)，低頻使用模糊邏輯(k=1.0)融合準(zhǔn)則融合后的圖像質(zhì)量較好，融合效果最佳。

圖4 高頻模值取大，低頻不同融合準(zhǔn)則Kayak圖像融合實(shí)驗(yàn)結(jié)果

表3 Kayak圖像不同融合準(zhǔn)則融合結(jié)果客觀評(píng)價(jià)

4 實(shí)驗(yàn)結(jié)論

限鄰域經(jīng)驗(yàn)?zāi)Ｊ椒纸庾鳛橐环N新的時(shí)頻分析工具，能更好地表達(dá)非線性、非平穩(wěn)的信號(hào)，將其應(yīng)用于圖像處理中更符合圖像的非平穩(wěn)特性。實(shí)驗(yàn)結(jié)果表明:限鄰域經(jīng)驗(yàn)?zāi)Ｊ椒纸獾膱D像融合方法相比多分辨率分析工具的融合方法得到的融合圖像其質(zhì)量更好，融合效果更佳。

模糊邏輯主要用來(lái)處理不確定性的問(wèn)題，比較善于表達(dá)界限不清晰的定性知識(shí)和經(jīng)驗(yàn)，將信號(hào)的不確定性用隸屬函數(shù)來(lái)定量表示。考慮到圖像本身具有不確定性，將模糊邏輯應(yīng)用于圖像融合更符合圖像的這一特征。將限鄰域經(jīng)驗(yàn)?zāi)Ｊ椒纸夂湍：壿嬋诤蠝?zhǔn)則相結(jié)合應(yīng)用于圖像融合中能獲得質(zhì)量更高的融合圖像，得到較好的融合效果。

［1］Smith M I，Heather J P.Review of image fusion technology［J］.Proc.SPIE，2005，5782:29 －45.

［2］LiH M B S，S K M.Multisensor imagefusion using the wavelet transform［J］.Graphic Models and Image Processing，1995，57(3):235 －245.

［3］da Cunha A L，Zhou J，Do M N.The Nonsubsampled Contourlet Transform:Theory，design，and applications［J］.IEEE Transactions on Image Processing，2006，15(10):3089－3101.

［4］Toet A，Van Ruyven L J，Valeton J M.Merging thermal and visual images by a contrast pyramid［J］.OPT.Eng.，1989，28(7):789 －792.

［5］Youn O H.Short time Fourier transform using a bank of low-pass filter［J］.IEEE Transaction on Acoustics，Speech and Signal Proceeding，1985，33(2):182 －185.

［6］Daubechies I.The wavelet transform，time-frequency localization and signal analysis［J］.IEEE Transactions on information theory，1990，36:961 －1005.

［7］Rakotomamonjy A，Migeon B，Marche P.Late potential recognition using Wigner-ville distribution and neural network［C］//Proceedings of 18th Annual International Conference of the IEEE.［S.l.］:［s.n.］，1996(4):1369－1370.

［8］Qian S.Introduction to time-frequency and wavelet transforms［M］.UpperSaddle River:PTR Prentice Hall，2002.

［9］Mann S，Haykin S.The chirplet transform:A generalization of Gabor’s logon transform［C］//Proc.Vision Interface’91.USA:［s.n.］，1991:205 －212.

［10］Norden E Huang，Zheng Shen，Steven R long，e t al.The empirical mode composition and the Hilbert-spectrum for nonlinear non-stationary time series analysis［J］.Proc R SocLondon SerA，1998(454):903 －995.

［11］Long S R.Use of the empirical mode decomposition and Hilbert-Huang transform in image analysis［C］//World Multi-conference on Systemics，Cybernetics And Informatics:Concepts And Applications(PartⅡ).［S.L.］:［s.n.］，2001.

［12］鄭有志，覃征.基于二維經(jīng)驗(yàn)?zāi)B(tài)分解的醫(yī)學(xué)圖像融合算法［J］.軟件學(xué)報(bào)，2009，20(5):1096 －1105.

［13］徐冠雷，王孝通，徐曉剛，等.基于限鄰域經(jīng)驗(yàn)?zāi)Ｊ椒纸獾亩嗖ǘ螆D像融合［J］.紅外與毫米波學(xué)報(bào)，2006(3):225－228.

［14］徐冠雷，王孝通，徐曉剛，等.基于限鄰域EMD的圖像增強(qiáng)［J］.電子學(xué)報(bào)，2006，34(9):99 －103.

［15］Piella G.A general framework for multiresolution image fusion:From pixels to regions［J］.Information Fusion，2003，4(4):259 －280.

［16］楊俊，趙忠明.基于 Curvelet變換的多聚焦圖像融合方法［J］.光電工程，2007，34(6):67－71.

［17］Zhang Z，Blum R S.A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application［J］.Proc.IEEE，1999，87(8):1315 －1326.