非線性Contourlet變換和區(qū)域特征匹配的圖像融合*

蔣炯輝， 張純?nèi)荩?黃 輝， 劉 剛

非線性Contourlet變換和區(qū)域特征匹配的圖像融合*

蔣炯輝1， 張純?nèi)?， 黃 輝3， 劉 剛4

(1.浙江工業(yè)大學(xué) 之江學(xué)院,浙江 杭州 310024； 2.成都航空職業(yè)技術(shù)學(xué)院,四川 成都 610100；
3.溫州大學(xué)，浙江 溫州 325035； 4.浙江工業(yè)大學(xué),浙江 杭州 310024)

針對圖像融合中存在邊緣輪廓表示不清晰和計算冗余度過高的問題。提出了將非線性估計Contourlet變換和圖像區(qū)域特征相結(jié)合的融合算法。通過非線性估計保留Contourlet高頻稀疏矩陣最重要系數(shù)頻帶，對低頻區(qū)域、高頻區(qū)域采用不同的區(qū)域特征策略進行圖像融合。實驗結(jié)果表明：該圖像融合算法不僅可以提高圖像融合的視覺效果和圖像質(zhì)量、而且可以去噪音，增強圖像。

圖像融合; Contourlet變換; 特征匹配

0 引 言

圖像融合(image fusion)是指將多源信道所采集到的關(guān)于同一目標(biāo)的圖像數(shù)據(jù)經(jīng)過圖像處理和計算機技術(shù)等，最大限度提取各自信道中的有利信息，最后綜合成高質(zhì)量的圖像，以提高圖像信息的利用率、改善計算機解譯精度和可靠性、提升原始圖像的空間分辨率和光譜分辨率[1]。它通過不同數(shù)據(jù)源的互補信息，來降低模糊度、提高圖像的精確度，在遙感、軍事、醫(yī)學(xué)、機器識別等方面中都有廣泛的應(yīng)用。

目前圖像融合領(lǐng)域主要采用小波變換算法進行融合，根據(jù)小波變換的特點進行分析，研究出了不同的融合算法[2～4]。然而由于小波圖像融合中存在二維小波，其方向僅分為垂直、水平、對角三大類，導(dǎo)致小波變換并不能“最有效”描述圖像的邊緣信息。Do M N和Vetterli M在承繼小波多尺度變換的角度出發(fā)，建立了全新的圖像二維表示方法，即Contourlet變換[5,6]。較小波變換具有更好的稀疏表達能力，圖像區(qū)域能量可以更好地趨向中心，對于描述圖像的走向紋理以及輪廓邊緣都有著積極作用。而眾多研究人員有鑒于此，將Contourlet變換廣泛應(yīng)用到圖像融合體系當(dāng)中，并獲得了良好的效果。比如結(jié)合圖像特征的Con-tourlet變換融合[7,8]、非下采樣Contourlet圖像融合[9]、非線性估計Coutourlet 變換融合等[10,11]。單純的Contourlet變換融合容易將干擾噪音融合到新圖像中去，影響圖像質(zhì)量；非下采樣Contourlet變換的圖像融合效果很好，不過計算量非常大，對一般應(yīng)用具有一定影響。

本次研究在分析了大量Contourlet變換圖像融合的基礎(chǔ)上，將非線性估計Contourlet變換應(yīng)用到圖像融合當(dāng)中，并在不同尺度空間中根據(jù)圖像區(qū)域特征進行匹配。首先對圖像進行Contourlet分解，提取出圖像高頻區(qū)域和低頻區(qū)域，保持低頻系數(shù)不變，對高頻系數(shù)進行非線性估計，提取出最顯著高頻特征系數(shù)；然后再對低頻系數(shù)和高頻系數(shù)的特征進行融合，低頻區(qū)間通過矩陣模塊來進行運算，根據(jù)周邊能量合理選擇融合系數(shù)；高頻區(qū)域?qū)Α白铒@著特征系數(shù)”采用特征匹配度的融合規(guī)則，計算中心點區(qū)域的特征并選取融合系數(shù)。融合仿真實驗結(jié)果表明，本文方法相對于小波變換、傳統(tǒng)Contourlet融合等方法，在融合性能和視覺效果表現(xiàn)更好，相較于非下采樣Contourlet變換融合，在不犧牲融合圖像質(zhì)量情況下，提升了計算速度。

1 線性估計Contourlet變換

Contourlet變換模型中濾波器組，其能夠擴展成平方可積空間L2(R2)內(nèi)的連續(xù)函數(shù)[12]。同時連續(xù)域Contourlet變換經(jīng)過迭代濾波器組將整個L2(R2)分解成多尺度、多方向的子空間序列，如式(1)所示

(1)

(2)

(3)

(4)

2 特征匹配融合算法

2.1 低頻融合算法

低頻融合用于處理低頻部分的圖像信息，并針對低頻子帶存留的原始數(shù)據(jù)進行概貌分析，是利用窗口系數(shù)矩陣進行的一種運算手法。其以某一點作為中心區(qū)間，并參照能量區(qū)間的特性，保持了其中心像素方向性，E在低頻區(qū)間內(nèi)的能量可以定義為

Ej0(m,n)={(x,y)∈Ω(m,n):(z,Vj0(m,n))}

(5)

式中Ω(m,n)為以(m,n)作為中心的區(qū)間，(x,y)描述形式以(m,n)作為鄰近中心點的區(qū)間像素點，z為區(qū)間系數(shù)中的矩陣，Vj0為低頻子帶系數(shù)的融合圖像。同時低頻區(qū)間的能量融合法則需要先進行兩幅低頻子帶的計算，(m,n)為中心位置區(qū)間的低頻能量E，再加上區(qū)間能量E的絕對值，依照其中最大值的原理進行評判。判斷公式如下

(6)

2.2 高頻特征匹配算法

高頻子帶融合采用特征的匹配度閾值來進行特征度匹配[14]，對高頻區(qū)域局部能量的定義為

(7)

式中C(i,j,k)為第k分解級上(i,j)位置的高頻系數(shù),S(i,j,k)處的局部能量為點(m,n)鄰域內(nèi)的高頻系數(shù)值的平方和，鄰域大小通常采用5×5或者是3×3的區(qū)間。(i,j,k)處的匹配度定義為

MAB(i,j,k)=

(8)

高頻系數(shù)的融合規(guī)則由下式定義

C(i,j,k)=WACA(i,j,k)+WBCB(i,j,k)

(9)

根據(jù)下列規(guī)則，可以判斷出高頻系數(shù)子帶的最大系數(shù)加權(quán)結(jié)果：

1)當(dāng)MAB≤T時

(10)

2)當(dāng)MAB>T時

(11)

式中T∈(0,1)為匹配度閾值，當(dāng)匹配度MAB小于閾值T時，取局部能量CA(i,j,k)和CB(i,j,k)的較大值。當(dāng)匹配度MAB大于閾值T時，高頻融合系數(shù)為WACA(i,j,k)+WBCB(i,j,k)，權(quán)重WA和WB跟匹配度MAB相關(guān)，其中，WA+WB=1 。顯然,特征匹配規(guī)則的計算過程具有良好的局部性,融合結(jié)果在(i,j,k)處的系數(shù)值僅僅由包含點(i,j,k)的m×n鄰域中的系數(shù)值決定。

3 實驗和結(jié)果分析

本次實驗在Intel i5處理器和4G內(nèi)存的個人PC上通過調(diào)用Matlab，面對不同圖像進行融合仿真實驗來實現(xiàn)，利用非線性估計Contourlet的空間轉(zhuǎn)換，選取3×3的鄰近區(qū)域，計算高頻子帶和低頻子帶的特征，將高頻的匹配度閾值設(shè)為0.75。

圖1為源圖像A經(jīng)過不同比例非線性估計Contourlet逼近的結(jié)果，通過非線性逼近提取出高頻分量最顯著特征系數(shù)，保留最重要系數(shù)頻帶。表1為源圖像A特征系數(shù)和不同比例非線性估計顯著特征系數(shù)。

圖1 Contourlet非線性估計逼近

非線性逼近源圖10%逼近30%逼近50%逼近顯著特征系數(shù)3440642621478643131072

圖2為源圖像A和源圖像B基于不同比例非線性估計Contourlet變換的圖像特征匹配融合的結(jié)果。本文通過標(biāo)準(zhǔn)差、相關(guān)系數(shù)、熵、互信息四個指標(biāo)對融合效果進行定量分析[15,16]。

1)標(biāo)準(zhǔn)差:反映了一幅圖像當(dāng)中對比度的變化，值越大邊緣輪廓越清晰。標(biāo)準(zhǔn)差定義為

(12)

2)相關(guān)系數(shù)：對兩幅圖像相似度的度量，相關(guān)系數(shù)越大，則說明融合效果越好，相關(guān)系數(shù)定義為

CC(X,Y)=

(13)

3)熵：用于度量融合后的圖像所保持的信息量。熵的值越大代表著結(jié)果圖像的信息越多。熵定義為

(14)

4)互信息：可以測量兩個輸入圖像的互相關(guān)性或是相似性，融合后圖像的互信息越高，則說明其從原圖像中提取的信息越多，融合效果越好。互信息定義為

MI(x,y)=H(x)+H(y)-H(x,y)

(15)

通過圖2可以發(fā)現(xiàn)在50 %顯著特征附近，融合圖像的標(biāo)準(zhǔn)差最大，說明圖像在50 %非線性估計逼近下，圖像邊緣輪廓更清晰，清晰度最高，其原因是顯著特征太少導(dǎo)致邊緣輪廓提取少，顯著特征太多，導(dǎo)致提取出了多余的噪音輪廓；不同比例顯著特征下融合圖像的相關(guān)系數(shù)、互信息和熵差別不大，主要原因是低頻子帶保留了原始圖像的概貌信息，待融合圖像低頻區(qū)域未做非線性估計。由此可見圖像融合質(zhì)量于顯著特征呈非線性關(guān)系，在50 %顯著特征附近，圖像融合質(zhì)量反而較高。不同顯著特征性能評價如圖3。

圖2 Contourlet非線性估計融合效果

圖3 不同顯著特征性能評價

圖4(a) CT源圖像和圖4(b)MRI源圖像采用不同融合算法的效果對比。圖4(c) 為基于小波系數(shù)區(qū)域特征圖像融合算法的實驗結(jié)果[17]；圖4(d)為基于Haar小波變換的融合實驗結(jié)果[18]；圖4(e)Contourlet變換后進行系數(shù)加權(quán)融合算法的效果[19]。圖4(f)基于非下采樣 Contourlet 變換和區(qū)域特征的融合效果[20]。圖4(g)為在Contourlet變換的基礎(chǔ)上，對高頻子帶50 %非線性估計后區(qū)域圖像特征匹配融合效果。從視覺效果對比來看，圖4(c)、(d)基于小波變換方法融合后的圖像顏色較淺，邊緣輪廓不夠清晰，不能體現(xiàn)源CT和核磁共振成像(magnetic resonance imaging,MRI)圖像的細節(jié)信息;圖4(e) Contourlet 方法融合圖像的效果略優(yōu)于小波方法，能夠較清晰地反映源圖信息內(nèi)容; 圖4(e)和圖4(f)融合圖像效果不但繼承了CT 圖像中的骨骼組織，而且較好地保留了MRI 圖像中的軟組織，融合圖像的邊緣細節(jié)突出。通過表2各項指標(biāo)對比對實驗結(jié)果再進行定量分析，可以發(fā)現(xiàn)圖4(c)、(d)小波變換方法對應(yīng)的融合圖像標(biāo)準(zhǔn)差值、相關(guān)系數(shù)、熵值和互信息都相對較小，表明該方法在圖像融合過程中的信息損失較為多，表明與源圖像間的差異較大; 這些都顯示了小波變換方法從源圖像中提取信息的能力較差，融合效果不好；圖4(e)Con-tourlet變換方法相對于小波變換，其在高頻部分獲得了更多的方向分解，可以更好地處理方向細節(jié)信息，所以各項指標(biāo)系數(shù)高于小波融合；圖4(f)各項指標(biāo)系數(shù)都最高，圖像融合質(zhì)量也最高，但是計算量巨大，需要消耗比較長的計算時間。圖4(f)為本文非線性 Contourlet算法，它的指標(biāo)系數(shù)比基于小波變換和Contourlet變換方法融合都好，融合后的圖像質(zhì)量跟非下采樣Contourlet融合效果接近，但是極大的減少了計算量，在實際應(yīng)用中更具價值。

圖4 CT和MRI醫(yī)學(xué)圖像融合結(jié)果

融合方法標(biāo)準(zhǔn)差相關(guān)系數(shù)熵互信息耗時小波融合55．580．666．812．341．608Harr小波融合59．410．707．652．572．447Contourlet融合63．060．747．672．884．079非下采樣Contourlet融合63．710．767．692．915．703非線性Contourlet融合63．860．737．652．861．103

圖5為遙感圖像采用不同融合算法的效果對比結(jié)果，表3為圖5實驗的各項客觀評價指標(biāo)。從遙感圖像實驗結(jié)果的主觀視覺和客觀評價指標(biāo)來看，本次算法實驗結(jié)果也優(yōu)于小波和Contourlet融合算法，相較與非下采樣Contourlet融合算法，在不犧牲融合圖像質(zhì)量情況下，極大提升了計算速度。

圖5 遙感圖像融合結(jié)果

融合方法標(biāo)準(zhǔn)差相關(guān)系數(shù)熵互信息耗時小波融合56．010．657．681．831．927Harr小波融合56．200．667．701．852．599Contourlet融合57．610．707．731．885．061非下采樣Contourlet融合59．430．727．751．919．811非線性Contourlet融合59．760．707．711．861．353

4 結(jié) 論

結(jié)合Contourlet非線性估計的特點和高低頻系數(shù)區(qū)域特征算法，本文將它運用于圖像處理，取得了不錯的效果。通過不同圖像實驗結(jié)果表明：本次研究較小波系數(shù)區(qū)域、Haar小波變換融合和Contourlet變換系數(shù)加權(quán)融合等算法，在融合圖像質(zhì)量有極大提高；跟非下采樣 Contourlet 變換區(qū)域特征的融合的圖像質(zhì)量非常接近，但是在計算效率上又有了極大的提高。非線性Contourlet變換具有一定濾波和除噪音功能，具有Contourlet變換不具備的功能。高頻分量非線性特征提取，在最大限度保留特征的基礎(chǔ)上，極大地提高了運算速度，是其它算法不具備的。總體來說，該方法在圖像質(zhì)量或運算效率上比前面文獻提及的算法都有一定的優(yōu)勢。

[1] 陳 浩，王延杰.基于小波變換的圖像融合技術(shù)研究[J].微電子學(xué)與計算機,2010,27(5)：39-41.

[2] 周 禮,王章野,金劍秋,等.基于HVS 的小波圖像融合新算法[J].中國圖象圖形學(xué)報,2004,9(9):1090-1093.

[3] 朱 煉,孫 楓,夏芳莉,等.圖像融合研究綜述[J].傳感器與微系統(tǒng)，2014,33(2):14-18.

[4] 曹 喆.一種區(qū)域特性的小波圖像融合新算法[J].計算機工程與應(yīng)用，2011,47(26):213-215.

[5] Do M N,Vetterli M.The contourlet transform:An efficient directional multiresolution image representation[J].IEEE Transactions on Image Processing,2005,14(12):2091-2106.

[6] Do M N,Vetterli M.Pyramidal directional filter banks and curvelets[C]∥Proc of Int’l Conf on Image Processing,Rochester:IEEE Signal Processing Society,2001:158-161.

[7] 劉 坤,郭 雷,常威威.基于Contourlet變換的區(qū)域特征自適應(yīng)圖像融合算法[J].光學(xué)學(xué)報,2008(4):681-686.

[8] 朱 康,賀新光.基于形態(tài)學(xué)和Contourlet系數(shù)區(qū)域特征的遙感圖像融合方法[J].計算機科學(xué),2013(4):301-305.

[9] Cunha A L,Zhou Jiangping,Do M N.The nonsubsampled contourlet transform:Theory,design,and applications[J].IEEE Transactions on Image Processing,2006,15(10):3089-3101.

[10] 林玉池,周 欣,宋 樂,等.基于NSCT變換的紅外與可見光圖像融合技術(shù)研究[J].傳感器與微系統(tǒng)，2008，27(12)：45-47.

[11] 吳一全,侯 雯,吳詩婳. 基于Contourlet 域非線性擴散的織物疵點圖像去噪[J]. 電子測量與儀器學(xué)報,2011(8):665-670.

[12] 焦李成,譚 山.圖像的多尺度幾何分析:回顧和展望[J].電子學(xué)報,2003,31(12A):1975-1981.

[13] 薛旭成,張淑艷,李洪法,等.Contourlet 變換在圖像壓縮中的應(yīng)用研究[J].微計算機信息,2009,25(9):266-267.

[14] Burt P J,Lolczynski R J.Enhanced image capture through fusion[C]∥Proc of the 4th Int’l Conf on Computer Vision,1993:173-182.

[15] 胡良梅，高 雋，何柯峰．圖像融合質(zhì)量評價方法的研究[J]．電子學(xué)報，2004，32(12):218- 221．

[16] Qu G H，Zhang D L,Yan P F．Informatioon measures for perfor-mances of image fusion[J]．Electronics Letters，2002，38(7):313-315．

[17] 周志光， 王相海.一種基于小波系數(shù)區(qū)域特征的圖像融合算法[J].計算機科學(xué),2009，36(5)：257-261.

[18] 李 敏.基于形態(tài)Haar小波變換的多聚焦圖像融合[J].計算機工程，2012,38(23)：211-214.

[19] 張 鑫,陳偉斌.Contourlet變換系數(shù)加權(quán)的醫(yī)學(xué)圖像融合[J].中國圖象圖形學(xué)報,2014，19(1)：133-140.

[20] 李 超，李光耀，譚云蘭，等.基于非下采樣Contourlet變換和區(qū)域特征的醫(yī)學(xué)圖像融合[J].計算機應(yīng)用，2013,33(6)：1727-1731.

作者簡介:

蔣炯輝(1981-)，男，碩士，研究方向為圖像處理、圖形學(xué)、科學(xué)計算可視化。

Image fusion algorithm based on nonlinear Contourlet transform and regional feature matching*

JIANG Jiong-hui1,ZHANG Chun-rong2, HUANG Hui3, LIU Gang4

(1.Zhijiang College of Zhejiang University of Technology，Hangzhou 310024,China；2.Chengdu Aeronautic Polytechnic,Chengdu 610100,China； 3.Wenzhou University,Wenzhou 325035,China；4.Zhejiang University of Technology，Hangzhou 310024,China)

Aiming at problem of unclear edge contour and high computing redundancy exists in image fusion,put forward image fusion algorithm combined with nonlinear approximation contourlet transform and regional feature.By nonlinear estimation keeps the most significant coefficients frequency band of Contourlet high-frequency sparse matrix.Fuse image by using different regional feature strategies to low-frequency region and high-frequency region.Experimental results show that this image fusion algorithm can not only improve visual effect and image quality,but also can remove the noise and enhance the image.

image fusion; Contourlet transform; feature matching algorithm

王 曄(1971-)，女，碩士，高級工程師，主要從事傳感器技術(shù)與儀器智能化研究。

10.13873/J.1000—9787(2017)02—0053—04

TP 391

A

1000—9787(2017)02—0053—04