基于三通道不可分對稱小波的多聚焦圖像融合

黃倩文,劉斌,李莊

(1.湖北大學(xué)數(shù)學(xué)與計算機科學(xué)學(xué)院,湖北 武漢 430062;2.武漢科技大學(xué)信息科學(xué)與工程學(xué)院,湖北 武漢 430081)

0 引言

隨著傳感器技術(shù)的迅猛發(fā)展,單一傳感器獲取的信息量已無法滿足實際需要,對多源數(shù)據(jù)的處理使得數(shù)據(jù)融合技術(shù)快速發(fā)展起來.圖像融合是數(shù)據(jù)融合中的一個非常重要的分支,它綜合了信號處理、圖像處理、人工智能等現(xiàn)代高新技術(shù).Pohl等定義圖像融合為通過一種特定的算法將兩幅或多幅圖像合成為一幅新圖像[1].多聚焦圖像融合是圖像融合中的一種,由于光學(xué)成像系統(tǒng)聚焦范圍的有限,使其無法獲得場景中的所有目標(biāo)都成清晰的圖像,因此需要對同一場景不同目標(biāo)進行多次成像,然后通過圖像融合得到一幅場景中目標(biāo)都成像清晰的融合圖像.

根據(jù)近年來國內(nèi)外圖像融合領(lǐng)域的最新研究成果,基于多分辨率分析的多聚焦圖像融合算法的方法主要有金字塔變換的融合和小波變換的融合算法[2-4],而金字塔分解結(jié)構(gòu)中不同分辨率細(xì)節(jié)彼此相關(guān),算法穩(wěn)定性差.基于小波分解的融合方法注意到了圖像的方向性,但是傳統(tǒng)的基于張量積小波分解的圖像融合方法只強調(diào)了水平方向和垂直方向,而忽略了其他方向.為了克服小波分解方向性的不足,產(chǎn)生了多種新的圖像融合方法.目前主要有基于Curvelet的融合方法[5]、基于Contourlet變換的融合[6]和基于復(fù)小波變換等融合方法.

基于張量積小波變換的方法在圖像分解時采用下二抽樣,因此不具備平移不變性,并使得結(jié)果圖像存在塊效應(yīng)和人工痕跡.除haar小波外,張量積小波都不能同時具有緊支撐性、正交性和對稱性,但haar小波過于簡單,處理圖像效果不理想.其他小波,如Daubechies系列小波的不對稱性會使圖像發(fā)生偏移,雙正交小波不具備正交性,在圖像分解和重構(gòu)時會產(chǎn)生信息的冗余.在非張量積小波理論框架下發(fā)展起來的不可分小波是一類新的小波,它不僅強調(diào)圖像的多方向性,而且能很好地滿足三性,即緊支撐、正交性和對稱性,同時,此種小波能較好地提升融合圖像的空間分辨率.目前,不可分小波有二通道、三通道、四通道小波,三通道不可分小波相對于同類小波具有更好的融合性能[7-9].

本文中選用二維三通道不可分對稱的小波濾波器組,對多聚焦圖像進行處理.相對于傳統(tǒng)的只對小波分解后的低頻部分進行處理,而對多個高頻子帶僅采用加權(quán)平均、絕對值取大或直接取代的方法,本文中對高頻部分采用基于區(qū)域銳度特性的算子進行處理,實驗分兩組進行,分別對有參考圖像和無參考圖像的多聚焦圖像對進行仿真實驗,并用平均梯度、相關(guān)系數(shù)和空間頻率等對融合結(jié)果進行客觀評價.實驗結(jié)果表明,在主觀視覺效果和客觀評價指標(biāo)上該算法取得優(yōu)于傳統(tǒng)方法的融合效果.

1 二維三通道不可分小波濾波器組的構(gòu)造

根據(jù)小波變換與多尺度分析理論,當(dāng)抽樣矩陣為M=[2,-1;1,1]時,M的行列式的值為3,故有3個通道,1個低通通道和2個高通通道,相應(yīng)地有1個尺度函數(shù)和2個小波函數(shù),從而對應(yīng)地有1個低通和2個高通濾波器,若此時的尺度函數(shù)和小波函數(shù)都不能分解為一維的尺度函數(shù)和一維的小波函數(shù)的張量積,則稱此小波為不可分小波.圖1和圖2給出了小波的兩層分解及重構(gòu),實際上還可以進行多層小波分解與重構(gòu).

圖1 圖像的三通道NWF分解

圖2 圖像的三通道NWF重構(gòu)

目前,三通道不可分小波已經(jīng)在多光譜圖像的融合及紅外圖像與可見光圖像的融合處理中取得了較好的融合效果,但是將三通道不可分小波用于多聚焦圖像融合的方法還不多見.根據(jù)高維小波的構(gòu)造理論,利用本文中提出的基于抽樣矩陣M=[2,-1;1,1]的二維三通道小波濾波器組的構(gòu)造方法構(gòu)造三維三通道不可分小波濾波器.

(1)

為構(gòu)造三通道不可分小波的濾波器組,取K=1,構(gòu)造正交對稱矩陣U1和正交矩陣V,根據(jù)其正交性可求得矩陣中各個位置的參數(shù)值,下面給出一組U1和V的矩陣構(gòu)造：

(2)

由(1)式可知,給出的U1和V的矩陣不同,產(chǎn)生的濾波器組也是不同的.上面給出的只是濾波器組的一種取值.則相應(yīng)的濾波器組的時域形式如下：

(3)

顯然,此濾波器組是對稱的,也是不可分的.

2 改進的多聚焦圖像融合規(guī)則

融合結(jié)果圖像效果的好壞主要取決于融合算法和融合規(guī)則的選取是否得當(dāng).目前,基于不可分小波的融合規(guī)則分為絕對值取大選擇法、加權(quán)平均法和取代法.這些傳統(tǒng)的基于單像素點的方法有一定的適用情況,而基于區(qū)域特性的融合規(guī)則已成為現(xiàn)階段的研究熱點.本文中的算法也是在此基礎(chǔ)上提出的.

2.1低頻子帶融合規(guī)則根據(jù)小波變換理論,小波分解后的低頻波段表征圖像的近似部分,經(jīng)過不同傳感器得到的同一場景的圖像,其低頻近似部分的系數(shù)差別不大.而多聚焦圖像融合的目的是獲取信息豐富的全聚焦圖像,所以對低頻部分的處理應(yīng)主要考慮如何獲取較豐富的圖像信息.基于區(qū)域能量的融合規(guī)則能較好地保持源圖像的豐富信息,故選取加權(quán)區(qū)域能量規(guī)則對低子帶進行處理,具體算法如下.

(4)

(5)

(6)

2.2高頻子帶融合規(guī)則圖像的高頻子帶表征圖像的細(xì)節(jié)信息,高頻波段的系數(shù)在零值左右波動,系數(shù)絕對值越大,表示該處亮度變化越劇烈,即可能包含圖像的重要信息.并且,經(jīng)過不同傳感器得到的同一場景的圖像,高頻細(xì)節(jié)部分存在顯著的差異.所以高頻部分融合規(guī)則的選取對融合結(jié)果圖像的清晰度有著至關(guān)重要的影響.平均梯度能較好地反映圖像中的微小差異,因此,提出基于區(qū)域銳度的融合方法.具體算法如下：

(7)

(8)

(9)

2.3主要的評價指標(biāo)采用以下一些評價指標(biāo)來評價融合圖像的質(zhì)量,在下列式中,F表示融合后的圖像,M和N分別表示圖像的行數(shù)和列數(shù).

2.3.1 空間頻率(SF)

(10)

(11)

(12)

空間頻率反映了一幅圖像空間域的總體活躍程度.空間頻率越大,圖像融合效果越好.

2.3.2 相關(guān)系數(shù)(CC)

(13)

2.3.3 標(biāo)準(zhǔn)差(SD)

(14)

式中標(biāo)準(zhǔn)差是由均值間接求得的,圖像的標(biāo)準(zhǔn)差反映了圖形的像素的分布情況.在某種程度上,標(biāo)準(zhǔn)差可以用來評價圖像反差的大小.若標(biāo)準(zhǔn)差大,則圖像的對比度大,圖像包含更多的信息;若標(biāo)準(zhǔn)差小;圖像反差小,則對比度小.

(15)

PSNR反映了融合圖像與標(biāo)準(zhǔn)圖像對應(yīng)位置上的像素的差異.峰值信噪比的值越大,表示融合后的圖像越接近標(biāo)準(zhǔn)圖像,融合后圖像效果越好.

2.3.5 信息熵(En) 圖像的熵可以反映融合圖像信息量的多少.圖像信息熵的定義為

(16)

式中,L為圖像總的灰度級數(shù);Pi為灰度值為i的像素數(shù)Ni與圖像像素N之比.

3 實驗結(jié)果及分析

為了驗證提出的方法的可行性,筆者進行了大量實驗,這里展示兩組實驗結(jié)果.第一組是有參考圖像的多聚焦圖像book,圖3(a)為參考圖像,圖3(b)為左聚焦圖像,圖3(c)為右聚焦圖像,源圖像大小為9 601 280;考慮到實際中無參考圖像的情況更加普遍,另一組是無參考圖像的pepsi圖像,源圖像大小為512 512,圖4(a)是左聚焦圖像,圖4(b)是右聚焦圖像.

為了驗證算法的有效性,將本文中算法與DWT方法進行對比仿真實驗.實驗采用本文中構(gòu)造的二維三通道不可分小波和db2小波分別對圖像進行分解和重構(gòu),分解層數(shù)為3.全部仿真實驗均在MATLAb7.1編程環(huán)境中實現(xiàn).圖3(d)、(e)和圖4(c)、(d)分別為本文中算法的融合結(jié)果和DWT-db2的融合結(jié)果.從融合結(jié)果圖像看出,本文中算法在圖像清晰度和對比度方面都優(yōu)于基于DWT算法.

圖3 第一組有參考圖像的多聚焦圖像融合結(jié)果

圖4 第二組無參考圖像的多聚焦圖像融合結(jié)果

表1和表2分別為第一組和第二組多聚焦圖像融合結(jié)果的幾個客觀評價指標(biāo)的比較.為了凸顯提出的算法在不同方面的融合效果,兩組實驗分別部分采用了不同的評價方法.從表1和表2可以看出,在PSNR、En、CC、SF、SD這幾個方面,本文中提出的圖像融合算法都優(yōu)于DWT算法.

表1第一組多聚焦圖像的客觀性能比較

融合算法PSNREnCC本文中方法50.385 27.412 3 0.950 3DWT算法40.309 87.366 1 0.852 8

表2 第二組多聚焦圖像的客觀性能比較

4 結(jié)語

提出一種基于三通道不可分小波多聚焦圖像融合新算法.針對源圖像經(jīng)不可分小波分解后在不同尺度與方向下的低頻系數(shù)和高頻系數(shù),分別討論低頻系數(shù)和高頻系數(shù)的融合規(guī)則.低頻子帶反映了圖像的輪廓,集中了圖像的大部分能量,而且低頻系數(shù)之間存在區(qū)域相關(guān)性,因此提出區(qū)域能量融合規(guī)則來確定低頻融合系數(shù);在不同尺度與方向下的高頻系數(shù)反映了圖像的細(xì)節(jié)和邊緣,并且經(jīng)過不同傳感器得到的同一場景的圖像,高頻細(xì)節(jié)部分存在顯著的差異,因此提出基于區(qū)域平均銳度的融合規(guī)則來確定高頻系數(shù).實驗結(jié)果表明,在主觀視覺效果與客觀評價指標(biāo)上,本文中方法優(yōu)于傳統(tǒng)的方法,并且取得了更好的融合效果.

[1] POHL C, Van Genderen J L. Multisensor image fusion in remote sensing:concepts,methods and applications[J].International Journal of Remote Sensing,1998,19(5):823-854.

[2] 陳浩,王延杰.基于拉普拉斯金字塔變換的圖像融合算法研究[J].激光與紅外,2009,39(4):339-442.

[3] 李建林,余建成,孫勝利.基于梯度金字塔圖像融合的研究[J].科學(xué)技術(shù)與工程,2007,7(22):5818-5822.

[4] 趙天昀,徐振強,李正文.基于小波變換的多聚焦圖像融合方法[J].計算機應(yīng)用,2004,6(24):157-159.

[5] 吳芳平,狄紅衛(wèi).一種基于Curvelet變換的圖像融合新算法[J].光電子激光,2008,19(7):953-957.

[6] Cunha Arthur L, Zhou Jianping, Do M N. The nonsubsampled contourlet transform:theory,design,and applications[J].IEEE Trans on Image Processing,2006,15(10):3089-3101.

[7] 劉斌,彭嘉雄.基于二通道不可分加性小波的多光譜圖像融合[J].光學(xué)學(xué)報,2007,8(27):1419-1424.

[8] 劉斌,彭嘉雄.基于四通道不可分加性小波的多光譜圖像融合[J].計算機學(xué)報,2009,2(32):350-356.

[9] 劉斌,劉維杰,彭嘉雄.基于三通道不可分對稱小波的紅外與可見光圖像融合[J].紅外與激光,20011,5(40):974-979.

[10] Chen Q H, Micchell C A, Peng S L, et al. Multivariate filter banks having matrix factorizations[J].SIAM Journal on Matrix Analysis and Applications,2003,25(20):517-531.