小波變換和形態(tài)學(xué)相結(jié)合的圖像融合新算法

羅 婷，楊衛(wèi)英，丁友東

(上海大學(xué)影視藝術(shù)技術(shù)學(xué)院，上海 200072)

圖像融合是通過綜合各種圖像數(shù)據(jù)的優(yōu)勢，來提升圖像的解譯能力［1］。傳統(tǒng)的圖像融合算法沒有考慮到融合圖像的邊緣信息，容易出現(xiàn)邊緣模糊導(dǎo)致融合圖像清晰度降低的問題，因此邊緣信息對于融合質(zhì)量有很大影響。針對這一問題，本文提出了將小波變換同數(shù)學(xué)形態(tài)學(xué)相結(jié)合的圖像融合新算法，該算法同時結(jié)合了小波變換法和數(shù)學(xué)形態(tài)學(xué)的優(yōu)點(diǎn)。圖像的小波變換具有多分辨率、方向性好、無冗余、在頻域和時域上同時具備良好的局部性、可以“聚焦”到圖像的任意細(xì)節(jié)處等特性。數(shù)學(xué)形態(tài)學(xué)不僅能簡化圖像，還能在保持基本形狀的基礎(chǔ)上除去不相干結(jié)構(gòu)［2］。數(shù)學(xué)形態(tài)學(xué)的邊緣檢測方法比其它的空域或頻域的圖像邊緣檢測方法具有明顯的優(yōu)勢［3］，其檢測提取到的邊緣更加光滑、完整和連續(xù)。因此，將小波變換同數(shù)學(xué)形態(tài)學(xué)相結(jié)合應(yīng)用于對多聚焦模糊圖像之間或者降質(zhì)退化圖像之間的融合具有明顯的優(yōu)勢，融合后圖像邊緣輪廓及細(xì)節(jié)更清晰，融合質(zhì)量進(jìn)一步提高。

文獻(xiàn)［4］提出了一種基于形態(tài)學(xué)小波的圖像融合算法，融合質(zhì)量得到了一定的提升，但融合后圖像邊緣輪廓細(xì)節(jié)處出現(xiàn)降質(zhì)退化虛化現(xiàn)象。而用本文算法融合后，融合質(zhì)量得到了進(jìn)一步的提升，邊緣輪廓及細(xì)節(jié)更清晰，效果更好。

1 小波變換和形態(tài)學(xué)結(jié)合圖像融合新算法

本文算法流程如下:

1)對每一幅原始圖像分別進(jìn)行小波分解，分離出高頻信息和低頻信息。

2)對每個小波分解層上的高頻信息和低頻信息分別采用如下不同的融合規(guī)則進(jìn)行融合。

3)對融合后得到的小波系數(shù)進(jìn)行小波逆變換重構(gòu)圖像。

若對二維圖像進(jìn)行N層的小波分解，最終將有3N+1個不同頻帶，其中包含3 N個高頻帶和1個低頻帶［5］。設(shè)A和B為兩幅原始圖像，F(xiàn)為融合后圖像，基于小波變換的圖像融合原理如圖1所示。

圖1 基于小波變換的圖像融合原理

對于高頻信息和低頻信息，各自的融合規(guī)則如下文所述。

1.1 高頻融合規(guī)則

高頻信息代表了圖像的細(xì)節(jié)信息，選取絕對值較大的高頻系數(shù)能更好地保留原始圖像的邊緣等特征。因此，本文選用絕對值取大法來融合高頻系數(shù)，為了能進(jìn)一步增強(qiáng)圖像邊緣細(xì)節(jié)等特征，對得到的高頻系數(shù)再進(jìn)行適當(dāng)?shù)脑龃蟆８哳l系數(shù)的融合過程如圖2所示。

圖2 高頻系數(shù)的融合過程

1.2 低頻融合規(guī)則

目前不少基于小波法的圖像融合算法只單單選用平均法進(jìn)行低頻系數(shù)的融合，會降低圖像的對比度，引起目標(biāo)或場景的不清晰。低頻系數(shù)決定著圖像的輪廓，因而正確選擇低頻系數(shù)對提升最后的圖像融合質(zhì)量具有舉足輕重的作用［6］。

對原始圖像A和B進(jìn)行小波分解后，得到低頻子圖像LA和LB。針對LA，區(qū)域塊大小是2×2，假設(shè)P點(diǎn)位置是(i，j)，則點(diǎn) P 的區(qū)域塊包含了P(i，j)，P(i，j+1)，P(i+1，j)，P(i+1，j+1)，計(jì)算點(diǎn)P區(qū)域塊內(nèi)的空間頻率為該點(diǎn)P處的區(qū)域空間頻率。同理，針對LB，操作方法和LA相同。

然后，運(yùn)用數(shù)學(xué)形態(tài)學(xué)方法對LA和LB進(jìn)行邊緣檢測，為了能夠更精細(xì)且更快速地提取邊緣，結(jié)構(gòu)元素選用3×3的結(jié)構(gòu)平面，采用形態(tài)學(xué)膨脹運(yùn)算進(jìn)行邊緣檢測，灰度膨脹邊緣檢測算子運(yùn)算式為

式中:EA，EB表示邊緣灰度圖像;B表示結(jié)構(gòu)元素。得到了邊緣灰度圖像EA和EB，之后遍歷EA和EB的每一像素點(diǎn)的位置，如果該點(diǎn)像素值≥153，則該點(diǎn)記作邊緣點(diǎn)，反之記作非邊緣點(diǎn)(選153作分界點(diǎn)，因?yàn)榛叶葓D像的像素值在0～255之間，像素值為0代表黑色，像素值為255代表白色，而邊緣點(diǎn)的特征是灰度值比較大，因此分界點(diǎn)不能太小，至少要大于中間值128，否則很有可能會把那些非邊緣點(diǎn)誤認(rèn)為邊緣點(diǎn)，另外如果分界點(diǎn)過大，可能出現(xiàn)邊緣點(diǎn)被誤認(rèn)為是非邊緣點(diǎn)的情況，導(dǎo)致很多邊緣點(diǎn)可能會被遺漏，因此分界點(diǎn)不能過大，也不能小于中間值128，再進(jìn)一步通過多組實(shí)驗(yàn)后得出以153作為分界點(diǎn)比較合適且合理)。

當(dāng)在EA和EB上相同位置處的點(diǎn)EA(i，j)和EB(i，j)都是非邊緣點(diǎn)時，選用平均法融合此點(diǎn)位置處對應(yīng)的低頻系數(shù);反之，比較之前已經(jīng)計(jì)算好的像素點(diǎn)LA(i，j)和LB(i，j)的區(qū)域空間頻率值SFA和SFB，選擇區(qū)域空間頻率較大的此像素點(diǎn)位置處所對應(yīng)的低頻系數(shù)作為融合后的低頻系數(shù)。這是因?yàn)槿绻c(diǎn)LA(i，j)處的輪廓邊緣比較模糊虛化，則此點(diǎn)的區(qū)域空間頻率就會比較小，而如果點(diǎn)LB(i，j)處的輪廓邊緣相對比較清晰分明，則該點(diǎn)的區(qū)域空間頻率就會比較大，就可以用該點(diǎn)LB(i，j)處對應(yīng)的低頻系數(shù)作為融合后的低頻系數(shù)，這樣融合后的低頻邊緣信息的清晰度得到了一定的提高。

低頻系數(shù)的融合過程如圖3所示。

圖3 低頻系數(shù)的融合過程

2 實(shí)驗(yàn)結(jié)果與評價

2.1 圖像融合評價標(biāo)準(zhǔn)

本文采用5種指標(biāo)來評價圖像融合效果的優(yōu)劣。

1)灰度均值:反映了這幅圖像的平均亮度。

2)標(biāo)準(zhǔn)差:反映了灰度值相對于圖像灰度均值的離散程度。如果標(biāo)準(zhǔn)差越大，那么灰度級分布就越分散，圖像的明暗對比度越大，可獲得的信息就越多，圖像融合效果也就越好。

3)平均梯度:用于評價圖像清晰度，反映圖像中紋理變換特征和微小細(xì)節(jié)反差［6］。平均梯度值越高，圖像包含的細(xì)節(jié)越豐富，圖像越清晰，融合效果也就越好。

4)互信息［7］:衡量融合圖像從原始圖像中繼承信息量的多少。其值越大，融合效果就越好。

5)信息熵:代表了一幅圖像含有信息的豐富程度［8］。信息熵越大，圖像包含的平均信息量越多，融合效果也就越好。

2.2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的可行性和有效性，先后對2組圖像進(jìn)行實(shí)驗(yàn)。所選用的2組實(shí)驗(yàn)圖例都是沒有同時聚焦或者因降質(zhì)退化而變得模糊不清。

第1組實(shí)驗(yàn)選用了2幅標(biāo)準(zhǔn)圖像，如圖4a、圖4b所示。不同融合算法的效果圖對比如圖4c～圖4i所示。不同融合算法的效果圖細(xì)節(jié)處的對比如圖5所示。從圖5a，5c，5d，5f中可看出，像素值選大法、加權(quán)平均法、形態(tài)學(xué)算法和文獻(xiàn)［4］算法得到的融合效果的細(xì)節(jié)處的數(shù)字10和11出現(xiàn)了不同程度的虛化模糊，降質(zhì)退化現(xiàn)象明顯。從圖4和圖5可看出，用本文算法融合后的效果圖的對比度更大，顏色明暗層次更分明、更清晰化，視覺效果更好。融合算法的評價比較如表1所示，可看出，用本文算法融合后，平均梯度都遠(yuǎn)遠(yuǎn)高于其余6種融合算法，標(biāo)準(zhǔn)差、信息熵值也都達(dá)到了最大值，雖然互信息值不是最高，但是綜合的質(zhì)量評價指標(biāo)還是最優(yōu)的。因此，無論從效果圖的主觀評價，還是從客觀評價標(biāo)準(zhǔn)指標(biāo)參數(shù)分析，本文算法融合質(zhì)量更優(yōu)。

圖4 不同融合算法的效果圖對比

圖5 不同融合算法的效果圖細(xì)節(jié)處對比

表1 不同融合算法的評價比較

第2組實(shí)驗(yàn)選用了2幅標(biāo)準(zhǔn)圖像，如圖6a，6b所示。不同融合算法效果圖對比如圖6c～圖6i所示。不同融合算法的效果圖細(xì)節(jié)處的對比如圖7所示。從圖7a，7c，7d，7f可看出，像素值選大法、加權(quán)平均法、形態(tài)學(xué)算法和文獻(xiàn)［4］算法得到的融合效果圖的細(xì)節(jié)處的英文和數(shù)字不清晰，降質(zhì)退化現(xiàn)象比較嚴(yán)重。從圖7b可看出像素值選小法融合結(jié)果細(xì)節(jié)處的英文出現(xiàn)了很明顯的疊影。從圖6和圖7可看出，用本文算法融合后的結(jié)果圖對比度更強(qiáng)，圖像細(xì)節(jié)處更清晰，融合效果更好。融合算法的評價比較如表2所示，可看出，用本文算法融合后，平均梯度值和互信息都遠(yuǎn)遠(yuǎn)高于其余6種融合算法，信息熵值也達(dá)到最大，標(biāo)準(zhǔn)差也相對很大，整體綜合的融合質(zhì)量評價指標(biāo)是最優(yōu)的，因此，本文算法的融合質(zhì)量更好。

3 結(jié)論

本文提出了將小波變換和數(shù)學(xué)形態(tài)學(xué)相結(jié)合的圖像融合新算法。將多幅圖像進(jìn)行小波分解后，在融合高頻系數(shù)的過程中，選用絕對值取大法，并適當(dāng)增強(qiáng)了高頻圖像邊緣細(xì)節(jié)。在融合低頻系數(shù)的過程中，運(yùn)用到了數(shù)學(xué)形態(tài)學(xué)方法對低頻子圖像進(jìn)行邊緣檢測，并得到邊緣灰度圖像，在邊緣灰度圖像中，按照該點(diǎn)的像素值是否≥153，來標(biāo)記該點(diǎn)是否為邊緣點(diǎn)，之后針對該位置的點(diǎn)是否是邊緣點(diǎn)，分別用區(qū)域空間頻率取大法和平均法融合該點(diǎn)位置處對應(yīng)的低頻系數(shù)。通過將本文算法和傳統(tǒng)的圖像融合算法及文獻(xiàn)［4］算法進(jìn)行2組實(shí)驗(yàn)的效果圖對比，并同時結(jié)合了5種質(zhì)量評價指標(biāo)比較分析，實(shí)驗(yàn)結(jié)果表明，本文算法的融合質(zhì)量更好，圖像邊緣輪廓及細(xì)節(jié)更清晰，圖像融合質(zhì)量得到了進(jìn)一步的提升，該算法是有效、可行的。

表2 融合算法的評價比較

［1］PIELLA G.A general framework for multi-resolution image fusion:from pixels to regions［J］.Information Fusion，2003，68(4):259-280.

［2］王樹文，閆成新，張?zhí)煨颍?數(shù)學(xué)形態(tài)學(xué)在圖像處理中的應(yīng)用［J］.計(jì)算機(jī)工程與應(yīng)用，2004，32(89):89-92.

［3］陳琳.基于數(shù)學(xué)形態(tài)學(xué)的圖像分割技術(shù)研究［D］.昆明:昆明理工大學(xué)，2006.

［4］錢永浩，吳小俊，羅曉清.改進(jìn)的基于形態(tài)學(xué)小波多聚焦圖像融合方法［J］.計(jì)算機(jī)工程與應(yīng)用，2010，46(7):158-161.

［5］曾基兵，陳懷新，王衛(wèi)星.基于改進(jìn)局部梯度的小波圖像融合方法［J］.電視技術(shù)，2007，31(8):18-20.

［6］於時才，呂艷瓊.一種基于小波變換的圖像融合新算法［J］.計(jì)算機(jī)應(yīng)用研究，2009，26(1):390-391.

［7］范文濤.基于小波變換的圖像融合技術(shù)研究［D］.鄭州:河南大學(xué)，2010.

［8］浦西龍.基于多分辨小波的像素級圖像融合研究［D］.蘇州:蘇州大學(xué)，2007.