基于多特征的多聚焦圖像融合算法

候佳康，賀長秀

（1.四川大學(xué)計算機(jī)學(xué)院，成都　610065；2.中國人民解放軍63615部隊，庫爾勒　841001）

基于多特征的多聚焦圖像融合算法

候佳康1，賀長秀2

（1.四川大學(xué)計算機(jī)學(xué)院，成都610065；2.中國人民解放軍63615部隊，庫爾勒841001）

針對基于小波變換的傳統(tǒng)圖像融合算法在融合規(guī)則上考慮特征單一的問題，提出基于多特征的多聚焦圖像融合方法。首先對源圖像進(jìn)行N層小波分解，得到高頻系數(shù)和低頻系數(shù)。然后對高頻系數(shù)提出一種綜合考慮方差，梯度，能量因素進(jìn)行融合的方法，對低頻系數(shù)采用傳統(tǒng)的加權(quán)平均融合方法。仿真實驗結(jié)果表明，提出的融合方法與傳統(tǒng)的圖像融合方法對比，無論是從主觀視覺效果還是客觀指標(biāo)（信息熵、空間頻率、標(biāo)準(zhǔn)差、平均梯度）都有一定程度提高。關(guān)鍵詞：

0　引言

圖像融合技術(shù)是多源信息融合的一個重要的應(yīng)用方向。近幾年來，已經(jīng)成為信息處理領(lǐng)域的研究熱點。圖像融合是將多個圖像按照一定的融合算法合成一個新的圖像，使融合后的新圖像具有更高的清晰度，更多的信息量和更好的可理解性［1］。

在多聚焦圖像融合算法中，目前主要有兩種：一種是基于金字塔分解的方法，還有一種是小波變換方法。基于塔式分解的圖像融合方法［2-4］，可以有效地改善圖像融合的效果，提高清晰度，但由于各個圖像的分解層信息具有相關(guān)性，會造成信息的冗余［5］。小波變換［6-8］和塔式分解方法相比，除了同樣具有多尺度，多分辨率分析的特點，還具有方向性，不會造成信息的冗余。如今，小波變換方法已經(jīng)廣泛的應(yīng)用在圖像融合方法中。

圖像經(jīng)過N層小波變換，分解為1個低頻子圖像和3N個高頻子圖像。高頻子圖像分別是水平、垂直、對角三個不同方向的子圖像。對于高頻子圖像，傳統(tǒng)的融合方法有基于單個像素點的的加權(quán)平均法和像素值取大法，還有基于區(qū)域特征的區(qū)域方差法、平均梯度法和區(qū)域能量法。但傳統(tǒng)的融合方法僅僅是基于單個特征進(jìn)行融合，而忽略了其他的特征。在圖像的某個區(qū)域，某個特征可能很接近，但其他的特征可能相差很大。本文針對傳統(tǒng)方法只考慮單一特征的缺陷，提出了綜合考慮多項特征的圖像融合算法。對于低頻圖像，采用傳統(tǒng)的加權(quán)平均法進(jìn)行融合。

仿真實驗表明，本文的算法相較于傳統(tǒng)的基于小波變換的圖像融合方法，在主觀視覺效果和客觀評價指標(biāo)上都有一定程度的提高，是一種有效的多聚焦圖像融合方法。

1　基于多特征的圖像融合算法

1.1圖像融合算法流程

本文所提出的基于多特征的圖像融合算法的流程框架如下圖所示。

（1）首先對兩幅或者多幅圖像進(jìn)行配準(zhǔn)，然后分別進(jìn)行N層小波變換，得到分解后的高頻系數(shù)圖像和低頻系數(shù)圖像。

（2）然后對高頻系數(shù)，采用基于多特征的融合規(guī)則，對多種反映圖像質(zhì)量的區(qū)域特征綜合考慮，得到融合后的高頻系數(shù)。

（3）對于低頻系數(shù)，采用傳統(tǒng)的加權(quán)平均的融合規(guī)則，得到融合后的低頻系數(shù)。

（4）對融合后的高頻系數(shù)和低頻系數(shù)進(jìn)行小波逆變換，得到融合后的圖像。

圖1　算法流程圖

1.2高頻系數(shù)的融合規(guī)則

圖像經(jīng)小波變換分解得到的高頻系數(shù)主要包含了圖像的邊緣，區(qū)域邊界等大量的細(xì)節(jié)信息。本文根據(jù)傳統(tǒng)的基于區(qū)域特征的融合規(guī)則，提出了基于多特征的高頻系數(shù)融合規(guī)則，將更能反映圖像質(zhì)量的細(xì)節(jié)信息保留了下來，提高了融合后圖像的清晰度。

①基于區(qū)域能量的融合規(guī)則

區(qū)域能量反映了圖像紋理信息的均勻程度，區(qū)域能量值越大，越能反映出紋理信息分布越均勻，圖像的清晰程度越高。

圖像區(qū)域能量的定義為：

E（x，y）表示高頻系數(shù)矩陣中大小為m×n，以x，y為中心的區(qū)域能量。D（x，y）代表高頻系數(shù)矩陣中坐標(biāo)在x，y的矩陣值。

融合規(guī)則：

EA（x，y），EB（x，y）分別代表圖像A，圖像B在x，y處的區(qū)域能量。DA（x，y），DB（x，y）分別代表圖像A，圖像B在x，y處的高頻矩陣系數(shù)。

②基于區(qū)域平均梯度的融合規(guī)則

圖像的平均梯度反映了圖像微小細(xì)節(jié)反差變化的速率，表征圖像的相對清晰程度。即平均梯度越大，圖像的清晰程度越高。

圖像平均梯度的定義為：

其中G表示圖像的平均梯度，D（x，y）代表高頻系數(shù)矩陣中坐標(biāo)在x，y的矩陣值。

融合規(guī)則：

GA（x，y），GB（x，y）分別代表圖像A，圖像B在坐標(biāo)x，y處的區(qū)域平均梯度，DA（x，y），DB（x，y）分別代表圖像A，圖像B在x，y處的高頻矩陣系數(shù)。

③基于區(qū)域標(biāo)準(zhǔn)方差的融合規(guī)則

圖像的平均方差反映了圖像的像素值的離散程度，標(biāo)準(zhǔn)方差越大，圖像的像素值越分散，圖像的清晰程度越高。

圖像區(qū)域標(biāo)準(zhǔn)方差的定義為：

其中D（x，y）代表高頻系數(shù)矩陣系數(shù)，u代表區(qū)域m×n中的平均像素值，S代表圖像在m×n的標(biāo)準(zhǔn)方差。

融合規(guī)則：

其中SA（x，y），SB（x，y）分別代表圖像A，圖像B在坐標(biāo)x，y處的標(biāo)準(zhǔn)方差，DA（x，y），DB（x，y）分別代表圖像A，圖像B在x，y處的高頻矩陣系數(shù)。

在大多數(shù)圖像融合的高頻系數(shù)融合規(guī)則中，僅僅考慮了上述特征的某一種，沒有考慮圖像的綜合特征。通過某一種特征進(jìn)行融合的圖像可能會丟失圖像的細(xì)節(jié)信息。例如，圖像的某個區(qū)域標(biāo)準(zhǔn)方差相差很小可忽略不計，但區(qū)域能量相差比較大，基于區(qū)域標(biāo)準(zhǔn)方差的融合規(guī)則考慮不到區(qū)域能量因素，可能會選擇區(qū)域能量小的區(qū)域作為融合后圖像的區(qū)域。進(jìn)而使圖像丟失很多細(xì)節(jié)信息。為了解決基于單一特征進(jìn)行融合的缺陷，本文提出了基于多特征的融合規(guī)則。算法描述過程如下：

①利用公式（1）（3）（5）分別計算圖像A，圖像B每個點（x，y）的區(qū)域能量EA（x，y），EB（x，y），區(qū)域平均梯度GA（x，y），GB（x，y），區(qū)域標(biāo)準(zhǔn)方差SA（x，y），SB（x，y）。

②分別對三個區(qū)域特征數(shù)據(jù)進(jìn)行歸一化，方便比較。

其中E'A（x，y），E'B（x，y）分別代表歸一化后的圖像A，圖像B的區(qū)域能量。

其中G'A（x，y），G'B（x，y）分別代表歸一化后的圖像A，圖像B的區(qū)域平均梯度。

③計算圖片A，圖片B在三種特征之間的差值百分比，據(jù)此判斷哪種特征為兩幅圖片間的主要差別特征。

區(qū)域能量差值百分比：

區(qū)域平均梯度差值百分比：

區(qū)域標(biāo)準(zhǔn)方差差值百分比：

④融合規(guī)則：

1.3低頻系數(shù)的融合規(guī)則

圖像A和圖像B的低頻系數(shù)融合采用傳統(tǒng)的加權(quán)平均融合規(guī)則：

其中DA（i，j），DB（i，j）分別代表圖像A，圖像B經(jīng)N層小波分解后的低頻矩陣系數(shù)，w1，w2為權(quán)值，其中w1+ w2=1。

2　實驗結(jié)果和分析

在本文的實驗中，選用了多聚焦圖像Clock A和Clock B，如圖2中的（a），（b）所示。在Clock A中左邊的鐘表模糊，右邊的鐘表清晰。在Clock B中，正好相反。對兩幅圖像進(jìn)行小波分解，得到高頻系數(shù)和低頻系數(shù)。小波分解的層數(shù)N=3，小波基選擇的是“db4”。

低頻系數(shù)采用加權(quán)平均融合規(guī)則，權(quán)值w1=0.5，w1= 0.5。高頻系數(shù)采用本文提出的多特征融合規(guī)則，本文中鄰域窗口的大小為3×3。并與傳統(tǒng)的高頻系數(shù)融合規(guī)則進(jìn)行對比，例如平均法、絕對值取大法、區(qū)域方差法等。

實驗中采用的客觀評價指標(biāo)為信息熵、標(biāo)準(zhǔn)差、平均梯度、空間頻率。信息熵反映了圖像包含的平均信息量的多少，即圖像的豐富程度。信息熵越大，圖像包含的信息量越大，圖像融合的效果越好。平均方差反映了圖像的像素值的離散程度，標(biāo)準(zhǔn)方差越大，圖像的像素值越分散，圖像的清晰程度越高。平均梯度反映了圖像微小細(xì)節(jié)反差變化的速率，表征圖像的相對清晰程度。即平均梯度越大，圖像的清晰程度越高。空間頻率反映了圖像空間的總體活躍程度。

圖2中的（c）采用高頻低頻均用均值法融合。（d）采用低頻加權(quán)平均，高頻系數(shù)取大法融合。（e）采用低頻加權(quán)平均，高頻根據(jù)區(qū)域方差融合。（f）采用低頻平均，高頻根據(jù)區(qū)域平均梯度進(jìn)行融合。（g）采用低頻加權(quán)平均，高頻采用本文所提算法進(jìn)行融合。（c）融合后的圖像模糊現(xiàn)象明顯，細(xì)節(jié)丟失嚴(yán)重。（d）融合后圖像出現(xiàn)明顯失真。（e）和（f）融合圖像效果較好，但與（g）相比，（e）融合后的圖像色彩整體偏暗。（f）在鐘表數(shù)字區(qū)域不夠銳利，較模糊。（g）融合后的圖像細(xì)節(jié)更豐富，色彩明亮。從主觀效果來看，本文所提算法較傳統(tǒng)融合方法有一定程度提高。

圖3　融合效果對比

表1是幾種融合方法的客觀評價指標(biāo)比較。從表1中可以看出，本文算法所得到融合圖像的各項指標(biāo)相較于其他傳統(tǒng)融合方法均有一定程度提高，融合圖像在所含信息量及細(xì)節(jié)表現(xiàn)均優(yōu)于其他方法。

表1　不同方法客觀評價指標(biāo)比較

3　結(jié)語

本文提出了一種基于小波變換和多特征的圖像融合算法。圖像經(jīng)小波變換分解得到低頻系數(shù)和高頻系數(shù)，低頻系數(shù)采用加權(quán)平均的融合規(guī)則，高頻系數(shù)采用基于多特征的融合規(guī)則。針對傳統(tǒng)的高頻系數(shù)圖像融合方法考慮特征單一，忽略了其他特征的問題，多特征的融合規(guī)則綜合考慮了多項特征對圖像高頻系數(shù)進(jìn)行融合。實驗結(jié)果表明，本文算法所得到的融合圖像在清晰度方面有一定程度的提高，色彩明亮，細(xì)節(jié)表現(xiàn)度好，客觀評價指標(biāo)好于傳統(tǒng)的融合算法，是一種有效的多聚焦圖像融合算法，有著更好的融合效果。

［1］Pohl C，Van Genderen J L．Multisensor Image Fusion in Remote Sensing：Concepts Methods and Applications［J］．Remote Sensing，1998，19（5）：823－854．

［2］Toet A．Image Fusion by a Ratio of Low-Pass Pyramid［J］．Pattern Recogniton Letters，1989，9（4）：245－253．

［3］Toet A，Ruyven L J，Valeton J M．Merging Thermal and Visual Images by a Contrast Pyramid［J］．Optical Engineering，1989，28（7）：789－792．

［4］Burt P J.A Gradient Pyramid Basis for Pattern Selective Image Fusion［C］.Proceedings of the Society for Information Display Conference.San Jose：SID Press，1992：467－470．

［5］Do M N，Vettefli M．Framing Pyrarmds［J］．IEEE Trans on Signal Processing，2003，51（9）：2329－2342．

［6］Li S，Kwok J T，Wang Y．Using the Discrete Wavelet Frame Transform to Merge Landsat TM and Spot Panchromatic Images［J］．Inf Fusion，2002（3）：17－23．

［7］Wang Z J，Li D R，Li Q Q．Fusion of SPOT-P and TM Multispectral Image by M-band Wavelet Theory［J］．Geomatics and Information Science of Wuhan University，2001，26（1）：24－28．

［8］Lemeshewsky G P．Multispectral Multisensory Image Fusion Using Wavelet Transforms［C］.Part of the SPIE Conference on Visual Information Processing VIII．Oriando，F(xiàn)lorida，1999，3716：214－222．

Multi-Focus Image Fusion Method Based on Multi-Feature

HOU Jia-kang1，HE Chang-xiu2
（1．College of Computer Science，Sichuan University，Chengdu 610065；2.Unit 63615，PLA，Korla 841001）

The traditional image fusion algorithm is based on wavelet consider the single feature.Therefore，proposes a multi-focus image fusion method based on multi-feature.Firstly，decomposes N layer wavelet of the source image，and obtains the high-frequency coefficients and low-frequency coefficients.Secondly，for high frequency coefficients，proposes a new method for the fusion，which is a comprehensive consideration of the variance，the gradient and the energy.For the low-frequency coefficients，uses the weighted average algorithm.Simulation experiment results show that，compared with the traditional image fusion method，the proposed fusion method has a certain degree of improvement in both subjective and objective indicators.

Wavelet Transform；Image Fusion；Multi-Feature；Algorithm；Image Evaluation

1007-1423（2016）26-0043-05DOI：10.3969/j.issn.1007-1423.2016.26.011

候佳康（1992-），男，河北保定市人，在讀研究生，研究方向為多源信息融合與圖像處理

2016-06-21

2016-09-10

小波變換；圖像融合；多特征；算法；圖像評價

國家自然科學(xué)基金（No.61071162）

賀長秀（1981-），女，四川射洪人，碩士，工程師，研究方向為多信息源數(shù)據(jù)融合在多目標(biāo)跟蹤系統(tǒng)中實時精確定位應(yīng)用技術(shù)