塔型分解多源圖像融合方法

楊 釩，錢立志，劉 曉

(陸軍軍官學(xué)院，安徽 合肥 230031)

0 引 言

圖像融合(image fusion)是指將多個傳感器采集到的關(guān)于同一目標的圖像進行信息提取，最大限度地保留各個圖像中的有利信息，并將信息匯總綜合成一幅高質(zhì)量的圖像，以提高圖像信息的利用率、滿足人們對圖像目標信息的高要求，便于人眼或機器對景物目標的進一步感知和后續(xù)處理[1-2]。

紅外熱像儀和微光夜視儀是當前兩種主要的夜視裝備，由于它們工作波段和成像機理不同導(dǎo)致其獲取夜晚圖像方面各有優(yōu)缺點。因此，紅外探測器和微光探測器所表達的圖像信息側(cè)重點和信息量也不一樣，紅外和微光圖像融合的必要性不言而喻[3-4]。當前，常用的紅外與微光圖像融合方法有很多，譬如加權(quán)平均法、PCA(principal component analysis)變換法、圖像金字塔法、小波融合方法等[5]。基于圖像金字塔分解的圖像融合方法是利用不同圖像在不同尺度、空間分辨率以及分解層上信息的差異進行的一種多尺度、多分辨率圖像融合方法[6]。其融合的過程具有以下優(yōu)點：金字塔圖像分解法能夠為人眼提供非常敏感的對比度突變信息；金字塔圖像分解法在空域和頻域中能夠提供局部化信息。與其他一些融合方法相比，基于塔形分解的融合方法在改善融合效果方面比較明顯。因此，文中重點對基于塔型分解的紅外與微光圖像融合方法進行研究，并對比率低通、拉普拉斯、梯度、對比度以及形態(tài)金字塔等不同方法進行了性能比較實驗。

1 圖像金字塔變換方法

圖像金字塔變換是將源圖像分解成多個不同層級分辨率的子圖像，并將低分辨率(尺度較小)和高分辨率(尺度較大)的子圖像分別放在上層和下層，形成一個從上至下由小至大的金字塔。通過拉普拉斯變換量化、編碼每一層金字塔，并用較少的碼字量化、編碼人眼不敏感的層，從而達到圖像壓縮的目的[7]。

此外，圖像不同分辨率層包含的圖像信息也可通過圖像金字塔來對圖像中的細節(jié)和內(nèi)容進行分析和相互指導(dǎo)，大大簡化了計算量，使之更適合進行圖像融合[8]。

2 塔型變換紅外與微光圖像融合方法

一幅圖像通常可以通過金字塔分解成不同的頻帶，然后在不同頻率層上分別進行融合，因此，不同融合算子可以突出不同的特征和細節(jié)，從而達到有效融合[9-10]。

2.1 融合流程

令A(yù)、B分別為兩幅紅外與微光圖像，F(xiàn)為融合圖像，融合流程如圖1所示。

圖1 基于金字塔變換的紅外與微光圖像融合過程

步驟如下：

(1)分別對圖像A和B進行金字塔形分解，得到各圖的分解層；

(2)利用融合規(guī)則對每個圖像不同的分解層分別進行融合處理，形成一個新的金字塔；

(3)重建融合后圖像的金字塔，最終得到融合圖像F。

2.2 融合規(guī)則

對不同源圖像的對應(yīng)分解層進行融合處理決定了圖像融合的優(yōu)劣，因此融合方式及融合算子的選擇將在圖像融合過程中對融合結(jié)果具有較大影響[11-12]。文中分別采用基于單個像素融合和基于像素區(qū)域融合的方式進行融合，其原理如圖2所示。

圖2 圖像融合的不同方式

(1)基于單個像素的融合方式。

該融合方式通過兩幅圖像上對應(yīng)分解層相應(yīng)位置圖像像素大小灰度值來確定融合后的像素值，新的像素值可通過取大、取小或者加權(quán)平均來確定。

對于一幅可讀性較強的圖像而言，圖像中每一塊區(qū)域中的像素都具有很強的相關(guān)性，其特征也是由多個像素來體現(xiàn)，因此，采用基于單個像素的融合方法具有很大的片面性，對融合結(jié)果也會有較大影響[13]。

(2)基于像素區(qū)域的融合方式。

該融合方式通過計算圖像中以某一像素為中心的鄰域以及自身的方差作為基準進行融合。鄰域大小可以是3×3、5×5、7×7或9×9等。具體為通過比較兩幅圖像的某方面特征，動態(tài)地選取突出特征獲得融合結(jié)果[14]。

文中利用基于區(qū)域特征的方法進行融合，以三種特征作為區(qū)域特征：

一是特征量為區(qū)域信息量，以兩幅圖像中信息含量更為豐富的圖像部分來融合圖像，信息含量包括區(qū)域方差Dev(X)和區(qū)域熵E(X)：

(1)

(2)

在圖像分解層中，中心像素所在區(qū)域像素，以方差或熵值大的為該像素在融合后圖像分解層上的灰度值。

二是以該點鄰域灰度值之和的平均值為特征量，中心像素所在區(qū)域中特征量最大的，以該像素為融合后灰度值。

三是以區(qū)域能量作為特征量。首先在兩幅圖像相應(yīng)分解層上計算其對應(yīng)局部區(qū)域“能量”El,A和El,B：

(3)

其中，El(m,n)表示以(m,n)為中心的在拉普拉斯金字塔第l層上的局部區(qū)域能量；Ll為金字塔第l層圖像；wl(m',n')為加權(quán)矩陣算子；J、K為局部區(qū)域大小的范圍，m'、n'取值范圍在J、K內(nèi)。

然后，計算圖像對應(yīng)區(qū)域的匹配度MAB：

n+n')Ll,B(m+m',n+n')]/

[Ll,A(m+m',n+n')+

Ll,B(m+m',n+n')]

(4)

這里設(shè)一個取值在0.5到1之間的匹配度閾值T，則融合后金字塔的第l層圖像Ll,F為：

若Ml,AB(m,n)

(5)

若Ml,AB(m,n)≥T，則：

(6)

其中：

(7)

從式中可以看出，局部區(qū)域的匹配度MAB決定了兩幅圖像在該區(qū)域上的“能量”差別，若MAB小于閾值T，則選擇“能量”大的區(qū)域中心像素作為融合后圖像在該區(qū)域上的中心像素；反之，匹配度大于或等于閾值T，表明在該區(qū)域上兩圖像的“能量”相近，則該區(qū)域上的中心像素的灰度值可用加權(quán)融合算子來確定。

該方法相比基于單一獨立像素的簡單選擇的融合方式，具有能量特征的區(qū)域融合，更能代表原始圖像中區(qū)域的明顯特征，因此更為合理和科學(xué)。

2.3 實驗與結(jié)果分析

下面將通過多個實驗來研究影響紅外與微光圖像融合效果的因素，包括金字塔分解類型、分解層數(shù)以及不同融合方式。

(1)不同金字塔分解類型對融合效果的影響。

圖像融合前后的結(jié)果如圖3所示。其中采用了相同的分解層和融合方式進行融合，分解層數(shù)均為4，其高、低頻部分分別采用基于像素和加權(quán)平均融合方式。

圖3 不同金字塔分解類型融合結(jié)果

為評價采用不同金字塔變換得到的紅外與微光圖像融合結(jié)果的質(zhì)量，選用衡量圖像信息豐富程度的信息熵[15]、反映了圖像中的微小細節(jié)與紋理變化特征的平均梯度以及反映了圖像像素值分布情況的標準差等三個客觀評價指標對圖像進行客觀評價。結(jié)果如表1所示。從直觀上看，比率低通金字塔和對比度金字塔這三種融合方法均對兩幅源圖像進行了有效融合，而且基于梯度金字塔變換和形態(tài)金字塔變換的融合方法，從融合圖像的清晰度、對比度等方面，要好于其他幾種金字塔變換的圖像融合方法。

表1 不同的金字塔融合效果的客觀評價指標

(2)分解層數(shù)對融合效果的影響。

為測試金字塔分解層數(shù)對圖像融合效果的影響，采用基于像素的融合方式對上述5種融合方法進行實驗，并將源圖像與融合后圖像進行比較。得出的結(jié)論是：盡管融合后圖像包含了更多的信息量，但隨著圖像分解層數(shù)的增加，源圖像中的部分信息在融合圖像中出現(xiàn)了缺失。

表2～5分別是比率低通、對比度、梯度和形態(tài)學(xué)金字塔變換所得融合圖像的評價指標。

表2 (比率低通金字塔)不同分解層融合后

表3 (對比度金字塔)不同分解層融合后

表4 (梯度金字塔)不同分解層融合后

表5 (形態(tài)金字塔)不同分解層融合后

可以看出，隨著圖像分解層數(shù)的不斷增加，基于比率低通和對比度金字塔變換的圖像融合方法所獲得融合圖像的信息熵、標準差和平均梯度等指標均得到提高；基于梯度金字塔變換的圖像融合方法其標準差有所提高，但信息熵和平均梯度卻有所下降；基于形態(tài)金字塔變換的圖像融合方法其融合圖像的信息熵變化不大，但標準差和平均梯度有所提高，且在分解層數(shù)為3時達到峰值，隨后有所下降。由上述實驗結(jié)果可知，對于不同的圖像金字塔變換融合方法，不同的分解類型會使得融合后圖像的不同指標具有一定的差異，但總體上說，隨著分解層數(shù)(融合層數(shù))的增加，融合效果和質(zhì)量會有所提高。

(3)不同融合方式對融合效果的影響。

為了測試不同融合方式對紅外與微光圖像融合效果的影響，對基于像素和基于區(qū)域兩種融合方式進行了比較。選擇3×3的區(qū)域大小窗口，分解層數(shù)為4。評價指標的結(jié)果如表6所示。

表6 不同金子塔分解兩種圖像融合

從表6中可以看出，基于區(qū)域的融合方式在融合后圖像的信息熵、平均梯度等指標方面均高于基于像素的融合方式，說明采用基于區(qū)域的融合方式繼承了源圖像更多的信息，融合后的圖像信息更為豐富，兩者比較基于區(qū)域的融合方式要更好。

3 結(jié)束語

針對紅外與微光圖像信息融合的必要性，主要研究了基于塔型分解的紅外與微光圖像融合方法，較全面地描述了塔形分解的實現(xiàn)、重構(gòu)及特性，重點分析比較了基于像素和區(qū)域特征圖像融合方式。通過實驗詳細地分析了不同的金字塔類型、不同分解層數(shù)和不同融合方式對圖像融合效果的影響。實驗結(jié)果表明，采用塔形分解圖像融合方法可以較好地融合圖像。但由于對圖像融合效果的影響不僅取決于融合方法，其圖像的類型也是一個重要因素。因此，下一步將針對其他類型的圖像融合情況進行進一步研究。