基于非下采樣剪切波變換與顯著信息加權的圖像融合算法

韓 陽，楊 華

(山西農業大學信息科學與工程學院，太谷 030801)

圖像融合技術是一項貼近生活的實用技術，被應用到了多個生活領域[1-3]。正由于圖像融合技術給人們的生活帶來了幫助，人們對其的研究也越顯重要。

目前圖像融合技術多種多樣，如Wang等[4]通過非下采樣剪切波變換(nonsubsampled Shearlet transform,NSST)獲取圖像的不同系數，并在此基礎上計算圖像的能量特征，獲取融合結果。由于利用融合梯度計算圖像能量的方法，忽略了圖像的顯著信息，易使得融合結果含有間斷現象。Singh等[5]采用NSST機制來獲取圖像的高、低頻系數后，再將基于局部可見性的自適應神經網絡模型和基于log-Gabor能量的規則分別應用于低、高頻系數的融合。由于log-Gabor能量的規則沒有考慮圖像的顯著信息，使得融合圖像中存在吉布斯效應。劉明君等[6]提取了圖像的邊緣等特征后，采用基于奇異值分解和壓縮感知分別獲取融合低頻和高頻子帶。由于奇異值分解方法的平移特性較弱，使得分解所得系數易丟失原始信息，導致融合圖像含有間斷效應的出現。Samet等[7]基于平穩小波變換對圖像進行分解，并設計了一種基于sobel算子的梯度融合規則，利用圖像的梯度幅值，計算了圖像中像素重要度的權重系數，并利用這些權重系數生成融合子帶。由于小波變換不能滿足多方向性的需求，對源圖像信息保真度較低，易使得融合圖像出現塊現象。

為了降低吉布斯效應及間斷效應，現采用NSST變換來分解輸入圖像，獲取圖像的不同的頻域系數。在低頻系數融合的過程中，引入信息熵來求取圖像含有的信息豐富度。同時，采用高斯濾波器來構造顯著度量模型，獲取圖像的顯著信息，將其與圖像含有的信息豐富度相聯合，融合低頻系數。并以像素點間的像素值為依據，完成高頻系數的融合，測試本文算法的融合特性。

1 圖像融合算法設計

本文算法的過程如圖1所示。從圖1可知，本文算法主要通過圖像分解和系數融合兩部分來完成圖像的融合，各部分的主要過程為如下。

圖1 圖像融合算法的過程

(1)圖像分解。圖像分解是為了從源圖像中獲取不同的低頻與高頻系數，為后續的系數融合做準備。采用平移特性較好的NSST變換，對源圖像進行分解，以獲取其不同的圖像系數。

(2)系數融合。在對不同圖像系數融合的過程中，采用了信息熵模型，獲取了圖像擁有的信息豐富度。采用高斯濾波器構造了顯著度量模型，獲取了圖像擁有的顯著信息。利用圖像擁有的信息豐富度和顯著信息，完成低頻內容的融合。以使得融合低頻系數中既能擁有源圖的主要信息豐富度，還能包含源圖的顯著信息，提高融合圖像的視覺效果。還通過像素點的鄰點像素值構造了高頻系數融合函數，以充分測量圖像的細節信息，實現高頻內容的融合。將融合的不同系數通過逆NSST變換，獲取最終的融合圖像。

1.1 圖像分解

當下較為主流的圖像分解方法包括Curvelet變換、Contourlet變換以及NSST變換等[8]。在這些變換中，NSST變換以其良好的平移不變特性以及稀疏表達特性等優點，得到了廣泛的應用[9]。

NSST變換的基礎是Shearlet變換。Shearlet變換依靠計算仿射系統而得到。在2×2的矩陣A與B下，仿射系統的模型[10]為

FS={θq,w,e(x)=|det(A)|1/2θ(BwAqx-e),q,w∈Z,e∈Z2}

(1)

式(1)中：q、w、e分別為尺度、方向以及平移量；θ∈L2(R2)為二維仿射系統下的元素；L2(R2)為FS變換結果的集合；FS代表仿射變換；Z為整數集；det(A)為求取矩陣A行列式的值。

當式(2)成立時，FS即為合成小波。

(2)

式(2)中:U∈L2(R2)為二維仿射系統下的元素；∑為求和運算；|| ||為求范數運算。

在FS為合成小波狀態下，將A與B指定為式(3)時，FS即為Shearlet變換。

(3)

(4)

獲取到Shearlet變換后，在笛卡爾坐標中，對Shearlet變換進行非下采樣處理，以獲取Shearlet濾波器(Shearlet filter,SF)，對圖像進行方向分解[11]。采用非下采樣金字塔(nonsubsampled pyramid,NSP)，對圖像進行多尺度分解[12]。由NSP和SF便構成了NSST變換。

以圖2(a)和圖2(b)所示的圖像為源目標數據，通過NSST變換分解后，形成的頻域系數分別如圖2(c)和圖2(d)所示。由圖2發現，其低頻系數囊括了源目標的絕大部分能量和信息；而高頻內容則可很好地反映細節信息。

圖2 基于NSST的圖像分解

1.2 系數融合

源圖像擁有的信息豐富度主要通過其低頻系數來體現。信息熵模型通過利用像素點的灰度級特征，能夠較好地測量圖像擁有的信息豐富度。因此，借助信息熵模型，用于融合低頻系數。同時為了更好地兼顧圖像的顯著信息，還利用高斯濾波器構造了顯著度量模型，以獲取不同圖像的顯著信息，并將其融入低頻系數融合時的加權系數中。

在灰度級總數為J的圖像I(x,y)中，其對應的信息熵XS[13]為

(5)

式(5)中：Ha為灰度級為a像素點存在的幾率。

I(x,y)的幅值譜FZ(I)和相位譜XW(I)[14]為

(6)

(7)

式中：FT為傅里葉變換(fourier transform, FT)，Re(·)和Im(·)分別為取實部運算和取虛部運算。

在FZ(I)的基礎上，計算其對數譜LFZ(I)，公式為

LFZ(I)=lgFZ(I)

(8)

I(x,y)的譜殘差C(I)可利用LFZ(I)而得到，即

C(I)=LFZ(I)-JZ(I)LFZ(I)

(9)

式(9)中：JZ(I)為均值濾波器結果。

在C(I)的基礎上，利用高斯濾波器GS(x)，構造顯著度量模型XZ(I)為

XZ(I)=GS(x)FT-1{exp[C(I)+XW(I)]}2

(10)

式(10)中：FT-1為傅里葉反變換。

通過式(5)對不同低頻系數Di與Dj擁有的信息豐富度進行測量，求取其對應的信息熵值XSDi和XSDj。通過式(10)求取Di與Dj的顯著信息XZDi和XZDj。利用不同低頻系數擁有的信息豐富度和顯著信息作為低頻系數融合過程的加權因子，求取融合低頻系數Dij，即

(11)

式(11)中：Di、Dj分別代表第i個、第j個低頻系數；XSDi、XSDj分別為Di、Dj的信息熵值；XZDi、XZDj分別為Di、Dj的顯著信息。

源圖像擁有的細節信息主要通過其高頻系數來體現。通過利用像素點三鄰點的像素值，來構造細節特征測量函數，融合高頻系數。

令像素點p及其三鄰點p′、p″和p?的像素值分別為p(x,y)、p(x-1,y)、p(x,y-1)、p(x-1,y-1)。利用像素點p及其三鄰點的像素值構造細節特征測量函數XJ為

(12)

式(12)中：R、C、T、G分別為p的行、列、對角測量因子，其表達式[15]分別為

(13)

(14)

T=

(15)

G=

(16)

式中：M、N為圖像的尺寸。

通過式(12)計算不同高頻系數Ei與Ej的細節特征值XJEi與XJEj，并利用其構造高頻系數融合函數，計算融合高頻系數Eij為

(17)

式(17)中：Ei、Ej分別為第i個、第j個高頻系數；XJEi、XJEj分別為Ei、Ej的細節特征值。

最后，Dij與Eij進行逆NSST變換，以得到融合圖像。

采用上述過程，對圖2(a)與圖2(b)進行融合，其結果如圖3所示。由圖3可見，融合圖像具有較好的質量。

圖3 融合結果

2 實驗結果

在MATLAB7.10軟件上搭建實驗環境，并在AMDRyzen5 3600處理器、8 GB內存的acer計算機上運行該實驗環境，以完成對本文算法融合性能的測試。測試過程中選取了文獻[16]和文獻[17]算法作為對照組。實驗過程中的圖像尺寸為512×512 像素。

不同算法對杯子圖像的融合結果如圖4所示。通過觀察圖4中各算法的融合結果可以發現，圖4(c)中杯子藍色底部具有間斷現象，杯蓋紅色邊緣處具有塊效應。圖4(d)中杯子上部藍色與白色交界處存在一處吉布斯效應現象，杯蓋處存在一處模糊現象。圖4(e)中僅杯身邊緣存在一處輕微模糊現象。各算法對花朵圖像的融合結果如圖5所示。對比圖5各融合結果發現，圖5(c)中含有間斷效應和吉布斯效應，圖5(d)中含有間斷效應和塊效應，圖5(e)中僅含有一處輕微的塊效應。圖6為儀表盤圖像的融合結果，圖6(c)中含有間斷效應和振鈴效應，圖6(d)中含有模糊效應和塊效應，圖6(e)中僅含有一處輕微的模糊效應。由此可見，本文算法融合圖像具有較好的完整性，不存在間斷效應，融合圖像具有較佳的視覺效果。因為本文算法采用了平移不變特性與稀疏表征特性都較好的NSST變換，對圖像分解求取不同圖像系數，促使了分解所得圖像系數較完整地保留了源圖信息。同時本文算法還利用了圖像擁有的信息豐富度和顯著信息融合了低頻系數，促使了融合低頻系數能夠較好地擁有源圖信息豐富度的同時，還較好地突出了源圖的顯著信息，從而提高了融合圖像的質量。

圖4 不同算法對“杯子”圖像的融合結果

圖5 不同算法對“花朵”圖像的融合結果

圖6 不同算法對“儀表盤”圖像的融合結果

為了更進一步測試本文算法的有效性，將在圖7所示的場景中，利用SonyILCE-6400L型相機獲取10組不同的測試圖像。實驗中將通過平均梯度(mean gradient, MG)和通用圖像質量指數(Universal image quality index, UIQI)來對各算法融合圖像的質量進行測量，以分析各算法的融合特性。

圖7 測試場景

MG通過對圖像的細節信息進行度量，反映出了圖像的清晰度，當圖像清晰度越大時，MG也將越大。MG的計算式[18]為

(18)

式(18)中：H為MG值；M和N為圖像I的尺寸；ΔIx、ΔIy為I在x、y方向上的一階差分。

(19)

式(19)中：U為UIQI的值;φFS為F與S的協方差。

各算法融合圖像的H值與U值如圖8所示。從圖8可知，本文算法融合圖像的H值與U值比對照組算法的都大。以第5組圖像為例，本文算法融合圖像的H值與U值分別為5.55和0.953，文獻[16]算法融合圖像的H值與U值分別為4.71和0.925，文獻[17]算法融合圖像的H值與U值分別為5.04和0.934。說明本文算法融合的圖像能夠較好地保留源圖信息，具有較好的質量，本文算法的融合特性較好。因為本文算法利用信息熵模型和顯著度量模型求取了源圖擁有的信息豐富度和顯著信息，并將其用于低頻系數的融合，使得融合低頻系數即擁有源圖的信息豐富度，也能夠較好地表達源圖的顯著內容。同時本文算法還通過細節特征測量函數，測量了圖像的行、列以及對角上的細節內容，并將其用于高頻系數的融合，使得融合高頻系數能夠更好地描繪源圖細節信息。從而提高了算法的融合特性。文獻[16]算法中采用多尺度變換的方法分解圖像，采用基于能量的稀疏表示方法和取大法分別融合低、高頻系數。由于基于能量的稀疏表示方法沒考慮圖像的顯著信息，而且絕對值取大易丟失圖像細節信息，從而使得文獻[16]算法融合特性不佳。文獻[17]算法中通過小波變換分解圖像，采用空間頻率和相關系數方法分別融合低、高頻系數。由于空間頻率方法不能較好地測量圖像擁有的信息豐富度，而且小波變換方法的方向特性較差，從而使得文獻[17]算法的融合特性有所下降。

圖8 各算法融合圖像的H值與U值

3 結論

提出了一種NSST耦合顯著信息加權的圖像融合算法。該算法利用信息熵模型與顯著度量模型獲取了圖像擁有的信息豐富度以及顯著信息，并將其用于低頻系數的融合過程，使得融合結果在擁有源圖信息豐富度的同時，也擁有源圖顯著特征。使得融合圖像更具優良視覺效果。該算法還利用像素點三鄰點的像素值，構造了細節特征測量函數，將圖像的細節特征用于高頻系數的融合過程，使得融合圖像更具細節表述能力。使得融合圖像的質量得以提高。實驗結果表明，本文算法融合的圖像MG值和UIQI值都較高，具有優良的融合特性。