基于CSR和能量特征的紅外與可見光圖像融合

王 昭,杜慶治,龍 華,邵玉斌,彭 藝

(昆明理工大學信息工程與自動化學院,云南 昆明 650500)

1 引 言

紅外圖像反映的是目標在紅外熱輻射下的能量分布,然而,其可視性并不是很理想,細節信息表現不明顯。可見光圖像與目標場景的光反射有關,能真實反映目標細節特征,但易受外部環境影響。因此,紅外與可見光圖像融合是十分有意義的,該研究在視頻監控、軍事、航空航天以及低質勘測等領域[1]都有著廣泛的應用前景。

非下采樣輪廓波變換(non-subsampled cont-ourlet transform,NSCT)擁有多方向、各向異以及平移不變等特性,同時,在一定程度上減少了“偽吉布斯”現象的產生。董等[2]提出了一種基于脈沖耦合神經網絡(PCNN)的NSCT域紅外與可見光圖像融合算法,解決了稀疏表示的“塊效應”問題。Zhang等[3]采用了基于局部拉普拉斯能量(Local Laplace energy,LLE)和共現濾波的融合規則,來融合非下采樣剪切波變換(NSST)域的兩幅圖像,有效地保存了源圖像的細節特征。卷積稀疏表示(convolution sparse repres-entation,CSR)是稀疏表示的卷積形式,Liu[4]使用CSR實現對整幅圖像的完整稀疏編碼,但對比度較低。

針對上述問題分析,本文綜合NSCT變換、CSR模型以及LLE模型的互補特性,提出了基于CSR和能量特征結合的紅外與可見光圖像融合算法(簡稱為NSCT-CSR-LLE算法)。

2 相關工作

2.1 非下采樣剪切波變換

NSCT主要組成為非下采樣金字塔濾波器組(non-subsampled pyramid filter banks,NSPFBs)和非下采樣方向濾波器組(non-subsampled directio-nal filter banks,NSDFBs)。若進行k層分解,可得與其大小相同的k+1個子圖像。

2.2 卷積稀疏表示

CSR的基本思想是將源圖像建模為特征響應系數xm與濾波器字典dm間的一組卷積和[5],從而取代冗余字典與稀疏系數乘積的表達方式。CSR模型可以表示為:

(1)

其中,{dm}表示M維卷積字典；*為卷積運算符號；{xm}意為特征響應；s表示源圖像；λ>0表示自定義參數；對于該分布式凸優化問題求解,可以采用交替方向乘子算法(ADMM)來解決:

s.t.‖dm‖2=1

(2)

3 提出的方法

NSCT-CSR-LLE算法首先對源圖像使用NSCT變換,將其分解成單個低頻子圖和多個高頻子圖。然后,選用高斯低通濾波器將單個低頻子圖分解成低頻基礎分量和細節特征分量,低頻基礎分量選用LLE融合,細節特征分量采用CSR策略融合。其次,根據源圖像的鄰域相關性函數來融合NSCT域高頻子圖。最后,采用NSCT逆變換重建得到融合結果圖(見圖2)。

圖2 基于NSCT-CSR-LLE的圖像融合框架Fig.2 Image fusion framework based on NSCT-CSR-LLE

3.1 低頻子帶系數融合規則

(3)

(4)

(5)

選取Ck,m在空間域中位置(x,y)的一個多維向量Ck,1:M(x,y)的L1范數作為活性水平測度[7]。活動級映射Gk(x,y)可為:

Gk(x,y)=‖Ck,1:M(x,y)‖1

(6)

(7)

對于多聚焦和多模態圖像融合,窗口尺寸r分別固定為9和3[8],并選擇最大值策略實現融合系數映射:

(8)

細節特征分量重構結果為:

(9)

為充分保存低頻子帶的結構、細節信息,選用LLE來獲取低頻基礎分量的能量信息。采用了兩種活性水平測度方法,分別為加權局部能量(WLE)和八鄰域加權和(WSEML):

L(x+m,y+n)2

(10)

L(x,y)表示圖像位置(x,y),若設矩陣半徑r為1,正則化矩陣W為:

(11)

使用WLE來保存結構化信息,WSEML用來度量細節提取值:

(12)

式中EML定義為:

EML(x,y)=|2L(x,y)-L(x-1,y)-L(x+1,y)|+|2L(x,y)-L(x-1,y)-L(x+1,y+1)|+

(13)

低頻基礎分量結果:

(14)

合并后的低頻部分:

(15)

3.2 高頻子帶系數融合規則

為了使高頻子帶圖像邊緣紋理更豐富,采用一種無量綱的圖像顯著性度量(PC)來實現,圖像銳度值PC越大特征越顯著:

(16)

其中,θk為k處的方向角;An,θk表示第n個傅里葉分量和角度θk上的振幅,參數ε設為0.001[9],Eθk(x,y)可以計算為:

(17)

(18)

(19)

(20)

Ω0表示(x,y)處的局部區域,(x0,y0)為像素點。與此同時,為計算鄰域比,LSCM表示為:

(21)

為彌補局部亮度信息缺陷,引入局部能量(LE)[9]公式:

(22)

綜上,設計了一種新活性度量方法(NAM)來互補測量圖像信息:

NAM(x,y)=(PC(x,y))α1·(LSCM(x,y))β1·(LE(x,y))γ1

(23)

α1、β1和γ1分別設置為1、2、2[10],高通子帶圖像融合結果可得:

(24)

(25)

(26)

(27)

對低頻子帶和高頻子帶融合圖像進行NSCT逆變換[11]可得最終的融合結果。

4 實驗結果與分析

4.1 實驗說明

本實驗選用了大小為256×256預配準的4組紅外與可見光圖像進行實驗,并挑選了具有對比性的5組融合算法進行性能比較:文獻[12](簡稱NSCT-T算法)、文獻[13](簡稱NSCT-PAPCNN-C算法)、文獻[14](簡稱SR-C&L算法)、文獻[15](簡稱PCNN-C算法)及文獻[16](簡稱SF-Energy-Q算法)。

對于NSCT分解部分,金字塔濾波器和方向濾波器設置為“pyrexc”和“vk”,分解級別皆設為4,分解級數為[2,3,3,4](其他參數根據文獻設定)。

4.2 融合評價

選用主觀視覺與客觀指標結合來評價融合結果。6個客觀評價指標:互信息量(MI)[17]、空間頻率與清晰度(SF & SP)、邊緣信息傳遞因子(QAB/F)[18]、結構相似性(SSIM)和視覺信息保真度(VIFF)[19]。指標值越大,融合效果與質量越好[20]。

實驗源圖像“forest”為圖3(a)～(b),融合對比算法結果如圖3(c)～(h)。可以看出,NSCT-T算法亮度適中,SR-C & L則較為陰暗,二者邊緣細節信息分辨率低。NSCT-PAPCNN-C算法較純PCNN-C算法“網狀”化陰影弱,但與SF-Energy-Q算法都出現的“塊狀”陰影,視覺效果較差。

圖3 “forest”圖像不同算法的融合結果Fig.3 Fusion results of different algorithms for forest image

而本文的NSCT-CSR-LLE算法明顯優于前幾種方法,視覺效果和對比度良好,物體輪廓紋理清晰。前算法丟失的有關源圖像的細節信息,都在本方法中得到了良好保留。

關于“forest”融合實驗的客觀評價指標值如表1所示,相應的客觀指標對比柱狀圖見圖4 。

表1 “forest”客觀質量評價指標Tab.1 Objective quality evaluation indicators of forest

圖4 “forest”評價指標柱狀圖Fig.4 Evaluation index curves of forest

通過對比分析表1可以看出,與其他5種方法相比,本文算法在6個指標中有4個達到了最高水平。NSCT-T算法的MI值、SF-Energy-Q算法的VIFF值皆高于本文算法,但相差無幾。

綜合圖4評價指標柱狀圖可以看出:本文算法僅MI指標和VIFF指標相對略低,其余指標均領先占據高峰。說明了本文算法的優越性,有效地提取了源圖像的特征信息,提升了清晰度。

綜上,說明NSCT-CSR-LLE算法具有良好的魯棒性,表現出了良好的圖像融合性能優勢。

“store”實驗源圖像如圖5(a)～(b)所示,圖5(c)～(h)為不同的對比算法結果。該組實驗目標場景較復雜,可以看出NSCT-PAPCNN-C算法與NSCT-T算法圖像較為模糊,目標的輪廓信息損失嚴重。SR-C&L算法和PCNN-C算法甚至出現了“陰影塊”,行人和車輛分辨率較差,“塊效應”影響較大,甚至無法辨識商鋪上的“廣告牌”。NSCT-CSR-LLE算法清晰度較高,對目標的捕捉較為良好,克服了“偽吉布斯”現象和“振鈴”效應,能有效識別“廣告牌”與不同行人,視覺效果良好。表2為關于“store”實驗的客觀質量評價指標,相應的對比柱狀圖見圖6。

圖5 “store”圖像不同算法的融合結果Fig.5 Fusion results of different algorithms for store image

表2 “store”客觀質量評價指標Tab.2 Objective quality evaluation indicators of store

圖6 “store”評價指標柱狀圖Fig.6 Evaluation index curves of store

分析表2可得,本文算法除了SP指標略低于PCNN-C算法之外,其余5項均高于其他5種對比算法結果,說明該算法能有效刻畫場景。

而且,從圖6可看出,本文算法的SF、QAB/F和SSIM與其他方法相近,但MI和VIFF指標占據明顯優勢,能很好地實現能量特征提取。

圖7(a)～(b)為“tree”源圖像,圖7(c)～(h)分別為各對比實驗結果。SR-C&L算法與PCNN-C算法指示牌上出現明顯的“污點”。NSCT-PAPCNN-C算法和NSCT-T算法的樹葉特征信息較差,SF-Energy-Q算法場景稍暗而導致分辨率較低。

圖7 “tree”圖像不同算法的融合結果Fig.7 Fusion results of different algorithms for tree image

相比而言,NSCT-CSR-LLE算法融合結果辨識度高,樹葉紋路清晰,整體的層次感較強,目標清晰,能夠有效地描述源圖像的結構特征。

第三組關于“tree”源圖像的實驗客觀指標值見表3,相應的對比柱狀圖見圖8。

從表3中可看出,NSCT-CSR-LLE算法在4項指標上占據主要地位,僅SF與SP值略低于PCNN-C算法,但是PCNN-C算法實際出現了嚴重的“偽吉布斯”效應。此外,本文算法的其余指標值都能良好地體現出較好的清晰度和對比度特性。

表3 “tree”客觀質量評價指標Tab.3 Objective quality evaluation indicators tree

圖8的評價指標柱狀圖上,各個指標的占比高度較為明顯,總體相差不大,但是MI、VIFF、QAB/F和SSIM有著明顯的優勢,客觀體現了NSCT-CSR-LLE算法的優越性。

圖8 “tree”評價指標柱狀圖Fig.8 Evaluation index curves of tree

圖9(a)～(b)為“grove”實驗的源圖像,圖(c)～(h)為其余對比實驗的融合結果圖。可以看出,六種算法都能有效的實現融合,但SR-C & L算法、PCNN-C算法和SF-Energy-Q算法的融合結果都產生了“塊效應”現象。NSCT-PAPCNN-C算法不僅物體分辨率低,還產生了類似PCNN-C算法的“網狀”陰影。NSCT-T算法整體層次結構特征顯著,但是對比度較低。NSCT-CSR-LLE算法對樹木特征描述細致,清晰度較高,物體的邊緣紋理細節特征顯著。

圖9 “grove”圖像不同算法的融合結果Fig.9 Fusion results of different algorithms for grove image

第四組關于“grove”融合實驗的客觀評價指標見表4,相關的對比柱狀圖見圖10。

圖1 兩級NSCT分解示意圖Fig.1 Schematic of a two-level NSCT decomposition

表4 “grove”客觀質量評價指標Tab.4 Objective quality evaluation indicators grove

對比分析可以發現,NSCT-CSR-LLE算法僅QAB/F略低于SR-C&L算法,其余5項指標均為最高,主觀視覺上也得以驗證。

圖10的“grove”評價指標對比柱狀圖可以有效的看出各個指標的占比差距,NSCT-CSR-LLE算法的QAB/F值略低于SR-C & L算法,但MI指標優勢最為明顯,其余4項指標也都高于其余的對比算法。整體而言,本文算法有效地結合了源圖像的特征信息,物體信息保存完好,輪廓紋理、分辨率和對比度上皆占據主要優勢地位。

圖10 “grove”評價指標柱狀圖Fig.10 Evaluation index curves of grove

5 結 語

此篇文章中,通過結合CSR和局部拉普拉斯能量法的特性,提出了一種基于NSCT-CSR-LLE算法的紅外與可見光圖像融合框架。本方案中,首先利用NSCT將每個源圖像分解成一個低頻子圖和多個高頻子圖,其次,采用不同的融合算法和活度測量方法進行各方面的融合處理,最終結合得到紅外與可見光圖像融合圖像。實驗結果表明,NSCT-CSR-LLE算法克服了傳統“SR”的“塊效應”問題和“偽吉布斯”現象,彌補了圖像塊之間關聯性差的劣勢,能夠良好的實現邊緣細節提取與能量保存。

算法框架上,首先利用NSCT的平移不變性優勢,將圖像分解為高頻、低頻子帶圖像。其次采用高斯低通濾波器將低頻子帶進一步分解為低頻基礎分量和細節特征分量,針對不同的圖像部分采用不同的融合策略,其間使用CSR算法來融合細節特征分量,利用局部拉普拉斯能量法來融合低頻基礎分量。通過基于能量特征的活性測度算法來提取源圖像的特性,根據活性測度來進行相關的高頻特征融合。本文算法結合了有關NSCT、CSR算法的優勢和經驗,設計了有關局部拉普拉斯能量法的融合規則,使得最終的融合結果圖不僅有著良好的視覺特性,圖像的對比度也得到了巨大的提升。

實驗結果表明本文所提算法無論是主觀視覺還是客觀評價上都優于目前的先進水平,實驗也驗證了該算法的有效性和優越性。如何進一步發展CSR算法的優勢,實現圖像邊緣紋理細節的特征提取,提升圖像的魯棒性和視覺清晰度是下一步研究的重點。