一種基于內容增強的可見光-紅外線圖像融合方法

馮福存, 常莉紅

(寧夏師范學院 數學與計算機科學學院, 寧夏 固原 756099)

紅外與可見光圖像融合是多傳感器圖像融合領域的關鍵技術. 雖然紅外線傳感器利用物體表面的熱輻射成像不受天氣和光照的影響, 但所得的紅外線圖像具有細節不明顯、 對比度低、 視覺感知差等缺點. 可見光圖像是由可見光圖像傳感器通過接收物體表面光照反射成像的, 在良好的光照條件下, 可見光圖像具有豐富的內容細節, 分辨率較高, 更適合于人的感知系統. 因此, 利用這兩種圖像的互補信息, 將二者融合的方法得到廣泛應用[1-3]. 目前, 已有許多關于紅外線圖像與可見光圖像的融合算法[4-6], 其中基于多尺度變換的(multiscale transform, MST)融合方法應用最廣泛, 如Laplace金字塔變換(Laplacian pyramid, LP)[7]、 離散小波變換(discrete wavelet transform, DWT)[8]、 對偶樹復小波變換 (dual-tree complex wavelet, DTCWT)[9]、 曲線波變換(curvelet transforms, CVT)[10]和非下采樣輪廓波變換(nonsubsampled contourlet transform, NSCT)[11]等. 但傳統基于多尺度的融合方法在低頻部分采用分解系數取平均值, 高頻部分取系數最大值的融合規則, 這種融合規則并不適合于紅外線和可見光這種像素強度差異很大的圖像融合, 特別是當可見光的光照條件較差時, 通常會嚴重降低融合圖像的對比度, 損失紅外線圖像中的目標信息. Liu等[12]將稀疏表示的融合理論引入到多尺度分解的低頻系數融合中, 改善了取平均的融合規則產生的對比度下降問題. 脈沖耦合神經網絡(pulse coupled neural network, PCNN)是一種非常適合用于MST分解高頻系數的融合規則[13], 但PCNN模型通常包含一系列自由選擇的參數; Yin等[14]提出了一種參數自適應的脈沖耦合神經網絡(parameter-adaptive pulse coupled-neural network, PAPCNN), 解決了參數選擇的問題; 為進一步解決弱光環境下可見光圖像對融合結果的影響, Zhou等[15]利用方向導波[16]對可見光圖像中的細節信息進行增強, 使可見光低對比度的細節信息得到充分顯示.

受上述分解方法和融合規則的啟發, 本文基于方向導波的增強方法并結合NSCT分解工具、 稀疏表示和PAPCNN融合規則對可見光圖像和紅外線圖像提出一種融合方法. 與傳統的NSCT融合方法相比, 該方法對可見光圖像在融合前進行動態壓縮的內容增強, 在NSCT的低頻部分采用稀疏表示的融合規則, 在高頻部分采用PAPCNN融合規則. 實驗結果表明, 該方法在視覺效果和客觀指標上均有效.

1 相關理論

1.1 基于方向導波高動態范圍壓縮的圖像增強方法

方向導波[16]具有良好的平滑和邊緣保護特性, 可調節尺寸大小和平滑程度, 其數學表達式為

(1)

(2)

的解, 式中ε是防止ak過大的正則化參數,pi是式(1)中qi的優化位置量.

本文將方向導波算子記為GFr,ε(·),r和ε分別為控制濾波窗口大小和邊緣保護程度的參數, 從而基于方向導波高動態范圍壓縮的圖像增強方法過程如下：

步驟1) 用GFr,ε(·)作用于可光見圖像I, 得到基礎層Ib=GFr,ε(I);

(3)

(4)

步驟3) 在對數域中對基礎層和細節層實現動態范圍壓縮, 即

(5)

步驟4) 最后增強的結果表示為

(6)

圖1為一組基于方向導波動態壓縮圖像的增強結果, 其中： (A)為未增強的可見光圖像, 光照條件較差, 很多場景內容都無法清晰看到； (B)為經所給算法處理后的增強結果, 可清晰看到圖像中隱蔽的一些細節信息.

圖1 一組可見光圖像的增強結果

1.2 稀疏表示理論

稀疏表示(sparse representation, SR)理論是指用較少量基本信號(字典原子)的線性組合表示大部分或全部信號. 假設用一個M×N階的矩陣表示數據集X, 則稀疏表示的優化模型可表示為

其中α為稀疏系數,D為完備字典, ‖·‖0為L0范數,ε為容忍參數且ε>0.

Yang等[17]將稀疏表示理論引入到圖像融合中, 將稀疏系數向量作為活動水平測量, 用系數的L1范數最大為融合規則.

1.3 PAPCNN融合模型

傳統PCNN模型為

其中Fij(n)和Lij(n)分別表示(i,j)處的神經元經過n次迭代后的反饋輸入和鏈接輸入,Sij為輸入圖像,Wijkl為神經元間的連接權值,VL為輸入的鏈接振幅, 參數αf為衰減系數,δ為連接強度參數,Uij為內部活動項,αe和VE是相對應的Eij(n)的衰減系數和振幅,Yij為輸出. 在PCNN模型中, 自由參數較多, 文獻[14]取λ=βVL, 則參數間有如下關聯:

(13)

(14)

其中σ(S)為輸入圖像S的標準偏差,S′和Smax分別表示標準化的Otsu閾值和輸入圖像的最大強度[16]. 這樣所給的自由參數可自適應計算.

1.4 NSCT圖像分解

NSCT[11]是一種有效的分解工具, 包括非采樣金字塔濾波器組和非采樣定向濾波器組, 具有良好的時頻局部化、 多方向性和多尺度性, 比其他幾種多尺度分解工具能較好地表示圖像的信息. 圖2為NSCT的分解示意圖. 由圖2可見, NSCT可以對源圖像進行分解, 得到一個低頻層和一系列高頻層, 所得層與源圖像大小相同.

圖2 NSCT分解示意圖

2 基于SR-PAPCNN的增強算法

假設所給源圖像均已配準. 為描述方便, 本文記可見光圖像為A, 紅外線圖像為B, 所給算法主要步驟如下：

1) 利用式(6)的基于方向導波動態壓縮增強方法將可見光圖像進行增強, 增強后的圖像記為AE, 即

(15)

2) 對AE和B利用NSCT進行分解, 分別得到它們的一個低頻層{LAE,LB}和一系列高頻層{HAE,HB};

3) 因為低頻層包含了圖像的主要信息, 是源圖像的一個近似, 所以在{LAE,LB}中利用稀疏理論進行融合;

② 利用L1范數最大原則進行稀疏系數融合:

(16)

(17)

(18)

4) 對融合的低頻層LF和高頻層HF進行NSCT逆變換, 得到融合結果.

3 實 驗

3.1 測試圖像

為證明本文方法的有效性, 對幾組紅外線和可見光圖像進行測試. 圖3為幾組紅外線和可見光圖像, 圖像源自http://figshare.com/articles/TNO_Image_fusion_dataset/1008029. 其中： (A)～(F)是可見光圖像; (G)～(L)分別為(A)～(F)同一場景中的紅外線圖像.

圖3 測試集

3.2 比較算法和融合評價指標

將本文方法(NSCTE)與基于LP[7],DWT[8],DTCWT[9],CVT[10],NSCT[11],SR[17]和NSCTSR[12]的融合方法進行比較, 給出視覺質量和5個客觀評價指標的比較結果. 采用的客觀評價指標分別為熵(entropy, EN)、 標準偏差(standard deviation, SD)、 互信息(mutual information, MI)、 基于結構相似度的梯度QG評價指標和相位一致性指標QP[18], 指標值越大說明融合效果越好.

3.3 實驗結果分析

選取圖3中一組圖(C)和(I)為例對不同方法融合結果的目視效果進行分析, 所有多尺度分解的層數均為4. 圖4為不同方法對圖3(C)和(I)的融合結果.

圖4 不同方法對圖3(C)和(I)的融合結果

由圖4可見： 基于傳統的多尺度融合方法(低頻取平均, 高頻取最大的融合規則)的融合結果明顯降低了圖像的對比度, 如在圖3(I)中較高亮度的目標信息, 在LP,DTCWT,DWT,CVT,NSCT方法的融合結果中明顯變暗； 基于SR方法的融合結果, 雖然對比度損失較小, 但圖像的細節損失嚴重, 如公交站臺處的細節信息幾乎看不清楚； NSCTSR方法(在低頻部分采用稀疏表示, 高頻取最大的融合規則)的結果雖然改進了NSCT和SR方法的缺點, 但由于源圖像圖3(I)中很多隱藏的細節未顯示出, 所以融合的視覺效果也不理想; 而本文方法NSCTE既保留了源圖像高亮(人、 燈、 車輪等)的目標信息, 還給出了豐富的圖像信息, 如站臺的扶手看的非常清晰, 第一輛汽車左前方騎自行車的行人, 第二輛汽車后方未發光的路燈等, 而且本文方法相比于其他方法融合圖像的亮度有較大提高.

表1列出了圖3測試集中所有圖像經不同融合方法的融合指標值. 由表1可見, 本文方法的指標值在5個指標值中多數為最好, 進一步說明了本文方法的有效性.

表1 不同融合方法在測試集上的客觀指標值

綜上所述, 本文利用非下采樣輪廓波變換, 并結合高頻參數自適應神經網絡的融合規則和低頻稀疏表示的融合規則, 對基于方向導波動態壓縮增強的可見光圖像進行增強后與對應場景的紅外線圖像進行融合, 改善了傳統NSCT和SR方法存在的缺點. 通過實驗及所給5個評價指標的數據分析可知, 該方法在平均信息量、 細節的提取、 圖像的對比度及邊緣信息的保留方面均有較大優勢, 取得了較好的視覺效果. 由于該方法在圖像的對比度方面有絕對優勢, 因此更適合光線條件較差的圖像融合.