基于NSST和稀疏表示相結合的圖像融合算法

杜進楷　丁冬冬　龍海蓮　陳世國

摘要：本文針對傳統的多尺度變換和稀疏表示在圖像融合中存在的一些不足，提出了一種基于非下采樣shearlet變換（NSST）的低頻域稀疏表示（SR）和高頻域脈沖耦合神經網絡（PCNN）的圖像融合算法（簡稱NSST-LSR-HPCNN），并對低頻域稀疏表示系數采用改進的拉普拉斯能量和（SML）取大的規則進行融合。仿真結果表明，NSST-LSR-HPCNN算法中低頻域稀疏表示系數采用SML取大的規則融合圖像的空間頻率SF、互信息量MI、邊緣保持度QAB/F的數值均高于本文其他幾種對比算法融合圖像的數值，在高頻域融合規則相同的情況下，相比于低頻域稀疏表示系數采用L1范數取大的融合規則，本文算法的SF提高了0.19%、MI提高了5.98%、QAB/F提高了0.57%，SF、MI、QAB/F指標均具有較優值。本文算法有效的綜合了紅外圖像和可見光圖像中的信息，融合圖像更加全面的攜帶了源圖像中的有效信息特征，在主觀視覺效果和客觀評價指標上均優于其他幾種對比融合算法。

關鍵詞：多尺度變換;稀疏表示;低頻域;高頻域;紅外圖像;可見光圖像

中圖分類號： TP302 ? ? ?文獻標識碼：A

文章編號：1009-3044（2019）15-0217-06

Abstract： Aiming at some shortcomings of traditional multi-scale transform and sparse representation in image fusion， this paper proposes a low-frequency domain sparse representation （SR） and high-frequency domain pulse coupled neural network （PCNN） based on non-subsampled shearlet transform （NSST）. Image fusion algorithm （NSST-LSR-HPCNN for short）， and the low-frequency domain sparse representation coefficient is fused by the improved Laplacian energy and （SML） large rules. The experimental results show that the spatial frequency SF， mutual information MI and edge retention QAB/F of the NSST-LSR-HPCNN algorithm in the low-frequency domain sparse representation coefficient using SML are larger than the other comparisons. The value of the algorithm fusion image， when the high-frequency domain fusion rule is the same， compared with the low-frequency domain sparse representation coefficient using the L1 norm to enlarge the fusion rule， the SF of the algorithm is increased by 0.19% and the MI is increased by 5.98%. QAB/F increased by 0.57%， and the SF， MI， and QAB/F indicators all had superior values. The algorithm effectively combines the information in the infrared image and the visible light image. The fused image carries the effective information features in the source image more comprehensively， and is superior to other comparison fusion algorithms in subjective visual effects and objective evaluation indicators.

Key words： multiscale transformation; sparse representation; low frequency domain; high frequency domain; infrared image;visible image

圖像融合是指將多個圖像傳感器或同一圖像傳感器以不同的工作模式獲取的關于同一場景的圖像信息加以綜合，以獲得新的關于此場景更加準確的描述[1]。在實際應用中，多個圖像傳感器或同一圖像傳感器模式設置的不同所獲得的圖像信息具有一定的冗余性和互補性，通過圖像融合技術，將所得的圖像進行融合處理，可以進一步提高圖像的清晰度，使得圖像的信息量增加。在同一場景下，紅外圖像可以反映出目標的紅外熱輻射能量分布，具有較強的對比度，受外界環境影響較小，但不能很好地表現目標及場景的細節信息;可見光圖像可以很好地表現出目標及場景的細節信息，但易被外界環境所干擾。通過圖像融合技術，將紅外和可見光圖像進行融合，達到一種優勢互補，使得圖像既具有較強的對比度，又能很好地表現出目標及場景的細節信息和對環境的適應能力。因此，紅外與可見光圖像融合是十分有意義的，已被廣泛應用于圖像去霧、安全監控和軍事偵察等領域[2]。

在變換域圖像融合方法中，基于多分辨率分析的圖像融合方法目前受國內外圖像融合研究者關注較多，應用也較為廣泛。多分辨率分析方法中，小波變換的時頻局部化特性較為良好，在圖像融合領域得到了廣泛的應用。由于小波變換不具有平移不變性，并且捕獲到的方向信息較為有限，會導致融合圖像的細節信息丟失[3]，針對這一局限性，Minh N Do等人提出了Contourlet變換[3]。Contourlet變換不僅具有小波變換的優點，還具有各向異性，但不具有平移不變性，會導致圖像奇異點周圍的偽吉布斯現象[4]。針對這一不足，Cunha A.L等人提出了非下采樣Contourlet變換（NSCT） [5]，但 NSCT 模型的計算復雜度較高，運行時間過長，處理效率較低。Shearlet變換[6-7]是Demetrio Labate等人在2005年提出的一種新的多尺度變換，相比于Contourlet變換和NSCT，Shearlet變換不會限制支撐基的尺寸和分解的方向數，而且其逆變換不需要對方向濾波器進行逆合成，只需要對正向變換中的Shearlet濾波器進行加和處理，從而使得實現效率較高[8]。由于Shearlet變換不具有平移不變性，還會導致圖像奇異點周圍的偽吉布斯現象，K.Guo和G.Easley等人提出了非下采樣Shearlet變換 （NSST）[9]，可以克服這一不足，不僅保持了NSCT的一些優良特性，而且具有更高的效率。將其應用在圖像融合中，可以顯著地提高融合圖像的質量，并且提高融合的效率。

本文的研究工作主要是基于NSST和稀疏表示、PCNN幾種算法相結合進行紅外和可見光圖像的融合。對源圖像進行NSST分解后，會得到不同尺度的低頻分量和高頻分量，而各個分量融合規則的選擇對融合圖像的質量起著至關重要的作用。NSST分解的低頻分量稀疏性較差，采用稀疏表示的融合方法，對其使用K-SVD算法進行字典訓練并對去均值后的圖像塊分別采用OMP算法計算稀疏表示系數，然后對稀疏表示系數采用SML取大的融合規則進行融合。NSST分解的高頻分量描述了源圖像的細節信息，傳統的加權平均、絕對值取大等方法用于高頻分量的融合，會導致圖像細節的丟失，不能取得較為理想的融合效果。脈沖耦合神經網絡（PCNN）具有位移、旋轉、尺度和扭曲不變的特性，而且可以貫穿整幅圖像的自動波[10-11]，將其應用到圖像融合中，可以保留源圖像的更多細節信息，取得較好的融合效果。最后使用NSST逆變換重構融合的低頻分量和高頻分量得到融合圖像。通過在MATLAB環境下進行仿真，結果表明，本文提出的算法融合的圖像可以進一步提高圖像的清晰度、增加圖像的信息量，融合效果較為理想。

1 非下采樣Shearlet變換

Shearlet變換[6-7]是Demetrio Labate等人在2005年提出的一種新的多尺度變換，克服了 Contourlet 變換和NSCT在支撐基的尺寸和分解方向數上的限制，并且提高了運算效率。 當維數n=2時，具有合成膨脹的仿射系統定義如式（1）所示

式中：[f∈L2（R2）]，則[AAS（ψ）]中的元素稱為合成小波。A稱為各向異性膨脹矩陣，[Aj]與尺度變換有關，S為剪切矩陣，[Sl]與保持面積不變的幾何變換有關。特別地，當A=[4 0 0 2]，S=[1 1 0 1]時，此時的合成小波為剪切波。NSST[12]是K.Guo和G.Easley等人2008年在shearlet變換的基礎上提出來的一種非正交變換，其離散過程主要包括基于非下采樣金字塔濾波器組的多尺度分解和基于改進的剪切波濾波器組的多方向分解兩部分[13]，其分解原理如圖1所示。這一模型可以避免下采樣的操作，從而具有平移不變性，使得分解的圖像具有較高的冗余度，用于圖像融合中，可以取得較好的融合效果。

2 稀疏表示理論模型

稀疏表示[14]是Olshausen和Field在1996年提出的，他們認為每幅圖像都可以看成多個基函數的線性組合，這些基函數可以經過多幅圖像的訓練估計出來[13]。其數學模型如式（3）所示：

上述方程的求解常用的方法有基追蹤（BP）算法、匹配追蹤（MP）算法、正交匹配追蹤（OMP）算法等，其中，OMP算法克服了BP算法復雜度高和MP算法原子之間不正交的問題，具有較高的計算效率，而且能達到最優收斂[15]。因此，本文選擇OMP算法來計算圖像低頻分量的稀疏系數。

從上述模型中可以看出，過完備字典D的選取對圖像處理的效果起著至關重要的作用，本文選擇文獻[16]中所采用的K-SVD[17]方法來訓練字典，其數學優化目標函數如式（4）所示：

3 PCNN的簡化模型

脈沖耦合神經網絡（PCNN）是根據貓的視覺皮層上的神經元同步脈沖發放現象提出的神經元模型，是一種不同于傳統人工神經網絡的新型神經網絡，成功應用在圖像處理的一些領域[18]。

PCNN 神經元模型是反饋型神經網絡的一種模型，由若干個PCNN神經元互相連接構成的，其中的每一個神經元都由三部分組成，分別是：接受域、調制部分、脈沖產生器[19]。傳統的PCNN模型所設置的參數較多，運行過程較為復雜，本文采用如圖2所示的簡化模型，使得神經元的輸入通道F只接受外界刺激，鏈接通道L接受周圍神經元的輸出，其數學方程描述如式（5）所示。

式中，n為迭代次數，Fij[n]和Lij[n]分別為像素點（i，j）位置第n次迭代時的輸入項和鏈接項，Sij為外界刺激，本文選擇高頻域每一像素點處的灰度值作為外界刺激，αL和VL分別表示鏈接域中衰減時間常數和放大系數，Wijkl表示鏈接域的連接權值系數，Uij[n]為像素點（i，j）位置第n次迭代時的內部活動項，β為神經元的鏈接強度，Yij[n]為像素點（i，j）位置第n次迭代時的輸出時序脈沖序列，θij[n]為像素點（i，j）位置第n次迭代時的動態門限閾值，αθ和Vθ分別表示動態門限的衰減時間系數和放大系數。

PCNN的簡化模型工作過程為：接受域接受來自外部的刺激和相鄰神經元的輸出，通過F通道和L通道傳送到內部活動項中。調制部分利用相鄰神經元的耦合鏈接，將L通道的信號加上一個正的偏移量β后與L通道的信號進行相乘調制，可以得到神經元的內部活動信號[Uij] 。接著傳遞[Uij]到脈沖產生部分，并與動態門限閾值進行比較，當[Uij>θij]時，脈沖產生器會被打開，對應的神經元點火，輸出值為[Yij=1]，接著由于反饋作用，[θij]的值迅速升高，升高到超過[Uij]的值時，脈沖產生器會被關閉，相應的神經元也會停止點火，輸出值[Yij=0]。如此循環往復的進行，直到達到所設置的最大迭代次數n。

4 圖像融合算法

4.1 NSST分解圖像

使用NSST分別對配準好的待融合的紅外和可見光源圖像進行分解，分解的尺度為4，剪切方向數設為[3，3，4，4]，濾波器選擇“maxflat”濾波器。然后對分解后的低頻分量和高頻分量根據各自的特征分別采用合適的融合算法進行融合處理。

4.2 低頻分量的融合

對低頻分量融合規則的選擇決定了融合圖像對源圖像大部分信息的保留程度。本文基于低頻分量稀疏性較差這一局限性，采用了稀疏表示的融合算法，當前大部分文獻對稀疏表示系數選用絕對值取大的融合規則，這一方法只是考慮了單個像素的特性，沒有考慮到系數間的相關性。本文采用SML這一典型清晰度評價融合性能的指標用于稀疏系數的融合，對低頻域的稀疏表示系數采用SML取大的規則進行融合。

融合步驟如下：

（1） 利用步長為s像素的滑動窗口把NSST分解的低頻分量從左上到右下依次劃分為[n×n] 大小的圖像塊，將采集到的圖像塊分別記為[piATi=1]和[piBTi=1]，其中，T為圖像塊的總數，本文采用的滑窗大小為8×8，步長為1。

（5） 對[piATi=1]和[piBTi=1]的所有圖像塊執行上述（2）—（4）的操作，可以得到所有圖像塊的融合結果[viFTi=1]。對每一個塊向量[viF]，將其轉換為[] 的圖像塊形式[piF]，放到低頻空間坐標系的對應位置，再對重復像素取平均后可得到最終的低頻結果LF。

4.3 高頻分量的融合

對高頻分量融合規則的選擇決定了融合圖像對兩幅源圖像中細節的保留程度。本文基于高頻分量的這一特性，采用了PCNN的融合算法。

首先，對待融合圖像的高頻分量分別進行歸一化操作，將其每一像素（）處的灰度值作為對應神經元的外部刺激輸入到PCNN的簡化模型中;其次，設置PCNN參數的初始值，因其初始狀態未點火，初始參數設置為：Lij[0]=Uij[0]=Yij[0]=[θij[0]]=0;最后，判斷高頻分量達到最大迭代次數時每一像素 （）處的點火次數，并設置其初始點火次數Tij[0]=0，然后比較兩幅圖像高頻分量每一像素處的點火次數來選擇融合系數，選取點火次數多的像素點作為高頻分量融合后的像素點。PCNN網絡模型的參數設置為：[αL=1]，VL=1，[αθ=0.2]，[Vθ=20]，β=3，W=[0.5 1 0.5;1 0 1;0.5 1 0.5]，最大迭代次數n=200。

4.4 NSST逆變換重構圖像

使用NSST的逆變換對融合后的低頻分量和高頻分量進行重構，從而得到融合圖像。

5 實驗結果及分析

5.1 實驗圖像選取

為了對本文所提出算法的效果進行驗證，選取了兩幅256×256大小的紅外和可見光源圖像進行融合仿真實驗。如圖3為本文選取的進行仿真實驗的紅外圖像，如圖4為本文選取的進行仿真實驗的可見光圖像。

5.2 實驗圖像融合

為了驗證本文所提出算法的性能，實驗中將融合領域中的一些算法與本文算法進行比較。算法一為基于離散小波變換的圖像融合算法得到的融合圖像，使用離散小波變換對配準好的待融合的紅外和可見光源圖像進行分解，分解層數為4層，小波基函數選擇“db4”，低、高頻分量的融合規則與本文所用的融合規則相同，如圖5為算法一得到融合圖像。算法二為基于NSCT的圖像融合算法得到的融合圖像，使用NSCT對配準好的待融合的紅外和可見光源圖像進行分解，使用‘9-7濾波器作為塔型分解濾波器，使用‘pkva濾波器作為方向濾波器，四個分解層的方向數量依次為3、3、4、4，低、高頻分量的融合規則與本文所用的融合規則相同，如圖6為算法二得到的融合圖像。算法三為基于NSST的圖像融合算法得到的融合圖像，使用NSST對配準好的待融合的紅外和可見光源圖像進行分解，NSST的參數設置與本文算法中NSST的參數設置一樣，分解后的低頻分量選擇加權平均的方法進行融合處理，高頻分量選擇絕對值取大的方法進行融合處理，如圖7為算法三得到的融合圖像。算法四為基于NSST的圖像融合算法得到的融合圖像，使用NSST對配準好的待融合的紅外和可見光源圖像進行分解，NSST的參數設置與本文算法中NSST的參數設置一樣，分解后的低頻分量選擇稀疏表示的方法，并選擇稀疏表示系數絕對值取大的融合規則選擇稀疏表示系數，高頻分量選擇PCNN的方法進行融合處理，PCNN模型的參數與本文所用的算法中PCNN參數一樣，如圖8為算法四得到的融合圖像。算法五為基于NSST的圖像融合算法得到的融合圖像，使用NSST對配準好的待融合的紅外和可見光源圖像進行分解，NSST的參數設置與本文NSST的參數設置一樣，分解后的低頻分量選擇稀疏表示的方法進行融合處理，并選擇空間頻率取大的融合規則選擇稀疏表示系數，高頻分量選擇PCNN的方法進行融合處理，PCNN模型的參數與本文所用的算法中PCNN參數一樣，如圖9為算法五得到的融合圖像。如圖10為本文算法得到的融合圖像。

5.3 實驗結果分析

為了客觀地評價圖像的融合效果，本文選擇空間頻率（SF）這一基于梯度值的評價指標和互信息量（MI）、邊緣保持度QAB/F兩種基于源圖像的評價指標對融合仿真結果進行評價分析。SF可以反映出空間域內圖像的總體活躍程度，MI計算源圖像有多少信息轉移到了融合結果中，而QAB/F利用Sobel邊緣檢測來衡量有多少邊緣信息從源圖像轉移到融合圖像[20]，三者的值越大，說明所采用的算法的融合性能越好。如表1為各種融合算法所得的融合圖像評價指標比較，從給出的6種融合算法的各項評價指標可以看出，采用同樣的融合規則，NSST分解方法融合圖像的SF、MI和QAB/F均高于DWT和NSCT分解方法融合圖像。NSST分解方法中，高頻域采用同的融合規則，低頻域使用稀疏表示的方法中，對稀疏表示系數采用基于SML取大的融合規則融合圖像的SF、MI和QAB/F的數值均高于采用稀疏系數絕對值取大和采用基于SF取大的融合規則融合圖像的數值，并且本文所提出的算法融合圖像的SF、MI和QAB/F的數值高于傳統的基于NSST分解的低頻域加權平均高頻域絕對值取大的融合圖像的數值。綜合主觀評價和客觀評價的各項指標可以看出，圖10的融合效果較為理想。

6 結論

本文以NSST為基本框架進行紅外和可見光圖像融合，將稀疏表示方法用于低頻分量的融合，將PCNN的方法用于高頻分量的融合，并對低頻域稀疏表示系數采用改進的拉普拉斯能量和（SML）取大的規則進行融合。與其他方法的對比實驗結果表明，本文提出的算法在主觀視覺效果的定性評價和客觀融合信息定量評價兩方面均優于其他幾種算法。

參考文獻：

[1] 苗啟廣，葉傳奇，湯磊，李偉生.多傳感器圖像融合技術及應用[M].西安.西安電子科技大學出版社，2014.

[2] 李博博，馬泳，張曉曄，樊凡.基于BMA濾波器和邊緣的紅外與可見光圖像融合[J].紅外技術，2018，40（2）：139-145.

[3] Do M N， Vetterli M.The contourlet transform： an efficient directional multiresolution image representation[J]. IEEE Transactions on Image Processing， 2005， 14（12）： 2091-2106.

[4] Qu Xiao-Bo，YAN Jing-Wen，XIAO Hong-Zhi，ZHU Zi-Qian. Image Fusion Algorithm Based on Spatial Frequency-Motivated Pulse Coupled Neural Networks in Nonsubsampled Contourlet Transform Domain[J]. Acta Automatica Sinica，Vol.34，No.12， pp： 1508-1514.Dec.2008.

[5] Da Cunha A L， Zhou J P， Do M N.The nonsubsampled contourlet transform： theory， design， and applications.IEEE Transactions on Image Processing， 2006， 15（10）： 3089-3101.

[6] D.Labate， W.Q.Lim， G.Kutyniok， et al. Sparse multidimensional representation using Shearlets[C]. Optics&Photonics 2005. San Diego： International Society for Optics and Photonics， 2005， 59140U-59140U-9.

[7] Easley G， Labate D， Lim W Q. Sparse directional image representations using the discrete shearlet transform [J]. Applied & Computational Harmonic Analysis， 2008，25（1）：25-46

[8] 楊勇，萬偉國，黃淑英，姚麗.稀疏表示和非下采樣Shearlet變換相結合的多聚焦圖像融合[J].小型微型計算機系統，2017，38（2）： 386-392.

[9] G.Guorong，X.Luping，and F.Dongzhu，“Multi-focus image fusion based on non-subsampled shearlet transform”，IET Image Process， Vol.7，No.6，pp：633–639，2013.

[10] K.Zhan，J.Shi，H.Wang，Y.Xie，Q.Li. Computational Mechanisms of Pulse-Coupled Neural Networks：A Comprehensive Review[J]. Archives of Computational Methods in Engineering.Vol.24，No.3，pp：573–588.July.2017.

[11] J.Zhang，K.Zhan，and Y.Ma. Rotation and scale invariant antinoise PCNN features for content-based image retrieval[J].Neural Network World.Vol.17，No.2，pp：121–132.20

[12] Easley G， Labate D， Lim W Q. Sparse directional image representations using the discrete shearlet transform[J]. Applied computational harmonic analysis， 2008， 25（1）： 25-46.

[13] 王志社，楊風暴，彭智浩.基于NSST和稀疏表示的多源異類圖像融合方法[J].紅外技術，2015，37（3）：210-217.

[14] B.A.Olshausen， D.J.Field. Emergence of simple-cell receptive field properties by learning a sparse code for natural images[J]. Nature，1996，381 （6583）： 607-609.

[15] 劉戰文，馮燕，李旭，丁鵬飛，徐繼明.一種基于NSST和字典學習的紅外和可見光圖像融合算法[J].西北工業大學學報，2017，35（3）：408-413.

[16] Yu Liu， Shuping Liu and Zengfu Wang， "A General Framework for Image Fusion Based on Multi-scale Transform and Sparse Representation"， Information Fusion， vol. 24， no. 1， pp. 147-164， 2015.

[17] Aharon M， Elad M， Bruckstein A. K-SVD： an algorithm for designing over complete dictionaries for sparse representation[J].IEEE Transactions on Signal Processing， 2006， 54（11）： 4311-4322.

[18] T.Lindblad J.M.Kinser.脈沖耦合神經網絡圖像處理[M]. 馬義德，綻琨，王兆濱，等.譯.北京.高等教育出版社，2008.

[19] Ming Yin， Xiaoning Liu， Yu Liu*， Xun Chen.Medical Image Fusion With Parameter-Adaptive Pulse Coupled Neural Network in Nonsubsampled Shearlet Transform Domain[J]. IEEE Transactions on Instrumentation and Measurement， in press， 2018.

[20] QU Xiao-bo，YAN Jing-wen，YANG Gui-de.Sum-modified-Laplacian-based Multifocus Image Fusion Method in Sharp Frequency Localized Contourlet Transform Domain[J].Optics and Precision Engineering， 17（5）： 1203-1202， June 2009.

【通聯編輯：梁書】