一種快速的基于稀疏表示和非下采樣輪廓波變換的圖像融合算法

趙春暉 郭蘊霆

?

一種快速的基于稀疏表示和非下采樣輪廓波變換的圖像融合算法

趙春暉*郭蘊霆

(哈爾濱工程大學信息與通信工程學院 哈爾濱 150001)

為了提高圖像融合的效率和質量，該文提出一種基于快速非下采樣輪廓波變換(NSCT)和4方向稀疏表示的圖像融合算法。該方法首先對源圖像進行快速NSCT分解，生成一系列低通和高通子帶。對于低頻子帶，利用自適應生成的DCT過完備字典進行快速的4方向稀疏表示和系數融合；對于高頻子帶，則利用高斯加權區域能量最大的融合規則進行系數融合?？焖貼SCT將傳統NSCT的樹形濾波結構轉變為多通道濾波結構，能成倍提高分解效率；快速的稀疏融合則拋棄了傳統的滑動窗口方法，以水平、垂直、對角線4個方向進行稀疏表示和稀疏融合，進一步提高算法效率。實驗結果表明，提出的快速算法能在不影響融合質量的條件下將算法效率提高近20倍。

圖像處理；圖像融合；非下采樣輪廓波變換；稀疏表示；快速算法

1 引言

由于成像機理和技術限制，單一傳感器獲取的圖像并不能反映被觀測對象的所有特征，因此需要對不同傳感器圖像中的有用信息進行提取，并融合成一副具備更完整信息，并有助于人類觀察和處理的圖像。

目前，已經有大量的圖像融合算法被相繼提出，其中基于多尺度分析的圖像融合算法從多尺度金字塔變換[1]開始，經由小波變換[2]，脊波變換[3]，曲波變換[4]等一系列算法發展，已取得了良好的融合效果。作為多尺度分析算法的代表，非下采樣輪廓波變換(Non-Subsampled Contourlet Transform, NSCT)[5]于2006年被提出，它在輪廓波變換(Contourlet Transform, CT)[6]的基礎上引入非下采樣思想，保證了分解過程中的平移不變性，解決了傳統算法在圖像分解時的頻譜混疊問題，獲得了漸進最優的圖像分析結果。在此基礎上，學者們相繼提出了不少行之有效的新算法，文獻[7]將閉環反饋與NSCT相結合，獲得較佳的魯棒性和融合清晰度。文獻[8]則將冗余提升小波變換與NSCT相結合，并引入新的多尺度分解算子與WA-WBA融合規則，能有效保持融合圖像細節。然而，這些算法的計算復雜度較高，制約了它們的廣泛應用。

近年來，隨著稀疏信號表示理論的發展，稀疏表示(Sparse Representation, SR)作為一種有效的信號處理手段已被應用于圖像融合領域中。與傳統的基于像素值和像素鄰域統計量的融合規則不同，稀疏表示提供了一種以原子結構特征為基本單元的融合手段，能夠提取像素間更深層次的結構特征并加以融合，以提供更優的圖像融合結果，因此得到圖像融合領域的廣泛關注。文獻[9]將稀疏融合方法直接應用于灰度圖像，并測試了不同的過完備字典對融合質量的影響。文獻[10]將稀疏與多尺度分解相結合，克服了稀疏表示對高頻信息不能完美逼近的缺點。文獻[11]將剪切波變換(Shearlet Transform, ST)與稀疏表示相結合，并應用于醫學圖像處理，取得了良好結果。然而，在這些方法中都使用了滑動窗口模型，存在巨量的冗余計算。此外，這些方法通常使用復雜的字典訓練模式，對不同類型的圖像適用性差，也影響了算法的效率。

因此，為了解決上述問題，本文提出一種基于快速NSCT和4方向稀疏表示的融合方法FNSCT- FDSR(Fast NSCT-Four Direction Sparse Representation)，利用多通道濾波器結構代替NSCT中的樹形濾波器結構，提高多尺度分解效率；利用4方向稀疏表示方法代替傳統的滑動窗口稀疏表示方法，減少算法的冗余計算量，進一步提高融合算法的處理效率。

2 非下采樣輪廓波變換

非下采樣輪廓波變換(NSCT)是在CT的基礎上，采用上采樣濾波器代替以往分解過程中的下采樣，避免了采樣過程導致的頻譜混疊，保證了分解過程中的平移不變性。它由非下采樣金字塔(Non- Subsampled Pyramid, NSP)和非下采樣方向濾波器組(Non-Subsampled Directional Filter Bank, NSDFB)兩個部分組成。

NSP是通過非下采樣塔式濾波器組，將源圖像迭代分解為不同頻帶的等大小子圖，保證NSCT的多尺度特性的過程。一個級NSP分解將生成一副低頻子帶圖像和幅不同尺度的高頻子帶。圖1(a)給出3級NSP的濾波器組結構和相應的頻率切分圖。

圖1 濾波器組結構和相應的頻率切分圖

NSDFB是通過樹形結構的方向濾波器組對NSP獲取的各級子帶圖像進行方向分解，以提供圖像的多方向信息。一般而言，每一級的NSDFB分解將會生成2幅方向子帶，其中表示分解級別。圖1(b)給出一個2級NSDFB的濾波器組結構和相應的頻率切分圖。

在NSCT中，每級濾波器都是由上一級的濾波器通過旋轉和上采樣得到，無需重新設計濾波器。分解所得的每一級子圖都與源圖像具有相同的大小，這與在分解過程中采用下采樣操作的傳統多尺度分解方法(如2維小波變換，輪廓波變換等)有著本質的不同。該性質確保了圖像分解過程中的平移不變性，克服了頻譜混疊現象，但同時也導致了相對較高的計算復雜度，影響了圖像分解的效率。

3 信號的稀疏表示理論

3.1 稀疏表示

信號的過完備稀疏表示，是利用一個具備大量冗余原子的超完備字典對輸入信號進行線性近似表示的過程。由于字典的過完備特性，用于線性近似表示信號的原子個數通常較少(即是稀疏的)，其中原子個數最少的表示(即最稀疏表示)為稀疏表示的理想解，其數學模型為

3.2 字典選取

在信號的稀疏表示中，過完備字典的選取直接影響到信號表示的有效性，包括稀疏度和誤差值。目前行之有效的字典選取主要包括兩種：一種是解析字典，通過預設的數學模型構建滿足需求(原子維數和字典大小)的過完備字典，常用的包括DCT、小波變換字典等；另一種是學習字典，通過對大量樣本數據進行訓練，得到更有針對性的過完備字典，目前常用的字典訓練算法主要有最優方向法(Method of Optimal Directions, MOD)和SVD[13]等。通常而言，解析字典是由數學模型直接獲得，獲取簡單且具有較高的普適性，但對圖像的高頻細節匹配性差，直接表現為較高的誤差值和稀疏度；而訓練字典的誤差項和稀疏度相對較小，但其適用范圍與訓練樣本直接相關，普適性較差且訓練成本高。

由分析可知，解析字典與訓練字典的主要性能差異體現在對高頻細節信息的逼近能力上。然而，由于在本文中采用了NSCT多尺度分析方法，稀疏融合只在低頻子帶中應用，無需對圖像的高頻細節信息進行逼近表示，因此，普適易用、獲取成本低的解析字典顯然具有更高的適用性，本文采用DCT過完備字典對圖像進行稀疏表示。

4 基于快速NSCT和4方向稀疏表示的圖像融合算法

4.1 多尺度分解：快速NSCT

由對NSCT的介紹中可知，NSCT被分解為NSP和NSDFB兩個部分，每個部分各自包含一組多級濾波器結構。也就是說，要獲取一副子帶圖像，需要對源圖像進行多次濾波，這顯著降低了圖像分解的效率。因此，若對每個分解子帶重新設計一個濾波器，將傳統的樹形結構濾波器組轉變為多通道濾波器組，使每個子帶圖像的獲取都只需經過一次濾波，則可以明顯提高算法效率。圖2給出2級快速NSCT與傳統NSCT的濾波器結構對比。

圖2 2級快速NSCT與傳統NSCT結構對比

如圖2所示，在快速NSCT中，傳統NSCT的樹形濾波器組結構被多通道濾波器組所代替，假定NSCT濾波器結構為2叉樹結構，在級分解中，濾波器個數可由傳統NSCT的個，減少至快速NSCT的個，對圖像進行濾波運算的次數相應減少，因此快速NSCT相比傳統NSCT能提高相應倍率的分解效率。

由于2維濾波的過程的計算復雜度為(4)，同時濾波器的尺寸遠小于圖像大小，因此重新設計通道濾波器的時間相對圖像濾波處理的時間可以忽略不計。

圖3 快速NSCT通道濾波器實現

由圖3和式(2)可知，快速NSCT濾波器是由傳統的NSCT濾波器卷積合并得到，它與NSCT濾波器組具有相同的頻域特性和濾波性能，滿足傳統NSCT濾波器組中的正交性和緊支撐性。需要注意的是，濾波器的卷積合并過程會造成濾波器的尺寸增加，需要對合并后的濾波器進行閾值為邊緣截斷(即將濾波器中小于的權值置0)。注意到圖像的灰度級別為256級，圖像存在值為1/512的固有量化誤差，而濾波器的截斷誤差遠小于該值，因此快速NSCT實現不會影響算法的分解和重構性能[14]。

下面給出快速NSCT的具體實現步驟：

(2)根據分解級別，通過梅花采樣矩陣對濾波器進行旋轉和上采樣，獲得相應的各級濾波器。

(3)將每一個通道的一組濾波器卷積合并，生成單一的通道濾波器，并去除值為零的濾波器邊界。

(4)將源圖像直接經過每個通道濾波器濾波，獲得分解結果。

同樣的方式適用于重構濾波器組設計，將各分子帶圖像經過相應的多通道重構濾波器濾波，并將濾波結果直接求和以獲得重構圖像。

4.2 低頻融合規則：4方向稀疏表示

在稀疏表示中，由于稀疏性的要求，過完備字典的大小與原子維數成正相關，圖像的數據量又相對較大，若直接對整幅圖像進行稀疏表示，則需要極為龐大的過完備字典規模，這反過來又加劇了OMP等稀疏系數求解算法的復雜性。此外，圖像的大小不一，不同圖像間的字典無法通用。因此，直接對圖像進行稀疏表示是不可行的。在現有的稀疏融合規則中，子帶圖像被劃分為同樣大小的塊，采用滑動窗口的形式對每一個窗內的圖像塊進行稀疏表示和融合。這種折中方法統一了字典的原子維數，更易于稀疏系數的求解和融合。然而，滑動窗口雖然減少了字典的規模和稀疏求解算法的復雜度，但是引入了巨量的冗余計算：以常用的8×8窗大小為例，在窗滑動過程中，一個圖像像素(除邊緣外)會被64個不同的窗選定并作為信號的一部分參與稀疏求解，也就是說，一個像素信息在傳統稀疏表示中需要被重復計算64次，嚴重影響圖像的融合效率。

為了解決上述問題，本文提出一種4方向稀疏表示(Four-Direction Sparse Representation, FDSR)，拋棄傳統的滑動窗口模型來提高融合效率。4方向包括水平、垂直、和4個方向，采用稀疏字典對每個方向上的一列(或一行)像素進行稀疏表示和系數融合，最后對獲得4個方向上的融合圖像進行平均，獲得最終的融合結果。在該過程中，每個像素的信息只被計算它在4個方向信號上的貢獻，相較傳統稀疏表示算法，重復計算次數從64次減少到4次，大大提高了算法速率。此外，由于FDSR方法使用的是圖像在4各方向上的行列信號，較傳統稀疏表示的塊狀窗口能提供更多的方向信息，提高融合效果。

圖4給出4方向稀疏表示模型的示意圖，其具體步驟如下：

(1)對低頻圖像進行鏡像邊緣擴展，避免稀疏表示邊界效應并方便字典原子維數設計。

(2)根據邊緣擴展后的圖像大小，生成兩組DCT過完備字典1和2，其原子維數分別等于圖像矩陣的行數和列數。

(3)參照圖4，對源圖像進行4方向稀疏表示，求解稀疏系數。

圖4 4方向稀疏表示示意圖

其中，為稀疏表示系數；=1,2,3,4，分別代表水平、垂直、和4個方向；為相應方向上的輸入圖像。

(4)分別對4個方向上的稀疏表示進行融合重構，采用取稀疏系數較大值的方式構建融合稀疏系數。

其中，上標,,分別表示低頻源圖像、低頻源圖像和低頻融合圖像。

(5)將4個方向上的融合圖像取平均，獲得最終的低頻融合圖像。

其中，表示最終的低頻融合圖像。

4.3 高頻融合規則：高斯加權的區域能量估計

在快速NSCT分解所得的高頻子帶中，高頻系數的值表示圖像細節的變化情況，直接反映圖像中的邊緣信息和紋理細節分布。較大的高頻系數值意味著更明顯的邊緣和紋理特征，需要在融合圖像中被更好地保留?？紤]到圖像系數間的空間相關性，將對融合系數的權重求解建立在以系數為中心的小范圍區域內的信息上是合理的。然而，由于中心系數與周邊系數對權重估計的貢獻不同，因此本文在區域能量估計(Regional Energy Estimate, REE)融合規則中引入高斯加權，對中心系數能量和周邊系數能量分配不同的權值。高斯加權的區域能量估計(Gaussian Weighted Regional Energy Estimation, GWREE)融合規則如下：

(1)對每一個高頻系數，根據式(1)計算其在3×3區域范圍內的能量。

其中，s,j為高頻子帶第行第列系數的活度，為高頻子帶第行第列的系數值。高斯

(2)根據各系數活度值，計算融合系數：

其中，,分別為源高頻系數子帶，為融合高頻系數子帶。

4.4 算法整體框架

基于上述內容，將本文算法的整體結構在圖5中給出。

圖5 算法流程框圖

參照圖5，詳述本文算法具體步驟如下：

(1)根據4.1節設計快速NSCT多通道濾波器組，獲取源圖像的多尺度多方向分解子帶。

(2)對低頻子帶，應用4方向稀疏表示融合規則，根據4.2節中步驟獲取低頻融合子帶。

(3)對高頻子帶，采取高斯加權區域能量估計融合規則，根據4.3節中步驟計算融合系數，獲取高頻融合子帶。

(4)將獲得的低頻融合子帶和高頻融合子帶進行快速NSCT反變換，獲得最終的融合圖像。

5 仿真實驗分析

將本文算法定義為FNSCT-FDSR，為了驗證其的有效性，本文將它與基于SR[9]的圖像融合方法、SR融合同步超分方法(SR-SR)[10]、采用K-SVD訓練字典和小波變換的SR算法(WT-KSVD)[15]，以及基于SR與NSCT相結合(NSCT-SR)[16]的圖像融合方法進行比較，其參數設置和融合規則選取按照相應文獻中的描述設定。實驗分別從主觀評價指標、客觀評價指標和耗時3個方面進行對比，實驗數據包括“UN Camp”圖像集(320×240)、“Garden”圖像集(280×210)、“Clock”圖像集(512×512)和“City”圖像集(254×136)，如圖6所示。實驗環境為Intel Core i7-2630QM CPU 2.1 GHz, RAM 4 GB。

圖6 實驗用圖像數據集

5.1 主觀評價指標

主觀評價指標是通過觀察者對被觀察圖像進行評價，從圖像的對比度、清晰度、可識別度等方面進行評價。主觀評價指標具有簡單、直觀的特點，在圖像融合評價中被廣泛使用。

圖7給出了4組圖像集在不同融合方法下的融合結果，其中各列圖像從左及右依次是，SR方法、SR-SR方法、WT-KSVD方法、NSCT-SR方法和FNSCT-FDSR方法的融合結果。由圖7中的對比可知，本文算法在灰度范圍和整體亮度上與源圖像較為匹配，相較SR和NSCT-SR方法能保留圖像更多的細節；SR-SR方法的層次感強，但細節丟失較嚴重；WT-KSVD方法則無法避免小波變換固有的方塊效應和吉布斯現象。總而言之，除了在圖像集“UN Camp”中對目標人物的突出不夠明顯外，本文算法相較前4者在主觀評價指標上具有一定的優勢。在“City”遙感圖像集中，本文算法的色彩保真度和圖像銳利度與NSCT-SR不相上下，高于SR算法和SR-SR算法，但在對比度方面略遜于WT- KSVD方法。

圖7 圖像融合結果對比

5.2 客觀評價指標

主觀評價指標雖然具有簡明直觀的特點，但受到觀察者的主觀意愿影響較大，并且對于相似度較大的融合圖像的質量評估困難，因此，本文在主觀質量評價指標之外引入互信息(Mutual Information, MI)、質量因子、視覺信息(Visual InFormation, VIF)和信息結構相似度(Structural SIMilarity, SSIM)4種客觀評價指標對融合圖像的質量進行定量評價[17]。MI反映融合圖像從源圖像中繼承的信息量，因子從對比度、亮度和相關性3個方面綜合評價融合質量，VIF主要評估圖像受到的模糊、全局和局部對比度失真，SSIM則從圖像的結構上評價圖像與源圖像的相似程度。除了互信息之外的評價指標的取值范圍都在0~1之間，所有評價指標都是越大越好。評價結果在表1~表4中給出，最優指標由粗體標示。

表1 “UN Camp”圖像集融合質量評價指標對比

從表1~表4中可以看出，在“UN Camp”圖像集中，本文算法在客觀評價上稍遜，但影響不明顯。而在另外4組圖像集中，本文算法除了在互信息指標上有所不如，其余指標皆略優于其他算法。定量評價結果顯示，本文算法在綜合融合性能上與4種對比算法不相上下，甚至略有勝出。

5.3 時間分析

在圖像融合中，除了圖像融合的質量外，圖像融合的時效性也是評價融合算法優劣的重要指標。然而，由于基于稀疏表示的圖像融合算法采用了滑動窗口模型，相關文獻大多回避了圖像融合算法的耗時。本文對SR, SR-SR, WT-KSVD, NSCT-SR和FNSCT-FDSR 5種算法在4組不同大小的圖像集上進行融合時間的對比，結果在表5中給出。

表5 各方法融合耗時對比(s)

從表5中可以看出，本文算法同時在圖像分解和稀疏融合規則上采用了新的快速實現，相比傳統的基于稀疏的圖像融合算法而言，以十數倍計地提高了融合速度，結合前文中的融合質量分析，本文算法能在不影響融合質量的前提下，大幅提高圖像融合的處理效率，證明了所提出算法的有效性。

6 結論

本文針對傳統的NSCT與稀疏表示融合規則算法復雜度高、處理速度低的問題，提出一種基于快速NSCT和4方向稀疏表示的圖像融合算法(FNSCT-FDSR)，在NSCT分解階段采用重新設計多通道濾波器的方式提高分解和重構效率，在低頻稀疏融合的階段采用4方向稀疏表示方法替代傳統的滑動窗口方式，進一步提高融合處理速度。實驗結果表明，該方法在不影響圖像融合質量，甚至還略有提高的前提下，能將圖像融合的處理速度提高至原有的十數倍，是一種快速有效的圖像融合算法。

[1] BURT P J and ANDELSON E H. The Laplacian pyramid as a compact image code[J]., 1983, 31(4): 532-540. doi: 10.1109/TCOM. 1983.1095851.

[2] LI H, MANJUNATH B, and ITRA S. Multisensor image fusion using the wavelet transform[J]., 1995, 57(3): 235-245.

[3] MINH N D and MARTIN V. The finite ridgelet transform for image representation[J]., 2003, 12(1): 16-28. doi: 10.1109/TIP.2002.806252.

[4] NENCINI F, GARZELLI A, BARONTI S,. Remote sensing image fusion using the curvelet transform[J]., 2007, 8(2): 143-156.

[5] CUNHA A L, ZHOU J, and DO M N. The nonsubsampled contourlet transform: theory, design, and applications[J]., 2006, 15(10): 3089-3101. doi: 10.1109/TIP.2006.877507.

[6] DO M N and VETTERLI M. The contourlet transform: an efficient directional multiresolution image representation[J]., 2005, 14(12): 2091-2106. doi: 10.1109/TIP.2005.859376.

[7] 楊曉慧, 賈建, 焦李成. 基于活性測度和閉環反饋的非下采樣Contourlet域圖像融合[J]. 電子與信息學報, 2010, 32(2): 422-426. doi: 10.3724/SP.J.1146.2008.01038.

YANG Xiaohui, JIA Jian, and JIAO Licheng. Image fusion algorithm in nonsubsampled contourlet domain based on activity measure and closed loop feedback[J].&, 2010, 32(2): 422-426. doi: 10.3724/SP.J.1146.2008.01038.

[8] 趙春暉, 馬麗娟, 邵國鋒. 采用WA-WBA與改進INSCT的圖像融合算法[J]. 電子與信息學報, 2014, 36(2): 304-311. doi: 10.3724/SP.J.1146.2013.00542.

ZHAO Chunhui, MA Lijuan, and SHAO Guofeng. An image fusion algorithm based on WA-WBA and improved non- subsampled contourlet transform[J].&, 2014, 36(2): 304-311. doi: 10.3724/ SP.J.1146.2013.00542.

[9] YANG B and LI S. Pixel-level image fusion with simultaneous orthogonal matching pursuit[J].

, 2012, 13(1): 10-19.

[10] LIU Y, LIU S, and WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]., 2015, 24(1): 147-164.

[11] ZHENG Wei, SUN Xueqing, HAO Dongmei,. Thyroid image fusion based on shearlet transform and sparse representation[J].-, 2015, 42(1): 77-83.

[12] YAGHOOBI M, WU D, and DAVIES M E. Fast non-negative orthogonal matching pursuit[J]., 2015, 22(9): 1229-1233. doi: 10.1109/LSP.2015. 2393637.

[13] ZHENG Hao and TAO Dapeng. Discriminative dictionary learning via Fisher discrimination K-SVD algorithm[J]., 2015, 2015(162): 9-15.

[14] ZHAO Chunhui, GUO Yunting, and WANG Yulei. A fast fusion scheme for infrared and visible light images in NSCT domain[J].&, 2015, 2015(72): 266-275.

[15] 首照宇, 胡蓉, 歐陽寧, 等. 基于多尺度稀疏表示的圖像融合方法[J]. 計算機工程與設計, 2015, 36(1): 232-235. doi: 10.16208/j.issn1000-7024.2015.01.042.

SHOU Zhaoyu, HU Rong, OUYANG Ning,Image fusion based on multi-scale sparse representation[J]., 2015, 36(1): 232-235. doi: 10.16208/j.issn1000-7024.2015.01.042.

[16] YIN H T, LI S T, and FANG L Y. Simultaneous image fusion and super-resolution using sparse representation[J]., 2013, 14(3): 229-240.

[17] QU G, ZHANG D, and YAN P. Information measure for performance of image fusion[J]., 2002, 38(7): 313-315.

Fast Image Fusion Algorithm Based on Sparse Representation and Non-subsampled Contourlet Transform

ZHAO Chunhui GUO Yunting

(,,150001,)

In order to improve the efficiency and quality of image fusion, a new image fusion algorithm based on four-direction Sparse Representation (SR) and fast Non-Subsampled Contourlet Transform (NSCT) is proposed. The proposed method firstly provides a series of low- and high-frequency sub-bands of source images via fast NSCT decomposition. Then adaptive DCT over-complete dictionary is used for the fast four-direction sparse representation and coefficients fusion of low-pass sub-band, while Gaussian weighted regional energy based fusion rule are used in high-pass sub-bands. Fast NSCT modifies the tree structure filter bank of traditional NSCT into multi-channel structure, and it saves about half of the time. The fast SR fusion method adopts a four-direction sparse representation for coefficients fusion instead of traditional sliding window method, and further improves the efficiency of algorithm. The experimental results show that the proposed fast fusion algorithm can improve the efficiency nearly 20 times without sacrificing fusion quality.

Image processing; Image fusion; Non-Subsampled Contourlet Transform (NSCT); Sparse Representation (SR); Fast algorithm

TP751.1

A

1009-5896(2016)07-1773-08

10.11999/JEIT150933

2015-08-13；改回日期：2016-04-07；網絡出版：2016-05-24

趙春暉 zhaochunhui@hrbeu.edu.cn

國家自然科學基金(61571145, 61405041)，黑龍江省自然科學基金重點資助項目(ZD201216)，哈爾濱市優秀學科帶頭人資金(RC2013XK009003)

The National Natural Science Foundation of China (61571145, 61405041), The Key Program of Heilongjiang Province Natural Science Foundation (ZD201216), Excellent Academic Leaders Program of Harbin (RC2013XK009003)

趙春暉： 男，1965年生，教授，主要研究高光譜圖像處理.

郭蘊霆： 男，1991年生，碩士生，研究方向為數字圖像處理、圖像融合.