基于SCM和CST的紅外與可見光圖像融合算法

王 聰，錢 晨，孫 偉，韋 瑋

?

基于SCM和CST的紅外與可見光圖像融合算法

王 聰1，錢 晨1，孫 偉2，韋 瑋1

（1. 南京郵電大學 光電工程學院，江蘇 南京 210023；2. 北京交通大學 信息科學研究所，北京 100044）

針對紅外與可見光圖像的成像特點及目前紅外與可見光圖像融合中融合圖像信息量不足的問題，結合復剪切波變換（Complex Shearlet transform，CST）及脈沖發放皮層模型（Spiking cortical model，SCM）的優點，本文提出了一種新的紅外與可見光圖像融合算法。首先，利用紅外圖像目標與背景灰度的顯著差異，通過區域生長方法從紅外圖像提取目標區域；然后用CST對源圖像進行分解，對源圖像的目標區域和背景區域系數分別采用不同的融合規則進行融合，其中背景區域的高頻子帶系數利用SCM進行選擇；最后，經過CST逆變換重構融合圖像。研究結果表明，與其它的紅外與可見光圖像融合算法相比，本方法在視覺效果和客觀評價指標上都得到了提升。

圖像融合；紅外圖像；可見光圖像；目標提取；CST；SCM

0 引言

無論是軍事還是民用方面，紅外與可見光圖像都是最常用的兩類圖像。可見光圖像可以很好地顯示整個應用場景的全貌，更好地描述目標周圍的實際環境，從為執行者提供更好的導向，但是可見光圖像對隱藏的目標很難進行有效地展示。而紅外圖像雖然對場景的亮度變化不敏感，卻可以根據應用場景的溫度進行成像，具有識別偽裝的能力，可以有效地應對光照、天氣、遮擋因素等的影響[1]，從而能夠很好地對目標進行指示。從兩者的特點可以看到，紅外與可見光圖像具有很好的信息互補性，可以將兩者進行融合，從而有效地擴展成像系統目標探測能力，提高成像系統的目標指向特點，在航空、遙感、國防等諸多領域具有重要的應用價值[2]。

目前，紅外圖像與可見光圖像的融合方法主要可以分為兩類：空域算法和頻域算法。空域算法主要包括加權平均法[3]等；變換域算法主要有基于小波變換的圖像融合算法[4-5]、基于輪廓波變換（Contourlet transform，CT）圖像融合算法[6-8]、基于剪切波變換（Shearlet transform，ST）的圖像融合算法[9]等。由于CT具有很好的視覺感知性，因此基于CT的圖像融合算法是目前流行的一類算法。但是，CT在進行方向分解時需要進行下采樣操作，因而CT不具備移不變性，這導致基于CT的圖像融合算法往往會在圖像融合過程中引入偽吉布斯現象[10]。非下采樣輪廓波變換（Non-subsampled Contourlet transform，NSCT）[8]作為CT的改進形式，雖然能夠克服偽吉布斯現象，但是由于進行了非下采樣操作，所以NSCT的運算速度較慢。為此，Guo和Labate通過具有合成膨脹的仿射系統構造了一種接近最優的圖像稀疏表示方法：ST[11]。ST不僅數學結構簡單，并且方向表示性能更好，但ST的離散化過程是通過下采樣策略實現，因而也不具備移不變性。因此，文獻[12-13]利用雙樹復小波變換結合剪切濾波器提出了CST。CST不僅具有移不變性，可克服ST的Gibbs效應，而且增強了ST的方向選擇性，具有更優越的圖像處理性能，能夠很好地滿足后續各種處理的要求。

同時，紅外與可見光圖像融合算法的好壞還取決于融合規則的選擇。基于區域或目標的融合規則是將特征級融合和像素級融合相結合，使用分割的方法將感興趣的區域圖像劃分為不同的區域，并根據不同區域的特點指導像素級融合，與其他的方法相比，這種基于區域或目標的融合規則能獲得更好的融合效果[14]。SCM是一種模擬貓、猴等動物的大腦視覺皮層細胞對視覺信號的處理機制而產生的一類新型神經網絡模型，與脈沖耦合神經網絡（Pulse coupled neural network，PCNN）相比，計算更方便，性能更明顯，因此在圖像處理中得到了廣泛的應用[15]。為了更好地利用兩者的特點，本文首先利用通過區域生長方法從紅外圖像提取目標區域，然后將源圖像分為目標區域和背景區域分別進行CST分解，對目標和背景區域系數分別采用不同的融合規則進行融合，其中背景區域的高頻子帶系數利用SCM進行選擇。最后，經過CST逆變換重構融合圖像。

1 復剪切波變換

剪切波可以通過經典仿射系統理論把幾何與多分辨分析結合起來構造得到[12-13]。當維數＝2時，剪切波變換系統為：

剪切波的離散化過程主要分兩步[12-13]：多尺度分解和方向分解。標準的剪切波先通過拉普拉斯變換進行尺度分解，再通過剪切波進行方向分解。由于拉普拉斯變換不具有移不變性，因此標準的剪切波變換也不具有移不變性。而CST則通過利用具有移不變性的雙樹復小波變換代替拉普拉斯變換進行尺度分解，從而使整個變換具有移不變性[12-13]。將CST運用到多源圖像融合領域，能夠為融合后的圖像提供更多的有用信息。因此本文將CST運用于紅外圖像與可見光圖像的融合中，提出基于CST的紅外與可見光圖像融合方法。

2 區域生長算法

區域生長的基本思想是將具有相似性質的像素集合起來構成區域。由于紅外成像是熱輻射成像，而一般目標和背景具有較大的溫差，所以根據紅外成像的特點，目標區域具有較高的溫度可以很容易被捕捉得到，并且同一目標的溫差一般都是均勻且穩定的，因此，溫度相近的部分通常被認為是同一目標或背景。本文采用區域生長的方法提取紅外圖像中的目標[16]。

區域生長的基本思想是將具有相似性質的像素集合起來構成區域。本文采用區域生長的方法提取紅外圖像中的目標[16]。區域生長法的具體步驟如下[16]：

1）選擇或確定一組能正確代表所需區域的種子像素（本文選取最亮的點為種子）。

2）確定在生長過程中能將相鄰相素包含進來的準則，本文采用基于區域灰度差的區域生長準則提取目標。

3）確定讓生長過程停止的條件或規則，生長過程的停止是通過設定門限來實現的，當不再有像素滿足加入這個區域準則時，區域生長停止。

圖1是本文通過區域增長法提取目標的實驗結果。

3 脈沖發放皮層模型

在SCM中，每個神經元由3部分組成：輸入和連接域，調制產生器和脈沖發生器，如圖2所示。在以下表達式中，和指的是圖像中的像素位置；和是指其相鄰像素的位置；表示當前迭代次數。

連接域和調制產生器的關系為下式：

(a)紅外圖像

(b)目標圖像

圖2 SCM模型示意圖

式中：U()表示內部活性；是U()的衰減系數。S是外部激勵；為權重卷積矩陣，是神經元之間的連接權重；Y(－1)是上一次的輸出脈沖。公式(3)中確定模型的點火事件。Y()依賴于內部的活動項U()和閾值E()：

神經元的動態閾值E()定義為：

E()＝gE(－1)＋hY(－1) (4)

式中：和分別是衰減和閾值放大系數。

SCM網絡未被激活時，神經元的內部活動項能量為0，此后，隨著迭代次數的增多，內部活動項能量逐步增大，每當其大于動態閾值時，即發放脈沖、輸出點火狀態，設T()為經過次迭代后神經元的點火次數，則有：

T()＝T(－1)＋Y() (5)

SCM網絡中的神經元通過局部耦合構成一個全局互連的神經網絡。耦合連接的SCM網絡是相似性集群發送同步脈沖的。利用這一特性，本文將點火次數的多少作為融合規則進行圖像融合。

4 圖像融合過程

圖像融合流程如圖3所示。具體步驟如下：

1）對紅外圖像運用區域生長法進行目標提取，得到目標區域和背景區域，并將區域投影到可見光圖像上。

2）分別對紅外圖像和可見光圖像進行CST分解，得到多尺度分解系數{C,k(,), C,k(,)}(＝,；＝,)，其中，C,k(,)和C,k(,)分別表示紅外（或可見光）圖像尺度方向上(,)像素處的低頻和高頻子帶系數。

3）對不同區域的低頻和高頻子帶系數分別使用不同的融合策略，獲得融合后的系數{C,k(,), C,k(,)}(＝,)，其中，C,k(,)和C,k(,)分別表示融和圖像目標（或背景）區域尺度方向上(,)像素處的低頻子帶系數和高頻子帶系數。

4）對融合后的系數進行CST逆變換，重構融合圖像。

4.1 目標區域融合規則

為了保證紅外圖像的熱目標信息能夠最大限度地加入到融合圖像，目標區域直接選取紅外圖像的分解系數作為融合系數。

C,k(,)＝C,k(,)，C,k(,)＝C,k(,)，(,)?(6)

4.2 背景區域融合規則

4.2.1 背景區域低頻融合規則

可見光圖像的低頻系數包含了大量的背景細節信息，所以選取可見光圖像的低頻系數作為融合圖像的低頻系數：

C,k(,)＝C,k(,)，(,)?(7)

4.2.2 背景區域高頻融合規則

在高頻子帶的處理中，CST的高頻子帶系數代表了圖像的細節分量。本文采用上述SCM算法選擇高頻子帶系數。由于文獻[17]證明拉普拉斯能量和（MSLP）可以很好的反映圖像的邊緣特征信息，因此本文采用MSLP作為SCM的輸入。MSLP定義為：

其中：

式中：step代表像素間的可變間距，本文取step＝1；C,k(,)表示紅外（或可見光）圖像在尺度方向上(,)像素上的NSST系數；(,)表示LP,k(＋,＋)所對應的系數權值矩陣；MSLP,k(,)表示紅外（或可見光）圖像在尺度方向上(,)處的CST系數對應的改進的拉普拉斯能量和。

然后計算每個高頻系數的點火次數：

T,j,k()＝T,j,k(1)＋Y,j,k() (10)

當SCM迭代次后，由式(10)可以得到由DM,k(,)表示的點火頻率映射圖：

根據式(11)即可確定融合圖像背景區域的高頻系數。通過對上面得到的融合系數做CST逆變換，即可重構得到基于目標提取和CST的融合圖像。

5 仿真驗證

本文的試驗平臺是一臺CPU主頻為3.4GHz、4G內存的PC，Matlab 2012a的編譯環境，為了驗證該算法有效性，本節選取兩組同一場景的紅外與可見光圖像進行融合仿真實驗，并與基于離散小波變換（DWT）的傳統融合算法以及基于平移不變的小波（SIDWT）和PCNN（SIDWT-PCNN）[5]、基于CT和PCNN（CT-PCNN）[6]、基于尖銳頻率局部化Contourlet變換和改進拉普拉斯能量和（SFLCT-SML）[7]以及基于NSCT和SF激勵的PCNN（NSCT-SFPCNN）[8]的方法進行對比融合試驗。如圖4所示。基于DWT的傳統融合算法采用簡單的低頻系數取平均、高頻系數模值取大的融合規則；DWT算法和SIDWT算法均采用“db4”小波進行4層小波分解；CT、SFLCT、NSCT以及本文的CST分解參數均為2，3，3，4；比較算法其他參數與參考文獻相同。SCM參數設置如下：＝0.7，＝0.8；＝[0.1091, 0.1409, 0.1091; 0.1409, 0, 0.1409; 0.1091, 0.1409, 0.1091]；迭代次數為＝40。

圖5與圖6所示分別是上述兩組源圖像采用不同融合方法得到的融合結果。

圖3 融合算法框架

Fig. 3 Framework of fusion algorithm

圖5表明：融合結果圖5(a)、(c)不僅邊緣細節相對較模糊，而且還引入了一定程度的“虛影”；圖5(e)在紅外目標附近引入了明顯的“虛影”；圖5(b)、(d)、(f)的視覺效果比較接近，它們都很好地融入了紅外源圖像中的熱目標的信息，而且邊緣細節清楚，但圖5(b)、(d)中可見光源圖像中房子周圍的樹木信息不如圖5(f)融合的好，因此圖5(f)的融合圖像優于參與比較的其他5種方法的融合圖像。對于圖6，融合結果圖6(a)、(b)、(d)的清晰度低于其余3種方法所得的融合圖像，圖6(e)引入了明顯的“虛影”，圖6(c)、(f)的視覺效果比較接近，但圖6(c)中海與岸連接的邊緣細節相對較粗糙，因此圖6(f)的融合圖像優于參與比較的其他5種方法的融合圖像。由此可知，本文提出的融合方法在主觀視覺效果上要優于參與比較的其他5種融合方法。

圖4 源圖像

圖5 第1組圖像的融合結果

圖6 第2組圖像的融合結果

從主觀視覺效果來看，本文方法所得的融合圖像邊緣更清晰、細節和紋理保留更豐富；差值圖也說明本文方法對聚焦部分獲得了更好的融合。對融合效果的評價，除了從主觀視覺效果來定性分析，還可以采用相關的客觀評價指標進行定量分析。本文采用標準差（Standard deviation，STD）[18]、互信息（Mutual Information，MI）[18]、Q/F度量[18]和結構相似度（Structural similarity，SSIM）[18]對融合效果進行客觀評價。STD反映圖像灰度相對平均灰度的離散情況，STD越大，灰度級分布越分散，圖像反差越大，融合圖像越清晰。MI計算源圖像有多少信息轉移到了融合結果中，MI越大，說明融合圖像中包含了越多的源圖像的信息。Q/F衡量有多少邊緣信息從源圖像轉移到了融合圖像，Q/F越大，表明融合圖像從源圖像獲得的邊緣信息越豐富。SSIM衡量融合圖像與源圖像的結構相似度，SSIM越大，說明融合圖像中與源圖像的結構越相似。

表1與表2給出了上述6種融合方法客觀評價指標的對比結果。從表1與表2可以看出，對于兩組源圖像而言，本文算法的指標都是最優的。在表1中，在STD這個指標中，我們的算法比次高的算法NSCT-SFPCNN高出2.56%，這說明本文的算法得到的融合圖像的圖像反差最大，融合圖像更清晰。在MI這個指標中，我們的算法比次高的算法NSCT-SFPCNN高出25.33%，這說明本文的算法得到的融合圖像包含了更多的源圖像信息。在Q/F這個指標中，我們的算法比次高的算法NSCT-SFPCNN高出5.06%，這說明本文的算法得到的融合圖像從源圖像獲得的邊緣信息更豐富。在SSIM這個指標中，我們的算法比次高的算法SFLCT-SML高出0.10%，這說明本文的算法得到的融合圖像與源圖像的結構更相似。而在表2中，我們的算法比次高的算法那在STD、MI、Q/F和SSIM這4個指標中分別高出了0.20%、1.50%、0.41%和0.10%，同樣說明我們的算法具有更好的融合效果。這些主客觀評價結果都說明，本文提出的方法能夠很好地將源圖像中的有用信息提取并注入到融合圖像中。因此綜合來看本文所提出算法是一種比較好的值得推廣的圖像融合算法。

6 結論

本文提出了一種基于目標提取和SCM的CST域紅外與可見光圖像融合算法，首先對紅外圖像做基于區域生長法的目標提取，得到目標區域和背景區域，然后對紅外圖像和可見光圖像分別做基于CST的多尺度分解，分別對位于目標區域和背景區域的低頻和高頻系數采用不同的融合規則，其中對背景區域的高頻子帶系數采用MSLP作為SCM輸入，利用點火次數進行系數融合；最后，經過CST逆變換重構融合圖像。研究表明，與基于小波變換、基于CT、基于SFLCT和基于NSCT的紅外與可見光圖像融合算法相比，本文方法在視覺效果和客觀評價指標上都得到了進一步的提升。

表1 第1組圖像不同融合方法客觀評價指標對比

Table 1 Objective evaluation of different methods on group 1

表2 第2組圖像不同融合方法客觀評價指標對比

Table 2 Objective evaluation of different methods on group 2

[1] 高國榮, 劉艷萍. 基于非抽樣Shearlet變換的紅外與可見光圖像融合方法[J]. 農業機械學報, 2014, 45(3): 268-274.

GAO G R, LIU Y P. Infrared and visible light images fusion algorithm based on non-subsampled Shearlet transform[J]., 2014, 45(3): 268-274.

[2] 張素文, 陳娟. 基于非負矩陣分解和紅外特征的圖像融合方法[J].紅外技術, 2008, 90(8): 446-449.

ZHANG S W, CHEN J. A image fusion method based on non-negative matrix factorization and infrared feature[J]., 2008, 90(8): 446-449.

[3] OLIVER R, THOMAS F. Pixel-level image fusion: The case of image sequences[J]., 1998, 33(74): 378-388.

[4] MA H, JIA C Y, LIU S. Multisource image fusion based on wavelet transform[J]., 2005, 11(7): 231-240.

[5] LI W, ZHU X F. A new algorithm of multi-modality medical image fusion based on pulse-coupled neural networks[C]//, Changsha, China: Springer, 2005, 3610: 995-1001.

[6] 方勇, 劉盛鵬. 基于Contourlet變換和改進型脈沖耦合神經網絡的圖像融合方法[P]. 上海: CN1873693, 2006-12-06.

FANG Y, LIU S P. Infrared image fusion algorithm based on Contourlet transform and improved pulse coupled neural networks: China, 1873693A [P]. 2006-12.

[7] 屈小波, 閆敬文, 楊貴德. 改進拉普拉斯能量和的尖銳頻率局部化Contourlet域多聚焦圖像融合方法[J]. 光學精密工程, 2009, 17(5): 1203-1212.

QU X B, YAN J W, YANG G D. Sum-modified-Laplacian-based multifocus image fusion method in sharp frequency localized Contourlet transform domain[J]., 2009, 17(5): 1203-1212.

[8] 屈小波, 閆敬文, 肖弘智, 等. 非降采樣Contourlet域空間頻率激勵的PCNN圖像融合算法[J]. 自動化學報, 2008, 34(12): 1508-1514.

QU X B, YAN J W, XIAO H Z, et al. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in non-subsampled Contourlet transform domain[J]., 2008, 34(12): 1508-1514.

[9] GENG P, WANG Z Y, ZHANG Z G, et al. Image fusion by pulse couple neural network with Shearlet[J]., 2012, 51(6): 067005-1-067005-7.

[10] DO M N, VETTERLIi M. The contourlet transform: an efficient directional multiresolution image representation[J]., 2005, 14(12): 2091-2106.

[11] GUO K, LABATE D. Optimally sparse multidimensional representation using Shearlets[J]., 2007, 39(1): 298-318.

[12] 劉帥奇, 胡紹海, 肖揚. 基于復Shearlet域的高斯混合模型SAR圖像去噪[J]. 航空學報, 2013, 34(1): 173-180.

LIU S Q, HU S H, XIAO Y. SAR image de-noising based on complex shearlet transform domain gaussian mixture model[J]., 2013, 34(1):173-180.

[13] LIU S Q, HU S H, XIAO Y. Image separation using wavelet-complex Shearlet dictionary[J]., 2014, 25(2): 314-321.

[14] 孔韋韋, 雷英杰. 基于NSST域人眼視覺特性的圖像融合方法[J].哈爾濱工程大學學報, 2013, 34(6): 777-782.

KONG W W, LEI Y J. Technique for image fusion based on NSST domain and human visual characteristics[J]., 2013, 34(6): 777-782.

[15] LIU S, ZHAO J, SHI M Z. Medical image fusion based on rolling guidance filter and spiking cortical model[J]., 2015, 2015: 1-9.

[16] 桑高麗, 宣士斌, 趙波, 等. 采用目標提取和NSCT的紅外與可見光圖像融合[J]. 計算機工程與應用, 2013, 49(11): 172-176.

SANG G L, XUAN S B, ZHAO B, et al. Fusion algorithm for infrared and visible light images using object extraction and NSCT[J]., 2013, 49(11): 172-176.

[17] 王志慧, 趙保軍, 沈庭芝. 基于MMPN和可調節鏈接強度的圖像融合[J]. 電子學報, 2010, 38(5): 1162-1166.

WANG Z H, ZHAO B J, SHEN T Z. Image fusion based on MMPN and adjustable linking strength[J]., 2010, 38(5): 1162-1166.

[18] 孫偉. 剪切波變換在圖像融合中的應用研究[D]. 北京: 北京交通大學.

SUN W. Research on Application of Shearlet Transform in Image Fusion[D]. Beijing: Beijing Jiaotong University, 2015.

Infrared and Visible Images Fusion Based on SCM and CST

WANG Cong1，QIAN Chen1，SUN Wei2，WEI Wei1

(1.College of Optoelectronic Engineering,Nanjing University of Posts and Telecommunications, Nanjing 210023, China;2. Institute of Information Science, Beijing Jiaotong University, Beijing 100044, China)

The imaging characteristics of the infrared and visual images and the insufficient information content of the fused images considered and the benefits of complex Shearlet transform（CST） and spiking cortical model（SCM）combined with, a new kind of infrared and visual image fusion algorithm is proposed. First, the object distilled from infrared image are segmented by region growing method. Then, CST is utilized for multiscale decomposition of the source images, and the object regions and background region are fused by different rules. The high frequency sub-band coefficients of background region are selected by using the SCM, and finally the fused image is reconstructed by the inverse CST. Experimental results demonstrate that the proposed fusion algorithm outperforms other fusion algorithms in terms of visual appearance and objective evaluation criteria.

image fusion，infrared image，visible image，object extraction，CST，SCM

TN911.73，TN911.6

A

1001-8891(2016)05-0396-07

2015-12-07；

2016-01-07.

王聰（1990-），男，江蘇宿遷人，研究生，主研可見光通信系統及圖像融合算法。E-mail：15895888221@163.com。

韋瑋（1960-），女，博士生導師，主研新型激光、光纖材料與器件等。E-mail：weiwei@njupt.edu.cn。