基于稀疏表示的WMSN紅外和可見光圖像融合*

羅 暉，劉潔麗，祁美麗

(華東交通大學(xué)信息工程學(xué)院，江西 南昌 330013)

基于稀疏表示的WMSN紅外和可見光圖像融合*

羅 暉，劉潔麗，祁美麗

(華東交通大學(xué)信息工程學(xué)院，江西 南昌 330013)

在使用無線多媒體傳感網(wǎng)絡(luò)WMSN進(jìn)行環(huán)境監(jiān)測的過程中，對同一場景所采集的紅外和可見光源圖像進(jìn)行信息融合時，傳統(tǒng)的方法融合的數(shù)據(jù)量較大且沒有充分考慮其內(nèi)在稀疏性和豐富的結(jié)構(gòu)特征，圖像融合的質(zhì)量不高。將稀疏表示理論應(yīng)用于WMSN紅外和可見光圖像融合中，在原始DCT冗余字典基礎(chǔ)上，結(jié)合K-SVD字典訓(xùn)練算法和同步正交匹配追蹤SOMP算法對WMSN紅外和可見光圖像進(jìn)行有效的稀疏表示，并選擇自適應(yīng)加權(quán)平均融合規(guī)則對稀疏表示系數(shù)進(jìn)行融合處理。仿真結(jié)果表明，相對于傳統(tǒng)的基于空域及變換域的紅外和可見光圖像融合方法，該方法更能從WMSN含噪圖像中有效地保留源圖像的有用信息，獲得較好的融合效果。

無線多媒體傳感器網(wǎng)絡(luò)；圖像融合；稀疏表示；同步正交匹配追蹤；自適應(yīng)加權(quán)平均

1 引言

無線多媒體傳感網(wǎng)絡(luò)WMSN(Wireless Multimedia Sensor Networks)[1]是由一組具有計算、存儲和通信能力的多媒體傳感器節(jié)點組成的分布式感知監(jiān)測網(wǎng)絡(luò)，能夠針對特定監(jiān)測區(qū)域進(jìn)行大范圍的、快速的節(jié)點布置[2]，其在各個領(lǐng)域的應(yīng)用越來越廣泛。但是，在使用WMSN進(jìn)行監(jiān)測的過程中，需要傳輸大量的圖像數(shù)據(jù)，而其網(wǎng)絡(luò)能量受限；同時，外界環(huán)境的變化(如低照度、雨霧環(huán)境)導(dǎo)致采集的圖像含有大量的高斯噪聲，WMSN不能進(jìn)行全天候高質(zhì)量的圖像采集，因而需要對其進(jìn)行必要的圖像處理。

在監(jiān)測過程中，因為紅外圖像具有較強(qiáng)的目標(biāo)識別能力，不受光照、煙霧等條件限制，但圖像信噪比低、背景信息不充分[3]；而可見光圖像清晰度一般較高，能夠反映目標(biāo)場景的細(xì)節(jié)信息，與人眼視覺特性吻合，但在被遮擋或照度不佳的情況下，對比度較低，目標(biāo)特征不明顯。為了保證監(jiān)測的可靠性，可以同時采集紅外圖像和可見光圖像，并利用圖像融合技術(shù)進(jìn)行紅外、可見光圖像的融合，這樣可得到對目標(biāo)場景更為精確、全面的分析和判決[4]。將此技術(shù)運用于WMSN監(jiān)測網(wǎng)絡(luò)，不僅可以在一定程度上降低網(wǎng)絡(luò)傳輸數(shù)據(jù)量，也能實現(xiàn)全天候的圖像采集。

目前，紅外和可見光圖像融合的主要方法有兩類：空域融合和變換域融合。空域融合方法主要是進(jìn)行像素平均，該方法操作簡單，但會導(dǎo)致融合圖像對比度降低。變換域融合方法是先對源圖像進(jìn)行某種變換，再把這些變換系數(shù)作為融合算子進(jìn)行融合處理。

但是，此過程只是對變換系數(shù)進(jìn)行操作，任何一個系數(shù)的改變都有可能引起所有像素值的變化。同時，這兩類方法都沒有充分利用圖像的結(jié)構(gòu)特征和內(nèi)在稀疏性，難以獲得WMSN高質(zhì)量的融合圖像。

本文充分考慮WMSN圖像的結(jié)構(gòu)特征，采用具有全局性操作的稀疏逼近思想[5]，提出一種基于稀疏表示的WMSN紅外和可見光圖像融合方法。仿真實驗表明，該算法得到的融合圖像在主觀和客觀評價上都取得了較好的效果。

2 WMSN圖像的稀疏表示

WMSN中采集的紅外和可見光圖像能夠壓縮，說明它們具有冗余性，因此可以在冗余字典上對其進(jìn)行稀疏表示。為保證稀疏表示平移不變性，首先必須對圖像進(jìn)行交疊采樣，即通過一固定尺寸大小的滑動窗口將圖像交疊采樣為大小相同的圖像塊并按列展開。那么，WMSN圖像在超完備字典中的稀疏表示可按照以下模型進(jìn)行描述：

(1)

2.1 超完備字典構(gòu)建

字典的設(shè)計和產(chǎn)生是超完備稀疏表示理論的重要研究內(nèi)容之一。超完備字典僅使用表示系數(shù)的少數(shù)非零值即可捕捉圖像內(nèi)在結(jié)構(gòu)，在很大程度上決定了圖像結(jié)構(gòu)特征能否被有效地表示[6]。

目前有兩種方法獲得超完備字典：一是采用多種變換基構(gòu)造超完備字典，其數(shù)學(xué)模型簡單，自適應(yīng)性不強(qiáng)；二是通過學(xué)習(xí)、訓(xùn)練樣本來獲得超完備字典，如K-SVD[7]、PCA[8]、MOD[9]等訓(xùn)練方法。WMSN監(jiān)測中，采集的紅外和可見光圖像存在大量的邊緣、紋理等細(xì)節(jié)信息特征。而且，在低照度或雨霧等條件下采集的紅外和可見光圖像會存在高斯等噪聲，圖像會出現(xiàn)嚴(yán)重退化，不能滿足WMSN圖像的質(zhì)量要求。而從文獻(xiàn)[10～12]可以看出，K-SVD字典訓(xùn)練算法可在同一原始字典上同時實現(xiàn)多類圖像的稀疏估計與去噪，對含噪圖像具有較好的去噪魯棒性；算法非常靈活，可與多種稀疏分解最優(yōu)原子搜索算法結(jié)合使用。

故采用K-SVD訓(xùn)練算法在初始化字典DCT上同步更新字典與稀疏系數(shù)，大致過程如下：

(2)

其中，乘積DS被分解成K個秩為1的矩陣和。設(shè)其中K-1項是固定的，所剩的一個即是要處理的第k個。矩陣Ek代表的是去掉原子dk的成分在所有I個訓(xùn)練樣本中所造成的誤差。

2.2 稀疏分解方法

(3)

Figure 1 Process of the proposed image fusion based on sparse representation圖1 基于稀疏表示的WMSN紅外和可見光圖像融合框架

(3)更新稀疏系數(shù)及殘差，分別如式(4)和式(5)所示：

(4)

(5)

3 基于稀疏表示的WMSN紅外和可見光圖像融合

3.1 基于稀疏表示的圖像融合框架

在圖像融合過程中，本文引入稀疏表示理論，提出了一種新的WMSN紅外和可見光圖像融合方法。根據(jù)以上構(gòu)造的超完備字典，將輸入的紅外和可見光圖像(在仿真部分以同一場景采集的兩幅紅外和可見光圖像為例)進(jìn)行分塊并列向量化，然后計算各列向量在字典下的稀疏表示系數(shù)。此方法的具體實現(xiàn)過程如下：

(1)圖像列向量化。假設(shè)待融合圖像為配準(zhǔn)好的j幅大小為256×256的圖像(包括j/2幅紅外圖像xR和j/2幅可見光圖像xO)，利用一尺寸大小為4×4的滑動窗分別對這些圖像進(jìn)行交疊采樣為大小相同的圖像塊，并按列展開16×1維列向量。

(6)

3.2 融合規(guī)則

在圖像融合處理過程中，融合規(guī)則的選擇是非常重要的，會直接影響到最后的融合結(jié)果。采用絕對值最大法(MAV)可能會造成亮度對比度過高、部分圖像信息丟失等現(xiàn)象[14]。

而自適應(yīng)加權(quán)融合規(guī)則可以根據(jù)每個系數(shù)間的差異進(jìn)行權(quán)值分配;稀疏系數(shù)越大，所攜帶的信息量也越多，相應(yīng)地權(quán)值也會越大。基于以上分析，在利用SOMP算法獲得各圖像塊的稀疏系數(shù)后，根據(jù)式(7)計算出融合后的稀疏系數(shù)：

(7)

4 實驗仿真和結(jié)果分析

為了驗證該方法在WMSN圖像融合中的有效性和優(yōu)越性，分別用本文方法及另外三種圖像融合方法對加噪的紅外和可見光圖像進(jìn)行了融合效果比較。這些方法分別是基于空間梯度SG(Spatial Gradient)的紅外和可見光圖像融合、基于離散小波變換DWT(Discrete Wavelet Transform)的紅外和可見光圖像融合和基于稀疏表示的絕對值最大融合規(guī)則SR-MAV(Sparse Representation based on Absolute Value Maximum fusion rule)的紅外和可見光圖像融合方法。

采用 MATLAB 平臺，以在低照度和煙霧環(huán)境下的圖片為例。考慮到WMSN圖像監(jiān)測的復(fù)雜場景及高噪聲強(qiáng)度，本文采用加噪的低照度與煙霧環(huán)境下的紅外和可見光圖像，以近似真實地反映實際情況。如圖2和圖3所示，采用上述四種紅外和可見光圖像融合方法得到了不同的效果。

從仿真結(jié)果(如圖2和圖3所示)可以看出：在低照度和煙霧環(huán)境下，采用基于空間梯度SG和離散小波變換 DWT的融合方法所得的融合圖像模糊，細(xì)節(jié)信息不清晰。主要原因是信號本身和噪聲都被當(dāng)成有用信號被融合，造成邊緣和細(xì)節(jié)的銳度下降，而且背景噪聲也沒有很好地被去除。而基于稀疏表示的SR-MAV融合方法以能否被稀疏表示為標(biāo)準(zhǔn)將噪聲與有用信息區(qū)分開來，受環(huán)境影響較小，從而能夠獲得干凈的融合圖像。但是，采用基于SR-MAV的融合方法所得的融合圖像的亮度、對比度都過高，視覺效果并不是很好。

Figure 2 Results of noisy images fused in low illumination environment圖2 低照度下的加噪圖像融合結(jié)果

為了更客觀地評價融合圖像的效果和性能，避免主觀評價帶來的局限性，本文采用互信息量MI、均方根誤差RMSE、邊緣評價因子QAB/F作為客觀評價標(biāo)準(zhǔn)[15]。

從表1和表2的數(shù)據(jù)可以看出，本文方法：互信息量最大，表明從源圖像中繼承的信息越多；邊緣評價因子參考值最接近1，表明融合圖像保留了源圖像的邊緣信息也越多；均方根誤差RMSE最小，表明其融合圖像中的信息是最接近原始圖像的。

從視覺效果和客觀評價標(biāo)準(zhǔn)參考值均可看出，基于SG、DWT、SR-MAV的融合算法不如本文算法。

Figure 3 Results of noisy images fused in the fog environment圖3 煙霧環(huán)境下的加噪圖像融合結(jié)果

性能指標(biāo)融合方法SGDWTSR-MAV本文方法MI2.1182.1622.2112.313RMSE4.6874.4964.3893.925QAB/F0.4060.4280.4500.471

Table 2 Object performance of different

前兩種融合圖像稍顯模糊，細(xì)節(jié)均被噪聲干擾，有用信息不能有效獲得，所以其互信息量和邊緣評價因子小、均方根誤差大；基于SR-MAV的融合方法在亮度及對比度上的處理不夠理想，存在一些邊緣、紋理等的失真。鑒于以上分析，本文方法在強(qiáng)噪聲的低照度和煙霧環(huán)境下能從源圖像中繼承更多的有用信息，具有更好的融合性能，適用于WMSN紅外和可見光圖像的融合處理。

5 結(jié)束語

WMSN監(jiān)測過程中，其網(wǎng)絡(luò)能量受限，加之低照度或雨霧等條件影響，不能進(jìn)行全天候的有效監(jiān)測。本文利用WMSN圖像內(nèi)在稀疏性和結(jié)構(gòu)特征，提出一種新的基于稀疏表示的圖像融合方法，并將其應(yīng)用于WMSN紅外和可見光圖像融合中；采用這種圖像融合方法，能在保證全天候監(jiān)測的同時，減少數(shù)據(jù)傳輸量。仿真結(jié)果表明，在低照度和雨霧環(huán)境下的WMSN監(jiān)測環(huán)境中，基于稀疏表示的圖像融合方法更有效地捕捉了WMSN圖像的各種結(jié)構(gòu)特征，有效保留了圖像的有用信息，具有良好的融合效果。此結(jié)論在WMSN圖像融合系統(tǒng)中具有一定的實用價值。本文為考慮算法的實時性，所有源圖像均采用了基于DCT冗余字典的K-SVD訓(xùn)練方法，因此未來可以考慮針對不同種類的圖像使用不同的超完備字典。

[1] Akyildiz I F,Melodia T,Chowdhury K R.A survey on wireless multimedia sensor networks[J]. Computer Networks, 2007, 51:921-960.

[2] Harjito B, Han Song. Wireless multimedia sensor networks applications and security challenges[C]∥Proc of International Conference on Broadband, Wireless Computing, Communication and Applications,2010:842-846.

[3] Yang L, Zhou Y, Yang J, et al. Variance WIE based infrared images processing[J]. Electronics Letters, 2006, 42 (15):857-859.

[4] Kuang Yan, Wu Yun-feng. Research on image fusion for visible and infrared images[C]∥Proc of the 10th International Conference on Electronic Measurement & Instruments, 2011:77-79.

[5] Wan Tao,Qin Zeng-chang.An application of compressive sensing for image fusion[J]. International Journal of Computer Mathematics, 2011, 88(18):3915-3930.

[6] Fadili M J, Starck J L, Bobin J，et al. Image decomposition and separation using sparse representations:An overview[J].Proc of the IEEE, 2010, 98(6):983-994.

[7] Aharon M, Elad M, Bruckstein A. K-SVD:An algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Process, 2006, 54(11):4311-4322.

[8] Jolliffe I T. Principal component analysis[M]. New York:Springer, 2002.

[9] Engan K, Aase S O, Hus?y J H. Multi-frame compression:Theory and design[J]. Signal Process, 2000, 80(10):2121-2140.

[10] Elad M, Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]. IEEE Transactions on Image Process, 2006, 15(12):3736-3745.

[11] Protter M,Elad M.Image sequence denoising via sparse and redundant representations[J]. IEEE Transactions on Image Process, 2009, 18(1):27-35.

[12] Yu Nan-nan, Qiu Tian-shuang, Bi Feng, et al. Image features extraction and fusion based on joint sparse representation[J]. IEEE Journal of Selected Topics in Signal Processing, 2011, 5(5):1074-1082.

[13] Tropp J A, Gilbert A C, Strauss M J. Algorithms for simultaneous sparse approximation:Part I:greedy pursuit[J]. Signal Processing, 2006,86 (3):572-588.

[14] Li X, Qin S-Y. Efficient fusion for infrared and visible images based on compressive sensing principle[J]. IET Image Processing, 2011, 5(2):141-147.

[15] Liu Zheng, Blasch E, Xue Zhi-yun,et al. Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision:A comparative study[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012,34(1):94-109.

LUOHui,born in 1969,MS,associate professor,his research interests include multimedia information process, and wireless communication system.

劉潔麗(1988-),女,湖南岳陽人，碩士生，研究方向為多媒體信息處理。E-mail:Liujieli082711@163.com

LIUJie-li,born in 1988,MS candidate,her research interest includes multimedia information process.

祁美麗(1987-),女,江蘇連云港人，碩士生，研究方向為無線傳感器網(wǎng)絡(luò)。E-mail:qml_jxnc@163.com

QIMei-li,born in 1987,MS candidate,her research interest includes wireless sensor network.

InfraredandvisibleimagefusioninWMSNbasedonsparserepresentation

LUO Hui，LIU Jie-li，QI Mei-li

(School of Information Engineering,East China Jiaotong University,Nanchang 330013,China)

When Wireless Multimedia Sensor Network (WMSN) is used for environment detection and the infrared image and the visible image collected from the same scene are fused, the traditional approaches have large amount of fused data and do not fully consider the internal sparsity and the complexity of structure features, so the fusion quality is low.The theory of sparse representation is applied to WMSN infrared and visible image fusion. Based on the original DCT redundant dictionaries, the K-SVD training method is combined with the Simultaneous Orthogonal Matching Pursuit (SOMP) algorithm to do effective sparse representation for WMSN infrared images and visible images.And adaptive weighted average fusion rule is selected to deal with the sparse representation coefficients.Experimental results show that,compared with traditional infrared and visible image fusion methods based on spatial and transformed domains, the proposed method can effectively preserve the useful information and get the better fused image.

WMSN;image fusion;sparse representation;simultaneous orthogonal matching pursuit;adaptive weighted average

1007-130X(2014)05-0957-06

2013-01-17;

：2013-05-10

國家自然科學(xué)基金資助項目(61261040)

TP391.4

：A

10.3969/j.issn.1007-130X.2014.05.029

羅暉(1969-),男,江西南昌人，碩士，副教授，研究方向為多媒體信息處理和無線通信系統(tǒng)。E-mail:lh_jxnc@163.com

通信地址：330013 江西省南昌市華東交通大學(xué)信息工程學(xué)院

Address:School of Information Engineering,East China Jiaotong University,Nanchang 330013,Jiangxi,P.R.China