一種新的基于壓縮感知的多焦點圖象融合方法*

宋 斌，吳樂華，王 開，郭輝，岳 鑫

(重慶通信學院，重慶 400035)

?

一種新的基于壓縮感知的多焦點圖象融合方法*

宋 斌，吳樂華，王 開，郭輝，岳 鑫

(重慶通信學院，重慶 400035)

提出一種基于壓縮感知和脈沖耦合神經網絡的圖像融合算法，包括三部分：圖像傅里葉變換稀疏表示、測量融合和圖像重構。首先，將雙通道脈沖耦合神經網絡(Dual-PCNN)模型應用到整個算法當中；其次，針對新的融合框架及傅里葉變換的系數特點，提出雙星型采樣下基于測量值標準差的加權融合方法；最后，通過最小全變分算法重構圖像。實驗仿真結果證明該方法優于其他基于傅立葉變換的方法。

壓縮感知；圖像融合；雙通道脈沖神經網絡；標準差

0 引 言

圖像融合就是通過某種算法將不同傳感器獲取的同一個場景的多個成像信息融合為一幅新圖像，融合后的圖像具有比源圖像更豐富、更精確的信息，更適合人類視覺及計算機檢測、分類、識別、目標定位、情景感知等處理[1]。多焦點圖像融合作為圖像融合的一個重要分支，它可將多幅已經配準的、成像條件相同的同一場景的不同聚焦圖像，融合成一幅更加清晰的圖像。傳統的圖像融合算法主要是基于多尺度變換，如金字塔融合、離散小波變換融合等[2-4]。近幾年，Johnson和Padgett[5]發現脈沖耦合神經網絡(Pulse Coupled Neural Network, PCNN)可以有效運用于圖像融合領域[6-8]。但是以上這些傳統圖像融合方法主要處理是其變換域數據或原始數據，要對每一個數據進行計算，需要得到原始圖像的先驗信息、較大的存儲空間以及較高的計算復雜度。壓縮感知(Compressive Sensing ,CS)理論表明，若信號是稀疏或可壓縮的，則可用少量的非自適應線性測量值即可精確重構原始信號[9]。在圖像融合處理中，CS的優勢在于能有效減少存儲空間和計算成本，且可不用獲取被觀察信號的任何先驗信息。

本文結合PCNN圖像融合算法及CS理論的特點，為了盡可能多的獲取圖像的細節信息提出一種新的基于壓縮感知的圖像融合算法，首先將雙通道脈沖耦合神經網絡(Dual-channel Pulse Coupled Neural Network, Dual-PCNN)模型作為一個重要組成部分應用到整個融合算法當中，并結合傅立葉稀疏變換的系數特點，采用雙星型采樣下基于測量值標準差(Standard Deviation,SD)的加權融合方法，實驗證明該方法能夠有效進行圖像融合，并獲得較好的融合質量。

1 壓縮感知基本原理

設一個實值、有限長的一維離散信號x，可視為x{n}∈RN中的一個N×1列向量(n=1, 2, …,N)。若信號x可表示為：

x=Ψα

(1)

其中，Ψ是N×N基向量矩陣，若α只包含K個非零向量，則稱x是K稀疏[9]。

通過y=Φx得到壓縮測量值，其中y∈RM，Φ是M×N測量矩陣，可得：

y=ΦΨα=Θα

(2)

雖然從M

2 一種新性的基于壓縮感知的圖像融合

本文的圖像融合框架如圖1所示，為了從原圖像中獲得更加豐富的細節信息，將Dual-PCNN模型有效應用到整個融合框架中。其中，x1、x2是原圖像A、B經過傅里葉變換后的稀疏信號，x3是原圖像A、B在Dual-PCNN模型作用下再經過傅里葉變換后的稀疏信號；y1、y2、y3分別為稀疏信號x1、x2、x3經過同一測量矩陣Φ測量后的值，使用基于SD的加權平均融合規則對y1、y2、y3進行融合得到y，然后更適合二維圖像重構的全最小全變分(Total Variation, TV)法[10-11]，重構得到融合后的圖像。

圖1 圖像融合框架

2.1 Dual-PCNN模型

Dual-PCNN是PCNN的改進模型，克服了單通道PCNN的不足之處，能有效實現對多幅圖像的同時融合[12]。Dual-PCNN模型如圖2所示，主要由三部分組成：信息采集、信息融合和脈沖發生器。信息采集部份能夠接收來自神經元的兩個以上的信息觸發；信息融合部分主要進行待融合圖像信息的融合；脈沖發生器則負責產生對信息采集單元的觸發脈沖。

若把圖像中某像素的坐標記為(i,j)，則Dual-PCNN模型可詳細描述如下：

(3)

(4)

(5)

(6)

Ti,j[n]=exp(-αT)Ti,j[n-1]+VTYi,j[n]

(7)

圖2 Dual-PCNN模型

本文通過實驗選取參數σ=1，Ti,j為與圖像輸入大小相同，元素大小為500的單位矩陣，αT、VT分別選擇0.012、3 000，迭代次數n為10。

2.2 采樣模式

采樣矩陣的設計將直接影響圖像重構的質量，由于圖像經過FFT變換后，其低頻信息集中在頻率坐標系的中間，而圖像的信息主要體現在低頻信息中。本文針對圖像傅立葉變換系數的這一特點采用文獻[13]中提出在低頻區域得到更高密度采樣的雙星采樣模式，如圖3所示。同時文獻[13]證明采用雙星采樣模式圖像的重構質量更好，且計算時間更少。

圖3 雙星采樣矩陣

2.3 基于測量值標準差的加權融合

文獻[13]基于CS的融合算法是對測量值取絕對值最大，文獻[14]是對測量值取算術平均。針對上述融合算法，本文結合新的CS融合框架提出基于測量值標準差的加權融合方法，該算法大大改進了文獻[13]和文獻[14]的融合效果。

具體實現流程是：輸入：Image A ,Image B;輸出：融合后圖像D。

(1)將圖像A、B和經過Dual-PCNN的信號C進行傅里葉變換并分別向量化：

A=(a1,a2,…,aN)T

(8)

B=(b1,b2,…,bN)T

(9)

C=(c1,c2,…,cN)T

(10)

(2)對傅里葉變換后的系數通過雙星型采樣模式構造M×N的測量矩陣Φ；

(3)計算A、B、C的測量值：

X=(x1,x2,…,xM)T=ΦA

(11)

Y=(y1,y2,…,yM)T=ΦB

(12)

Z=(z1,z2,…,zM)T=ΦC

(13)

(4)計算標準差sdx、sdy和sdz；

(5)根據標準差計算相應的加權因子：

ω1=sdx/(sdx+sdy+sdz)

(14)

ω2=sdy/(sdx+sdy+sdz)

(15)

ω3=sdz/(sdx+sdy+sdz)

(16)

(6)計算融合后的測量值F=(f1,f2,…,fM)T：

F=ω1×X+ω2×Y+ω3×Z

(17)

(7)利用F通過最小全變分方法重構融合圖像F′：

MinTV(F′)Subject to‖ΦF′-F‖2≤ε

(18)

( 8)將F′進行傅里葉逆變換得到融合后圖像D。

3 仿真結果及分析

圖4 clock A、clock B及Dual-PCNN融合圖

圖5 不同融合方法的融合圖像

從主觀視覺效果上評價，CS-max融合方法得到的融合圖像有明顯的條紋現象，CS-mean及CS-PCNN-SD融合方法均能夠在有效抑制條紋現像，但是CS-PCNN-SD融合方法相對于CS-mean融合方法得到的融合圖像亮度分布更加均勻，顯示更加理想的視覺圖像。

在客觀評價方面，本文從互信息(mutual information, MI)[15]、相關系數(correlation coefficient, CC)[16]以及結構相似度(structural similarity, SSIM)[17]、熵(Information Entropy，IE)四個客觀評價參數進行評價。互信息越大，說明從原圖像中獲得的信息越多，圖像融合效果越好；相關系數越接近1，說明圖像融合越好；結構相似度和熵越大，說明圖像的融合效果越好。四個評價參數的統計結果如表1所示。

表1 各融合方案的評價參數統計

從表1對評價參數的統計可知，三種融合方案的相關系數(CC)都非常接近1。在信息熵方面，由于CS-max融合算法帶入較多噪聲值較大，對于MI、SSIM、IE三個客觀評價標準而言，新的融合框架加入了Dual-PCNN模型，并結合新的融合框架特點，采用基于測量值標準差的加權融合方法，極大豐富了采樣值的信息來源，CS-PCNN-SD融合算法所得值明顯大于CS-max融合算法和CS-mean融合算法所得值，因此通過對客觀評價標準參數的統計分析可知，本文的融合算法具有明顯優勢，并能得到效果更佳的融合圖像。

4 結束語

本文研究了人工智能神經網絡Dual-PCNN模型與壓縮感知理論的結合，并成功應用到多焦點圖像融合中，有效證明了人工智能神經網絡與壓縮感知理論相結合的可行性。通過與現有的FFT稀疏表示下壓縮感知圖像融合算法實驗仿真及結果統計分析對比，證明本文的融合算法實現圖像融合效果更好，同時也為進一步研究基于CS的圖像融合提供了參考。由于人工智能神經網絡參數較多，下一步將重點研究參數選擇對整個算法的影響。

[1] WANG Z, ZOU D,Armenakis C, et al. A comparative Analysis of Image Fusion Methods[J]. Geoscience and Remote Sensing, IEEE Transactions on, 2005, 43(6): 1391-1402.

[2] 李小娟, 趙巍. 一種基于多尺度邊緣的圖像融合算法[J]. 北京航空航天大學學報,2007,33(2):229-232. LI Xiao-juan, ZHAO Wei. A Novel Image Algorithm based on Multiscale Edge Fusion[J]. Journal of Beihang University, 2007, 33 (2): 229-232.

[3] 方輝，尹忠科.一種基于NSCT的區域能量圖像融合算法[J].通信技術，2010, 43 (03):137-141. FANG Hui, YIN Zhong-ke. A Fusion Algorithm of Regional Energy Image based on NSCT[J]. Communications Technology, 2010, 43 (03): 137-141.

[4] 李國新. 基于Ridgelet變換的圖像融合[J]. 通信技術, 2009, 42 (06): 144-146. LIGuo-xin. The Image Fusion based on Ridgelet Transform.[J]. Communication Technology,2009, 42 (06): 144-146.

[5] Johnson J L, Padgett M L. PCNN Models andApplications[J]. IEEE Transactions on Neural Networks/a publication of the IEEE Neural Networks Council, 1998, 10(3): 480-498.

[6] CHAI Y, LI H F, QU J F. Image Fusion Scheme Using a Novel Dual-Channel PCNN in Lifting Stationary WaveletDomain[J]. Optics Communications, 2010, 283(19): 3591-3602.

[7] WANG Z, MA Y, GU J. Multi-Focus Image Fusion UsingPCNN[J]. Pattern Recognition, 2010, 43(6):2003-2016.

[8] KONG WW, LEI Y J, LEI Y, et al. Image Fusion Technique based on Non-Subsampled Contourlet Transform and Adaptive Unit-Fast-Linking Pulse-Coupled Neural Network[J]. Image Processing, IET, 2011,5(2):113-121.

[9] Donoho D L. Compressed Sensing [J]. Information Theory, IEEE Transactions on, 2006, 52(4): 1289-1306.

[10] Candès E J, Romberg J, TAO T. Robust Uncertainty Principles: Exact Signal Reconstruction from Highly Incomplete Frequency Information[J]. Information Theory, IEEE Transactions on, 2006, 52(2): 489-509.

[11] Schmidt M, Fung G, Rosales R. Fast Optimization Methods for l1 Regularization: A Comparative Study and Two NewApproaches[M]//Machine Learning: ECML 2007. Springer Berlin Heidelberg, 2007:286-297.

[12] WANG Z, MA Y. Medical Image Fusion Using m-PCNN[J]. Information Fusion, 2008, 9(2): 176-185.

[13] Wan T, Qin Z. An Application of Compressive Sensing for ImageFusion[J]. International Journal of Computer Mathematics, 2011, 88(18): 3915-3930.

[14] LI X, QIN S Y. Efficient Fusion for Infrared and Visible Images based on Compressive Sensing Principle [J]. IET Image Process, 2011, 5 (02): 141-147.

[15] Xydeas C S, Petrovic V. Objective Image Fusion Performance Measure[J]. Electronics Letters, 2000, 36(4): 308-309.

[16] Yang S,Gao J. Seismic Quality Factors Estimation from Spectral Correlation[J]. Geoscience and Remote Sensing Letters, IEEE, 2008, 5(4): 740-744.

[17] WANG Z,Bovik A C, Sheikh H R, et al. Image Quality Assessment: from Error Visibility to Structural Similarity[J]. Image Processing, IEEE Transactions on, 2004, 13(4): 600-612.

A Novel Multi-focus Image Fusion Algorithm based on Compressive Sensing

SONG Bin, WU Le-hua, WANG Kai, GUO Hui, YUE Xing

(Chongqing Communication Institute, Chongqing 400035, China)

A novel multi-focus image fusion algorithm based on compressive sensing and the pulse-coupled neural network is proposed, this algorithm consists of three parts: image Fourier transform sparse representation, measurement fusion and image reconstruction. Firstly, the Dual-PCNN (Dual-Channel Pulse Coupled Neural Network) model is applied in the whole algorithm. Then, aiming at coefficient characteristics ofthe novel fusion frame and the Fourier transform, weight fusion method based on standard deviation of the measured values under the double star sample is proposed. Finally, the fused image is reconstructed by Total Variation algorithm. Experiment simulation results indicate that the proposed algorithm is superior to other existing Fourier transform algorithms.

compressive sensing; image fusion; Dual-PCNN; standard deviation

10.3969/j.issn.1002-0802.2015.05.009

2015-01-27；

2015-04-02 Received date:2015-01-27；Revised date：2015-04-02

重慶市自然科學基金(No.cstc2013jcyjA40045);重慶市自然科學基金(No.KJTD201343)Foundation Item:Chongqing Natural Science Foundation(No.cstc2013jcyjA40045)；Chongqing Natural Science Foundation(No.KJTD201343)

TP391

A

1002-0802(2015)05-0551-04

宋 斌(1984—)，男，碩士研究生，主要研究方向為圖像處理；

吳樂華(1965—)，女，碩士，教授，主要研究方向為圖像處理；

王 開(1983—)，男，碩士，講師，主要研究方向為信號處理；

郭 輝(1982—)，男，碩士研究生，主要研究方向為信息安全；

岳 鑫(1990—)，男，碩士研究生，主要研究方向為信息安全。