基于改進(jìn)的稀疏表示和PCNN的圖像融合算法研究

王建，吳錫生

（江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122）

圖像融合技術(shù)是將兩幅或者多幅圖像中感興趣的信息提取出來，得到一幅信息更加豐富適合于人眼視覺感官和更利于計(jì)算機(jī)處理的圖像處理技術(shù)。傳統(tǒng)相機(jī)的光學(xué)鏡頭經(jīng)常遭受有限景深的問題，難以在不使用專用光學(xué)器件和傳感器的情況下獲得所拍攝場景的全聚焦圖像。對于人類視覺感知和計(jì)算機(jī)處理而言，多聚焦圖像更為可取，對于同一場景，多聚焦圖像的融合可以將兩幅以上的圖像選取各自聚焦區(qū)域融合到一幅圖像中，從而獲得比各自源圖像更多的信息。目前，多聚焦圖像融合在軍事監(jiān)視、醫(yī)學(xué)成像、遙感圖像和機(jī)器視覺等領(lǐng)域具有廣泛應(yīng)用[1]。

圖像融合方法主要分為空間域融合和頻率域融合[2]兩類。空間域融合方法直接對源圖像像素進(jìn)行融合，未進(jìn)行任何的分解運(yùn)算，融合的效果不理想，無法清晰地提取源圖像的邊緣輪廓信息。由于多尺度變換的多尺度分解過程適合于人類視覺分析，并且易于計(jì)算機(jī)處理，目前，多數(shù)圖像融合技術(shù)都是基于頻率域的多尺度變換方法。其主要有離散小波變換(discrete wavelet transformation，DWT)[3]、脊波 (ridgelet)變換[4]、曲線波(curvelet)變換[5]、輪廓波 (contourlet)變換[6]、非下采樣輪廓波變換(nonsubsampled contourlet transform，NSCT)和剪切波(shearlet)變換[7]以及非下采樣剪切波變換(NSST)等。NSCT運(yùn)算十分耗時(shí)，且在圖像方向分解上受到限制，因此無法達(dá)到對圖像的實(shí)時(shí)處理。而剪切波變換以小波理論為基礎(chǔ)，運(yùn)算簡單，并且對于圖像分解方向沒有要求。在此基礎(chǔ)上的NSST不僅具有剪切波變換的多尺度、多方向特性，而且具有各向異性和平移不變性，極大地消除了偽吉布斯現(xiàn)象，因此NSST逐漸較多地運(yùn)用在圖像處理領(lǐng)域。

稀疏表示是近年來提出的一種在信號處理中的新的研究模型[8]，其在信號和圖像處理的各個(gè)領(lǐng)域都有著廣泛的應(yīng)用，包括盲源分離、圖像去噪、圖像融合、人臉識別等領(lǐng)域。稀疏表示能夠以稀疏的方式來表示圖像信息，給圖像處理帶來了極大的便利。

脈沖神經(jīng)網(wǎng)絡(luò)(pulse coupled neural networks，PCNN)是Eckhorn于20世紀(jì)90年代提出的一種基于貓的視覺原理構(gòu)建的簡化神經(jīng)網(wǎng)絡(luò)模型，其信號形式和處理機(jī)制更符合人類視覺神經(jīng)系統(tǒng)的生理學(xué)基礎(chǔ)，在圖像融合、圖像分割、圖像識別以及邊緣檢測等領(lǐng)域起著重要作用。1999年Broussard等在圖像融合中利用PCNN提高融合圖像的準(zhǔn)確度，證明了PCNN在圖像融合中具有很好的應(yīng)用價(jià)值[9]。

稀疏表示的融合方法通常會導(dǎo)致融合圖像比較光滑，不利于對源圖像邊緣信息的保留，目前很多稀疏表示的圖像融合方法都是基于多尺度變換的[10-11]。PCNN具有耦合特性以及脈沖同步特性，在圖像融合中可以有效利用局部信息。但PCNN參數(shù)較多且難以確定，因此現(xiàn)有的一些融合算法都采用了PCNN的自適應(yīng)參數(shù)模型[12-14]。近年來，基于多尺度變換和PCNN結(jié)合的圖像融合算法相繼被提出。文獻(xiàn)[15]提出了將非下采樣輪廓波(NSCT)與PCNN相結(jié)合的圖像融合算法；文獻(xiàn)[16]提出了基于非下采樣剪切波(NSST)和PCNN相結(jié)合的醫(yī)學(xué)圖像融合算法；文獻(xiàn)[17]提出了一種稀疏表示和PCNN相結(jié)合的紅外與可見光圖像融合算法。這些算法可以取得較好的融合效果，但在邊緣處會有虛影產(chǎn)生。在上述理論的基礎(chǔ)上，本文提出了一種基于改進(jìn)的稀疏表示和脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合算法。首先，將待融合的源圖像進(jìn)行NSST分解，分別得到低頻和高頻子帶系數(shù)。對低頻子帶由稀疏表示方式進(jìn)行融合，即利用K奇異值分解(K-SVD)算法從源圖像中得到學(xué)習(xí)字典，然后將兩個(gè)源圖像得到的子字典結(jié)合生成聯(lián)合字典，再采用正交匹配追蹤(orthogonal matching pursuit，OMP)算法得到稀疏系數(shù)，完成低頻子帶的融合。對于高頻子帶，本文則采用PCNN算法進(jìn)行融合，將高頻子帶改進(jìn)的空間頻率(modified spatial frequency，MSF)作為PCNN的激勵，以總的點(diǎn)火幅度取最大值為高頻子帶的融合規(guī)則。實(shí)驗(yàn)結(jié)果表明，本文所提出的算法在視覺效果和客觀評價(jià)上都取得了較好的效果。

1 基本原理

1.1 圖像的NSST變換

剪切波變換是由Easley等在傳統(tǒng)仿射系統(tǒng)的基礎(chǔ)上，將幾何與多尺度變換結(jié)合起來而提出的合成小波理論，當(dāng)維數(shù)n為2時(shí)，具有合成膨脹的仿射系統(tǒng)為

NSST由非下采樣金字塔分解(non-subsample pyramid，NSP)和剪切濾波器組成，圖像經(jīng)過k級NSP分解之后，會分解成由k個(gè)高頻子帶和1個(gè)低頻子帶組成的子圖像。分解后的k+1個(gè)子帶與源圖像大小相同，但是尺度不同。3級NSST分解過程如圖1所示。

圖1 3級NSST分解過程示意Fig. 1 Diagram of three-level NSST decomposition process

1.2 稀疏表示

式中：α為完備字典；φ為信號x基于α字典下的稀疏系數(shù)。在稀疏模型中，過完備字典起著關(guān)鍵作用。獲得過完備字典的主要方法有兩種：1)基于DCT、小波和曲線波等分析方法的分析字典；2)學(xué)習(xí)字典，對大量的數(shù)據(jù)樣本進(jìn)行訓(xùn)練得到具有針對性的過完備字典。通常情況下，分析字典一般比較簡單，但是表達(dá)形式單一，適應(yīng)性不夠，而學(xué)習(xí)字典的適應(yīng)性強(qiáng)，可以適應(yīng)不同的數(shù)據(jù)圖像。常用的字典學(xué)習(xí)求解方法有最優(yōu)方向法(method of optimal directions，MOD)、FOCUSS 字典學(xué)習(xí)算法、廣義PCA(generalized PCA)算法以及K-SVD算法等。稀疏表示問題的求解等同于優(yōu)化問題，常用的稀疏系數(shù)基本算法有匹配追蹤(MP)、正交匹配追蹤(OMP)和基追蹤(BP)等。本文采用K-SVD[18]算法來構(gòu)建學(xué)習(xí)字典，用OMP算法來求解稀疏系數(shù)，以得到更好的收斂性。

1.3 PCNN模型

PCNN由多個(gè)神經(jīng)元構(gòu)成，每個(gè)神經(jīng)元由3個(gè)部分組成，分別是連接域、調(diào)制域和脈沖產(chǎn)生器。PCNN神經(jīng)元對應(yīng)著源圖像中的每個(gè)像素，每個(gè)神經(jīng)元的點(diǎn)火輸出有點(diǎn)火和不點(diǎn)火2種狀態(tài)。PCNN簡化模型如圖2所示。

圖2 PCNN單個(gè)神經(jīng)元簡化模型Fig. 2 Simple model of single neuron in PCNN

為了提高PCNN的效率，本文采用簡化的PCNN模型：

式中：Iij為外部輸入激勵；Fij為反饋輸入；Lij為鏈接輸入項(xiàng)；Wijkl為神經(jīng)元與其他神經(jīng)元的連接權(quán)值；k、l為神經(jīng)元與周圍連接的范圍；αL、αθ為衰減時(shí)間常數(shù)；β為神經(jīng)元連接強(qiáng)度；VL為連接輸入放大系數(shù)；Vθ為閾值放大系數(shù)；Yij為神經(jīng)元脈沖輸出。

2 改進(jìn)的融合算法

本文選用NSST對已配準(zhǔn)的源圖像A和B進(jìn)行4級分解，得到1個(gè)低頻子帶和4個(gè)高頻子帶。針對分解后得到的低頻子帶和高頻子帶的特點(diǎn)，分別采用改進(jìn)的稀疏表示和PCNN進(jìn)行融合。最后對融合后的低頻子帶和高頻子帶進(jìn)行NSST逆變換，從而獲得融合圖像。本文的融合算法原理如圖3所示。

圖3 基于改進(jìn)的稀疏表示和PCNN融合流程圖Fig. 3 Flowchart of fusion based on the improved sparse presentation and PCNN

2.1 低頻子帶的融合規(guī)則

低頻子帶通常包含圖像的大部分信息，反映了圖像的整體面貌，對于低頻子帶的處理，本文對稀疏表示加以改進(jìn)，得到新的融合規(guī)則。假定兩個(gè)源圖像低頻子帶大小為M×N，，一般來說，自然圖像包含復(fù)雜和非穩(wěn)定信息，而局部塊形式相對簡單且結(jié)構(gòu)一致。因此，采用滑動窗口技術(shù)在獲取局部特征方面能取得更好的性能。具體處理過程：首先，利用一個(gè)大小為n×n，以步長為1的滑動窗口，對低頻子帶LA和LB進(jìn)行窗口滑動，將低頻子帶分成若干個(gè)子圖像塊；將每個(gè)子塊轉(zhuǎn)換成一個(gè)列向量，所有的列向量構(gòu)成LA和LB的樣本訓(xùn)練矩陣VA和VB，樣本矩陣大小為J×L(J=n×n,L=(M-n+1)×(N-n+1))；其次，對樣本訓(xùn)練矩陣 VA、VB的列向量分別求平均，得到平均矩陣和； 然后再對樣本矩陣進(jìn)行去平均得到去平均后的矩陣和：

本文提出的新算法是：先采用K-SVD算法分別對去平均的樣本矩陣和進(jìn)行迭代運(yùn)算，得到過完備字典DA和DB，再將子字典DA和DB聯(lián)合構(gòu)建一個(gè)新的聯(lián)合字典D：

式中：ω1=ω0=0；、表示 αA、αB的第i個(gè)列向量。加權(quán)多范數(shù)測量方法綜合反映了圖像的重要信息，本文采用最大加權(quán)多范數(shù)作為融合規(guī)則來選擇融合系數(shù)：

最后，將樣本的融合矩陣轉(zhuǎn)換為數(shù)據(jù)子塊，再對數(shù)據(jù)子塊進(jìn)行重構(gòu)即可得到低頻子帶的融合系數(shù)。

2.2 高頻子帶的融合規(guī)則

高頻子帶通常對應(yīng)著圖像的邊緣信息和紋理細(xì)節(jié)，直接關(guān)系到圖像的清晰程度和視覺效果。對于高頻子帶的融合，本文提出一種改進(jìn)的空間頻率(MSF)作為神經(jīng)元的反饋輸入。對于窗口大小為(2M+1)×(2N+1)的圖像塊，MSF定義公式為

式中：

式中：X(i，j)為源圖像對應(yīng)位置像素；RF為行頻率；CF為列頻率；DF為對角線頻率。

在經(jīng)典的PCNN模型中，通常以相同迭代次數(shù)內(nèi)的點(diǎn)火次數(shù)作為融合規(guī)則，點(diǎn)火輸出值只有1和0兩種狀態(tài)，則其不能準(zhǔn)確地反映點(diǎn)火幅度的差異。本文加以改進(jìn)，以神經(jīng)元輸出總幅度值作為高頻子帶的融合規(guī)則，其定義為

式中Mij(n)為神經(jīng)元輸出的總幅度值。在n次迭代運(yùn)算內(nèi)，選擇輸出總幅度值最大的系數(shù)作為融合系數(shù)，有

式中 I1，ij、I2，ij分別為源圖像 A、B 高頻子帶系數(shù)。

最后，將融合后的低頻子帶和高頻子帶進(jìn)行NSST逆變換，得到最終的融合圖像。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文融合算法的融合效果，采用的仿真環(huán)境為：Intel i5，1.8 GHz雙核處理器，500 GB硬盤，4 GB內(nèi)存，windows10系統(tǒng)，MATLAB2015a仿真平臺。采用了兩組圖像進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)圖像如圖4所示，分別為512×512的Pepsi圖像和256×256的Clock圖像。Pepsi圖像融合結(jié)果分別與基于NSCT-PCNN、文獻(xiàn)[11]、文獻(xiàn)[12]算法中的Pepsi圖像融合結(jié)果進(jìn)行比較；Clock圖像融合結(jié)果分別與基于NSCT-PCNN、文獻(xiàn)[10]、文獻(xiàn)[11]算法中的Clock圖像融合結(jié)果進(jìn)行比較。本文采用互信息量(MI)、邊緣信息傳遞因子(QAB/F)、空間頻率(SF)、平均梯度(AG)[19]作為融合效果的客觀評價(jià)指標(biāo)。各融合算法的融合結(jié)果如圖5、圖6所示，客觀評價(jià)如表1、表2所示。

圖4 實(shí)驗(yàn)源圖像Fig. 4 Source images

圖5 各種算法Pepsi圖像融合結(jié)果Fig. 5 Pepsi image fusion of each algorithm

圖6 各種算法Clock圖像融合結(jié)果Fig. 6 Clock image fusion of each algorithm

表1 各算法Pepsi圖像融合的評價(jià)指標(biāo)值Table 1 Evaluation index of Pepsi image fusion for each algorithm

表2 各算法Clock圖像融合的評價(jià)指標(biāo)值Table 2 Evaluation index of clock image fusion for each algorithm

從圖5和圖6各算法的融合結(jié)果中可以看出，本文算法的融合效果要好于其他3種算法，且在邊緣和細(xì)節(jié)紋理等方面都處理得較好，處理后的整體清晰度也高于其他3種算法。

本文提出的算法在醫(yī)學(xué)圖像融合方面也具有很好的融合效果，圖7分別為CT圖像和MRI圖像。在實(shí)驗(yàn)中，本文所提出的算法融合效果分別與文獻(xiàn)[15]中NSCT-PCNN算法、文獻(xiàn)[16]中NSSTPCNN算法以及文獻(xiàn)[20]中MNLMF-SF算法的融合效果進(jìn)行比較，融合結(jié)果如圖8和表3所示。

圖7 CT圖像和MRI圖像Fig. 7 CT and MRI images

圖8 各種算法CT和MRI圖像融合結(jié)果Fig. 8 CT and MRI image fusions of different algorithms

表3 各算法CT和MRI圖像融合的評價(jià)指標(biāo)值Table 3 Evaluation index of CT and MRI image fusionsfor each algorithm

從圖8中各算法的CT和MRI圖像的融合結(jié)果可以看出：NSCT-PCNN算法的融合結(jié)果邊緣會有虛影；NSST-PCNN算法和MNLMF-SF算法的融合圖像MRI細(xì)節(jié)部分有細(xì)微的缺失；本文算法既保留了原圖像的邊緣清晰度，又保留了更多的細(xì)節(jié)信息。

從客觀來說，MI、QAB/F、SF和AG等指標(biāo)都是對融合圖像融合效果的客觀評價(jià)，MI是融合圖像從源圖像中獲得的信息量；QAB/F、SF都與邊緣信息有關(guān)，AG反映圖像清晰度，這4個(gè)指標(biāo)值越大則表明融合效果越好。從表1和表2中可以看出，本文算法處理后的各項(xiàng)指標(biāo)都相當(dāng)不錯(cuò)，除Pepsi圖像的MI指標(biāo)比文獻(xiàn)[11]算法稍有不足，位列第2外，其他所有指標(biāo)都位列第1，在醫(yī)學(xué)圖像融合上本文算法除邊緣信息傳遞因子指標(biāo)略低于MNLMF-SF算法外，其他指標(biāo)都優(yōu)于對比算法，表明了本文算法的有效性和優(yōu)勢。

4 結(jié)束語

本文提出了一種基于改進(jìn)的稀疏表示和脈沖耦合神經(jīng)網(wǎng)絡(luò)的融合算法。與相關(guān)算法比較，本文算法在融合源圖像信息時(shí)，既克服了稀疏表示算法造成的平滑問題，又保留了更多的圖像邊緣、紋理細(xì)節(jié)等信息，使融合圖像更加清晰，可以獲得更理想的效果，實(shí)驗(yàn)結(jié)果也驗(yàn)證了本文算法的有效性。