基于壓縮感知和NSCT-PCNN的PET/CT醫學圖像融合算法

王文文，王惠群，陸惠玲,周　濤,

(寧夏醫科大學　a.管理學院; b.理學院,銀川　750004)

?

基于壓縮感知和NSCT-PCNN的PET/CT醫學圖像融合算法

王文文a，王惠群a，陸惠玲b,周濤a,b

(寧夏醫科大學a.管理學院; b.理學院,銀川750004)

摘要：針對非下采樣Contourlet變換(NSCT)后計算復雜度高以及醫學融合圖像質量差等問題,提出一種基于壓縮感知和脈沖耦合神經網(PCNN)的圖像融合方法。首先將源圖像進行NSCT單層分解；其次，對計算量較大的高頻子帶采用高斯隨機測量矩陣進行壓縮測量，融合規則選用絕對值取大的方法，對融合后的高頻圖像采用正交匹配追蹤算法(OMP)進行重構；然后對低頻子帶采用基于PCNN 的融合規則，將低頻子帶系數作為信號激勵 PCNN 網絡，根據低頻圖像的特性選擇較大點火次數的系數作為低頻子帶融合系數；最后對高頻融合圖像和低頻融合圖像通過NSCT逆變換，得到最終的融合圖像。實驗結果表明：該算法無論從人眼視覺效果還是客觀評價指標上均優于其他算法，且具有較強的魯棒性。

關鍵詞：壓縮感知;非下采樣Contourlet變換;PCNN;PET/CT;醫學圖像融合

醫學圖像融合是將人體同一部位的不同模態的醫學圖像，經過配準、疊加、變換等預處理，進而得到一幅能充分表達疾病解剖和功能信息的新圖像[1]。不同模態的成像可以反映病灶的不同信息，如CT圖像具有很高的空間分辨率，骨骼成像清晰，但對軟組織的對比度較低；PET圖像反映了豐富的人體代謝信息，但解剖結構不清晰。PET/CT融合圖像結合兩種成像方法的優勢，綜合顯示病灶部位的解剖和功能信息，提高了病灶定位的精確度和可識別度，為醫生正確地診斷和治療疾病提供了更加有效的影像學參考。

為避免小波變換在高維信息處理時由于方向信息有限，導致不能有效地反映高維信息的奇異性等缺點，Do等[1]提出了輪廓波變換(contourlet transform)理論，Contourlet變換是一種多分辨率、局域性和多方向的稀疏表示方法，很好地彌補了小波變換的缺陷。但Contourlet 變換過程中需要進行上下采樣，不具有平移不變性。NSCT去除了下采樣的環節，在繼承了Contourlet變換優點的同時，又具備良好的方向性及平移不變性，避免了Gibbs現象的發生[3-5]，能有效表達出圖像的細節特征，提高了視覺效果。但是NSCT在圖像融合中的計算復雜度高，高頻圖像在多方向上的分解會產生大量的冗余數據。本文將NSCT與壓縮感知(CS)理論相結合用于計算量較大的高頻信息融合，CS理論不需要對信息進行完全采樣，大大降低了數據量，有效提高了圖像融合的效率和質量，同時減少了圖像存儲空間和傳輸成本[6]。

脈沖耦合神經網絡(pulse coupled neural network,PCNN) 是模擬貓的視覺特性發放同步脈沖而形成的一種新型神經網絡，同時在圖像處理時引入了耦合調制機制，因此被廣泛應用于圖像融合[7]和分割[8-9]等領域。PCNN在做圖像融合處理時，利用仿生機制將圖像特點與脈沖耦合神經網的視覺特性相結合，得到了較好的圖像融合效果。因此，本文在結合了壓縮感知和非下采樣Contourlet變換的基礎上，將源圖像分解到不同尺度和方向子帶內后，根據醫學圖像的特性對低頻子帶采用PCNN融合方法，選擇較大點火次數的系數作為低頻子帶融合系數。而對于高頻子帶采用基于壓縮感知理論的圖像融合方法，實驗結果表明:本文算法在減少了計算復雜度的同時，更多地保留了圖像的有用信息和細節特征，無論從主觀還是客觀評價指標中相對于其他融合算法都有了顯著的提高。

1非下采樣Contourlet變換

圖1　NSCT變換的實現過程

2壓縮感知理論

假設任一圖像f(f∈RM×N)，基向量為ψi(i=1,2,…,N)，對f進行變換，則f可表示為

(1)

其中:f是圖像在時域的表示;α是圖像在ψ域的表示。若上式中α的非零值K遠小于N，或者α經排序后呈指數級衰減并趨近于零，則認為圖像f已經完成壓縮。

以上過程采用了壓縮策略，即構造一個與非下采樣Contourlet 變換不相關的壓縮感知測量矩陣，對原始圖像經過變換后的表示進行線性投影得到壓縮測量值y，實現信號從N維降為M維，用以精確的重構信號或者圖像[13]，采樣過程可表示為

(2)

其中:φ為觀測矩陣;Θ(M×N)為感知矩陣。只有稀疏表示的變換基ψ和測量矩陣φ具有非相關性，即投影矩陣Θ滿足等距約束性(restricted isometry property，RIP)，信號f通過求解這種最優化問題式(3)對壓縮測量值進行精確恢復，得到重構后的圖像。

(3)

圖2是基于NSCT變換后的壓縮感知圖像重構框架，由于圖像經過NSCT變換后已經具有稀疏性，因此不用通過稀疏表示來得到稀疏矩陣。本文采用的是高斯隨機矩陣進行壓縮采樣，它幾乎和任意的稀疏矩陣不相關。重構算法中常用的正交匹配追蹤算法(OMP)是通過貪婪追蹤進行重構的方法，其特點在于重構過程中每一步迭代運算會從觀測矩陣中選取一個與殘差信號最相似的測量值，這些測量值會組成重構矩陣的集合，集合中的測量值經過正交化處理后將信號投影到測量值構成的正交空間上，最后得到信號在這一正交空間上的投影分量與殘差。

圖2　基于壓縮感知的圖像重構框架

3脈沖耦合神經網絡(PCNN)

PCNN自20世紀90年代由Eckhom提出以來，受到了人們廣泛的研究和應用。它是由多個神經元互聯而成的反饋性神經網絡，具有全局的耦合性和同步脈沖性。標準的PCNN神經元一般由接收部分、調制部分和脈沖發射器3部分組成[14]。PCNN神經元是一個復雜的非線性動態系統，參數設置較為復雜，因此在實際應用中通常使用簡化的PCNN模型。如圖3所示是PCNN簡化模型的結構。

圖3　PCNN簡化模型結構

PCNN在用于二維圖像處理時，可以看成是一個單層的橫向連接的神經網絡，網絡中的神經元數和處理圖像的像素個數相等，且存在一一對應的關系。PCNN神經元在圖像處理時的數學表達式為：

(4)

(5)

(6)

(7)

(8)

4基于CS和NSCT-PCNN的醫學圖像融合算法

4.1算法思想

本文提出一種基于CS和NSCT-PCNN的PET/CT醫學圖像融合算法，算法流程如圖4所示。

圖4　本文融合算法流程

首先對已經配準的PET和CT圖像分別進行單層NSCT變換，吳巧玲等[15]已證明僅用單層NSCT變換就可重建出高質量圖像。通過NSCT分解后得到1個低頻子帶和8個方向的高頻子帶。根據不同子帶的特點，分別采用不同的融合規則。其中低頻子帶采用PCNN融合算法，由于分解后的高頻具有稀疏性，因此采用在壓縮感知理論下對高頻系數絕對值取大的融合規則，利用正交匹配追蹤算法重構融合后的高頻圖像。然后將融合后的高頻子帶重構并且與融合后的低頻子帶經過NSCT逆變換得到最終的融合圖像。最后，通過對比實驗充分驗證本文算法的可行性和有效性。

4.2關鍵技術

4.2.1低頻融合規則

由于醫學圖像成像機制的不同，PET圖像提供的代謝信息對比度低，CT圖像空間分辨率高但含噪聲干擾大，影響了圖像的視覺效果[16]，這要求圖像融合規則的設計充分考慮醫學圖像的特點。源圖像經過NSCT變換后的低頻子帶包含了源圖像的大部分能量[17]。簡單的基于像素的融合規則如平均法應用于低頻子帶，會降低融合中的計算復雜度，但同時圖像的對比度也會減弱，導致融合圖像的邊緣變得模糊。因此本文在低頻子帶中采用PCNN的融合規則，將經過NSCT變換后的低頻子帶系數作為PCNN的外部輸入來激勵神經元，進而產生神經元脈沖，一次脈沖輸出即為一次點火。最后根據計算得到的點火次數來確定圖像融合的系數。設CA,S(i,j)和CB,S(i,j)為源圖像經過NSCT變換后在S層上的低頻子帶系數，Tk,S(i,j,n) 表示神經元(i,j)在第S層分解后的低頻子帶系數經過n次迭代后產生的總的點火次數。

其實現過程如下：

① 將CA,S(i,j)和CB,S(i,j)作為F通道的輸入來激勵PCNN；

② 網絡初始化，LS(i,j,0)=0,US(i,j,0)=0,TS(i,j,0)=0；

③ 利用式(4)～(8)計算出各個中間結果；

④ 利用TS(i,j,n)=TS(i,j,n-1)+YS(i,j,n)來計算點火次數；

⑤ 設定一個迭代次數Nmax,當n

(9)

則低頻子帶的融合系數為

CF,S(i,j)=ωACA,S(i,j)+ωBCB,S(i,j)

(10)

4.2.2基于壓縮感知的高頻融合規則

(11)

5仿真實驗及分析

5.1實驗環境及參數設置

硬件環境：仿真硬件平臺為Pentium(R)Dual-CoreCPUE6700，3.2GHz，2.0GB內存，操作系統為Windows7。

軟件環境：軟件MatlabR2012b。

實驗數據：實驗采用一組肺癌經配準后的PET及CT圖像，圖像大小為256×256像素。驗證實驗則采用3組其他肺癌配準后的PET及CT圖像，圖像大小為356×356像素。

NSCT變換參數設置：濾波層級為1，方向級數為3，其中NSP結構采用“9-7”雙正交

小波分解，NSDFB采用“pkva”梯形濾波器。壓縮測量選取50%的采樣率。

5.2實驗結果及分析

實驗1與多尺度圖像融合算法的比較

為了檢驗壓縮感知理論在圖像融合中的優勢，將分別與NSCT變換圖像融合和Contourlet變換圖像融合進行比較，本文算法的采樣率定為50%。圖5(c)采用Contourlet變換的融合方法，圖5(d)采用NSCT變換的融合方法，圖5(c)和(d)的低頻融合規則均為加權平均法，高頻融合規則均為局部區域能量最大法。圖5(e)為NSCT變換，低頻采用PCNN的融合規則，高頻采用取極大值的方法，圖5(f)為本文算法的融合圖像。

對融合圖像的評價主要從主觀視覺效果和客觀指標的角度出發，由圖5不難看出：本文融合算法得到的融合圖像的清晰度、邊緣輪廓、紋理信息比其他融合算法的融合效果更好，質量更高，并且融合圖像清楚地反映了病灶的輪廓以及與組織和器官的毗鄰關系。為了定量評價不同客觀指標下融合圖像的質量，本文選取標準差(SD)、平均梯度(MG)、空間頻率(SF)、清晰度(MC)、互信息(MI)、信息熵(IE)以及邊緣信息(QAB/F)來客觀地分析融合圖像的效果，如表1所示。

圖5　不同算法的融合結果

通過客觀評價指標可以看出：本文方法所得到的融合圖像在SD,MG,SF,MC,QAB/F均優于其他3種方法，MI,IE略低于NSCT-PCNN方法。由此可以看出，本文算法不僅提高了融合圖像的質量，同時有效降低了存儲空間及計算復雜度。主觀視覺和客觀評價指標上一致表明本文算法的圖像融合效果較好，進一步驗證了該算法的優越性。

實驗2與基于壓縮感知的多尺度變換圖像融合方法的對比

為驗證本文采取的低、高頻子帶融合規則的有效性，將本文融合算法分別與基于壓縮感知的NSCT變換和Contourlet變換的其他融合規則的融合效果進行比較，圖6(a)為NSCT變換，圖6(b)為Contourlet變換，圖6(a)、(b)的融合規則均為低頻融合規則均為加權平均法，高頻融合規則均為局部區域能量最大法。表7為3種融合方法在客觀指標上的比較。

通過對以上3種方法從主觀視覺方面的評價可知：圖6(a)有明顯的頻譜疊加現象，細節信息丟失；圖6(b)的清晰度較差；而圖6(c)無論從對比度、清晰度以及亮度方面都明顯優于其他兩種方法。其次在客觀評價中，由表2不難看出，本文算法中所有的指標值都明顯高于其他兩種融合方法。本算法的標準差比其他兩種方法中最大的提高了2.4倍，空間頻率提高了24.15%，信息熵提高了19.34%，平均梯度提高了35.95%，圖像清晰度提高了10.84%，互信息提高了88.05%，邊緣信息提高了87.27%。由此可以看出，本文算法得到的融合圖像在細節信息和融合效果上都有明顯的提高，充分說明了該算法的有效性。

圖6　壓縮感知理論下不同算法的融合結果

實驗3其他肺癌PET/CT圖像融合圖像

為了說明本文算法具有較好的魯棒性，通過對其他幾種肺癌的PET/CT圖像進行融合檢驗，如圖7是3種肺癌患者的PET/CT圖像，結果顯示本文算法能較好地應用于其他圖像的融合中。融合圖像既包含了CT圖像中病灶的輪廓信息，又包含了PET圖像中病灶的代謝情況，融合效果較好，同時客觀指標值也驗證了本文算法的優勢。

圖7　3種肺癌患者的PET/CT圖像融合結果

組別SDMGSFMCMIIEQAB/FContourlet6.45210.10821.30571.02741.30576.65210.4956NSCT6.88470.18462.01171.12281.61175.88470.3825NSCT-PCNN52.24477.372518.14617.3154.987.71640.5718本文算法52.5327.448618.29517.39054.97257.24640.5783

表2　3種方法客觀評價指標數據

表3　3種融合圖像的客觀評價指標數據

通過以上實驗證明，本文算法無論在主觀評價還是客觀指標上都有明顯的優勢，同時驗證實驗也說明了該算法的魯棒性，適用于其他疾病的PET/CT圖像的融合，為精確的病灶定位及手術治療提供了有利的影像依據。本文算法結合了非下采樣Contourlet變換和壓縮感知理論的優勢，即避免了Contourlet變換產生的頻譜疊加現象，又去除了高頻子帶的冗余信息，減少了計算復雜度。低頻采用PCNN的融合規則，充分考慮了點火次數與低頻的灰度值的關系，有效保留了圖像的邊緣及過渡區域的信息，使圖像更清晰。

6結束語

針對PET/CT醫學圖像融合的特殊性，融合圖像要充分保留CT圖像的背景及邊緣信息以及PET圖像中病灶的代謝情況，因此需要選擇相應的融合規則。本文提出一種結合非下采樣Contourlet變換和壓縮感知的醫學圖像融合方法，并針對該變換能實現圖像最優稀疏表示的特點，對分解后的高頻子帶進行壓縮測量，有效重構了圖像的細節和紋理等信息。而低頻采用PCNN的融合規則，充分考慮了醫學圖像的特性，實驗結果也證實了該方法保留了更多原圖像中的的邊緣信息和代謝特征，更適合人眼視覺特性。本文算法用于醫學圖像融合，在改善圖像質量的同時，降低了圖像的采樣率，且融合效果明顯優于其他方法，有利于進一步提高醫學診斷的準確率和效率，同時也為以后的遠程醫療提供了技術支持。

參考文獻：

[1]胡朝芬,黃之杰,羅來華.醫學圖像融合技術研究進展[J].醫療衛生設備,2010,31(4):157-160.

[2]DO M N,VETTERLI M.Contourlets[C]//Beyond Wavelets.[S.l.]:[s.n.],2002:1-27.

[3]ARTHUR L C,ZHOU J P,DO M N.The nonsubsampled contourlet transform:Theory,design,and applications[J].IEEE Trans Image Processing,2006,15(10):3089- 3101.

[4]CHAI YI,LI HUAFENG,LI ZHAOFEI.Multifocus image fusion scheme using focused region detection and multiresolution[J].Optics Communications,2011,284(19):14-16.

[5]STILLER C,León PUENTE F,KRUSE M.Information fusion for automotive applications — Anoverview[J].Information Fusion,2011,12(4):244-252.

[6]沈瑜,黨建武,王陽萍,等.基于NSCT域壓縮感知模型的路面病害圖像濾波算法[J].光電子.激光,2014,25(8):1620-1626.

[7]鮑程輝,賀新光,蔣衛國.非下采樣Contourlet變換和脈沖耦合神經網絡相結合的遙感圖像融合方法[J].遙感信息,2015,30(2):50-56.

[8]王博,萬磊,李曄,等.基于自適應脈沖耦合神經網絡的水下激光圖像分割方法[J].光學學報,2015,35(4):1-10.

[9]王延年，劉婷，牛飛婷，等。改進的虹膜圖像定位分割算法[J].激光雜志，2015(5)：11-13.

[10]ZHANG QIANG,GUO BAO-LONG.Multifocus image fusion using the nonsubsampled Contourlet transform[J].Signal Processing(S0165-1684),2009,89(7):1334-1346.

[11]CUNHA A L,ZHOU J P,DO M N.The non-subsampled contourlet transform:theory,design and applications[J].IEEE Trans on Image Processing,2006,15(10):3089-3101.

[12]LI X,QIN S Y.Efficient fusion for infrared and visibleimagesbased oncompressive sensing principle[J].IETImage Processing,2011,5(2):141-14.

[13]馬慶濤,唐加山.基于壓縮感知的測量矩陣研究[J].微型機與應用,2013,32(8):64-67.

[14]WANG Z B,MA Y D,CHENG F Y,et al.Review of Pulse-coupled Neural Networks[J].Image and Vision Computing,2010,28:5-13.

[15]吳巧玲,倪林,何德龍.基于非下采樣contourlet變換的壓縮感知圖像重建[J].中國科學技術大學學報，2012,42(2)87-91.

[16]楊艷春,王曉明,黨建武，等.基于 NSCT 與區域點火 PCNN 的醫學圖像融合方法[J].系統仿真學報,2014,26(2):274-278.

[17]魏興瑜,周濤,陸惠玲,等.基于雙樹復小波變換的PET/CT自適應融合算法[J].計算機科學與探索,2015,9(3):360-367.

[18]柳翠寅,羅洪禮,李曉峰.基于壓縮感知的紅外與可見光圖像融合[J].四川大學學報(工程科學版),2014,46(5):88-95.

[19]張建勛，汪波，侯之旭，等． 圖像多特征融合的障礙物檢測[J].重慶理工大學學報(自然科學版)，2015(3):65-70．

[20]鄭偉，孫雪青，郝冬梅，等.結合Shearlet變換和果蠅優化算法的甲狀腺圖像融合[J].激光雜志，2014(9)：70-73，78.

(責任編輯何杰玲)

PET/CT Medical Image Fusion Algorithm Based on Compressive Sensing and NSCT-PCNN

WANG Wen-wena, WANG Hui-quna, LU Hui-lingb, ZHOU Taoa, b

( a.School of Management; b.School of Science,Ningxia Medical University, Yingchuan 750004, China)

Abstract:For the high computation complexity and poor medical fusion images under non-subs ampled contourlet transform(NSCT), a method of image fusion based on compressed sensing and PCNN was proposed. Firstly, the source images were decomposed in monolayer with NSCT. Secondly, the Gauss random matrix in high frequency which has large calculation was used for compression measurement, and a method based on maximum value was utilized to fuse the high-frequency components respectively. High frequency measurement was reconstructed using the orthogonal matching pursuit(OMP) method after fusion. Third, a fusion rule based on PCNN was adopt in low frequency sub-band coefficient, and it was input into PCNN network as the signal, and we chose the bigger ignition frequency coefficient as the fusion low-frequency subband coefficients according to the characteristics of low frequency images. Finally, the final fusion image was acquired through the NSCT inverse transformation. The experiment results show that the proposed algorithm is superior to other algorithms in both the visual effect and the objective evaluation index, and it has strong robustness.

Key words:compressed sensing; non-subsampled contourlet transform; PCNN; PET/CT; medical image fusion

文章編號：1674-8425(2016)02-0101-08

中圖分類號：TP391.41

文獻標識碼：A

doi:10.3969/j.issn.1674-8425(z).2016.02.018

作者簡介：王文文(1990—)，女，寧夏銀川人，碩士研究生，主要從事圖像處理、模式識別、數據挖掘等研究；通訊作者 陸惠玲(1976—)，女，河北定興人，副教授，主要從事人工智能、圖像融合、數據挖掘等研究。

基金項目：國家自然科學基金資助項目(81160183,61561040);寧夏自然科學基金資助項目(NZ12179, NZ14085);寧夏高等學校科研項目(NGY2013062)

收稿日期：2015-11-21

引用格式：王文文,王惠群，陸惠玲,等.基于壓縮感知和NSCT-PCNN的PET/CT醫學圖像融合算法[J].重慶理工大學學報(自然科學版)，2016(2):101-108.

Citation format：WANG Wen-wen, WANG Hui-qun, LU Hui-ling, et al.PET/CT Medical Image Fusion Algorithm Based on Compressive Sensing and NSCT-PCNN[J].Journal of Chongqing University of Technology(Natural Science)，2016(2):101-108.