基于全卷積金字塔殘差網(wǎng)絡(luò)的能譜CT圖像降噪研究

任學(xué)智， 何 鵬,*， 龍鄒榮， 郭曉東， 安 康， 呂小杰， 魏 彪,， 馮 鵬,*

1. 重慶大學(xué)光電技術(shù)及系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室， 重慶 400044 2. 重慶大學(xué)工業(yè)CT無(wú)損檢測(cè)教育部工程研究中心， 重慶 400044

引 言

傳統(tǒng)CT(computed tomography)通過(guò)能量積分式探測(cè)器將不同能量的X射線光子整合接收， 反映了X射線的平均衰減特性[1]， 導(dǎo)致圖像中密度相近物質(zhì)的成像對(duì)比度差異小， 難以區(qū)分微小的組織結(jié)構(gòu)[2]。 基于光子計(jì)數(shù)探測(cè)器的能譜CT(spectral CT)通過(guò)探測(cè)器設(shè)定能量選通閾值能夠采集不同能量范圍的X射線光子， 可以有效抑制射線束硬化偽影、 提高密度相近物質(zhì)的成像對(duì)比度[3]。 而能譜CT在特定能量范圍內(nèi)探測(cè)的X射線光子數(shù)有限， 致使投影數(shù)據(jù)中含有較多的量子噪聲， 重建的能譜CT圖像信噪比較低。

在能譜CT圖像降噪研究方面， 現(xiàn)多采用迭代重建算法對(duì)投影數(shù)據(jù)進(jìn)行重建以抑制噪聲。 例如Clark等[4]結(jié)合圖像的稀疏特性和能譜CT圖像相關(guān)性以構(gòu)建重建目標(biāo)函數(shù)， 提高了能譜CT圖像重建效果。 Rigie和Riviere等[5]提出了一種基于矢量全變分(TV)的能譜CT重建算法。 上述圖像重建降噪算法可以較好的抑制能譜CT重建圖像中的噪聲， 但算法復(fù)雜度較高、 計(jì)算時(shí)間較長(zhǎng)。 近年來(lái)， 深度學(xué)習(xí)在CT圖像降噪領(lǐng)域中得到了廣泛應(yīng)用[6-7]。 神經(jīng)網(wǎng)絡(luò)可以直接提取圖像中噪聲的特征信息， 進(jìn)而通過(guò)與標(biāo)準(zhǔn)圖像作對(duì)比抑制訓(xùn)練圖像中的噪聲。 例如Chen等[8]研究一種CT圖像去噪的淺層卷積神經(jīng)網(wǎng)絡(luò)模型， 基于該網(wǎng)絡(luò)提出了殘差編碼器-解碼器卷積神經(jīng)網(wǎng)絡(luò)， 并使用反卷積網(wǎng)絡(luò)和快捷連接以增強(qiáng)網(wǎng)絡(luò)降噪性能。

本文提出一種基于全卷積金字塔殘差網(wǎng)絡(luò)(fully convolutional pyramidal residual network， FCPRN)的能譜CT圖像降噪方法。 利用能譜CT獲取的圖像數(shù)據(jù)訓(xùn)練全卷積金字塔殘差網(wǎng)絡(luò)， 訓(xùn)練后的網(wǎng)絡(luò)模型可以有效的抑制能譜CT圖像中的噪聲。 與常用的CT圖像降噪網(wǎng)絡(luò)相比， 本文提出的全卷積金字塔殘差網(wǎng)絡(luò)具有更好的圖像降噪效果。

1 基于深度學(xué)習(xí)的能譜CT圖像降噪方法

1.1 方法原理

為開(kāi)展基于深度學(xué)習(xí)的能譜CT圖像降噪方法研究， 我們搭建了能譜CT系統(tǒng)并在多個(gè)能量范圍掃描一個(gè)小鼠樣本， 分別用Feldkamp(FDK)算法[9]和SplitBregman算法[10]重建不同能量范圍的CT圖像。 FDK算法重建效率高， 但重建效果差， 重建圖像中含有較多的噪聲。 Split Bregman重建算法相對(duì)復(fù)雜， 但重建效果好， 能夠有效抑制重建圖像中的噪聲。 兩種算法重建的圖像對(duì)比， 其結(jié)構(gòu)信息大致相同， 主要區(qū)別在于噪聲水平不同。 將Split Bregman算法重建圖像作為標(biāo)簽數(shù)據(jù)x， 不同類型的噪聲的集合設(shè)為v， FDK算法重建圖像作為訓(xùn)練數(shù)據(jù)y， 訓(xùn)練數(shù)據(jù)和標(biāo)簽數(shù)據(jù)相對(duì)應(yīng)， 則有y=x+v。 在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)， 我們?cè)O(shè)定殘差學(xué)習(xí)公式訓(xùn)練殘差映射R(y)≈v， 最后通過(guò)x=y-R(y)得到抑制噪聲后的圖像。 期望殘差圖像與輸入估計(jì)殘差圖像之間的均方誤差為

式(1)中， N為圖像數(shù)量， xi和yi代表圖像中的像素值。 將均方誤差作為損失函數(shù)， 使用數(shù)據(jù)集訓(xùn)練FCPRN。 訓(xùn)練模型能提取不同能量范圍的CT圖像噪聲， 利用輸入圖像減去噪聲得到輸出圖像， 即降噪后的圖像。 在對(duì)FDK算法重建的能譜CT圖像降噪時(shí)， 調(diào)用該網(wǎng)絡(luò)模型可直接對(duì)圖像進(jìn)行校正， 能夠有效的提高能譜CT圖像的重建質(zhì)量和重建效率。

1.2 全卷積金字塔殘差網(wǎng)絡(luò)

基于FCPRN實(shí)現(xiàn)降噪的， 該網(wǎng)絡(luò)由全卷積網(wǎng)絡(luò)(fullyconvolutionalnetwork)[11]和金字塔殘差網(wǎng)絡(luò)(pyramidalresidualnetwork)[12]組合而成， 網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖1所示， 主要分為上采樣路徑和下采樣路徑兩部分。 在下采樣路徑中， 使用3×3卷積(convolution：Conv)提取圖像的特征信息， 后利用多個(gè)金字塔殘差模塊(pyramidresidualblocks，PR-blocks)提取圖像的特征信息，PR-blocks主要包括批量歸一化(batchnormalization，BN)， 修正線性單元(rectifiedlinearunit，ReLU)， 3×3Conv和零填充(zeropadding)等結(jié)構(gòu)。 零填充可保證輸出圖像的尺寸與輸入圖像一致。PR-blocks組輸出的圖像維度可以表示為

圖1 FCPRN結(jié)構(gòu)圖Fig.1 FCPRN structure

式(2)中， Din和Dk分別代表第k層PR-blocks的輸入圖像維度和輸出圖像維度。 j代表PR-blocks組中殘差模塊的數(shù)量，F(xiàn)CPRN中每個(gè)金字塔殘差模塊組中包含4個(gè)金字塔殘差模塊。PR-blocks組中特征圖的維度是按照固定值n增長(zhǎng)的， 有利于防止特征維度爆炸， 便于設(shè)計(jì)更加深層的網(wǎng)絡(luò)結(jié)構(gòu)。 下采樣路徑使用下采樣模塊(transitiondown，TD)降低特征圖的分辨率， 下采樣路徑共包含四個(gè)金字塔殘差模塊組和4個(gè)下采樣模塊。 在下采樣中， 使用了池化層提取圖像的特征， 為了減少信息損失， 本文使用跳躍連接(skipconnection)將下采樣模塊和上采樣模塊(transitionup，TU)連接在一起， 將淺層網(wǎng)絡(luò)的圖像信息傳送到深層網(wǎng)絡(luò)中。 與此同時(shí)， 在上采樣路徑和下采樣路徑之間使用瓶頸結(jié)構(gòu)[13](bottleneck)以避免維度爆炸和梯度消失問(wèn)題。

在上采樣路徑中， 使用轉(zhuǎn)置卷積(transposition convolution)恢復(fù)圖像特征圖。 然后使用多個(gè)PR-blocks降低特征圖的維度， 上采樣路徑共有四個(gè)金字塔殘差組和四個(gè)上采樣模塊， 最后使用3×3 Conv將圖像的特征維度恢復(fù)到與輸入圖像相同。 在實(shí)驗(yàn)中， 輸出圖像即為預(yù)測(cè)的噪聲圖像， 使用輸入圖像減輸出圖像得到噪聲抑制后的圖像， 由此， 可以訓(xùn)練出提取圖像噪聲信息的神經(jīng)網(wǎng)絡(luò)模型， 我們?cè)O(shè)計(jì)的FCPRN結(jié)構(gòu)參數(shù)如表1所示。

表1 FCPRN的結(jié)構(gòu)參數(shù)表Table 1 The structure and parameters of FCPRN

FCPRN使用跳躍連接將淺層網(wǎng)絡(luò)中的圖像信息傳遞到深層網(wǎng)絡(luò)中， 能夠有效的減少圖像信息損失， 結(jié)合全卷積可以精確地識(shí)別圖像中的每個(gè)像素， 有助于提取圖像特征信息。 FCPRN依據(jù)殘差學(xué)習(xí)的方法， 將圖像中的特征信息——噪聲作為學(xué)習(xí)對(duì)象， 可以提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率。

2 實(shí)驗(yàn)及結(jié)果討論

2.1 數(shù)據(jù)采集與處理

實(shí)驗(yàn)數(shù)據(jù)是通過(guò)自主搭建的能譜CT獲取的， 該系統(tǒng)實(shí)物圖如圖2所示。 探測(cè)器為DECTRIS公司生產(chǎn)的SANTIS 0804光子計(jì)數(shù)探測(cè)器， 有效探測(cè)面積為1 024×256像素尺寸為150 μm。 檢測(cè)對(duì)象為一個(gè)小鼠樣本， 體長(zhǎng)約10 cm， 體重在150～180 g之間， 使用氨基甲酸乙酯麻醉后放置在塑料瓶中進(jìn)行掃描。 數(shù)據(jù)采集系統(tǒng)的幾何參數(shù)是根據(jù)小鼠的規(guī)格進(jìn)行設(shè)置的， 源到探測(cè)器的距離為350 mm， 源到探測(cè)物體的距離為210 mm， 系統(tǒng)的管電壓為90 kVp， 管電流為200 μA， 實(shí)驗(yàn)共設(shè)置25～90,30～90,35～90,40～90,45～90和50～90 keV六個(gè)能量范圍進(jìn)行數(shù)據(jù)采集， 每個(gè)能量范圍內(nèi)360°等角度掃描獲取250組投影。

圖2 能譜CT數(shù)據(jù)采集實(shí)物圖Fig.2 Spectral CT system based on photon-counting detector

獲取能譜CT投影數(shù)據(jù)后， 首先使用FDK算法對(duì)不同能量范圍內(nèi)的數(shù)據(jù)進(jìn)行三維重建， 并將其作為訓(xùn)練數(shù)據(jù)， 共重建了六個(gè)能量段的小鼠圖像， 某一切片的訓(xùn)練數(shù)據(jù)如圖3。 然后使用Split-Bregman算法[14]進(jìn)行三維重建， 并作為標(biāo)簽數(shù)據(jù)。 標(biāo)簽數(shù)據(jù)和訓(xùn)練數(shù)據(jù)層層對(duì)應(yīng)， 同一切片標(biāo)簽數(shù)據(jù)和訓(xùn)練數(shù)據(jù)的主要區(qū)別在于圖像噪聲水平不同。 與訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的某一切片的在不同能量范圍內(nèi)的標(biāo)簽數(shù)據(jù)如圖4所示。

圖3 六個(gè)能量段某一切面的能譜CT圖像訓(xùn)練數(shù)據(jù)圖

圖4 六個(gè)能量段某一切面能譜CT圖像標(biāo)簽數(shù)據(jù)圖

在每個(gè)能量段重建256個(gè)切面圖像， 因此六個(gè)能量段共有1 536個(gè)切面圖像， 為了使FDK算法重建的圖像與Split-Bregman算法重建的圖像相匹配， 實(shí)驗(yàn)將三維數(shù)據(jù)等間隔劃分為256個(gè)切片圖像。 此外， 為了提高訓(xùn)練模型的泛化能力， 將這些能譜CT圖像按照1∶1∶5的比例隨機(jī)劃分為驗(yàn)證集、 測(cè)試集和訓(xùn)練集。

2.2 實(shí)驗(yàn)結(jié)果

我們實(shí)驗(yàn)分析并對(duì)比了在低劑量CT降噪中表現(xiàn)較好的REDCNN[8]和廣泛用于圖像降噪的DNCNN[15]。 DNCNN主要包含三類網(wǎng)絡(luò)層： 第一類即第一層包含3×3×nConv和ReLu； 第二類包括含3×3 Conv、 BN以及ReLu， 此類作為中間層， 共有17層； 第三類即最后一層包含3×3 Conv和ReLu。 其中每一層都包含zero padding， 使得每一層的輸入、 輸出尺寸保持一致。 REDCNN使用卷積層進(jìn)行編碼， 使用反卷積層進(jìn)行解碼， 并借助跳躍結(jié)構(gòu)進(jìn)行連接， 減少信息損耗。 在對(duì)三種網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)， 所使用的數(shù)據(jù)和訓(xùn)練條件完全相同， 其中DNCNN和FCPRN使用殘差學(xué)習(xí)的方式進(jìn)行訓(xùn)練， 網(wǎng)絡(luò)學(xué)習(xí)圖像中噪聲的特征信息， 而REDCNN學(xué)習(xí)整個(gè)圖像特征信息， 由此最大限度的發(fā)揮三種網(wǎng)絡(luò)的性能。 網(wǎng)絡(luò)訓(xùn)練的初始學(xué)習(xí)率為0.001， 每訓(xùn)練一次學(xué)習(xí)效率變?yōu)橹暗?5%， 損失函數(shù)為均方誤差(mean squared error， MSE)， 使用Adam (adaptive moment estimation)算法進(jìn)行優(yōu)化。 訓(xùn)練模型所使用的計(jì)算機(jī)軟硬件配置如下： TITAN XP顯卡， 顯存為12G， Intel i7-8700KCPU， 16G計(jì)算機(jī)內(nèi)存， Ubuntu16.04系統(tǒng)， 神經(jīng)網(wǎng)絡(luò)框架及版本為Pythorch 0.4.0。 訓(xùn)練結(jié)束后得到的網(wǎng)絡(luò)模型可以對(duì)FDK重建算法得出的數(shù)據(jù)進(jìn)行降噪。 我們選擇了25～90,35～90和45～90 keV三個(gè)能量段的某一切面進(jìn)行對(duì)比， 如圖5所示。 可以看出， 由DNCNN和REDCNN模型輸出的能譜CT圖像的噪聲相對(duì)明顯， FCPRN模型對(duì)圖像中噪聲的抑制效果較好， 由此可以推斷本文提出的FCPRN有較好的降噪性能。 為了更好地展示降噪細(xì)節(jié)， 我們放大顯示降噪后圖像的部分區(qū)域， 如圖6所示， 可以看出， FCPRN的降噪性能優(yōu)于DNCNN和REDCNN， FCPRN輸出圖像中不同組織之間的對(duì)比度相對(duì)較好， 信噪比較高。

圖5 三種網(wǎng)絡(luò)對(duì)不同能量范圍能譜CT圖像降噪效果圖

圖6 三種網(wǎng)絡(luò)對(duì)不同能量范圍能譜CT圖像降噪效果放大示意圖第一列為訓(xùn)練圖像， 第二列為訓(xùn)練圖像選定區(qū)域放大圖， 第三列至第五列為DNCNN， REDCNN和FCPRN的降噪圖像選定區(qū)域放大圖；第一行至第三行對(duì)應(yīng)25～90,35～90和45～90 keV三個(gè)能量范圍的圖像Fig.6 Details of denoising based on DNCNN， REDCNN and FCPRN in the three energy bins (25～90, 35～90 and 45～90 keV)

為了量化不同網(wǎng)絡(luò)的降噪性能， 此處計(jì)算測(cè)試集的輸出圖像與標(biāo)簽圖像之間的相似性參數(shù)如均方根誤差(root mean squared error， RMSE)， 峰值信噪比 (peak signal to noise ratio， PSNR)和結(jié)構(gòu)相似度(structural similarity， SSIM)進(jìn)行對(duì)比。 訓(xùn)練模型的輸出圖像與標(biāo)簽圖像的RMSE可以表示為

第一列為訓(xùn)練圖像， 第二列至第四列為DNCNN、 REDCNN和FCPRN的降噪結(jié)果； 第一行至第三行為25～90,35～90和45～90 keV三個(gè)能量范圍的圖像

(RMSE(x,y))2=MSE(x,y)=

式(3)中， x和y代表兩幅圖像， m和n代表圖像的邊界尺寸，MSE代表均方誤差。

假設(shè)MAXI是圖像中的最大像素值， 則網(wǎng)絡(luò)模型的輸出圖像與標(biāo)簽圖像之間的PSNR可以表示為

網(wǎng)絡(luò)模型輸出圖像和標(biāo)簽圖像的SSIM可以表示為

式(5)中， μ， σ和σxy分別代表圖像的均值， 方差以及協(xié)方差， c1=(k1L)2和c2=(k2L)2是兩個(gè)用于避免計(jì)算錯(cuò)誤的常數(shù)， L是像素值的變化范圍。 具體結(jié)果如表2所示， 表中所列參數(shù)值為測(cè)試集中不同能量段所有圖像的相似性參數(shù)平均值， 可以較好的反映模型的降噪效果。 可知FCPRN輸出圖像與標(biāo)簽圖像之間的PSNR值和SSIM值高于其他網(wǎng)絡(luò)， RMSE值低于其他網(wǎng)絡(luò)， 這表明FCPRN的降噪性能高于DNCNN和REDCNN。

表2 不同網(wǎng)絡(luò)的去噪結(jié)果量化示意表Table 2 Quantitative results of different networks

3 結(jié) 論

為抑制能譜CT圖像中的噪聲， 本文提出了一種基于全卷積金字塔殘差網(wǎng)絡(luò)(FCPRN)的能譜CT圖像降噪方法， 并實(shí)驗(yàn)驗(yàn)證了方法的可行性。 由文中表2可知， FCPRN能夠有效的抑制能譜CT圖像中的噪聲， 但其在不同能量段內(nèi)的降噪效果不同， 這與標(biāo)簽數(shù)據(jù)的制作水平以及窄能段內(nèi)能譜CT圖像中的噪聲水平較高有關(guān)， 本文將基于Split-Bregman算法重建的圖像作為標(biāo)簽數(shù)據(jù)， 但其中的噪聲并沒(méi)有被完全去除， 訓(xùn)練模型輸出的圖像只能盡可能的逼近標(biāo)簽而不可能超越標(biāo)簽， 我們會(huì)在后續(xù)的工作中使用含有加性高斯噪聲的仿真圖像和真實(shí)圖像聯(lián)合訓(xùn)練神經(jīng)網(wǎng)絡(luò)以提高模型的降噪能力。 此外， 因光子計(jì)數(shù)探測(cè)器探測(cè)單元一致性差等因素的影響， 致使不同能量段內(nèi)的重建能譜CT圖像出現(xiàn)了環(huán)形偽影。 在后續(xù)的研究工作中， 我們會(huì)對(duì)環(huán)形偽影去除做進(jìn)一步研究， 驗(yàn)證能否使用神經(jīng)網(wǎng)絡(luò)同時(shí)抑制能譜CT圖像中的噪聲和偽影。

本文提出了一種基于深度學(xué)習(xí)的能譜CT降噪方法， 實(shí)驗(yàn)結(jié)果表明該方法可以有效的抑制不同能量段內(nèi)能譜CT圖像中的噪聲， 使用的全卷積金字塔殘差網(wǎng)絡(luò)的降噪性能也優(yōu)于文中提到的常用降噪網(wǎng)絡(luò)DNCNN和REDCNN。