基于模塊化神經(jīng)網(wǎng)絡(luò)的低劑量CT圖像去噪

趙桂宸，陳 平

(中北大學(xué) 信息與通信工程學(xué)院 信息探測(cè)與處理山西省重點(diǎn)實(shí)驗(yàn)室，山西 太原 201800)

0 引 言

計(jì)算機(jī)斷層掃描技術(shù)(CT)被廣泛應(yīng)用于醫(yī)療、 生物學(xué)、 機(jī)場(chǎng)安防等領(lǐng)域，但過(guò)高的輻射劑量可能會(huì)給人體造成傷害[1]. 而低劑量CT的應(yīng)用就大大減少了患者在照射時(shí)接受的輻射劑量，但是低劑量CT的成像質(zhì)量與常規(guī)劑量CT相比有明顯的下降，導(dǎo)致在診療過(guò)程中出現(xiàn)誤診漏診的概率增加，為此就需要利用現(xiàn)代技術(shù)來(lái)改善低劑量CT的圖像質(zhì)量.

為了解決低劑量CT圖像去噪的問(wèn)題，近年來(lái)，研究者們提出了各種低劑量CT圖像的去噪算法. 現(xiàn)有的方法主要是分為投影域去噪[2]、 迭代重建[3，4]和圖像后處理[5，6]，由于投影域去噪需要的投影數(shù)據(jù)作為CT掃描的中間結(jié)果，一般的用戶難以直接獲取，并且不同廠商還會(huì)有不同格式的投影數(shù)據(jù)，所以，圖像后處理的方法就成為了當(dāng)下的研究熱點(diǎn)，本文就是在圖像域中進(jìn)行圖像去噪.

圖像域中低劑量CT去噪是一種特殊應(yīng)用場(chǎng)景下的圖像處理算法，所以學(xué)者們?cè)趯?duì)低劑量CT圖像噪聲的特殊性進(jìn)行分析的基礎(chǔ)上，結(jié)合圖像處理算法的通用性，通過(guò)優(yōu)化算法，形成了很多具有良好去噪效果的后處理算法. 傳統(tǒng)上在圖像域去噪一般有小波變換[7]、 TV算法[8]、 字典學(xué)習(xí)[9]、 深度學(xué)習(xí)[10，11]等方法. 文獻(xiàn)[12]通過(guò)對(duì)常規(guī)劑量CT圖像進(jìn)行訓(xùn)練得到學(xué)習(xí)字典，然后使用學(xué)習(xí)到的字典對(duì)低劑量CT圖像進(jìn)行去噪； 文獻(xiàn)[13]提出了一種基于雙字典和偽影字典關(guān)系的低劑量CT去噪算法，得到了很好的效果.

近些年來(lái)，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，在圖像處理中深度學(xué)習(xí)的技術(shù)應(yīng)用也越發(fā)的廣泛、 深入[14]. 卷積神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最為廣泛的深度學(xué)習(xí)模型. 卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)是神經(jīng)元，通過(guò)數(shù)量眾多的神經(jīng)元進(jìn)行卷積操作可以有效地學(xué)習(xí)特征尤其是細(xì)節(jié)特征，并建立從含噪聲圖像到清晰圖像的映射. 正因如此，相較于傳統(tǒng)的圖像域去噪方法，深度學(xué)習(xí)的方法具有顯著的優(yōu)勢(shì). 文獻(xiàn)[15]提出了一種具有殘差編解碼器結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)RED-CNN，應(yīng)用較為成熟的深度學(xué)習(xí)技術(shù)，提高了低劑量CT圖像的去噪水平； 文獻(xiàn)[16]提出了一種模塊化網(wǎng)絡(luò)的去噪方法，利用生成對(duì)抗網(wǎng)絡(luò)擴(kuò)充數(shù)據(jù)集，經(jīng)實(shí)驗(yàn)驗(yàn)證，網(wǎng)絡(luò)顯著改善了低劑量CT圖像的質(zhì)量.

上述方法在低劑量CT圖像去噪上都取得了較好的結(jié)果，但是這些方法存在著對(duì)于對(duì)應(yīng)圖像過(guò)于依賴的問(wèn)題，在配對(duì)圖像不足時(shí)效果會(huì)有衰減. 而在實(shí)際情況中，對(duì)同一患者進(jìn)行CT診療的時(shí)候往往只能在低劑量CT和常規(guī)劑量CT之間選擇一個(gè)，這就導(dǎo)致了很難獲得大量的兩兩對(duì)應(yīng)的圖像. CT圖像噪聲的分布是相對(duì)復(fù)雜的，并且除了噪點(diǎn)外還有可能伴隨著偽影，而上述方法中的卷積均為線性卷積的形式，因此線性卷積在處理過(guò)程中必須要增加網(wǎng)絡(luò)深度，這就帶來(lái)了網(wǎng)絡(luò)訓(xùn)練中梯度爆炸等問(wèn)題. 文獻(xiàn)[17]提出了新的二次神經(jīng)元模型，并應(yīng)用于低劑量CT去噪，與一次卷積相比提供了更好的擬合能力，取得了一定的效果. 因此，本文從弱監(jiān)督的角度出發(fā)，提出了一種適應(yīng)于數(shù)據(jù)不足情況下的低劑量CT去噪方法. 該方法應(yīng)用模塊化子網(wǎng)絡(luò)，并且引入了二次神經(jīng)元，利用跨層連接，實(shí)現(xiàn)了對(duì)低劑量CT圖像噪聲的降低. 經(jīng)過(guò)實(shí)驗(yàn)對(duì)比，取得了比現(xiàn)有結(jié)果更好的效果.

1 基本原理

1.1 模塊化網(wǎng)絡(luò)

深度學(xué)習(xí)的方法在LDCT圖像去噪方面取得了良好的效果，目前大多數(shù)端到端的深度學(xué)習(xí)方法是通過(guò)定義一個(gè)最小化的損失函數(shù)來(lái)實(shí)現(xiàn)LDCT圖像去噪的，這其中既有直接學(xué)習(xí)LDCT圖像到NDCT圖像的映射，也有通過(guò)學(xué)習(xí)LDCT與NDCT之間的殘差來(lái)實(shí)現(xiàn)圖像去噪. 傳統(tǒng)上的去噪網(wǎng)絡(luò)一般是用一個(gè)較大型的網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)去噪的，這就對(duì)網(wǎng)絡(luò)的設(shè)計(jì)提出了較高的要求. Shan等[16]將模塊化網(wǎng)絡(luò)首先應(yīng)用于低劑量CT圖像去噪領(lǐng)域. 模塊化網(wǎng)絡(luò)利用多個(gè)具有相同結(jié)構(gòu)的子網(wǎng)絡(luò)串聯(lián)，來(lái)實(shí)現(xiàn)對(duì)低劑量CT圖像的去噪. 由于每一級(jí)的子網(wǎng)絡(luò)都可以看做是傳統(tǒng)網(wǎng)絡(luò)中的一層，運(yùn)用傳統(tǒng)網(wǎng)絡(luò)中跨層連接的思想，在子網(wǎng)絡(luò)間也應(yīng)用跨層連接，使得網(wǎng)絡(luò)可以在學(xué)習(xí)深層細(xì)節(jié)特征的同時(shí)不過(guò)多地?fù)p失淺層信息，從而達(dá)到良好的去噪效果. 這使得每一級(jí)的子網(wǎng)絡(luò)都可以在一定程度上提高圖像質(zhì)量. 單一的大型網(wǎng)絡(luò)在以往的研究中也取得了良好的效果，但是在參數(shù)優(yōu)化等方面存在著效率不高、 優(yōu)化困難等問(wèn)題. 而多個(gè)小網(wǎng)絡(luò)串聯(lián)的形式可以在一定程度上解決這一問(wèn)題，為網(wǎng)絡(luò)設(shè)計(jì)提供更多的變化和思路. 每一級(jí)的子網(wǎng)絡(luò)采用了傳統(tǒng)的編碼、 解碼的結(jié)構(gòu)，運(yùn)用了線性神經(jīng)元. 如圖1 所示，每一個(gè)方塊都是一個(gè)子網(wǎng)絡(luò)，運(yùn)用跨層連接的形式將子網(wǎng)絡(luò)串聯(lián)起來(lái)，使得每一級(jí)子網(wǎng)絡(luò)都擁有一定的去噪能力，并且在這個(gè)過(guò)程當(dāng)中，圖像的質(zhì)量是一個(gè)不斷提高的過(guò)程.

圖1 模塊化網(wǎng)絡(luò)結(jié)構(gòu)

1.2 二次神經(jīng)元

神經(jīng)元作為神經(jīng)網(wǎng)絡(luò)的重要組成部分，當(dāng)前的神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元結(jié)構(gòu)大多為一次型. 神經(jīng)元的數(shù)學(xué)模型是向量輸入到一個(gè)線性函數(shù)中產(chǎn)生輸出

(1)

式中：xi為第i個(gè)輸入向量；ωi為第i個(gè)輸入向量對(duì)應(yīng)的權(quán)重；f(x)通過(guò)激活函數(shù)，構(gòu)成了一個(gè)完整的神經(jīng)元. 由式(1)易知，單個(gè)傳統(tǒng)神經(jīng)元可以分離成兩組線性可分的輸入. 相比之下，在面對(duì)線性不可分的輸入組時(shí)，單個(gè)傳統(tǒng)神經(jīng)元容易出現(xiàn)分類錯(cuò)誤. 例如，單個(gè)傳統(tǒng)的神經(jīng)元對(duì)于模擬異或門的功能就顯得比較困難. 雖然在實(shí)際應(yīng)用中可以通過(guò)增加網(wǎng)絡(luò)深度來(lái)改善這一問(wèn)題，但是這同樣也帶來(lái)了運(yùn)算量的大幅度增加和收斂困難的問(wèn)題.

受到文獻(xiàn)[18]的啟發(fā)，本文引入了一種新型的二次神經(jīng)元，其結(jié)構(gòu)如圖2 所示.

圖2 二次神經(jīng)元結(jié)構(gòu)示意圖Fig.2 Schematic diagram of secondary neuron structure

在二次神經(jīng)元中，輸入向量在輸入之后被轉(zhuǎn)化為2個(gè)內(nèi)積和1個(gè)范數(shù)項(xiàng)進(jìn)行求和，之后再通過(guò)一個(gè)非線性激活函數(shù)，整個(gè)過(guò)程構(gòu)成了一個(gè)完整的二次神經(jīng)元. 輸出函數(shù)表示為

(2)

式中：xi為第i個(gè)輸入向量；ωiα，ωiβ為第i個(gè)輸入向量對(duì)應(yīng)的兩個(gè)不同權(quán)重；ωiγ為范數(shù)項(xiàng)的權(quán)重.

本文選取的激活函數(shù)為線性整流函數(shù). 由于二次神經(jīng)元是非線性地加入到傳統(tǒng)神經(jīng)元中，所以二次神經(jīng)元在表示能力上比現(xiàn)有的傳統(tǒng)線性神經(jīng)元具有顯著的優(yōu)勢(shì).

1.3 改進(jìn)后的網(wǎng)絡(luò)

在沒(méi)有填充的情況下，卷積操作會(huì)引起圖像大小的變化，因此本文選擇填充為零的卷積模式. 二次卷積可以提取細(xì)節(jié)特征，但也會(huì)丟失全局信息. 因此，本文增加了跨層連接，有效地保留全局信息. 從卷積核的大小來(lái)看，較大的卷積核可以改善卷積的接受域，但會(huì)增加一定的計(jì)算量. 由于采用的是模塊化網(wǎng)絡(luò)，所以在子網(wǎng)之間增加了跨層連接. 因此，選擇3×3的卷積核. 反卷積運(yùn)算可以看作是卷積運(yùn)算的逆運(yùn)算，可以對(duì)圖像進(jìn)行上采樣. 由于二次卷積具有收斂速度快的特點(diǎn)，本文在子網(wǎng)中只使用了3層卷積層和3層反卷積層. 訓(xùn)練基于二次卷積的模塊化網(wǎng)絡(luò)的總體思路與傳統(tǒng)的網(wǎng)絡(luò)是完全一致的. 換句話說(shuō)，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的損失函數(shù)是可以用于二次神經(jīng)網(wǎng)絡(luò)的. 如式(3)所示，二次卷積的損失函數(shù)是基于鏈?zhǔn)角髮?dǎo)規(guī)則來(lái)優(yōu)化參數(shù)進(jìn)而最小化其損失函數(shù)的. 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示.

圖3 改進(jìn)后的網(wǎng)絡(luò)Fig.3 The improved network

(3)

2 分析與討論

為了驗(yàn)證網(wǎng)絡(luò)的效果，本文使用配置為Intel Core i7-9770H處理器、 windows10操作系統(tǒng)，利用NVIDIA GeForce RTX 2080的GPU進(jìn)行計(jì)算加速，利用基于tensorflow架構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)及python程序進(jìn)行測(cè)試.

2.1 數(shù)據(jù)集

數(shù)據(jù)集1來(lái)自于2016年梅奧醫(yī)學(xué)中心進(jìn)行的低劑量CT大挑戰(zhàn)，本文選取了其中4位患者的不同部位圖像作為訓(xùn)練集，其中剔除掉大部分的常規(guī)劑量CT圖像，以保證數(shù)據(jù)集當(dāng)中的數(shù)據(jù)不能一一對(duì)應(yīng). 之后選擇其他4位患者的低劑量CT圖像作為測(cè)試集進(jìn)行測(cè)試.

數(shù)據(jù)集2是Mayo中心在TCIA中開源的數(shù)據(jù)集. 數(shù)據(jù)集中分為3個(gè)不同的系列，本文所采用的是N系列的圖像，選取了其中500張低劑量CT圖像和不與低劑量CT圖像對(duì)應(yīng)的50張常規(guī)劑量CT圖像作為訓(xùn)練集，之后選擇不同患者的低劑量CT圖像用做測(cè)試.

2.2 訓(xùn)練網(wǎng)絡(luò)

每個(gè)數(shù)據(jù)集訓(xùn)練一個(gè)模型. 將數(shù)據(jù)集選出的圖像制作成h5文件，相較于單張圖像輸入網(wǎng)絡(luò)，可以縮短讀取圖像的時(shí)間. 每個(gè)圖像尺寸為 512像素×512像素. 網(wǎng)絡(luò)應(yīng)用WGAN[19]隊(duì)數(shù)據(jù)進(jìn)行擴(kuò)充，訓(xùn)練時(shí)將圖像全部輸入網(wǎng)絡(luò). 網(wǎng)絡(luò)的損失函數(shù)共有3個(gè)，分別是對(duì)抗性損失、 均方誤差和邊緣非相干性測(cè)量. 其中，對(duì)抗性損失是用來(lái)優(yōu)化生成對(duì)抗網(wǎng)絡(luò)的生成成分的，使生成器生成由鑒別器判斷的與NDCT圖像難以區(qū)分的樣本圖像. 這里對(duì)抗性損失是在帶有梯度懲罰的Wasserstein生成對(duì)抗網(wǎng)絡(luò)框架內(nèi)定義的[20]，形式如式(4)

LWGAN=-E{D[sN(YLD)]}，

(4)

式中： 網(wǎng)絡(luò)D表示鑒別器，用來(lái)區(qū)分真實(shí)數(shù)據(jù)與生成器生成的數(shù)據(jù)；sN表示第N個(gè)子網(wǎng)絡(luò)；YLD表示低劑量CT圖像. 均方誤差是為了測(cè)量輸出圖像和NDCT圖像的差異而采用的，降低了輸入圖像的噪聲，形式上的定義為

(5)

式中：YND表示常規(guī)劑量CT圖像. 邊緣不相干檢測(cè)是為了測(cè)量真實(shí)圖像與估計(jì)圖像間的濾波差值而采用的，形式如式(6)

(6)

式中：SF代表著圖像中各點(diǎn)梯度向量對(duì)應(yīng)的Sobel濾波，是利用一個(gè)小的濾波器對(duì)圖像進(jìn)行卷積. 網(wǎng)絡(luò)最終的目標(biāo)函數(shù)為3個(gè)函數(shù)的加權(quán)之和，形式如式(7)

L=LWGAN+λMLMSE+λeLe，

(7)

2.3 實(shí)驗(yàn)結(jié)果

利用數(shù)據(jù)集1中4位不同患者的低劑量CT圖像進(jìn)行測(cè)試. 圖4 是與目前常用的幾種方法做對(duì)比的效果，從主觀上可以看出，本文所提出的方法明顯優(yōu)于經(jīng)典BM3D算法； 較之目前較為先進(jìn)的REDCNN算法和QAE算法，本文的方法顯著降低了圖像的噪聲； 與MAPNN算法相比，本文的方法在大多數(shù)圖像上都有更少的噪聲. 客觀上，本文采用目前圖像評(píng)價(jià)體系中常用的峰值信噪比(Peak signal-to-noise ratio，PSNR)和結(jié)構(gòu)相似性(Structural SIMilarity，SSIM)兩個(gè)指標(biāo)，對(duì)4張圖像進(jìn)行測(cè)試，結(jié)果詳見(jiàn)表 1. 可以看出，本文所提出的網(wǎng)絡(luò)在客觀指標(biāo)的測(cè)試當(dāng)中大幅度優(yōu)于BM3D； 在與REDCNN和QAE的對(duì)比中也顯示出了顯著的優(yōu)勢(shì)； 在大多數(shù)圖像上對(duì)比MAPNN也有一些優(yōu)勢(shì). 4張測(cè)試圖像的結(jié)果均優(yōu)于以往的方法，其中PSNR指標(biāo)高出REDCNN和QAE約0.45 dB左右，SSIM指標(biāo)提高大約0.01.

表 1 測(cè)試圖的客觀評(píng)價(jià)指標(biāo)Tab.1 Objective evaluation indexes of test chart

圖4 去噪效果對(duì)比Fig.4 Comparison of denoising effects

數(shù)據(jù)集2中4個(gè)不同患者4張低劑量CT圖像作為測(cè)試圖像. 與目前較為常用且較為先進(jìn)的方法做對(duì)比，如圖5 所示. 從圖像整體上看，本文所采用的方法相較于其他方法，噪點(diǎn)數(shù)量明顯較小. 從放大的局部區(qū)域看，本文的方法在對(duì)噪聲抑制較好的同時(shí)，也較為清晰地保留了組織邊緣信息，沒(méi)有出現(xiàn)邊緣信息的丟失或邊緣的擴(kuò)散. 如表 2 所示，在定量分析中，本文的方法展現(xiàn)出了較為良好的效果，PSNR和SSIM的數(shù)值較之以往的方法均有了不同程度的提高，顯示出了較為明顯的性能優(yōu)勢(shì).

表 2 測(cè)試圖的客觀評(píng)價(jià)指標(biāo)Tab.2 Objective evaluation indexes of test chart

圖5 去噪效果對(duì)比Fig.5 Comparison of denoising effects

2.4 網(wǎng)絡(luò)分析

子網(wǎng)絡(luò)數(shù)量對(duì)于網(wǎng)絡(luò)的訓(xùn)練時(shí)間和訓(xùn)練效果都有很大的影響，本文分別測(cè)試了不同子網(wǎng)絡(luò)數(shù)量對(duì)于網(wǎng)絡(luò)整體性能的影響. 如圖6 所示，經(jīng)過(guò)實(shí)驗(yàn)分析，網(wǎng)絡(luò)去噪效果在子網(wǎng)絡(luò)數(shù)小于5個(gè)時(shí)，效果的進(jìn)步速度非常快，從第6個(gè)子網(wǎng)絡(luò)開始，網(wǎng)絡(luò)的去噪性能雖然有小幅度的改善，但是計(jì)算量顯著增加，訓(xùn)練時(shí)間顯著延長(zhǎng). 因此綜合考慮網(wǎng)絡(luò)訓(xùn)練時(shí)間和去噪性能，選擇采用5個(gè)子網(wǎng)絡(luò)用來(lái)實(shí)現(xiàn)低劑量CT圖像去噪.

圖6 不同子網(wǎng)數(shù)對(duì)去噪效果的影響

用一組不同的參數(shù)在數(shù)據(jù)集1上進(jìn)行訓(xùn)練，用來(lái)分析超參數(shù)對(duì)網(wǎng)絡(luò)的影響. 批大小為128，epoch為100，學(xué)習(xí)率設(shè)置為5.0×10-5. 經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，訓(xùn)練時(shí)間由之前的10 h 18 min，增加到了12 h 43 min，最終取得了與第一組參數(shù)基本相同的結(jié)果.

在第2個(gè)數(shù)據(jù)集中選擇40張圖像，將測(cè)試圖像用數(shù)據(jù)集1中訓(xùn)練出的模型進(jìn)行測(cè)試，以驗(yàn)證網(wǎng)絡(luò)的穩(wěn)定性. 最終得出的數(shù)據(jù)見(jiàn)表 3.

表 3 測(cè)試圖像在兩個(gè)模型上的效果對(duì)比Tab.3 Test the effect of the image on the two models

3 結(jié) 論

在現(xiàn)實(shí)條件中，研究人員往往很難獲得大量高質(zhì)量的一一對(duì)應(yīng)的低劑量CT圖像和常規(guī)劑量CT圖像. 本文提出了一種在缺乏對(duì)應(yīng)圖像條件下的弱監(jiān)督網(wǎng)絡(luò)架構(gòu). 一個(gè)公開的數(shù)據(jù)集被用來(lái)評(píng)價(jià)本文所提出的網(wǎng)絡(luò). 不同的實(shí)驗(yàn)結(jié)果表明，本文所描述的網(wǎng)絡(luò)顯著改善了低劑量CT圖像的質(zhì)量.

本文所提出的方法更多的是基于實(shí)驗(yàn)而不是基于嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)推導(dǎo). 由于投影數(shù)據(jù)本身含有大量噪聲，因此，下一步將研究將網(wǎng)絡(luò)架構(gòu)移植到投影域進(jìn)行去噪，以期更好的去噪效果.

在本研究中，還有一些問(wèn)題需要解決. 由于本文所采用的的數(shù)據(jù)集是模擬的低劑量CT噪聲，因此在實(shí)際中的效果可能有所偏差，另外一些噪聲與人體組織或是病變較為相似，網(wǎng)絡(luò)有時(shí)不能很好地識(shí)別并去除. 這也是下一步研究的重點(diǎn).