用于低劑量CT降噪的偽影感知生成對抗網絡

韓澤芳，張雄，上官宏，韓興隆，韓靜，奉剛，崔學英

用于低劑量CT降噪的偽影感知生成對抗網絡

韓澤芳，張雄*，上官宏，韓興隆，韓靜，奉剛，崔學英

（太原科技大學 電子信息工程學院，太原 030024）（ ? 通信作者電子郵箱zx@ tyust.edu.cn）

近年來，生成對抗網絡（GAN）用于低劑量CT（LDCT）偽影抑制表現出一定性能優勢，已成為該領域新的研究熱點。由于偽影分布不規律且與正常組織位置息息相關，現有GAN網絡的降噪性能受限。針對上述問題，提出了一種基于偽影感知GAN的LDCT降噪算法。首先，設計了偽影方向感知生成器，該生成器在U型殘差編解碼結構的基礎上增加了偽影方向感知子模塊（ADSS），從而提高生成器對偽影方向特征的敏感度；其次，設計了注意力判別器（AttD）來提高對噪聲偽影的鑒別能力；最后，設計了與網絡功能相對應的損失函數，通過多種損失函數協同作用來提高網絡的降噪性能。實驗結果表明，與高頻敏感GAN（HFSGAN）相比，該降噪算法的平均峰值信噪比（PSNR）和結構相似度（SSIM）分別提升了4.9%和2.8%，偽影抑制效果良好。

低劑量斷層掃描成像；圖像降噪；生成對抗網絡；方向卷積；注意力機制

0 引言

由于具有操作簡單、密度分辨率高、成像質量清晰等優點，X射線計算機斷層掃描成像（Computed Tomography， CT）技術已經被廣泛應用于圖像引導介入、灌流成像、放射學等臨床診療中［1］；然而，CT掃描是主要的醫源性輻射源，其潛在危害包括新陳代謝異常、癌癥、白血病以及其他遺傳性疾病等［2］，在CT檢查中需要盡可能降低掃描時的輻射劑量。輻射劑量的降低又會引起投影數據量子噪聲加大，進而導致重建圖像出現明顯的條形偽影和斑點噪聲，影響臨床診斷的準確性。如何在盡可能低的掃描劑量條件下，獲取與常規劑量CT（Normal-Dose CT， NDCT）掃描質量相近的CT圖像的技術，即低劑量CT（Low-Dose CT， LDCT）成像技術已成為研究熱點。

目前，學者們對LDCT成像算法的研究嘗試主要分為三類：投影域方法、重建方法及后處理方法。由于不依賴原始投影數據，具有較強的可移植性，后處理方法成為該領域的研究熱點。早期的后處理方法主要采用信號處理或圖像處理技術，例如：非局部均值濾波［3］、三維塊匹配（Block-Matching 3D， BM3D）算法［4］、基于字典學習［5］與稀疏表示［6］的LDCT降噪算法等。近年，深度學習在機器視覺、語音識別與自然語言處理等領域［7］取得的顯著效果，激發了研究者利用深度學習技術來解決LDCT偽影抑制問題的興趣。為了提高特征提取豐富性，學者們設計了二維卷積神經網絡 （Convolutional Neural Network， CNN）［8］、三維CNN［9］、殘差編碼器 / 解碼器CNN（Residual Encoder-Decoder CNN， RED-CNN）［10］和級聯CNN［11］等網絡結構；為了提高特征提取的有效性和充分性，提出了基于多尺度編解碼結構的U-Net［12］及其改進算法［13］；在損失函數的設計方面提出了用于指導降噪網絡學習輸出與目標圖像之間像素級差異的像素級L1損失［8］，用于指導降噪網絡學習輸出與目標圖像之間語義特征的差異、提高網絡對低質量圖像的特征重構能力的感知損失［14］和風格損失［15］。得益于CNN強大的特征映射能力，基于CNN的LDCT降噪方案取得了一定效果，然而，實際應用中，很難構建能夠滿足CNN充足訓練的數據集，數據集較小常會引起訓練不充分、網絡欠擬合等問題。

為了解決上述問題，Goodfellow等［16］提出了由生成器G（Generator）與判別器D（Discriminator）兩部分組成的生成對抗網絡（Generative Adversarial Network， GAN）。該網絡是一種無監督框架，通過G和D的博弈對抗和交替訓練，逐步生成能夠逼近真實數據的新樣本。由于采用對抗訓練的方式來對G和D進行訓練，原始GAN框架往往缺少穩定性，即網絡訓練過程中損失函數振蕩幅度較大；梯度總體變化趨勢不規律；網絡整體降噪性能不佳等。一般地，GAN網絡訓練穩定性主要取決于兩個方面：生成器特征提取的有效性和代價函數的約束。近年，研究人員主要從生成器、判別器及損失函數這三個方面尋求解決方案來改進基于GAN的降噪網絡的性能。一方面，許多學者通過從網絡深度、卷積方式、引入新的功能子網絡等角度探索改進生成器特征提取能力的方案。例如Wolterink等［17］采用7層CNN結構作為生成器，首次實現了GAN在LDCT降噪領域的應用；Yi等［18］設計一種基于U-Net的生成器，該網絡的多尺度編解碼結構對LDCT圖像的降噪貢獻了積極的作用，這種結構比CNN參數更少，而特征提取卻更有效。此外，還有基于拉普拉斯金字塔的多尺度漸進式生成器［19］、基于兩階段的堆棧式生成器［20］和結合自注意力機制的注意力生成器［21］等。上述算法對LDCT圖像偽影抑制有積極作用，然而，這些網絡并沒有針對CT圖像中噪聲偽影的特殊性進行設計，不僅網絡計算復雜度高，而且普遍存在對噪聲偽影描述能力弱的問題。另一方面，也有許多學者致力于提高判別器對真假樣本的鑒別能力來改善降噪網絡的性能，Isola等［22］提出了一種PatchGAN網絡，通過采用分切片的方式對圖像進行判決，有效減少了網絡參數的數量；Yang等［23］在GoogleNet的啟發下提出了一種能夠提取圖像多尺度特征的Inception判別器，提高了網絡對不同尺寸目標的判別能力。由此可以發現，判別器對特征的描述能力直接影響判別器的性能，而判別器鑒別能力的強弱也間接影響了生成器的學習能力。在GAN的設計過程中應該綜合考慮生成器與判別器兩方面因素，提高它們在訓練過程中的交互對抗能力，才能取得較好的效果。

此外，也有許多學者致力于改進損失函數或者增加多種損失函數來提高網絡訓練穩定性。早期評價兩種不同分布之間的差異性常采用KL散度（Kullback-Leibler divergence）或者JS散度（Jensen-Shannon divergence）［24］，然而當真實數據與生成數據分布一致時，采用這兩種損失函數易導致網絡在反向傳播過程中出現梯度消失現象。為了解決這一難題，2018年，Arjovsky等［25］提出采用Wassertein距離來衡量真實數據與生成數據分布的一致性的Wassertein GAN（WGAN），該方法在訓練過程中表現相對穩定。2018年，Yang等［26］在WGAN的代價函數中加入了感知損失，將視覺感知知識遷移到LDCT偽影抑制任務中，取得了一定的降噪效果。Li等［27］將帶有梯度懲罰項的WGAN（WGAN-gradient penalty， WGAN-gp）［28］訓練策略應用到LDCT降噪任務中，在不增加網絡復雜度的同時改善了CT圖像的質量。此外，最小二乘GAN［29］和f-GAN［30］等方法也是通過改進目標函數來提高訓練穩定性的一些嘗試。

針對現有GAN框架用于LDCT降噪仍然存在網絡計算復雜度較大、網絡對噪聲的描述能力較差和網絡訓練過程不穩定等問題，本文從提高生成器與判別器特征提取有效性和代價函數的設計兩種角度出發，提出了一種基于偽影感知生成對抗網絡的LDCT圖像偽影抑制算法。為了降低算法復雜度，提高生成器對噪聲偽影的注意能力，設計了偽影方向感知生成器，該生成器在U型殘差編解碼（U-Residual Encoding and Decoding， URED）結構基礎上，增加了偽影方向感知子模塊（Artifacts Direction Sensing Sub-module， ADSS），能夠在不增加網絡參數量的同時提高生成器對噪聲偽影方向特征有效描述的能力；設計了注意力判別器（Attention Discriminator， AttD），該判別器能夠有效抽取圖像中噪聲偽影及其周圍結構的特征，提高判別器對噪聲偽影的鑒別能力。判別器性能的提高反過來又會進一步促進生成器生成更高質量的降噪圖像；此外，采用多種損失函數共同約束網絡參數優化過程，進一步保障了網絡的降噪性能。本文在Mayo數據集上進行了實驗，并與目前主流的降噪算法進行了定性比較與定量分析，實驗結果表明本文算法降噪效果更加顯著。

1 本文算法

1.1　降噪模型

1.2　LDCT圖像降噪網絡

本文以GAN的博弈對抗思想為指導，將LDCT圖像偽影抑制問題分解為LDCT降噪圖像生成與降噪圖像和NDCT的真假判別兩個子問題，生成器的訓練目標是抑制LDCT圖像中的噪聲與偽影，生成一幅接近NDCT的能夠以假亂真的降噪結果，判別器的訓練目標是對真實NDCT和由LDCT生成的降噪圖像做出盡可能準確的判斷，并指導生成器生成質量更高的圖像。此時的研究目標轉化為如何提高生成器抑制噪聲偽影的能力和判別器鑒別真假樣本的能力。如圖1所示，本文提出了一種由偽影方向感知生成器與注意力判別器兩部分組成的偽影感知生成對抗網絡。一方面，為了提高生成器的特征提取能力，增加生成器對LDCT圖像中分布不均勻的偽影和噪聲的敏感度，本文將生成器的主特征提取通道設計為U型殘差編解碼結構，特別地，在編碼端與解碼端之間嵌入了能夠捕獲噪聲偽影方向特征的偽影方向感知子模塊；另一方面，為了提高判別器對偽影特征的敏感度，本文將判別器設計為注意力判別器，進一步提高了判別器對真假NDCT的鑒別力；此外，本文采用了偽影掩碼損失用來優化偽影方向感知子模塊、最小二乘損失用來保證網絡穩定性和像素級L1范數用來優化整體網絡降噪性能。

圖1　本文降噪算法整體框架

1.2.1偽影方向感知生成器

本文對傳統U-Net進行了改進，提出了偽影方向感知生成器（如圖1（a）所示），能夠在降低網絡復雜度的同時提高網絡對LDCT圖像的特征提取能力。生成器包括兩個分支，主特征提取分支采用U型殘差編解碼結構，其編碼端包括7層網絡層，第1層采用卷積核大小為3×3、步長為1的卷積操作，主要用于提取LDCT的邊緣、輪廓等淺層特征；第2層到第7層由3個卷積塊與3個殘差塊交叉連接而成，卷積核的大小均為4×4，步長為2，卷積層后增加了批量歸一化與LeakyReLU激活函數，殘差塊是由3個卷積層構成，卷積核的大小分別為1×1、3×3（空洞率因子為2）與1×1，這種設計不僅減少了網絡需要學習的參數量，擴大了感受野，而且增加了網絡特征提取的充分性。解碼端包括7層，第1層到第6層由3個轉置卷積塊與3個殘差塊交叉連接而成，卷積核的大小均為4×4，步長為2，卷積層后增加了批量歸一化與LeakyReLU激活函數，殘差塊是由3個卷積層構成，卷積核的大小分別為1×1、3×3（空洞率因子為2）與1×1；第7層采用卷積核大小為3×3、步長為1的卷積操作，用來重構降噪結果。此外，為了提高生成器對偽影噪聲的注意能力，本文在編碼端與解碼端之間增加了3個殘差注意力模塊。不同于普通殘差塊，將卷積核大小分別為1×1、3×3（空洞率因子為2）與1×1的卷積層處理后的特征與偽影方向感知子模塊得到的偽影掩碼圖相乘，輸出噪聲偽影特征圖。

考慮到LDCT中的噪聲偽影是一些具有方向的條紋，而不同的LDCT中的噪聲偽影具有不同的方向特征，因此有必要設計一個能夠提取噪聲偽影方向特征的網絡，才能更好地抑制LDCT中的噪聲偽影，進而提高降噪圖像的質量。為了進一步提高網絡對噪聲偽影方向特征的敏感度，本文設計了一路專門用來提取噪聲偽影方向特征的偽影方向感知子模塊，該模塊采用偽影掩碼（偽影掩碼的產生過程如下：將LDCT與NDCT相減，得到理想偽影圖；對理想偽影做閾值處理，大于閾值的像素值設為1，表示該區域屬于偽影區，小于閾值的像素值設為0，表示該區域屬于無噪聲的背景區）作為約束，包括注意力權重生成與偽影八方向特征提取2個子模塊。注意力權重生成模塊由3個卷積層構成，前2個卷積層卷積核的大小為3×3，步長為1，旨在進行特征提取，第3個卷積層卷積核大小為1×1，卷積核個數為8，卷積層后增加了Sigmoid激活函數，用來實現特征降維，輸出8個分別表示圖像的左-右-上-下-左上-左下-右上-右下8個方向特征的不同權重。偽影八方向特征提取模塊的工作原理具體如下：首先，將前一層網絡的輸出特征送入卷積核大小為3×3，步長為1的卷積層中進行特征提取；其次，采用8個分別向左-右-上-下-左上-左下-右上-右下8個方向移動的獨立的方向卷積對前一層網絡的輸出進行特征提取，輸出8個帶有不同方向信息的特征；然后，將這8個特征與注意力權重生成模塊所產生的權重相乘，得到8個能夠比較準確地描述LDCT圖像方向信息的新特征圖，將這8個特征圖按照通道維度進行級聯，并采用卷積核大小為3×3，步長為1的卷積層進行特征降維，得到1個特征圖；重復八方向卷積操作，進一步捕獲LDCT的方向特征；最后，經Sigmoid激活函數后輸出偽影掩碼圖。采用2次八方向卷積結構能夠在8個方向上進行特征提取，不斷累積全局上下文信息，不僅擴大了特征提取的感受野，而且提高了網絡對LDCT中噪聲偽影的特征敏感度。

1.2.2注意力判別器

在GAN的設計中，判別器的作用是通過與生成器博弈對抗，指導生成器輸出高質量圖像，因此判別器的設計也對降噪圖像質量的提升起著關鍵作用。目前針對判別器的設計仍然面臨著3個主要挑戰：首先，LDCT圖像中被噪聲偽影污染的區域是未知的；其次，被噪聲偽影污染區域的背景信息大部分是完全丟失的；最后，由于LDCT中包含豐富的信息，噪聲偽影呈現不同尺度、不同方向、分布不規則且與組織位置息息相關的特點，很難將兩者有效分離。為了解決上述問題，如圖1（c）所示，本文設計了一種能夠更多地關注偽影及其周圍區域的注意力判別器，該設計能更容易評估LDCT降噪區域的局部一致性。注意力判別器的結構包含10層：前6層由卷積層、ReLU激活函數組成的卷積塊構成，其中卷積核大小為5×5，步長為1；第7層由卷積核大小為5×5，步長為1的卷積層構成，用來生成能夠反映偽影位置信息的特征圖，并將該特征與前一層網絡的輸出特征相乘，作為下一層網絡的輸入；第8層和第9層均由卷積核大小為5×5，步長為4的卷積層構成，卷積層后增加了ReLU激活函數；最后一層由2個全連接層和1個Sigmoid激活函數組成，輸出鑒別概率。

1.3　損失函數

為了提高網絡的降噪性能，本文采用不同的損失函數對網絡的不同子模塊進行約束來優化網絡參數。具體地：

1） 為了保證網絡基本降噪功能，定義了像素級L1損失：

其中：表示求數學期望，表示輸入的LDCT圖像，表示NDCT圖像，表示偽影方向感知生成器。

3） 為了提高偽影方向感知子模塊提取噪聲偽影特征的能力，本文設計了一種偽影掩碼損失：

本文整體目標函數為：

2 實驗與結果分析

在實驗中，本文在人體Mayo數據集［31］上進行了訓練。Mayo數據集是由10名匿名患者的2 378對圖像尺寸均為512×512的LDCT-NDCT圖像對構成，其中，所有的NDCT圖像是經X射線掃描人體而獲得，X射線的劑量服從ALARA（As Low As Reasonably Achievable）準則［32］，LDCT圖像是通過模擬1/4標準劑量的X射線掃描人體時圖像被噪聲污染的程度而獲得的（即通過在NDCT的投影數據中加入泊松噪聲，并運用濾波反投影重建算法重建而得）。在訓練與測試過程中，分別隨機選取1 811對和567對CT圖像作為訓練集與測試集。為了評估本文算法的降噪性能，本文從不同角度對比分析了所提出算法與其他五種目前比較流行的降噪算法（傳統降噪算法BM3D［4］、基于編解碼的RED-CNN［10］、基于對抗訓練的GAN降噪網絡的典型代表——pix2pix［22］及其在變換域上的改進方法高頻敏感GAN（High-Frequency Sensitive GAN， HFSGAN）［23］和SiameseGAN［33］的實驗結果。此外，為了分析不同模塊（即本文設計的URED、ADSS和AttD）對網絡降噪性能的影響，增加了對以下3種算法降噪性能的分析：1）w/o 注意力判別器網絡（w/o AttD）；2）w/o 注意力判別器+U型殘差編解碼結構（w/o AttD+URED）；3）w/o 注意力判別器+U型殘差編解碼結構+偽影方向感知子模塊（w/o AttD+URED+ADSS）。

圖2　不同損失函數的收斂曲線

2.1　對比實驗

為了直觀地呈現網絡的降噪性能，本文對不同算法的降噪結果進行了可視化。圖3、4（圖5為圖4所示降噪圖像的局部第3個感興趣區域（Region Of Interest， ROI）ROI3放大圖）和圖6分別為不同算法對帶有低衰減病變、細節非常豐富的腹部LDCT和受嚴重橫條狀偽影污染的胸部LDCT的降噪結果。可以發現，NDCT中包含豐富的細節，LDCT被大量點狀噪聲和條形偽影污染，這些干擾使醫生很難對具有臨床診斷意義的病變或組織形態作出準確判斷。從整體降噪效果來看，6種算法均能夠在一定程度上抑制LDCT中的噪聲偽影。從噪聲偽影的抑制效果、細節邊緣的保留程度與降噪結果的清晰度這3個角度分析，經BM3D降噪后的CT圖像中仍然殘留大量條形偽影（如圖6（b）箭頭處示意）和點狀噪聲（如圖4（b）所示），且降噪圖像分辨率不高；盡管RED-CNN能夠有效地抑制LDCT中的噪聲偽影，但是降噪結果模糊化現象比較嚴重（如圖3（c）的感興趣區域（Region Of Interest， ROI）中橢圓虛線框所示），且部分降噪結果中還存在一些蠟狀偽影（如圖6（c）與圖4（c）所示）；pix2pix、SiameseGAN、HFSGAN與本文算法均有效緩解了圖像過平滑問題，降噪效果良好。

圖3　6種降噪算法對帶有低衰減病變的腹部LDCT圖像的可視化降噪結果

圖4　6種降噪算法對組織結構非常豐富的腹部LDCT圖像的可視化降噪結果

為了進一步驗證本文算法的優越性，本文通過分析降噪結果與NDCT（或LDCT）的差值圖中偽影噪聲和細節邊緣的殘留量來區分不同算法的降噪性能。其中，降噪結果-NDCT中的偽影噪聲（或細節邊緣）越少，表明降噪結果與NDCT越接近；LDCT-降噪結果中的偽影噪聲（或細節邊緣）越多，表明降噪過程中抑制的偽影噪聲（或細節邊緣）越多。如圖7（a）所示為LDCT與NDCT相減所獲得的差值圖，即為理想偽影噪聲圖，其中包含大量偽影和噪聲。如圖7（b）～（g）與圖8（b）～（g）所示為不同算法降噪結果與NDCT（或LDCT）的差值圖。

圖5　圖4所示降噪圖像的局部ROI3放大圖

圖6　6種降噪算法對受嚴重橫條狀偽影污染的胸部LDCT圖像的可視化降噪結果

圖7　LDCT與6種降噪算法對圖6所示降噪結果的差值圖

圖8　NDCT與6種降噪算法對圖6所示降噪結果的差值圖

從圖7、8中可以看出，BM3D抑制噪聲和條形偽影的能力有限；RED-CNN能夠抑制更多的噪聲和條形偽影，但是其代價是平滑了很多邊緣信息；pix2pix與HFSGAN的噪聲偽影抑制能力均優于前兩種算法，然而其邊緣保留能力仍然不容樂觀。相較而言，本文算法降噪結果與NDCT的差值圖中偽影噪聲最少，LDCT與本文算法降噪結果的差值圖中偽影噪聲最多，本文算法兩種差值圖中細節邊緣殘留量均最少，這也從側面反映了本文算法對偽影抑制能力更強、邊緣細節保留更完整。

為了能夠對不同算法的降噪結果進行更客觀、更全面的評價，本文還分析了不同算法的量化表現。首先，分析了不同算法所有測試結果的平均PSNR（或SSIM）表現情況。表1和圖9分別展示了不同算法在整個測試集上獲取的降噪結果的平均PSNR與SSIM值和統計特性。觀察表1中的數據可以發現，pix2pix降噪結果的平均SSIM、PSNR、VIF和IFC值均是最低的；BM3D、RED-CNN以及HFSGAN降噪結果的量化指標值差異不大；而本文降噪圖像的平均量化指標值是6種降噪圖像中最高的，與高頻敏感GAN（HFSGAN）相比，本文算法PSNR和SSIM分別提升了4.9%和2.8%。箱型圖（Box-plot）是統計學中一種常見的統計數圖，能夠以圖形形式來概括數據分布最重要的統計特征，其中box中間一條線是數據的中位數，代表了樣本的平均水平；box的上下限分別是數據的上四分位數和下四分位數，意味著box中包含50%的數據，因此，箱子的寬度一定程度上反映了數據的波動程度；在box的上方和下方又各有一條線，部分情況下代表最大最小值，部分情況下代表一些“異常值”。觀察箱型圖中箱子的寬度以及數據的分布范圍可以看出，pix2pix降噪結果的量化指標值波動范圍比較大，BM3D降噪結果的量化指標值存在異常值，而HFSGAN與本文算法降噪結果的量化指標值波動范圍相對較小且不存在異常值，這也從側面說明HFSGAN與本文算法具有更好的魯棒性；進一步地，可以看到box圖中中間直線由低到高排序為：pix2pix< SiameseGAN< HFSGAN< BM3D< RED-CNN< 本文算法，由此可知本文算法降噪結果的平均量化表現最佳。其次，分析了不同算法降噪結果在ROI的平均表現（其中ROI的選擇應盡可能滿足對臨床診斷具有積極作用的區域，如圖3給出的是帶有低衰減病變的腹部LDCT，圖3中左下角虛線框示意的是低密度病變區。），如表2所示。可以發現，不同算法在圖3～6的4個ROI上的平均量化指標值由低到高排序為pix2pix

圖9　不同算法在整個測試集上獲取的降噪結果的箱型圖

表1不同算法在整個測試集上獲取的降噪結果的平均量化指標值統計表（均值±標準差）

Tab.1　Statistical table of average quantization index values of denoised results obtained by different algorithms in whole testing dataset （mean±standard deviation）

表2圖3～6的4個ROI上的平均PSNR和SSIM值（均值±標準差）

Tab.2　Average PSNR and SSIM values on 4 ROIs in Fig. 3 to Fig. 6 （mean±standard deviation）

最后，定量分析了不同算法降噪結果與NDCT（或LDCT）的差值圖表現情況。圖10給出了圖7和圖8中不同算法降噪結果與NDCT（或LDCT）的差值圖與理想偽影圖（LDCT與NDCT差值圖）的均方誤差值（Mean Squared Error， MSE）。從圖10可以看出，與其他算法降噪結果相比，本文算法降噪結果與LDCT的差值圖和理想偽影的均方誤差值是最小的，而本文算法的降噪結果與NDCT的差值圖與理想偽影的均方誤差值是最大的，這也從側面說明本文算法從LDCT中濾除出的噪聲偽影與理想偽影更接近。綜上，從量化角度分析本文算法的降噪效果均是最佳。

圖10　不同算法降噪結果與NDCT（或LDCT）的差值圖與理想偽影圖的均方誤差值

2.2　消融實驗

與基于GAN的傳統降噪網絡相比，本文降噪網絡在生成器部分分別設計了U型殘差編解碼結構與偽影方向感知子模塊，在判別器部分設計了注意力判別器。為了評估這些改進對降噪網絡性能的影響，本文增加了一組消融實驗。具體地，分別采用w/o AttD、w/o AttD+URED和w/o AttD+URED+ADSS這3種算法在Mayo數據集上進行訓練，并對本文算法以及消融實驗的測試結果進行了對比。消融算法降噪圖像視覺效果如圖11所示。從圖11可以發現，與本文算法降噪結果相比，w/o AttD+URED+ADSS降噪效果明顯下降，降噪圖像中仍然殘留部分噪聲與偽影，且圖像模糊化現象比較嚴重（如圖11（b）所示）；與w/o AttD+URED+ADSS相比，w/o AttD+URED與w/o AttD降噪效果均有很大提升；進一步觀察圖11中ROI放大圖可以發現，w/o AttD降噪結果更加明顯；而本文算法降噪圖像分辨率更高，降噪效果更加顯著。表3給出了不同消融降噪算法在整個測試集上降噪結果的平均PSNR與SSIM值。分析表3中數據可以發現，w/o AttD+URED+ADSS和w/o AttD+URED兩種算法降噪效果差別不大；w/o AttD降噪效果明顯優于前面兩種算法；本文降噪算法在整個測試集上量化表現是最佳的。綜合分析，本文所提出的改進策略對改善LDCT降噪圖像的質量具有積極作用。其中，偽影方向感知子模塊與注意力判別器的改進對網絡性能的提升起到了同等重要的作用，而U型殘差編解碼結構改進對網絡降噪性能的提升影響更加顯著。

表3網絡結構消融對算法性能的影響

Tab.3　Influence of network structure ablation on algorithm performance

圖11　消融算法降噪圖像視覺效果對比

2.3　運算時間

表4給出了6種算法訓練與測試相同數據集所需要的時間以及網絡參數量。可以發現，RED-CNN訓練時間最短，網絡參數量最少，這主要是因為RED-CNN網絡結構比較簡單；pix2pix與HFSGAN訓練與測試所需要的時間相差不大，其中HFSGAN網絡最復雜，訓練過程中需要學習的參數最多；由于網絡結構相對復雜，本文算法訓練所花費時間較長，但是測試時間僅次于SiameseGAN，且綜合視覺效果和量化指標表現來看，本文算法表現最佳。

表46種算法的訓練與測試時間比較

Tab.4　Comparison of training and testing time of six algorithms

3 結語

隨著CT成像技術在臨床應用上的日益增加，CT成像過程中所產生的X射線輻射傷害也引起了人們的廣泛關注。目前GAN應用于LDCT降噪領域存在網絡對噪聲偽影的敏感度不足、網絡參數量與計算量比較大等問題。受注意力思想的啟發，本文以GAN作為主框架，提出了一種用于低劑量CT圖像降噪的偽影感知生成對抗網絡。一方面，本文提出一種端到端訓練的生成器，在U型殘差編解碼結構基礎上增加了偽影方向感知子模塊，提高了網絡對噪聲偽影的特征提取能力；另一方面，本文提出一種能夠對噪聲偽影及其周圍區域進行針對性判別的注意力判別器，在不增加網絡復雜度的同時提高了判別器對真假樣本的鑒別能力。此外，設計了偽影掩碼損失與全局損失加強對網絡各通道的約束，通過生成器和判別器的博弈對抗訓練，進一步實現了LDCT降噪的目的。針對噪聲偽影難以有效分離的問題，如何設計結構更加精簡、對噪聲偽影更加敏感的網絡仍然是今后努力的方向。

[1] 張權.低劑量X線CT重建若干問題研究［D］. 南京：東南大學， 2015：1.（ZHANG Q. A study on some problems in image reconstruction for low-dose CT system［D］. Nanjing： Southeast University， 2015：1.）

[2] ALIASGHARZADEH A， MIHANDOOST E， MOHSENI M. A survey of computed tomography dose index and dose length product level in usual computed tomography protocol［J］. Journal of Cancer Research and Therapeutics， 2018， 14（3）： 549.

[3] BUADES A， COLL B， MOREL J M. A non-local algorithm for image denoising［C］// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2005： 60-65.

[4] FERUGLIO P F， VINEGONI C， GROS J， et al. Block matching 3D random noise filtering for absorption optical projection tomography［J］. Physics in Medicine and Biology， 2010， 55（18）： No.5401.

[5] 代曉婷，龔敬，聶生東. 基于結構聯合字典的肺部LDCT圖像降噪［J］. 電子學報， 2018， 46（6）：1445-1453.（DAI X T， GONG J， NIE S D. Low-dose lung CT image denoising using joint structural dictionary［J］. Acta Electronica Sinica， 2018， 46（6）：1445-1453.）

[6] CHEN W B， SHAO Y L， JIA L N， et al. Low-dose CT image denoising model based on sparse representation by stationarily classified sub-dictionaries［J］. IEEE Access， 2019， 7： 116859-116874.

[7] LIU W B， WANG Z D， LIU X H， et al. A survey of deep neural network architectures and their applications［J］. Neurocomputing， 2017， 234： 11-26.

[8] CHEN H， ZHANG Y， ZHANG W H， et al. Low-dose CT via convolutional neural network［J］. Biomedical Optics Express， 2017， 8（2）： 679-694.

[9] SHAN H M， ZHANG Y， YANG Q S， et al. 3-D convolutional encoder-decoder network for low-dose CT via transfer learning from a 2-D trained network［J］. IEEE Transactions on Medical Imaging， 2018， 37（6）： 1522-1534.

[10] CHEN H， ZHANG Y， KALRA M K， et al. Low-dose CT with a residual encoder-decoder convolutional neural network［J］. IEEE Transactions on Medical Imaging， 2017， 36（12）： 2524-2535.

[11] WU D F， KIM K， EL FAKHRI G， et al. A cascaded convolutional neural network for X-ray low-dose CT image denoising［EB/OL］. （2017-08-28） ［2021-04-20］.https：//arxiv.org/pdf/1705.04267.pdf.

[12] RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.

[13] LIN T Y， DOLLáR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 936-944.

[14] YANG Q S， YAN P K， KALRA M K， et al. CT image denoising with perceptive deep neural networks［EB/OL］. （2017-02-22） ［2021-04-20］.https：//arxiv.org/pdf/1702.07019.pdf.

[15] LIU H Y， JIANG B， SONG Y B， et al. Rethinking image inpainting via a mutual encoder-decoder with feature equalizations［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12347. Cham： Springer， 2020： 725-741.

[16] GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.

[17] WOLTERINK J M， LEINER T， VIERGEVER M A， et al. Generative adversarial networks for noise reduction in low-dose CT［J］. IEEE Transactions on Medical Imaging， 2017， 36（12）：2536-2545.

[18] YI X， BABYN P. Sharpness-aware low-dose CT denoising using conditional generative adversarial network［J］. Journal of Digital Imaging， 2018， 31（5）： 655-669.

[19] DENTON E， CHINTALA S， SZLAM A， et al. Deep generative image models using a Laplacian pyramid of adversarial networks［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 1486-1494.

[20] ZHANG H， XU T， LI H S， et al. StackGAN： text to photo-realistic image synthesis with stacked generative adversarial networks［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 5908-5916.

[21] LI M， HSU W， XIE X D， et al. SACNN： self-attention convolutional neural network for low-dose CT denoising with self-supervised perceptual loss network［J］. IEEE Transactions on Medical Imaging， 2020， 39（7）：2289-2301.

[22] ISOLA P， ZHU J Y， ZHOU T H， et al. Image-to-image translation with conditional adversarial networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5967-5976.

[23] YANG L， SHANGGUAN H， ZHANG X， et al. High-frequency sensitive generative adversarial network for low-dose CT image denoising［J］. IEEE Access， 2020， 8： 930-943.

[24] HUANG X S， LI S Z， WANG Y S. Jensen-Shannon boosting learning for object recognition［C］// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2005： 144-149.

[25] ARJOVSKY M， CHINTALA S， BOTTOU L. Wasserstein GAN［EB/OL］. （2017-12-06） ［2021-04-20］.https：//arxiv.org/pdf/1701.07875.pdf.

[26] YANG Q S， YAN P K， ZHANG Y B， et al. Low-dose CT image denoising using a generative adversarial network with Wasserstein distance and perceptual loss［J］. IEEE Transactions on Medical Imaging， 2018， 37（6）： 1348-1357.

[27] LI X L， YE C， YAN Y J， et al. Low-dose CT image denoising based on improved WGAN-gp［J］. Journal of New Media， 2019， 1（2）： 75-85.

[28] GULRAJANI I， AHMED F， ARJOVSKY M， et al. Improved training of Wasserstein GANs［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 5769-5779.

[29] MAO X D， LI Q， XIE H R， et al. Least squares generative adversarial networks［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2813-2821.

[30] PARK H S， BAEK J， YOU S K， et al. Unpaired image denoising using a generative adversarial network in X-ray CT［J］. IEEE Access， 2019， 7：110414-110425.

[31] American Association of Physicists in Medicine. Low dose CT grand challenge［DS/OL］. ［2021-04-20］.http：//www.aapm.org/GrandChallenge/LowDoseCT/.

[32] THOMAS L， SLOVIS M D. The ALARA （as low as reasonably achievable） concept in pediatric CT intelligent dose reduction［J］. Pediatric Radiology， 2002， 32（4）： 219-220.

[33] KANDE N A， DAKHANE R， DUKKIPATI A， et al. SiameseGAN： a generative model for denoising of spectral domain optical coherence tomography images［J］. IEEE Transactions on Medical Imaging， 2021， 40（1）： 180-192.

[34] YAO S S， LIN W S， OOG E P， et al. Contrast signal-to-noise ratio for image quality assessment［C］// Proceedings of the 2005 IEEE International Conference on Image Processing. Piscataway： IEEE， 2005： 1529771.

[35] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.

[36] SHEIKH H R， BOVIK A C. Image information and visual quality［J］. IEEE Transactions on Image Processing， 2006， 15（2）： 430-444.

[37] SHEIKH H R， BOVIK A C， DE VECIANA G. An information fidelity criterion for image quality assessment using natural scene statistics［J］. IEEE Transactions on Image Processing， 2005， 14（12）： 2117-2128.

[38] KINGMA D P， BA J L. Adam： a method for stochastic optimization［EB/OL］. （2017-01-30） ［2021-04-20］.https：//arxiv.org/pdf/1412.6980.pdf.

HAN Zefang， born in 1996， M. S. candidate. Her research interests include medical image processing.

ZHANG Xiong， born in 1973， M. S.， professor. His research interests include pattern recognition， medical image processing， video object tracking.

SHANGGUAN Hong， born in 1988， Ph. D.， associate professor. Her research interests include pattern recognition， medical image processing.

HAN Xinglong， born in 1995， M. S. candidate. His research interest includes medical image processing.

HAN Jing， born in 1998， M. S. candidate. Her research interests include medical image processing.

FENG Gang， born in 1994， M. S. candidate. His research interests include medical image processing.

CUI Xueying，born in 1978， Ph. D.， associate professor. Her research interests include image processing and reconstruction.

Artifacts sensing generative adversarial network for low-dose CT denoising

HAN Zefang， ZHANG Xiong*， SHANGGUAN Hong， HAN Xinglong， HAN Jing， FENG Gang， CUI Xueying

（，，030024，）

In recent years， Generative Adversarial Network （GAN） has become a new research hotspot in Low-Dose Computed Tomography （LDCT） artifact suppression because of its performance advantages. Due to irregular distribution and strong relevance to the normal tissues of artifacts， denoising performance of the existing GAN-based denoising networks is limited. Aiming at this problem， a LDCT denoising algorithm based on artifacts sensing GAN was proposed. Firstly， an artifacts direction sensing generator was designed. In this generator， on the basis of U-residual encoding and decoding structure， an Artifacts Direction Sensing Sub-module （ADSS） was added to improve the generator’s sensitivity to artifacts direction features. Secondly， the Attention Discriminator （AttD） was designed to improve the ability of distinguishing noise and artifacts. Finally， the loss functions corresponding to the network functions were designed. Through the cooperation of multiple loss functions， the denoising performance of network was improved. Experimental results show that compared to the High-Frequency Sensitive GAN （HFSGAN）， the proposed denoising algorithm has the average Peak Signal-to-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） improved by 4.9% and 2.8% respectively， and has good artifact suppression effect.

Low-Dose Computed Tomography （LDCT）; image denoising; Generative Adversarial Network （GAN）; orientation convolution; attention mechanism

This work is partially supported by National Natural Science Foundation of China （62001321）， Natural Science Foundation of Shanxi Province （201901D111261）， Graduate Education Innovation Project of Shanxi Province （2020SY417， 2020SY423）.

TP391.41

A

1001-9081（2022）07-2301-10

10.11772/j.issn.1001-9081.2021040700

2021?05?06；

2021?10?08；

2021?10?12。

國家自然科學基金資助項目（62001321）；山西省自然科學基金資助項目（201901D111261）；山西省研究生教育創新項目（2020SY417， 2020SY423）。

韓澤芳（1996—），女，山西晉城人，碩士研究生，主要研究方向：醫學圖像處理； 張雄（1973—），男，山西神池人，教授，碩士，主要研究方向：模式識別、醫學圖像處理、視頻目標跟蹤； 上官宏（1988—），女，山西鄉寧人，副教授，博士，主要研究方向：模式識別、醫學圖像處理； 韓興隆（1995—），男，河南禹州人，碩士研究生，主要研究方向：醫學圖像處理； 韓靜（1998—），女，河北衡水人，碩士研究生，主要研究方向：醫學圖像處理； 奉剛（1994—），男，四川南充人，碩士研究生，主要研究方向：醫學圖像處理； 崔學英（1978—），女，山西太原人，副教授，博士，主要研究方向：圖像處理與重建。