基于生成式對抗網(wǎng)絡(luò)的冠狀動脈CT 血管成像運動偽影去除的 初步研究

張 璐，陳 強(qiáng)，蔣蓓蓓，丁珍紅，張 麗，解學(xué)乾

1. 上海交通大學(xué)附屬第一人民醫(yī)院放射科，上海200080；2. 數(shù)坤(北京)網(wǎng)絡(luò)科技有限公司，北京 100102；3.上海交通大學(xué)附屬第一人民 醫(yī)院合作交流部，上海200080

心血管疾病是世界范圍內(nèi)死亡率最高的疾病[1]。冠狀動脈（冠脈）CT 血管成像（CT angiography，CTA）能夠清晰地顯示冠脈，可以評估血管狹窄程度和動脈粥樣硬化斑塊特征。冠脈CTA 診斷冠狀動脈粥樣硬化性心臟?。ü谛牟。┑年幮灶A(yù)測值達(dá)到99%，能有效排除梗阻性冠心病[2]。

冠狀動脈在整個心動周期內(nèi)以有規(guī)律的方式進(jìn)行變速運動和形變，當(dāng)運動速度超過CT 設(shè)備的時間分辨率時，會產(chǎn)生運動偽影[3]。運動偽影降低圖像質(zhì)量，干擾冠脈的評估。在冠脈分支中，右冠狀動脈（right coronary artery，RCA）因為運動方向與CT 掃描平面垂直，更容易產(chǎn)生運動偽影。雖然新型CT 設(shè)備提升硬件能力后可減小運動偽影，但因為成本高昂，應(yīng)用范圍受限，運動偽影仍然是臨床實踐中影響冠脈CTA 診斷準(zhǔn)確度的主要因素[4]。因此，需要尋找新的方法進(jìn)一步提高圖像質(zhì)量。

近年，以卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）為代表的人工智能技術(shù)在醫(yī)學(xué)影像領(lǐng)域有了很大的發(fā)展。生成式對抗網(wǎng)絡(luò)（generative adversarial network，GAN）是一種新型神經(jīng)結(jié)構(gòu)[5]。與CNN 的有監(jiān)督圖像檢測、分割和分類不同，GAN 屬于非監(jiān)督學(xué)習(xí)。GAN 由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)組成，通過2 個網(wǎng)絡(luò)相互對抗優(yōu)化網(wǎng)絡(luò)參數(shù)，從而生成新的圖像。Yang 等[6]提出了基于視覺幾何組Wasserstein 生成式對抗網(wǎng)絡(luò)（Wasserstein GAN-visual geometry group，WGAN-VGG）的減少低劑量CT 圖像噪聲的方法。與CNN 等方法相比，WGAN-VGG 在減少圖像噪聲的同時能保留更多的圖像細(xì)節(jié)。Johnson 等[7]利用條件GAN 矯正頭部磁共振成像（magnetic resonance imaging，MRI）的剛性運動偽影，GAN 生成圖像與參考無偽影圖像間的平均絕對誤差為10.8%，顯著低于有偽影圖像與參考圖像之間的16.4%，同時生成圖像的信噪比和結(jié)構(gòu)相似性指數(shù)顯著改善。在本研究中，我們嘗試使用冠脈CTA 圖像訓(xùn)練GAN，去除RCA 的運動偽影，并評估所生成圖像的質(zhì)量。

1 對象與方法

1.1 研究對象

在放射信息系統(tǒng)和圖像存儲與傳輸系統(tǒng)中檢索2019 年 1 月—2019 年11 月行單次心動周期冠脈CTA 檢查的患者資料。納入標(biāo)準(zhǔn)：年齡≥18 歲；接受單心動周期內(nèi)的多時相檢查，同時生成了有偽影圖像和無偽影的清晰參考圖像。排除標(biāo)準(zhǔn)： RCA 有斑塊或其他病變；受冠脈運動影響，有偽影圖像和參考圖像層面位置不能對應(yīng)。

1.2 CTA 掃描和對比劑注射方案

使用256 排寬探測器CT（Revolution，GE）行前瞻性心電門控掃描?；颊呷⊙雠P位，雙臂上舉，平靜呼吸狀態(tài)下屏氣掃描。掃描參數(shù)：準(zhǔn)直器寬度256×0.625 mm，單次掃描寬度根據(jù)心臟大小設(shè)為12 ～16 cm，球管旋轉(zhuǎn)時間280 ms，根據(jù)受檢者年齡、體質(zhì)量指數(shù)（body mass index，BMI）和定位圖自動設(shè)置球管電壓和電流。采用冠脈追蹤凍結(jié)（snapshot freeze，SSF）技術(shù)重建圖像。圖像重建層厚和間隔均為0.625 mm。

以高壓注射器經(jīng)肘靜脈以4.0 ～5.0 mL/s 流速團(tuán)注40 ～50 mL 對比劑（碘帕醇注射液，每毫升碘帕醇注射液含碘370 mg），之后以相同流速注射30 mL 生理鹽水。在動態(tài)監(jiān)控升主動脈近端CT 值達(dá)到120 HU 后8 s 開始 掃描。

1.3 圖像預(yù)處理

將冠脈CTA 圖像轉(zhuǎn)換為兼容GAN 開發(fā)模型的JPEG格式。由一位放射科醫(yī)師（2 年工作經(jīng)驗）截取包含RCA中段及臨近的RCA 近、遠(yuǎn)段部分血管的256×256 像素正方形圖像，檢查圖片在不同時相的對應(yīng)情況，再由另一位高年資醫(yī)師（16 年工作經(jīng)驗）進(jìn)行確認(rèn)。訓(xùn)練前使用圖像擴(kuò)增技術(shù)，對訓(xùn)練數(shù)據(jù)沿垂直軸隨機(jī)翻轉(zhuǎn)，沿水平軸或垂直軸隨機(jī)平移-10 ～10 像素，并且按照比例隨機(jī)縮放0.95 ～1.05 倍。

1.4 數(shù)據(jù)集組成

在所有納入病例中，隨機(jī)選取約80%作為訓(xùn)練組，其余作為驗證組用于驗證模型的準(zhǔn)確性。訓(xùn)練組數(shù)據(jù)由成對的有偽影的原圖和無偽影的參考圖像組成；驗證組包括有偽影圖像、GAN 生成圖像和參考圖像。

1.5 GAN 模型結(jié)構(gòu)

GAN 基于對抗性訓(xùn)練的理念生成新的圖片，由2 個相互競爭的神經(jīng)網(wǎng)絡(luò)組成，分別是生成器（generative）和判別器（discriminative）。生成器從真實圖像分布中學(xué)習(xí)從而使自身生成的圖像更加接近參考標(biāo)準(zhǔn)，判別器則需要判別生成器產(chǎn)生的圖片是否符合參考標(biāo)準(zhǔn)。整個過程可以看作是生成器和判別器的對抗博弈，隨著GAN 模型迭代，最終2 個網(wǎng)絡(luò)達(dá)到一個動態(tài)均衡，即生成器生成的圖像近似于參考圖像。GAN 結(jié)構(gòu)見圖1。

圖1 GAN 結(jié)構(gòu)圖Fig 1 Structure of GAN

整體的訓(xùn)練框架借鑒pix2pix 網(wǎng)絡(luò)結(jié)構(gòu)[8]。Pix2pix 是在GAN 基礎(chǔ)上用于將輸入圖片轉(zhuǎn)變?yōu)橄鄳?yīng)輸出圖片的專用方法。GAN 通常是訓(xùn)練模型縮小輸入和輸出的歐氏距離，但一般會得到比較模糊的結(jié)果。本研究問題的本質(zhì)是像素到像素的映射。通過pix2pix 完成成對的圖像轉(zhuǎn)換，可以得到更清晰的結(jié)果。在本研究中，生成器網(wǎng)絡(luò)結(jié)構(gòu)基于V-Net 網(wǎng)絡(luò)修改而來[9]，將原來的三維結(jié)構(gòu)修改為二維結(jié)構(gòu)，但是保留了V-Net 中的殘差模塊。圖像輸入尺寸為256×256。判別器網(wǎng)絡(luò)結(jié)構(gòu)使用pix2pix 中的判別器。Pix2pix 結(jié)構(gòu)見圖2。

圖2 Pix2pix 網(wǎng)絡(luò)和流程結(jié)構(gòu)圖Fig 2 Network and workflow structure of pix2pix

1.6 GAN 訓(xùn)練過程

訓(xùn)練過程包含兩步。第一步，訓(xùn)練生成器。首先凍結(jié)判別器的網(wǎng)絡(luò)權(quán)重，此時將x作為輸入的圖像，經(jīng)過生成器生成x去除偽影后的圖像G （x）。將生成的圖像G （x）和帶偽影圖像輸入到判別器中，使判別器判斷輸入的圖像是否是真實去除偽影的圖像。根據(jù)判別器輸出的結(jié)果訓(xùn)練生成器，使生成器生成更加真實的圖像。第二步，訓(xùn)練判別器。凍結(jié)生成器權(quán)重，利用生成器生成去除偽影的圖像G （x），判別器輸入2 組圖像。第一組是由生成圖像G （x）和原始圖像x組成，第二組是真實無偽影圖像y與原始圖像x組成。分別輸入2 組圖像，通過判別器判斷輸入的圖像是否是真實無偽影圖像，根據(jù)判別器判斷正確與否訓(xùn)練判別器。

不斷重復(fù)訓(xùn)練過程直至生成器與判別器達(dá)到動態(tài)平衡。生成器和判別器學(xué)習(xí)率均為0.000 2，采用Adam 方法優(yōu)化GAN。訓(xùn)練周期為200，批學(xué)習(xí)量大小為30。

1.7 圖像評估

使用醫(yī)學(xué)圖像分割軟件（ITK-SNAP）將RCA 血管圖像從周圍組織中半自動分割出來，評估各組之間的相似性。將RCA 分為中段和中段兩端進(jìn)行分析。中段以第一個右心室支發(fā)出處為起點，以右緣支為終點。通過比較有偽影圖像與參考圖像（dice1）、GAN 生成圖像與參考圖像（dice2）的Dice 系數(shù)（Dice coefficient），對GAN 矯正運動偽影的質(zhì)量進(jìn)行量化評估。Dice 系數(shù)是在圖像分割任務(wù)中評估預(yù)測值與標(biāo)簽真實值之間相似性的常用指數(shù)[10]。Dice 值的范圍為0 ～1，Dice 值越高，相似程度越高。

1.8 統(tǒng)計學(xué)分析

2 結(jié)果

2.1 研究對象特征

共 納 入90 例 患 者[男43 例，女47 例；平 均 年 齡（60.9±12.1）歲（28 ～92 歲） ]，包括訓(xùn)練組71 例，共5 500 對， 11 000 張圖像；驗證組19 例，共1 503 對，3 006 張圖像。驗證組RCA 中段共740 對，1 480 張圖像；兩端共763對，1 526 張。訓(xùn)練組和驗證組的臨床特征差異無統(tǒng)計學(xué)意義（P＞0.05）（表1）。

2.2 基于受檢者和圖像的相似性評估

無論是基于受檢者還是圖像，或是RCA 中段還是兩端，dice2 均高于dice1，差異均有統(tǒng)計學(xué)意義（P＜0.05）。即與有偽影圖像比較，GAN 生成的圖像與參考圖更相似。驗證組GAN 生成圖像舉例見圖3。

表1 研究對象特征Tab 1 Characteristics of the subjects

圖3 GAN 偽影去除效果圖Fig 3 Representative images of motion removal results by GAN

以受檢者為單位，計算每個受檢者所有dice1 和dice2的平均值（圖4）。RCA 中段dice1 平均值為0.38±0.19，dice2 平均值為0.50±0.23，dice2 高于dice1，差異有統(tǒng)計學(xué)意義（P=0.006）；RCA 兩端圖像的dice1 平均值為0.41±0.16，dice2 平均值為0.50±0.21，dice2 高于dice1，差異有統(tǒng)計學(xué)意義（P=0.015）。

以圖像為單位，RCA 中段圖像的dice1 平均值為0.38±0.20，dice2 平均值為0.51±0.26，dice2 高于dice1（P=0.000）；RCA 兩端圖像的dice1 平均值為0.41±0.19，dice2 平 均 值 為0.51±0.27，dice2 高 于dice1（P=0.000）（圖5）。

圖4 基于受檢者的GAN 生成圖像相似性評估點圖Fig 4 Points map of similarity of GAN-generated images as per subject

2.3 基于受檢者的dice2 的影響因素

單因素分析結(jié)果顯示：掃描時和正常呼吸時的平均心率與dice2 呈負(fù)相關(guān)，掃描期相與dice2 呈正相關(guān)；其余指標(biāo)與dice2 值無相關(guān)性（表2）。

多因素分析結(jié)果顯示：只有掃描時的平均心率與dice2 有關(guān)（R2=0.271，回歸系數(shù)為-0.015，P=0.039）。掃描時的平均心率對dice2 有負(fù)性影響，即心率越高，dice2 值越小。

表2 GAN 產(chǎn)生圖像的影響因素單變量分析Tab 2 Univariate analysis of influential factors on the generated images by GAN

3 討論

本研究利用GAN 去除冠脈CTA 圖像的運動偽影，結(jié)果顯示與有偽影的原圖相比，GAN 生成的圖像與參考圖更相似。該結(jié)果表明GAN 有去除圖像偽影的能力。

圖5 基于圖像的GAN 生成圖像相似性評估點圖Fig 5 Points map of similarity of GAN-generated images as per image

運動偽影由冠脈運動產(chǎn)生，提高CT 設(shè)備的時間分辨率是最直接、有效的方法。硬件方面，可以引進(jìn)探測器更寬、轉(zhuǎn)速更快的CT 設(shè)備來提高時間分辨率；但這種方法成本較高，應(yīng)用范圍受限。軟件方面，可以使用運動補(bǔ)償算法校正運動偽影，如冠脈SSF 技術(shù)在一個心動周期內(nèi)利用相鄰時相數(shù)據(jù)確定目標(biāo)時相的血管位置[11]。以上方法在一定程度上能去除冠脈的運動偽影，但在心率快或心律不齊的情況下，仍不能很好地去除運動偽影[12]。而且，上述方法與設(shè)備密切相關(guān)。相比之下，GAN 有潛力作為一種更普適的附加方法來去除運動偽影。既往有關(guān)GAN 在圖像去偽影方面的研究主要集中在對MRI 圖像偽影的去除。Küstner 等[13]通過GAN 校正由呼吸或心臟運動引起的MRI 圖像偽影，并與另一種生成器模型變分自編碼器（variational auto encoders，VAE）對比，GAN 生成圖像的去偽影質(zhì)量評估指標(biāo)更高（標(biāo)準(zhǔn)化均方誤差0.08，結(jié)構(gòu)相似性指數(shù)0.8，標(biāo)準(zhǔn)化互信息0.9），圖像整體質(zhì)量打分也更高。Hu 等[14]證明了利用均方誤差損失函數(shù)-WGAN[mean squared error （MSE） loss-WGAN，m-WGAN]可以矯正牙齒低劑量CT 圖像偽影，并與CNN等模型進(jìn)行性能比較。通過定量和定性分析，結(jié)果顯示m-WGAN 去偽影性能、圖像細(xì)節(jié)恢復(fù)更好，與其他生成模型相比，GAN 可以生成更好的圖像。

單因素和多因素分析均提示隨著平均心率提高，GAN的去偽影效果降低（dice2 值減?。?。心率是影響冠脈CTA圖像質(zhì)量的重要因素。Husmann 等[3]研究表明隨著心率的提高，收縮期和舒張期非比例縮短顯著影響冠脈的運動速度。在CTA 檢查中，通常在舒張中晚期，冠脈運動速度最小時，通過前瞻性掃描或回顧性重建圖像來最小化偽影，但心率增加使心動周期縮短，相對靜止期也進(jìn)一步縮短。因此，高心率時出現(xiàn)運動偽影的概率和偽影的幅度會相應(yīng)增高，較大的偽影降低了GAN 的效果。

與傳統(tǒng)的深度學(xué)習(xí)模型不同，GAN 由2 個神經(jīng)網(wǎng)絡(luò)組成，并以對抗訓(xùn)練方式同時進(jìn)行訓(xùn)練。這種訓(xùn)練方式使得GAN 的生成功能多樣化，而不是直接復(fù)制原始數(shù)據(jù)，豐富了生成樣本的多樣性[15]。在醫(yī)學(xué)圖像處理領(lǐng)域，GAN得到了廣泛的應(yīng)用，如圖像重建、圖像合成、圖像分割、圖像分類和檢測等。Burlina 等[16]利用漸進(jìn)增大生成式對抗網(wǎng)絡(luò)（progressive growing of GANs，ProGANs）生成高分辨率的老年性黃斑變性眼底圖像，合成圖像的診斷性能與真實圖像相似，眼科醫(yī)師也很難將兩者分辨出來。Kohl等[17]讓GAN 學(xué)習(xí)侵襲性前列腺癌的MRI 圖像，達(dá)到自動分割、檢測病灶的目的。與標(biāo)準(zhǔn)的交叉熵訓(xùn)練方式相比，GAN 的訓(xùn)練結(jié)果在Dice 系數(shù)和敏感度方面明顯優(yōu)于交叉熵。

在本研究中，GAN 能夠逐個像素生成斷層圖像。在評估時，需要有像素一致的斷層參考圖像，所以使用了單心動周期多時相重建的清晰冠脈CTA 圖像作為參考標(biāo)準(zhǔn)。數(shù)字減影血管造影（digital subtraction angiography，DSA）雖然是評估冠脈狹窄的金標(biāo)準(zhǔn)，但是不能與GAN 生成圖像在像素級別對應(yīng)。

本研究存在一定的局限性。一是半自動分割RCA 中段圖像有人工參與，可能存在人工評估變異性和評價時間過長的影響；但大量的驗證組圖像一定程度上保證了統(tǒng)計準(zhǔn)確性，下一步需要嘗試并開發(fā)自動化的方法。二是本研究只使用了正常的冠脈CTA 圖像訓(xùn)練，今后的研究將納入有輕度、中度和重度冠脈硬化的患者，評價GAN 對不同程度病變患者的冠脈CTA 圖像進(jìn)行運動偽影校正的可靠性。

綜上所述，本研究結(jié)果顯示，GAN 能夠顯著減少RCA 中段的CTA 運動偽影，有潛力成為去除冠脈CTA 圖像運動偽影的新方法。

參·考·文·獻(xiàn)

[1] World Health Organization. About cardiovascular diseases[EB/OL]. （2015-09-24）[2020-02-13]. https://www.who.int/cardiovascular_diseases/about_cvd/zh/.

[2] Garg P, Underwood SR, Senior R, et al. Noninvasive cardiac imaging in suspected acute coronary syndrome[J]. Nat Rev Cardiol, 2016, 13(5): 266- 275.

[3] Husmann L, Leschka S, Desbiolles L, et al. Coronary artery motion and cardiac phases: dependency on heart rate: implications for CT image reconstruction[J]. Radiology, 2007, 245(2): 567-576.

[4] Kalisz K, Buethe J, Saboo SS, et al. Artifacts at cardiac CT: physics and solutions[J]. Radiographics, 2016, 36(7): 2064-2083.

[5] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial networks[EB/OL]. (2014-06-10)[2020-02-13]. https://ui.adsabs.harvard.edu/abs/2014arXiv1406.2661G.

[6] Yang QS, Yan PK, Zhang YB, et al. Low-dose CT image denoising using a generative adversarial network with Wasserstein distance and perceptual loss[J]. IEEE Trans Med Imaging, 2018, 37(6): 1348-1357.

[7] Johnson PM, Drangova M. Conditional generative adversarial network for 3D rigid-body motion correction in MRI[J]. Magn Reson Med, 2019, 82(3): 901-910.

[8] Isola P, Zhu JY, Zhou TH, et al. Image-to-image translation with conditional adversarial networks[C]//Institute of Electrical and Electronics Engineers. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu: IEEE, 2017: 5967-5976.

[9] Milletari F, Navab N, Ahmadi SA. V-net: fully convolutional neural networks for volumetric medical image segmentation[C]//2016 Fourth International Conference on 3D Vision (3DV). Stanford: IEEE, 2016: 565-571.

[10] Andrews S, Hamarneh G. Multi-region probabilistic dice similarity coefficient using the Aitchison distance and bipartite graph matching[EB/OL]. (2015-10-13)[2020-02-13]. https://ui.adsabs.harvard.edu/abs/2015arXiv150907244A.

[11] 王艷微, 邢艷, 劉文亞, 等. 冠狀動脈CT 成像中冠狀動脈追蹤凍結(jié)技術(shù)的價值[J]. 中國醫(yī)學(xué)計算機(jī)成像雜志, 2016, 22(2): 126-131.

[12] Sheta HM, Egstrup K, Husic M, et al. Impact of a motion correction algorithm on image quality in patients undergoing CT angiography: a randomized controlled trial[J]. Clin Imaging, 2017, 42: 1-6.

[13] Küstner T, Armanious K, Yang JH, et al. Retrospective correction of motionaffected MR images using deep learning frameworks[J]. Magn Reson Med, 2019, 82(4): 1527-1540.

[14] Hu ZL, Jiang CH, Sun FY, et al. Artifact correction in low-dose dental CT imaging using Wasserstein generative adversarial networks[J]. Med Phys, 2019, 46(4): 1686-1696.

[15] 潘丹, 賈龍飛, 曾安, 等. 生成式對抗網(wǎng)絡(luò)在醫(yī)學(xué)圖像處理中的應(yīng)用[J]. 生物醫(yī)學(xué)工程學(xué)雜志, 2018, 35(6): 970-976.

[16] Burlina PM, Joshi N, Pacheco KD, et al. Assessment of deep generative models for high-resolution synthetic retinal image generation of age-related macular degeneration[J]. JAMA Ophthalmol, 2019, 137(3): 258-264.

[17] Kohl S, Bonekamp D, Schlemmer H-P, et al. Adversarial networks for the detection of aggressive prostate cancer [EB/OL]. (2017-02-26)[2020-02-13]. https://ui.adsabs.harvard.edu/abs/2017arXiv170208014K.