有條件生成對抗網絡的IVUS圖像內膜與中-外膜邊界檢測

袁紹鋒 楊 豐* 徐 琳 吳洋洋 黃 靖 劉婭琴

1(南方醫科大學生物醫學工程學院，廣州 510515)2(南方醫科大學廣東省醫學圖像處理重點實驗室，廣州 510515)3(中國人民解放軍南部戰區總醫院(原廣州軍區廣州總醫院)心血管內科，廣州 510010)

引言

在冠心病的病變評估和介入治療中，血管內超聲(intravascular ultrasound, IVUS)技術已成為必不可少的影像學方法[1]。在IVUS圖像中，內膜(lumen, LU)和中-外膜(media-adventitia, MA)邊界檢測以及動脈粥樣硬化斑塊分割與識別，對于準確評估冠脈造影難以判斷的病變和冠心病介入治療至關重要[1-2]。臨床上，IVUS圖像內膜和中-外膜邊界檢測需要操作者具有完備的知識儲備和大量的臨床實踐。肉眼識別IVUS圖像關鍵邊界具有個人主觀性、易受圖像偽影和干擾因素影響，分析幾幀至百幀圖像費力耗時，并難以呈現重復結果。在這種情況下，自動識別和檢測IVUS圖像內膜和中-外膜邊界可以有效地克服臨床醫生之間或之內的主觀性誤差，抑制圖像偽影和干擾影響，同時減少醫生診療時間[2]。因此，研究自動內膜與中-外膜邊界檢測技術對臨床診斷和治療冠心病有著重大意義。

大多數現有算法可分成3類。第1種是基于直接檢測的方法，其主要利用底層特征，如Haar、DoG等，包括啟發式圖搜索[3]、活動輪廓[4]和圖割模型[5]。在IVUS圖像中，斑塊鈣化灶的存在大大影響這類算法的檢測精度[3]。第2種是基于統計和概率的方法[6-7]。這些方法首先對內膜或中-外膜的形狀、感興趣區域進行建模，然后利用最小化能量函數(統計法)或者最大化像素隸屬區域概率(概率法)獲得最佳邊界的輪廓形變曲線。然而IVUS圖像中的超聲陰影、血管分叉、纖維斑塊等因素往往破壞這類算法的假設，使得演變輪廓陷入局部最小值，造成內膜或中-外膜的邊界存在較大的突起或凹陷。第3種是基于機器學習的方法，其主要包括人工設計特征提取和分類器優化2個步驟。這類方法包括支持向量機(SVM)[7]，AdaBoost[8]，糾錯輸出編碼(ECOC)[9]和使用手工特征的淺層人工神經網絡(ANN)[10]。雖然這些方法取得了較大成功，但是僅僅使用較底層的手工設計特征，算法的檢測精度往往受干擾因素的影響。另外，特征提取過程復雜繁瑣，導致其在臨床實踐中泛化能力較差、適用性較低。

與上述依賴人工設計特征的方法不同，深度卷積網絡(deep convolutional networks, DCN)[11-14]，特別是全卷積網絡(fully convolutional networks, FCN)[15]及其一系列改進框架[16-17]，已廣泛用于各類醫學圖像的組織分割、病灶檢測、圖像增強與生成等研究和應用中[18]。DCN的主要優點是從給定訓練數據集中，端到端地自動學習相應任務所需的分層性和區別性特征表達。堆疊沙漏網絡(stacked hourglass networks, SHGN)[19]通過堆疊多個FCN學習圖像特征，其中上一級網絡的輸入圖像或中間特征將結合其輸出結果，作為下一級網絡的輸入，繼續進一步學習，逐漸優化區域分割。本研究構造適用于IVUS圖像邊界檢測的SHGN分割器，堆疊兩個FCN，分別模擬檢測任務中“區域分割”和“邊界優化”兩個過程[2]。雖然DCN在許多應用中往往能達到較好的性能，但是其訓練過程需要大量的標注樣本數據。在醫學圖像處理中，通常缺乏具有標注信息的數據資源。除了利用遷移學習方法緩解數據匱乏問題[20]，還可通過有條件生成對抗網絡(conditional generative adversarial networks, C-GAN)[21-22]的對抗學習，為網絡優化過程提供具有正則化作用的對抗損失，減少所需標注樣本數據的數量，使得圖像分割網絡有著較好的泛化能力[23]。

本研究提出一種結合堆疊沙漏網絡SHGN和有條件生成對抗網絡C-GAN的IVUS圖像內膜和中-外膜邊界檢測方法C-ivusGAN-SHGN。首先采用有效的數據擴充方法，增加訓練數據集中IVUS圖像的樣本量；然后訓練C-ivusGAN-SHGN, 將IVUS圖像分割為3種不同區域：血管外周組織、斑塊區域和內腔區域；最后利用閾值處理方法，檢測IVUS圖像內膜和中-外膜邊界。本文研究采用現有的國際標準IVUS圖像數據集(10位病人435幅)，計算面積交并比(Jaccard measure, JM)、面積差異百分比(percentage of area difference, PAD)、Hausdorff 距離(Hausdorff distance, HD)和平均距離(average distance, AD)指標分數，對所提出方法進行定量分析，證明其性能優于現有、近年較好的8種算法[24]和基于堆疊稀疏自編碼器的深度學習算法[10]，以及Pix2Pix模型[25]。

1 方法

本研究算法流程如圖1所示，其主要過程包括：

1) 圖像數據擴充。將用于網絡訓練的IVUS圖像數據及其對應的臨床醫生手動標注信息進行數據擴充，目的緩解C-ivusGAN-SHGN訓練階段時生成器和判別器的學習過擬合問題。

2) 組織區域分割。利用經過對抗學習的C-ivusGAN-SHGN模型，將測試待分割IVUS圖像劃分為3種不同組織區域：血管外周組織、斑塊區域和內腔區域。

3) 中-外膜MA和內膜LU邊界檢測。在C-ivusGAN-SHGN分割結果上，采用閾值處理，獲取內膜與中-外膜邊界。在圖1中，實線箭頭表示訓練階段，虛線箭頭表示測試階段。

圖1 本算法框圖Fig.1 The flowchart of the algorithm in this paper

1.1 IVUS圖像數據擴充

為了降低過擬合的影響，首先對IVUS圖像進行數據擴充。采用的數據擴充方法[26]如下：

1) 旋轉變換。將IVUS圖像及其對應標注信息朝逆時針方向每隔10°旋轉一次，旋轉35次后獲得35倍增量數據。

2) Gamma變換。將IVUS圖像進行灰度拉伸，Gamma因子取值范圍是{0.5, 0.6, 0.7, 0.8, 0.9, 1.1, 1.2, 1.3, 1.4, 1.5}，可獲得10倍數據。

3) 翻轉處理。將IVUS圖像和標注信息進行上下和左右鏡像翻轉操作，可獲得2倍數據。

4) 尺度變換。將IVUS圖像首先進行縮放處理，然后進行零值填充以恢復到原始空間大小，縮放因子取值范圍是{0.50, 0.55, 0.60, 0.65, 0.70, 0.75, 0.80, 0.85, 0.90, 0.95}，可獲得10倍數據。因此，進行IVUS圖像數據擴充，可增加57倍數據量。

上述4種擴充方法由Matlab的相關內置函數實現。

1.2 IVUS圖像區域定義

為了準確地描述IVUS圖像內容，根據血管組織解剖結構以及成像特點，將IVUS圖像分為3個主要區域，如圖2所示。圖2(a)為IVUS圖像，圖2(b)中黑色區域定義為血管外周組織；灰色區域定義為斑塊區域，即各種易損斑塊存在的區域，其邊界為中-外膜MA；白色區域定義為內腔區域，即血液流動的區域，其邊界為內膜LU。

圖2 IVUS區域定義。(a) IVUS圖像；(b) 區域定義Fig.2 The region definition of IVUS image. (a) IVUS image; (b) Region definition

1.3 C-ivusGAN-SHGN網絡框架

目前，基于學習的兩種生成模型分別是變分自編碼器(variational autoencoder, VAE)[27]和生成對抗網絡(generative adversarial networks, GAN)[21]，其廣泛用于圖像生成。前者由用戶指定圖像的概率密度函數，具有顯式的分布；后者適用于不具備顯式函數分布的圖像數據。GAN由生成器和判別器兩個網絡構成。生成器用于生成逼真的自然或醫學圖像數據，包括組織分割的圖像；而判別器通過目標函數鑒別所生成圖像是否逼近真實數據，改善生成圖像的質量。早期GAN模型為無條件型，即將從某概率分布中采樣獲得的隨機噪聲(用于生成圖像)和從給定真實圖像數據集中抽取的某一樣本作為網絡輸入。通過對抗訓練，網絡可擬合給定真實圖像數據集的分布，訓練好的生成器從而生成逼真的圖像樣本。為了穩定GAN的訓練和生成圖像的效果，人們提出可用深度卷積網絡DCN[11-14]替代多層感知器，設計深度卷積生成對抗網絡(deep convolutional generative adversarial networks, DCGAN)[28]。但是文獻[22]指出，無條件型GAN難以控制生成數據風格，需要引入額外信息即條件信息，由用戶去控制數據生成過程。這些條件信息可以是類別標簽、文本或者部分圖像內容，甚至是其他模態數據。

圖3 C-ivusGAN-SHGN的結構Fig.3 The architecture of C-ivusGAN-SHGN

總之，無條件GAN學習過程尋找隨機噪聲向量n與輸出圖像y之間的映射關系，即f∶n→y；而有條件GAN學習過程則是隨機向量n、觀測輸入圖像x(或者附加條件)與輸出圖像y之間的關系，即f∶(x,n)→y。針對IVUS圖像邊界檢測任務，本研究提出一種適用于IVUS邊界分割的有條件GAN模型，簡稱C-ivusGAN-SHGN，如圖3所示。

首先，從訓練數據集{xi,yi}，i=1, 2,…,N中隨機抽取圖像對，經裁剪采樣得到IVUS圖像xi以及其分割圖yi，再輸入到C-ivusGAN-SHGN的生成器中；接著，生成器以IVUS圖像xi為條件信息，生成分割圖zi；然后，圖像對(xi,yi)和(xi,zi)被送入C-ivusGAN-SHGN的判別器中，由判別器鑒別生成器的分割效果是否接近醫生手動分割。上述有條件GAN的目標函數定義為

LC～GANG,D=Ex,y～pdatax,ylogDx,y+

Ex～pdataxlog1-Dx,Gx

(1)

式中，分割生成器會最小化目標函數，而對抗判別器將最大化目標函數。

有條件GAN的目標函數可引入重建損失函數，L1距離[25]或L2距離[29]，其將約束生成器產生準確的分割結果zi。重建損失函數定義為

LLp(G)=Ex,y～pdatax,y‖y-Gx‖p

(2)

式中，p=1表示L1距離，而p=2表示L2距離。

結合式(1)和(2)，在C-ivusGAN-SHGN模型的學習過程中，總的損失函數改寫為

Ltotal=αLcGAN+βLLp

(3)

式中，a、b為超參數。在實際應用中，a超參數一般設置為1，b超參數由網格搜索法來確定。

1.4 C-ivusGAN-SHGN的生成器

生成器/分割器是上述C-ivusGAN-SHGN網絡框架的重要組成部分。在IVUS圖像邊界檢測中，生成器扮演著分割目標區域的角色。受經典深度卷積網絡SHGN[19]、DCGAN[28]、視覺幾何小組網絡(visual geometry group networks, VGG-Net)[12]啟發，本研究構造一種適用于IVUS圖像邊界檢測的分割圖生成器，如圖4所示。在SHGN的設計思想上，該生成器考慮了DCGAN在生成對抗網絡中的設計技巧，以及VGG-Net在深度分類網絡中的設計特點。下面分別簡述SHGN、DCGAN、VGG-Net的特點。

圖4 生成器的結構Fig.4 The architecture of generator

首先，本研究所提出的網絡基于SHGN的級聯思想，即采用兩級堆疊全卷積編碼-解碼網絡[30]，分別模擬IVUS圖像邊界檢測中“區域分割”和“邊界優化”兩個過程。與本研究基于SHGN的級聯思想類似，文獻[31]通過堆疊反卷積網絡DeconvNet，進行街景圖像分割，文獻[32]直接將基于ResNet[14]的SHGN應用于高分辨率航空圖像分割，文獻[33-34]分別通過堆疊U-Net[35]和FCN[15]，對磁共振和超聲圖像進行分割。本研究的SHGN通過堆疊沙漏網絡學習IVUS圖像特征，并將輸入IVUS圖像或特征引入到下一級網絡的學習，優化區域分割。在圖4中，沙漏網絡指全卷積編碼-解碼網絡[30]，由1個編碼器和1個解碼器構成。編碼器主要完成深度特征學習過程，其中第1個模塊采用Conv-leakyReLU組合，剩余14個模塊采用Conv-BN-leakyReLU組合。Conv-leakyReLU模塊適用于與輸入圖像直接連接的情況，而Conv-BN-leakyReLU模塊適用于不與輸入圖像直接連接的情況。卷積層(convolution, Conv)用于提取特征；批規范化層(batch normalization, BN)使得每一模塊中的卷積特征盡可能保持在同一分布(均值為0，方差為1)中；泄露矯正線性單元(leaky rectified linear unit, leakyReLU)則為網絡提供非線性，使得網絡可模擬任意復雜的函數。每3個模塊組成一個濾波器組，采用了VGG-Net的設計特點。每1個濾波器組具有相同數量的卷積核，如第1個濾波器組的卷積核數量為64，第2個濾波器組的卷積核數量為128，以此類推。解碼器主要完成區域形狀恢復過程，其中除了最后一層僅采用1層卷積Conv輸出分割圖之外，由Conv-BN-leakyReLU和Deconv-BN兩種模塊組成。Deconv-BN模塊對特征圖進行2倍上采樣學習，反卷積層(deconvolution, Deconv)將壓縮的深度特征放大2倍。其后緊跟著Conv-BN-leakyReLU模塊，該模塊對放大后的深度特征進行適應性調整學習。在圖4中，k(kernel)表示卷積核大小，f(feature map)表示輸出特征圖數量，s(stride)表示卷積核之間步長，若s=1，則輸入輸出特征大小相等；若s=2，則經卷積后輸出特征大小減半，而經反卷積后輸出特征大小則加倍。

其次，本研究所構造的SHGN還考慮了DCGAN在生成對抗網絡中的設計技巧。DCGAN在有效地訓練深度GAN模型上提出了很多行之有效地建議。比如，在生成器中，應使用批規范化層BN和leakyReLU激活函數，應采用大步長(s=2)的卷積層Conv替換分類模型中的池化層，等等。在圖4中，Conv-BN-leakyReLU模塊在Conv-ReLU的基礎上進行修改，其目的在于穩定深度GAN模型的訓練。采用步長s=2的卷積計算，在模擬池化層降低特征圖分辨率的同時，減少了下采樣過程時造成的信息損失，對穩定深度GAN模型的訓練起著一定作用。

最后，本研究所構造SHGN的組成模塊考慮了VGG-Net在深度分類網絡中的設計特點。VGG-Net使用3 × 3小卷積核，一方面為了節省顯存的開銷，另一方面為了抑制網絡的過擬合問題。此外，VGG-Net利用濾波器組(2～3卷積層組成)替代卷積層，一方面濾波器組可實現較大的感受野，避免使用占用內存較多的單層大卷積核卷積計算；另一方面濾波器組中可使用更多的非線性激活函數，為網絡提供更強的函數擬合能力。根據上述深度卷積網絡的優點，本研究借鑒VGG-Net的設計，構造一種多濾波器組(5組，每組3層卷積)編碼器。

1.5 C-ivusGAN-SHGN的判別器

在C-ivusGAN-SHGN網絡模型中，判別器是另一個重要組成部分，其作用是為網絡優化提供對抗訓練，鑒別生成器產生的分割圖zi和醫生手工分割圖yi，促使生成器生成準確的分割圖。采用與AlexNet[11]和DCGAN[28]類似的網絡構架，判別器結構由8個卷積層Conv、7個leakyReLU層、6個批規范化層BN和1個Sigmoid層組成，如圖5所示。以原始圖像、真實分割圖或生成分割圖為級聯體作為判別器輸入數據，判別器將數據維數[256, 256, 2]壓縮編碼成[4, 4, 1]，再經過Sigmoid映射為概率向量。在Pix2Pix[25]模型的判別器基礎之上，本研究加深判別器的網絡深度。將判別器由PatchGAN修改為ImageGAN的原因：一是在C-ivusGAN-SHGN中使用了更復雜更深層的生成器；二是不同于自然圖像生成中要求圖像含有豐富的色彩、紋理等方面的逼真性和多樣性，IVUS圖像的語義標簽圖像生成要求圖像在全局上應與臨床醫生手動勾畫的分割圖像盡可能相似。

1.6 C-ivusGAN-SHGN的訓練

本研究的相關實驗在TensorFlow機器智能開源軟件框架[36]上實現。網絡優化算法采用Adam優化器[37]。網絡超參數設為：總訓練輪數epoch為200，其中本文第2.3節的epoch設置為20，批量大小batchsize為1，原始圖像大小為384像素×384像素，裁剪圖像大小cropsize為256像素×256像素。在Adam優化器中，學習率設定為0.000 2，b1動量超參數設定為0.5。在式(3)中，a超參數設置為1，b超參數設置為100。在編碼器、解碼器和判別器中，所有leakyReLU激活函數的負斜率設為0.2。

圖5 判別器的結構Fig.5 The architecture of discriminator

1.7 實驗材料

以Simone Balocco等所建立的國際標準IVUS數據集為主要實驗對象[24]。該IVUS數據集來自10位病人冠狀動脈序列的435幅圖像數據，成像系統為Si5(Volcano公司)，探頭為20 MHz電子相控陣式。數據涵蓋大多數可能出現的血管形態，比如分叉、斑塊、聲影、探頭貼近導管等。在本文第2.1和2.2節中，訓練集從數據集中隨機抽取80%，剩余20%數據作為測試集，獲得5組不同數據組合，用于交叉驗證評估。在本文第2.3和2.4節中，為了更公平地與已有算法比較，訓練集從標準數據集中隨機抽取217幅IVUS圖像，剩余218幅圖像作為測試集。另外，從廣州軍區廣州總醫院收集100幅臨床實踐的IVUS圖像數據，由已訓練網絡(生成器)完成相應的自動標注信息，其目的是驗證本研究所提出網絡模型的跨數據集泛化能力。實驗在Ubuntu 14.04、TensorFlow 1.0.0、MATLAB R2016a上實現，采用NVIDIA GTX 1080 (8G VRAM) 顯卡進行加速。

1.8 評價指標

采用面積交并比指數JM、面積差異百分比PAD、Hausdorff距離HD和平均距離AD 4個評價指標，評估中-外膜和內膜邊界檢測性能[2,24]。這些評價指標定義為

(4)

(5)

(6)

(7)

式中，下標auto和manual分別代表算法檢測和臨床醫生手動勾畫的邊界結果，R代表區域，A代表面積，C代表曲線，d(a,b)表示計算歐式距離。

2 結果

2.1 聯合損失函數影響

C-ivusGAN-SHGN的聯合損失函數定義為式(3)，由兩部分組成：一部分為重建損失，另一部分為對抗損失。文獻[25]和[29]分別使用了L1和L2距離作為GAN的重建損失，讓生成器的輸出結果與臨床醫生的單次勾畫結果盡可能一致。本節主要分析對抗損失式(1)和不同重建損失函數式(2)對IVUS圖像區域分割的影響。

表1 生成對抗網絡聯合損失函數的分析Tab.1 Analysis of joint loss function in C-ivusGAN-SHGN

注：LU表示內膜邊界，MA表示中-外膜邊界。

Note: LU denotes Lumen and MA for Media-Adventitia.

由表1第3～6列數據比較可得，僅僅使用L1或L2重建損失，C-ivusGAN-SHGN所檢測的內膜和中-外膜，計算8個評價指標均不能取得最高的分數。換言之，采用了對抗學習思想，生成器的輸出分割結果會更好。這是因為，對抗損失驅使生成器的分割結果與臨床醫生在某一數據集上的不同勾畫輪廓在分布上盡可能相似。

圖6 內膜與中-外膜的剖面線分析Fig.6 Analysis of LU and MA border profiles in IVUS

由表1第5、6列數據比較可得，重建損失采用L1距離適合于中-外膜MA分割與檢測，而采用L2距離則適合于內膜LU的分割。由L1和L2損失的性質可知，L1對異常值比較穩健，而L2則非常敏感。如圖6所示，導管區域和內腔區域可視為灰度很一致的區域，因此兩區域可合并成同一個區域A。采用L2損失對區域A進行分割而檢測內膜，評價指標的分數取得一致較高。斑塊區域與區域A在灰度上是很不一致的，如圖6所示，兩區域之間存在突變。如果斑塊區域存在鈣化斑塊，則灰度值會突變得更為劇烈。將斑塊區域和區域A合并為區域B，也就是把某一些異常值加入到區域B中，那么采用L1損失對區域B進行分割進而獲得中-外膜，則更為適合，各個評價指標的分數會較高。

如表2所示，當超參數a=1時，超參數b由1變化到128并采用L1作為重建損失，根據統計評價指標JM，可確定超參數b的最佳值。當b=64時，C-ivusGAN-SHGN對IVUS圖像中的中-外膜檢測效果最好。當b=32時，C-ivusGAN-SHGN對IVUS圖像中的內膜邊界檢測效果最好。如表3所示，當超參數a=1時，采用L2作為重建損失。當b=64時，C-ivusGAN-SHGN對IVUS圖像中的內膜邊界檢測效果最佳。當b=128時，C-ivusGAN-SHGN對IVUS圖像中的中-外膜邊緣檢測效果最好。綜合表2、3可知，超參數b對分割結果影響不大；設置32～128之間可獲得比較好的邊界檢測效果。本研究后面的實驗統一設置b=100。

2.2 生成器網絡結構影響

C-ivusGAN-SHGN對IVUS圖像進行分割的結果不僅取決于所采用的損失函數，而且取決于所使用生成器的網絡結構。FCN、U-Net、SegNet、DeconvNet等網絡是經典的語義圖像分割網絡，均可作為C-ivusGAN-SHGN中的生成器。本小節研究3種不同生成器結構的分割效果，這些生成器的網絡結構如圖7所示，其中Pix2Pix-1的生成器采用U-Net結構[35]，而Pix2Pix-2則采用Encoder-Decoder結構[30]。U-Net結構的特點主要是解碼器重用編碼器中的底層特征，用于準確恢復原始圖像的分辨率或者生成準確的分割圖像。Encoder-Decoder結構的特點是由編碼器和解碼器兩部分組成。本研究所采用SHGN結構的主要特點：一是將Encoder-Decoder結構視為一種沙漏單元，然后堆疊這些單元構建生成器，設計思路基于“由粗到精”思想[10]；二是堆疊沙漏網絡可引入原始輸入圖像，該中間信息作為網絡中沙漏單元的輸入，設計思路受文獻[34]啟發。

表2 采用重建損失L1的影響Tab.2 Effect of L1 reconstruction loss

表3 采用重建損失L2的影響Tab.3 Effect of L2 reconstruction loss

圖7 C-ivusGAN-SHGN中3種不同的生成器網絡結構。(a) U-Net; (b) Encoder-Decoder; (c) SHGNFig.7 Three architectures of generator in C-ivusGAN-SHGN.(a) U-Net; (b) Encoder-Decoder; (c) SHGN

表4的對比結果表明，采用Encoder-Decoder結構和沒有中間信息的堆疊沙漏網絡(方法1)作為C-ivusGAN-SHGN中的生成器，其分割性能均稍差于基于U-Net結構的Pix2Pix-1模型。然而，利用中間信息的堆疊沙漏網絡SHGN(方法2)則優于Pix2Pix-1模型，這說明中間信息利于沙漏單元對分割圖像和原始圖像進行編碼和解碼，優化中間的分割結果，獲得較好的最終分割結果。另外，所提出的堆疊沙漏網絡結構更為緊湊，模型大小小于Pix2Pix-1模型。

2.3 與已有算法比較

在IVUS圖像邊界檢測任務中，文獻[24]綜述了8種相關算法，并且在國際標準數據集上使用統一評價方法，對這些算法進行詳細比較。在這些算法中，有一些僅能檢測IVUS圖像中的某一條邊界，比如圖8(a)中的方法6只檢測中-外膜，圖8(b)中的方法2、5、7無法檢測中-外膜。另外，方法3的性能是最好的，是近年來較好的IVUS圖像分割算法之一。在國際標準數據集435幀代表性IVUS圖像上，比較所提出算法與文獻[24]所述算法以及基于神經網絡方法[10]的性能。圖8的定量對比結果表明，本研究算法在JM、PAD、HD等3種評價指標上均優于文獻[24]所述算法和基于雙稀疏自編碼器方法[10](內膜JM為0.919 7，中-外膜JM為0.917 1)，其所檢測的IVUS圖像內膜和中-外膜邊界更貼近臨床醫生勾畫的標注輪廓。本算法的分割性能主要取決于兩個因素，其一為先進的生成器網絡結構；其二為基于IVUS圖像特點的竭力數據擴充方法(訓練樣本量為217×58=12 586)。表4的對比結果表明，本研究所提出的C-ivusGAN-SHGN生成器網絡結構好于文獻[25]采用的U-Net，將輸入圖像作為中間信息可以提升整個網絡的分割效果。圖8(a)中的內膜平均JM為0.928 9，而圖8(b)中的中-外膜平均JM為0.951 4，這兩個指標均好于表4中的相關數據。該結果表明，采用旋轉(35倍)、灰度拉伸(10倍)、翻轉(2倍)、尺度變換(10倍)共57倍數據擴充方法，可有效地提升分割性能，降低過擬合的影響。

表4 不同生成器網絡結構的影響Tab.4 Effect of different generator in C-ivusGAN-SHGN

注：E-D表示編碼器-解碼器。

Note: E-D denotes Encoder-Decoder.

圖8 本研究算法與文獻[24]所評價8種算法、文獻[10]所提出方法的分割性能比較(1～10分別為形狀驅動、測地線活動輪廓、快速步進、三維圖搜索、三維堆疊序貫學習、HoliMAb、Bayesian、ANGIOCARE、雙稀疏自編碼器、本研究方法)。(a) 內膜分割性能比較；(b) 中-外膜分割性能比較Fig.8 The comparison of segmentation performance between algorithms evaluated on references [10, 24] and our method(From 1 to 10, methods are shape-driven, geodesic active contours, fast-marching, 3D optimal graph search, 3D stacked sequential learning, HoliMAb, Bayesian, ANGIOCARE, double sparse auto-encoders, the proposed method). (a) Comparison of LU border segmentatinon performance; (b) Comparison of MA border segmentation performance

2.4 檢測結果的定性分析

如圖9所示，展示了正常、含鈣化斑塊、含纖維斑塊、含超聲陰影、血管分叉、血管側支6種情況的IVUS圖像內膜和中-外膜邊界檢測實例。圖9(a)為IVUS圖像，圖9(b)為本算法的邊界檢測結果，圖9(c)為臨床醫生手動勾畫的邊界，圖9(d)為自動勾畫與手動勾畫的比較。從圖9可以看到，本算法提取的兩條關鍵邊界能不受斑塊和超聲陰影影響，如圖9第2、4、8～10列。這歸因于結合重建損失和對抗損失的聯合損失函數對鈣化斑塊進行有效的識別，尤其是L1重建損失對異常值非常魯棒。另外，本算法的檢測還不受血管分叉和側支影響，如圖9第5～7列。圖10展示了10個在廣州軍區廣州總醫院跨數據集上的檢測實例。檢測結果說明了本方法具有較好的泛化能力。但是由于ECG門控數據(見圖9)與非ECG門控數據(見圖10)之間存在非常大的差異，所以本研究模型在其他數據上所能成功檢測的實例顯得較為單一，如圖10所示。更好地提升本模型的泛化能力，依賴于訓練集和測試集是否服從較為同一的分布。這將是未來可深入研究的問題，使得跨數據集的IVUS圖像(非ECG門控)轉換成ECG門控數據，再利用C-ivusGAN-SHGN模型檢測圖像中的內膜和中-外膜邊界。

圖9 本算法的內膜與中-外膜邊界檢測結果。(a) IVUS圖像；(b) 算法自動勾畫結果；(c) 臨床醫生手動勾畫結果；(d) 自動方法和手動方法的比較Fig.9 Lumen and media-adventitia border detection results of the algorithm in this paper. (a) IVUS images; (b) Results from our method; (c) Results from manual method; (d) Comparisons between automatic and manual methods

圖10 跨數據集檢測實例Fig.10 Border detection examples from cross-dataset

3 討論

有條件生成對抗網絡，不但具有表征學習能力，而且可通過對抗學習緩解過擬合問題。通過編碼網絡組合不同層次的特征，然后形成高層抽象特征，最后利用解碼網絡生成所需要的自然圖像RGB圖、醫學圖像分割圖等。這種自動學習的深度特征相對于傳統的手工設計特征而言，在概念表達方面具有較強的魯棒性和較復雜的抽象性。然而，深度學習算法普遍需要規模較大的訓練數據集，否則神經網絡訓練會受到過擬合問題影響。在不同的圖像領域中，數據采集與標注的難度顯然不盡相同，采集醫學超聲圖像和手工勾畫圖像中的感興趣組織要求經驗豐富的醫生。因此，在醫學圖像分析中，訓練數據集規模會限制深度網絡性能。

利用對抗學習的正則化特性，緩解深度網絡在小數據集上的過擬合問題，是應用深度網絡在數據量不足的醫學圖像訓練集上進行訓練優化的有效方式。因此，本研究結合對抗學習和數據擴充的方式來綜合改善深度全卷積網絡分割性能。另外，針對IVUS圖像邊界檢測的特點，本研究進一步設計基于VGG-Net和DCGAN的堆疊沙漏網絡SHGN。實驗量化的結果表明，本研究提出的C-ivusGAN-SHGN模型有效、魯棒和精確地檢測出IVUS圖像中的中-外膜和內膜，其分割精度優于8種在國際標準數據集上評估的傳統方法和1種基于雙稀疏自編碼器的深度學習方法。另外，本研究驗證了所提出生成器的有效性。在重建損失上，本研究通過實驗說明，L1距離適合于檢測中-外膜邊界，L2距離適合于內膜邊界的檢測。然而，本研究仍然存在一些不足之處。首先，所采用的國際標準IVUS圖像數據集規模較小(435幅)，雖然在一定程度上可以反映本研究所提出C-ivusGAN-SHGN模型的分割性能，但使用規模更大的數據集將更具說明性，這是以后所需改進的地方之一。其次，該數據集的采集環境存在ECG心電門控。因此，其數據分布與廣州軍區廣州總醫院所采集到的臨床實踐中非ECG心電門控IVUS圖像數據分布存在較大的不一致性。在2.3.4節，雖然通過跨數據集驗證說明本研究所提出模型具有較好的泛化性能，但是應用已訓練模型對測試圖像進行分割，其成功檢測率僅為60%，依然存在提升的空間。在未來的研究中，可以通過給訓練集加入非ECG心電門控IVUS圖像或通過領域適配/遷移學習算法來提升深度網絡識別的跨數據集泛化性能。另外，本研究所提出網絡C-ivusGAN-SHGN在IVUS上的潛在應用包括斑塊鈣化灶的分割[38]和易損斑塊的識別[39-40]。

4 結論

本研究提出一種結合堆疊沙漏網絡SHGN和有條件生成對抗網絡C-GAN的IVUS圖像內膜和中-外膜邊界檢測改進方法。首先利用對抗訓練和C-GAN，學習以超聲圖像為約束條件，輸出其分割圖像的映射關系，將IVUS圖像分割為三大不同區域：血管外周組織、斑塊區域和內腔區域；然后在分割結果基礎上，利用閾值處理檢測最終的內膜與中-外膜邊界。相比文獻[24]所述8種算法和基于雙稀疏自編碼器方法[10]，本算法性能更具有優勢。相比文獻[25]的Pix2Pix模型，本算法C-ivusGAN-SHGN采用堆疊沙漏網絡作為生成器，具有結構緊湊、參數較少的特點，其性能好于基于U-Net的Pix2Pix模型。由于本研究采用的訓練數據為ECG門控IVUS圖像，所以算法在非ECG門控IVUS圖像上的檢測結果較為單一，這將是未來需要克服的問題。