顧 佳,方志軍,田方正
上海工程技術大學電子電氣工程學院,上海201600
心血管疾病是全球最常見的死亡原因之一,心血管疾病大多數由冠狀動脈病變引起,具有發病率高、死亡率高的特點。現代經濟迅速發展,人們各方面壓力加大,心血管疾病的患病率更是不斷上升,對人類的健康有著嚴重的威脅[1]。冠心病可以通過有創的方式診斷,主要方法為通過壓力導絲,由大臂內測插入,直達心臟,通過計算血流儲備分數(fractional flow reserve,FFR)值的方式診斷病癥。FFR 是指損傷后的壓力相對于損傷前的壓力[2]。冠狀動脈計算機斷層掃描血管造影(computed tomographic angiography,CTA)是一種有效的替代直接侵入性造影的方法,可以檢測冠狀動脈病變,如狹窄[3]。有經驗的醫生可以通過對冠脈CTA 圖像的分析,識別出冠脈的病變部位,但是心血管疾病的專家在手動測量或者視覺觀察的過程中會存在主觀判斷的誤差。因此基于CTA 圖像的冠狀動脈立體分割成為冠心病輔助診斷的關鍵技術。
從研究或者應用的角度來說,冠脈自動分割有以下三方面意義:(1)醫生在把握冠脈整體結構下才可以精準診斷,二維的冠脈CTA 圖像切片三維信息不足,準確的冠脈分割可以為冠脈三維重建打下堅實的基礎;(2)精準的冠脈分割,可以提供冠脈血管橫截面積、直徑、密度值、壓力值等參數,并有效地輔助診斷冠脈狹窄等疾病;(3)全自動的冠脈分割可以有效地幫助醫生對冠脈進行分析,節省醫生大量的時間。因此冠脈血管精準的分割在研究與應用領域具有重要價值。但是由于受設備不同、病人不同、造影劑不均勻分布以及存在脊柱、肋骨和心肌等其他一些軟組織構成的重疊偽影等因素的影響,使得冠狀動脈在CTA 圖像中的清晰度存在較大差異,精確地分割冠脈的輪廓是一項具有挑戰性的任務。
在先前的文獻中已經提出了各種方法來從醫學圖像中分割血管。目前常用的冠脈血管分割算法主要分為傳統算法和基于深度學習的分割網絡。傳統的冠脈分割方法大致分為域生長方法[4-5]、活動輪廓模型[6]、統計模型[7]和中心線方法[8]。近年來深度學習技術興起,隨其快速發展,各種基于深度學習的算法被應用到醫學圖像的處理任務中,特別是在圖像分割領域[9-10]。早期基于深度學習的方法使用圖像塊和滑動窗口塊來遍歷圖像[11]。但是滑動窗口方法需要進行大量的計算,并且不會使用全文整體的信息,因此該方法目前已經較少使用。自2014 年以來,全卷積網絡(fully convolutional networks,FCN)[12]開始用于圖像分割領域。之后誕生了編碼器-解碼器網絡和U-Net[13]用于醫學圖像分割,取得了良好的效果。后來在U-Net的基礎上,又延伸出了許多新的網絡架構[14-16],這些新的網絡架構均提升對醫學圖像分割的性能。但是以上神經網絡的構造均采用二維卷積核的構造方式。為了使醫學圖像的不同切片之間的空間信息被充分利用,許多研究人員引入了3D 卷積神經網絡的概念,比如3D-FCN[17]、3D-U-Net[18]和V-Net[19]。針對冠脈圖像的分割,近兩年在傳統算法[9,20-21]以及深度學習算法[22-27]上都涌現出了很多優秀的工作。
盡管傳統算法以及深度學習在冠脈血管的分割中取得了較好的結果,但是上述的方法中均沒有對冠脈CTA 圖像進行很好的預處理。冠脈CTA 圖像存在很多噪聲,這些噪聲會對最終的分割結果產生不良影響。有效的噪聲過濾可以在一定程度上提高圖像分割的準確性。此外,FCN、U-Net、V-Net等經典深度學習算法沒有綜合利用前后的特征信息,使得分割結果不細膩。本文創新性地提出了全局特征及多層次特征聚合網絡。全局特征模塊利用自適應的方法實現對原始CTA 圖像的過濾。使用多級V-Net 串聯的方式提取多層次的特征,最終通過將多層次特征融合的方式實現冠脈血管的準確分割。為了更好地利用特征信息,設計了較深的網絡,由此可能帶來梯度消失的問題,采用深度監督[28]的方式避免了這種情況的出現。
總的來說,基于全局特征嵌入及多層次特征聚合的冠脈CTA 分割算法,主要貢獻如下:
(1)提出了一種利用全局特征對原始CTA 圖像去噪的方法,全局特征模塊通過綜合早期和后期的特征信息,融合了豐富的細節和語義信息,這種去噪的方法會在網絡訓練期間自適應地優化。
(2)采用神經網絡深度較少的薄V 形結構,構造了多級細化V 形模塊,用于在全局特征的基礎上產生細化后的多級特征。利用不同層次特征之間優勢的互補,得到精準的冠脈分割圖像。
(3)在網絡結構中,在每一個細化V 形模塊之后引入了深度監督機制,抑制了多層次特征聚合中噪聲的疊加,避免梯度爆炸,使模型收斂速度更快,識別能力更好。
冠脈血管分割是現代醫學影像輔助診斷過程中的關鍵步驟之一。在利用CTA 圖像對冠脈進行分割的過程中需要關注冠脈以及冠脈CTA 圖像的特點。首先冠脈是一個立體的樹狀結構,冠脈CTA 圖像的切片是二維的形式;冠脈CTA 圖像中,冠脈的灰度信息與背景相差較大,但是其與骨骼和心臟區域的灰度信息相近。在冠脈分割的研究方法中,都充分考慮了以上的特點。在各類冠脈CTA 圖像中,每年都會涌入一些先進的算法,總的來說共分為傳統算法與深度學習算法兩種方式。
黎麗華等人[4]和Cai 等人[5]結合形態學方法和區域生長方法從冠狀動脈計算機斷層血管造影(coronary computed tomography angiography,CCTA)數據中分割心腔和冠狀動脈。Hernandez 等人[6]將通過K-最近鄰非參數估計方法估計的血管幾何特征的分布加入能量函數中,以解決血管組織中灰度的不均勻分布。Lacoste 等人[7]提出了一種使用馬爾可夫標記在二維圖像中分割冠狀動脈并獲得良好結果的方法。Zhao 等人[8]使用Hessian 矩陣增強了原始CCTA圖像中血管的對比度,然后使用運動球模型對冠狀動脈中心線進行提取。Ma 等人[20]提出了一種基于環形和球形區域生長的冠狀動脈自動分割方法。該方法根據二維圖像中血管形狀的特點將區域劃分為一系列環形區域,而空間則根據三維圖像中血管的形狀和趨勢劃分為球形區域。Ge 等人[21]通過帶有幾何特征和響應函數的Hessian 矩陣特征值特征向量初步提取冠狀動脈圖像中的潛在血管。將新的正則化和面積約束引入局部數據能量擬合函數。然后在水平集函數的演變中獲得冠狀動脈圖像的精度。鄭永昌等人[29]利用方向聚類對冠狀動脈進行分割,該方法使用閉運算及灰度拉伸對影像進行預處理,最后通過聚類法跟蹤冠脈方向,實現對冠脈的分割。Liu等人[30]提出了一個新的無監督集成策略來自動組合多個分割結果以獲得準確的視網膜血管結果。該工作將許多傳統分割算法的結果集合起來,充分發揮了每種方法的優勢。
Long 等人[12]在原有的卷積神經網絡(convolutional neural networks,CNN)結構下,對神經網絡進行擴充,未采用全連接層的方式對圖像進行像素級預測。Ronneberger 等人[13]利用跳線的方式,將編碼器中的特征圖疊加到對應的解碼器中的特征圖中,提高了醫學圖像的分割精度。Fu 等人[14]采用多尺度輸入層構建圖像金字塔以實現多級感受野大小,并使用U 形卷積網絡作為主體網絡結構來學習豐富的層次表示,利用側輸出層則作為早期分類器,為不同尺度層生成伴隨局部預測圖。Gibson 等人[15]提出了編碼器塊中的密集連接,使用新的模塊來替換U-Net 架構中的一些塊以增強特征學習能力。Gu 等人[16]在U-Net的瓶頸部分插入一個密集的空洞卷積塊(dense atrous convolution,DAC)和一個剩余的多核池塊(residual multi-kernel pooling,RMP),以提取和保存更多的空間環境。Yu 等人[31]提出了一種從粗到精的神經網絡結構搜索方法來實現3D 醫學圖像分割。該方法可以在不影響網絡規模或輸入規模的情況下,從零開始自動搜索3D 圖像網絡。Fang 等人[32]提出了一種新的具有區域和邊界約束的選擇性特征聚集網絡進行息肉的自動分割。該方法使用了一個共享編碼器和兩個相互約束的解碼器,分別用于預測息肉區域和邊界。
Chen 等人[22]提出了一種三維多通道U-Net 結構,將血管圖結合到U-Net 的輸入中,U-Net 用作突出冠狀動脈管狀結構的增強信息。Wolterink 等人[23]使用圖形卷積網絡(graph convolutional network,GCN)來預測分割冠狀動脈腔的管狀表面網格中頂點的空間位置。Fu 等人[24]使用Mask R-CNN 進行冠狀動脈分割,在使用神經網絡訓練之前對肺部區域進行掩蓋,避免了肺血管的干擾。Kong 等人[25]提出了一種新穎的樹結構卷積門控循環單元(convolutional gated recurrent unit,ConvGRU)模型來學習冠狀動脈的解剖結構。Blaiech 等人[26]提出了基于U-Net 架構的深度神經網絡,以改進冠狀動脈圖像的分割任務。Wang 等人[27]以血管造影視頻的幾個連續幀為輸入,通過結合了3D 和2D 卷積,對視頻序列提取空間信息,最終獲得冠脈血管的分割結果。Yu 等人[33]提出了一種基于知識轉移的形狀一致性生成對抗網絡,該方法利用公開的帶注釋的眼底數據集的知識來分割冠狀動脈。
全局特征嵌入及多層次特征聚合網絡的總體結構如圖1 所示,主要由全局特征模塊、特征融合與V形細化多層次特征聚合模塊以及深度監督三個模塊組成。首先全局特征嵌入模塊通過原始的CTA 圖像獲得全局特征,并且將獲得的全局特征作為基礎特征;然后基礎特征通過第一層V 形細化模塊獲得第一層細化特征,進而融合基礎特征和第一細化特征并送入第二層V 形模塊獲得第二層細化特征,以此類推,得到不同層次的細化特征;最后,通過將不同層次的細化特征融合,獲得最終冠脈分割后的圖像。在每一個V 形細化模塊之后都加入了深度監督機制,來避免網絡在訓練的過程中出現梯度消失的問題。全局特征模塊對圖像進行過濾,使得原始的CTA 圖像在保留更多的細節信息突出語義信息的同時去除了更多的噪聲。特征融合V 形細化模塊對基礎特征進行精細化的特征提取,獲得不同層次的細化特征,保證細節信息以及語義信息充分結合,使得最終輸出的分割結果更加精確。
本文提出的網絡是一種新型的網絡。該網絡以CTA 圖像為輸入,以端到端的方式輸出分割結果。在CTA 圖像中,除冠脈以外存在很多的噪聲,因此,單憑CTA 圖像很難確定冠狀動脈的具體位置。由于血管在空間上是連續的,因此分析CTA 圖像的三維空間信息非常重要。為了充分編碼CTA 圖像切片之間的相關性,以學習冠狀動脈的先驗形狀和三維時間相關性,文中設計的網絡中的所有層都是以三維格式構建的。
為了對CTA 圖像去噪,設計了全局特征模塊。如圖2 左側所示,全局特征模塊具有五個下采樣模塊,用于CTA 圖像的過濾(特征提取)。在每個模塊中,使用5×5×5 卷積核、批量歸一化(batch normalization,BN)和帶參數的非線性激活函數(parametric rectified linear unit,PReLU)來提取特征。BN 將各層的數據分布強制轉換為正態分布,使得網絡的收斂速度加快。PReLU 是帶有參數的非線性激活單元,用來非線性激活標準化數據。顧名思義,它是帶參數的ReLU(rectified linear unit)。在整個網絡中,所有的激活函數均采用PReLU。PReLU 具體定義如下:

Fig.1 Overall algorithm flow chart圖1 總體算法流程圖

Fig.2 Global feature module圖2 全局特征模塊

其中,xi是函數輸入不同通道的張量,ai是與其對應的參數。PReLU 是每個通道都有一個帶有不同參數的激活函數(ReLU)。在網絡訓練過程中,ai是動態的,其變化過程如下:

其中,μ為動量,?為學習率,ε為目標函數。
在第一個模塊中得到layer 1,在其他4 個下采樣模塊中,每個下采樣模塊得到3 個特征圖。在4 個模塊中,通過融合每一個模塊的第一層和最后一層分別得到layer 2…5,這種融合方式可以形成殘差函數,使網絡在短時間內收斂。為避免池化層在降維的過程中因丟失信息對分割精確度的影響,在每個模塊之間的連接處,使用步長為2 的2×2×2 卷積核代替最大池化層來降低特征圖的分辨率。
如圖1 右側所示,利用反卷積對每個下采樣模塊的最后一個特征圖進行解碼。具體來說,將layer 2…5,用反卷積逐步放大,直到達到與輸入圖像相同的大小,得到feature 2…5。在上采樣部分使用2×2×2反卷積核、BN 和非線性激活函數ReLU 進行解碼。
為了更好地過濾掉CTA 圖像中的無關信息,根據淺層特征圖具有豐富的細節信息,但語義信息不足;深度特征圖具有較高層次的語義信息,同時也丟失了大量的細節信息這一特性設計了全局特征模塊,目的是得到一個較好的預處理的圖像。如圖3 中的feature 2 所示,它包含類似于邊的詳細信息,而feature 5 包含高級語義信息。高層次的語義特征使網絡能夠識別冠狀動脈并找到冠狀動脈的位置,而細節特征則能夠細化冠狀動脈的邊緣。全局特征是在feature 2…5 這4 個特征圖上使用1×1×1 卷積將其加權平均得到的。全局特征包含早期和后期的綜合信息,融合了豐富的細節和語義信息。冠脈CTA 圖像中的血管受造影劑的影響會顯示高亮的效果,其特征比較強烈。3D 卷積核在幾何空間中對CTA 圖像進行過濾時會保留特征強烈的區域,全局特征模塊融合了較為前面的特征圖,因此在對CTA 圖像進行過濾操作的時候可以盡可能地保持有效信息完整性。

Fig.3 Visualization diagram of global feature module圖3 全局特征模塊可視化示意圖
從圖3 可以看出,全局特征圖是對原始CTA 圖像一個很好的過濾。將全局特征圖作為基礎特征,送入V 形細化網絡進行進一步優化。全局特征對最后得到較為精準的分割結果打下了堅實的基礎。
全局特征模塊通過利用早期和后期的綜合信息,以及豐富的細節和語義信息對原始的CTA 圖像進行了很好的過濾,產生了基礎特征。為了簡化書寫形式,將基礎特征記為BF。基礎特征BF 為后續V形細化網絡提供了多級的語義信息。將基礎特征BF與前一個V 形細化網絡輸出的特征圖的融合特征記為BFVF。多個V 形細化網絡與BFVF 交替疊加,輸出不同層次的特征圖。具體來說,BFVF 融合了前一個V 形細化網絡輸出的特征圖與基礎特征BF。融合后的特征圖BFVF 被送入下一個V 形細化網絡。值得注意的是,第一個V 形細化網絡沒有利用任何其他V 形細化網絡的先驗知識,它只是從基礎特征BF 中學習。輸出的多尺度特征計算如下:

其中,xBF表示基礎特征BF,表示在第l個V 形細化網絡輸出的細化特征,L表示V 形細化網絡的數量,Tl表示第l個V 形細化網絡的運算處理,F 表示基礎特征xBF與前一個V 形細化網絡輸出的特征圖的融合處理。
2.2.1 特征融合
BFVF 融合了基礎特征與細化V 形網絡產生的不同層次的特征,這對于最終的特征融合至關重要。特征融合模塊提取前一個細化V 形網絡輸出的特征與基礎特征,這兩個特征圖與輸入具有相同的尺度。特征融合模塊使用級聯操作來聚合這些特征映射,然后使用1×1×1 卷積層來減少特征的通道,為下一個細化V 形網絡生成融合后的特征BFVF。特征融合模塊的結構細節如圖4 所示。
2.2.2 細化V 形網絡

Fig.4 Fusion of basic features and output features of refined V-shape network圖4 基礎特征與細化V 形網絡輸出特征融合
細化V 形模塊采用網絡深度較淺的V 形結構,如圖1 所示。細化V 形模塊的下采樣部分采用2×2×2的卷積核、BN 和PReLU 來提取特征。上采樣部分,每層通過跳線的方式級聯與之對應的下采樣層,通過2×2×2 的反卷積核對其進行逐步放大,直到與輸入的尺寸相同。每個細化V 形模塊的輸出,構成了多尺度的特征。具體來說,除第一個細化V 形模塊的輸入是基礎特征以外,第二層以及以后的細化V 形模塊的輸入均是基礎特征與上一個細化V 形模塊輸出的結合。這種方式主要是避免網絡在后面的學習中,遺忘之前的信息。因此,前面的細化V 形模塊主要提供淺層細節特征,后面的細化V形模塊提供深層語義特征。
2.2.3 多層特征融合
多層特征融合的目的是將細化V 形模塊生成的多級特征聚合到一起。沿通道將細化V 形模塊生成的多級特征連接在一起,前面的特征偏向于細節信息,后面的特征偏向于語義信息。為了使細節信息和語義信息能夠進行很好的融合,采用了比較簡單的1×1×1 卷積核的方式。1×1×1 卷積核對連接在一起的特征圖在通道上進行類似加權平均的操作,由于1×1×1 卷積核的參數是通過反向傳播學習的,因此在網絡訓練的過程中,不改變特征圖分辨率的情況下,鼓勵特征關注它們最受益的通道。再次使用1×1×1 卷積核來生成與輸入體積相同大小的輸出。然后通過Softmax 將它轉換為前景和背景區域的概率,來獲得預測的分割圖像。
細化V 形模塊默認配置為3 個,每個細化V 形模塊有5個下采樣和4個上采樣。為了減少參數的數量,每個上采樣或者下采樣只使用1 個卷積核進行操作。
2.3.1 深度監督
深度學習有一個主要問題是存在梯度消失,這會導致早期層中的損失反向傳播無效。這種問題在三維格式構建的網絡中可能更加嚴重。由于設計的網絡層次較深,這不可避免地會降低收斂速度并降低模型的辨別能力。在每一個細化V 形模塊的輸出位置增加一些額外監控來抵消梯度消失的不利影響。具體而言,在每一個細化V 形模塊的輸出層使用Softmax 將其轉換為前景和背景區域的概率,對每一層的細化V形模塊的輸出進行預測。利用這些預測與手動標注的分割圖像的梯度,減輕梯度消失的影響。
具體來說,全局特征模塊共有25 層特征圖,每個細化V 形模塊有10 層特征圖,整個網絡結構共有57層特征圖。以W和Wvi分別表示主干網絡和深度監督的分支權重,則有:

輸出層Softmax 表示為:

其中,Xi表示第i層的特征圖,Pi表示第i層的預測輸出。
戴斯相似性系數(Dice similarity coefficient,DSC)作為損失函數,具體的DSC 定義會在2.3.2 小節給出。
W和Wvi分別表示主干網絡和深度監督的分支權重,T代表基本真值(手工標記標簽),Pi表示第i層的預測輸出,則主干網絡的損失函數為:

深度監督的分支損失函數分別為:

通過上式可以看出,所有分支結構中的卷積權重都會被關聯到主干網絡的卷積權重,深度監督分支的損失函數取決于W,而不是Wvi。
2.3.2 損失函數
在醫學圖像分割中,通常需要高精度的分割結果。對于高精度分割結果采集,損失函數是優化模型的關鍵。損失函數用于通過計算網絡模型預測的分割結果與實際分割結果之間的差異來反向傳播和優化模型的參數。通過一次又一次的迭代,預測的分割結果與真實的分割結果盡可能一致。
本文所提的分割方法輸出的分割圖像的分辨率與輸入圖像的分辨率一致。網絡選擇醫學圖像分割中常用的DSC 損失函數來優化模型。DSC 損失函數從特定區域提取特征并評估像素級別的相似性,這為模型分割帶來了良好的分割性能。簡單來說,DSC是計算輸出的預測分割圖像和真實分割圖像之間的“交并比”,并測量真實圖像和預測圖像之間的重疊度。DSC 可以定義為:

其中,Ti,j和Pi,j表示i,j位置的真實分割圖像和預測分割圖像的像素,Ω表示整個圖像區域。DSC 的值在0 到1 之間,如果DSC 為1,則表示預測的分割結果與實際的分割結果完全一致。DSC 損失可定義為:

由于在每個細化V 形網絡模塊使用的深度監督機制,默認使用的細化V 形模塊為3 個。故整個損失函數的定義為:

其中,DSC表示DSC 損失,T和P表示真實分割圖像和預測分割圖像,PA表示對多層特征融合后的特征預測分割的結果,Pi表示對i層細化V 形網絡輸出特征預測分割的結果,αi為超參數,根據經驗分別設置為α1,2,3=0.2,0.5,0.8。
訓練數據集是上海中山醫院提供的。中山醫院共提供了70 組病人的CTA 數據,每組病人的切片數都在250~350 之間。冠狀動脈CTA 數據在開始和結束的位置不包含相關切片(沒有主動脈或冠狀動脈的切片)。如圖5 所示,圖5(a)僅包含主動脈,冠狀動脈尚未出現,圖5(d)是血管完全消失的切片。圖5(b)、(c)是包含主動脈和冠狀動脈的切片(如方框所示)。從圖上看,單張切片前后不經分析很難確定冠狀動脈的位置。通過統計分析,每位患者包含主動脈或冠狀動脈的有效切片約為150 片,以人工篩選的前10片冠狀動脈作為起始幀,每名患者選取160 片作為實驗數據,最終得到一個包含11 200 張CTA 圖像的數據集。CTA 數據量為512×512×160。數據集的制作過程為:首先將DICOM 格式的CTA 數據轉換成TIF格式的切片。然后,使用WIN10 的畫圖工具對切片進行TIF 格式的標注。具體來說,使用鉛筆工具手工標注冠狀動脈的邊緣。最后,提取標記圖像中的紅色閉合區域,并將其轉化為手動分割真值圖像。本次實驗在其中隨機選擇了50 例作為訓練集,剩余的20 例作為測試集。

Fig.5 Position of aorta and coronary artery on different slices of same patient圖5 同一病人在不同切片上主動脈/冠狀動脈的位置
本實驗環境基于Ubuntu16.04,64 位操作系統,采用Keras 深度學習框架來實現文中的方法。系統的輸入和輸出是.mhd 文件和相應的.raw 文件。每個.raw 文件包含160 張CTA 切片。學習率最初設置為1×10-4,每輪學習率的損耗率均設為1×10-6,共訓練500 輪。全局特征模塊共包含25 個特征圖,如圖2 所示,其下采樣卷積核大小設置為5×5×5 和2×2×2,上采樣的卷積核設置為2×2×2,步長均為2。每個細化V 形模塊包括10 個特征圖,如圖1 所示,下采樣與上采樣的卷積核大小均設置為2×2×2,步長均為2。圖形處理器(graphics processing unit,GPU)型號為NVIDIA TITAN X。由于運行內存的限制,數據輸入大小設置為128×128×160,將原始CTA 數據縮小為網絡輸入所需尺寸。
通過計算各自血管分割之間的杰卡德系數(Jaccard index,JI)和DSC 分數來比較分割精度的好壞,JI分數可理解為預測正確面積占預測標簽和真實標簽兩者面積并集的比值,DSC 分數可理解為兩倍的預測正確結果面積占預測標簽和真實標簽兩者面積相加的比值,兩個數值的范圍都在0~1 之間,數值越高,證明分割的精度越好。DSC 的定義見式(7)。JI的計算公式可以定義為:

其中,T代表基本真值(手工標記標簽),P代表預測分割結果。
可視化的分割結果如圖6 所示。圖(a)是原始CTA 圖像切片;圖(b)是所提方法的分割結果,使用黃色輪廓表示;圖(c)是手動標注的真實分割圖,使用紅色輪廓表示;圖(d)是所提方法的預測結果和手工分割的結果在原始CTA 切片上的對比。為了方便比較,放大了部分的細節。從圖中第四列的細節可以看到,所提方法能準確定位冠狀動脈位置,提高冠脈血管的分割精度,盡管有時會失去極少邊緣細節,但仍為冠狀動脈血管的分割提供了有意義的價值。
為了評估所提出方法中各部分組件的貢獻,進行了一組消融實驗來評估各部分的有效性,其定量的對比結果如表1 所示。首先,在20 組病人數據集上測試了基礎特征和1 個細化V 形模塊組合的方式,該組合方式在冠脈血管上的JI 和DSC 分割精度均值能到達0.820 和0.901;其次,測試了基礎特征和3 個細化V 形模塊的組合方式,這種組合方式的分割結果明顯超越了上一種組合方式,其JI 和DSC 均值分別達到0.836、0.911;最后,在該網絡基礎上,進一步加入了深度監督機制進行測試,實驗結果證明,這種方法得出的分割結果的JI和DSC 均值為0.842和0.914,優于以上兩種模型的結果,達到了實驗的收斂速度更快的效果。

Fig.6 Segmentation results圖6 分割結果

Table 1 Ablation study of coronary CTA images表1 冠狀動脈CTA 圖像的消融研究
在消融實驗部分,除了定量的研究以外,還做了定性的分析,定性分析的可視化結果如圖7 所示。圖7 中的(1)~(4)表示不同的切片,圖中顯示了在不同切片中,所提方法的不同組合之間的差異。為了更好地對比,放大了圖中的細節部分。從圖中可以看到,基礎特征與3 個細化V 形模塊的組合相比于與1個細化V 形模塊來說,其分割的邊緣更加平滑,在冠脈的分割部分也更加精細。在增加了深度監督之后,可以看到其分割的結果更加飽滿。
為了驗證所提方法的先進性,與幾種最新的方法進行了比較研究。其中包括V-Net、AG-Net[34]和3D U2-Net[35]。在相同的條件下進行了對比實驗。定量分析的結果如表2 所示,由表2 可以看出,所提方法、3D U2-Net、AG-Net 和V-Net 的JI 平均值分別為0.842、0.825、0.819 和0.796,DSC 平均值分別為0.914、0.904、0.897 和0.884。從表中數據可以看出,與其他方法相比,所提方法在冠狀動脈分割精度方面有了顯著的改進。

Table 2 Comparison of segmentation accuracy for various algorithms表2 各種算法分割精度的比較

Fig.7 Schematic diagram of coronary CTA image data on ablation study圖7 冠狀動脈CTA 圖像數據消融研究示意圖
為了更直觀地體現所提方法的優勢,將不同方法的輸出結果進行了對比,不同方法的可視化分割結果如圖8 所示。圖8 中的(1)~(4)表示冠狀動脈CTA 數據的不同切片。圖(a)是CTA 原始圖像,圖(b)是手工標記的真實值標簽,使用紅色輪廓表示,圖(c)~圖(f)是各種方法的分割結果,使用黃色輪廓標記。從對比圖中可以看出,在對主動脈的分割上,V-Net 分割的主動脈血管邊界存在缺陷,而AG-Net和3D U2-Net分割的主動脈相對于所提方法仍然不夠飽滿。但通過預提取心臟區域和水平集函數優化,主動脈的分割精度有顯著提升。在對冠狀動脈的分割上,V-Net 分割的冠脈血管中存在嚴重的丟失情況,AG-Net 和3D U2-Net 對冠脈的分割情況稍好,所提方法對冠脈的分割也較為準確。

Fig.8 Visual segmentation results of different methods圖8 不同方法的可視化分割結果
針對冠脈CTA 圖像的分割問題,提出了全局特征嵌入及多層次特征聚合的冠脈CTA 分割算法。利用綜合了冠脈原始CTA 圖像早期和后期的特征信息,以及融合了豐富的細節和語義信息的全局特征模塊對原始CTA 圖像去噪,得到對原始CTA 圖像過濾之后的基礎特征。然后,利用較薄的V 形結構組成的多級特征細化V 形模塊對基礎特征進一步提取細化后的多級特征。利用不同層次特征之間優勢的互補,得到精準的冠脈分割圖像。此外,引入了深度監督機制,抑制了多層次特征聚合中噪聲的疊加,避免了梯度爆炸的發生。通過定性以及定量的分析,所提方法在冠脈血管分割方面達到了更高的分割精度。后面將考慮通過設計新的損失函數,解決冠脈分割后的邊緣不平滑以及不連貫的問題。