崔少國,文 浩,張宇楠,唐藝菠,杜 興
重慶師范大學計算機與信息科學學院,重慶401331
現代醫學中,眼睛對人類的重要性不言而喻。而各種視網膜疾病也成為一個不可忽視的問題。醫學影像分割是智能輔助診斷過程中一個重要的處理步驟,它能幫助醫生進行以圖像為指引的醫學干預或更有效的放射科診斷等。在臨床醫學應用中,視網膜血管提取技術[1]通過對視網膜血管進行一系列的分析,能夠輔助醫生診斷患者是否患有眼部相關疾病和高血壓或糖尿病等一系列疾病。光學相干斷層掃描成像(optical coherence tomography angiography,OCTA)是建立在光學相干斷層掃描(optical toherence tomography,OCT)上的一種嶄新的成像模態,是一種新興的非侵入式成像技術,能觀察不同視網膜層的血管信息。因此,OCTA 逐漸成為眼底相關疾病觀測的重要工具之一。但人工手動分割的方法成本高昂,費時費力,分割質量與操作者自身的從業水平息息相關,受主觀因素影像較大,效率較低。因此,隨著日常眼科疾病患者數量的急劇上升,提出一種高效的視網膜血管分割方法[2]已經迫在眉睫。
近年來,通過組合低層特征進而形成抽象的深層特征,卷積神經網絡[3-4]能更好地完成各類視覺任務。深度學習[5]通過從數據中學習的方式去解決各類問題,早期的醫學圖像分割算法以全卷積神經網絡(fully convolutional networks,FCN)[6]為核心,旨在重點解決如何更好地從卷積下采樣中恢復丟掉的信息損失。后來的醫學圖像分割算法逐漸發展為以下三類:首先是以U-net為代表的U形“編解碼對稱”結構設計[7-8];其次是以DeepLab[9]為代表的引入空洞卷積的設計;最后是基于Transformer編碼器中Self-Attention自注意力結構的設計[10-11]。視網膜血管數據集普遍存在樣本數量較少的特點,而基于自注意力計算的分割網絡和DeepLab 系列都需要大量的數據進行訓練才能達到較好的分割結果,只有U-net在數據集樣本數量較少的情況下也能取得不錯的分割效果。
因此U-net 在醫學圖像分割領域得到了極大的關注,后來的研究者大多也是基于U-net進行改進的,如肖曉等人[12]通過在U-net 的基礎上增加殘差學習,提出的Res Unet針對血管細節特征的提取方式進行再優化,但同時也增加了模型的復雜度;周縱葦等人[13]提出的Unet++利用圖像分割中的多尺度特征來重新設計跳躍鏈接達到提高分割質量的目的,并設計一種新的剪枝方案,加快推理的速度,但勢必也會增加網絡的深度和計算量;Valanarasu 等人[14]提出的Medical Transformer 在編解碼器對稱結構的基礎上引入帶門控的軸向注意力機制,并使用“局部全局”的訓練策略進一步提高分割性能,但同時也需要大量的數據訓練才能達到較好的效果,并且訓練和推理時間較長。
而基于U-net改進的視網膜血管分割方法中[2],Fu等人[15]將條件隨機場引入卷積神經網絡(convolutional neural networks,CNN)中用于血管分割優化分割結果。Eladawi等人[16]將馬爾可夫隨機場和CNN相結合用于提升OCTA 視網膜血管分割的精度。Gu 等人[17]提出帶有殘差結構和空洞卷積的U 形網絡用于血管分割并提高分割效果。Li 等人[18]提出一種圖像投影網絡(IPN),用于進行有效的特征選擇和降維,實現3D輸出到2D的端對端結構的OCTA血管分割。Wu等人[19]提出一種結合形態學特征的連通性分析算法,是用于消除噪聲和偽影的OCTA 微血管算法。蔣蕓等人[20]提出使用條件深度卷積生成對抗網絡的方法對視網膜進行分割提高分割能力。Ma 等人[21]提出一種先分別分割粗血管和細血管,再將分割結果融合并優化最終分割結果的OCTA血管分割方法。Boudegga 等人[22]提出基于輕量級卷積塊的U-net,并針對視網膜圖像和血管特征提出預處理和數據增強步驟,提高分割效果。
視網膜血管末端細小、形狀不規則、分布不均勻且易與背景混淆是導致用U-net及其改進對視網膜血管進行分割準確率下降的主要原因。然而U-net及其改進在增加模型復雜度的同時也增加了額外的計算量,所耗費的計算機資源較高,分割時間也相對較長。
針對上述問題,本文提出一種將深度可分離卷積和卷積塊注意力機制相結合的視網膜血管分割算法。首先,用步長為2的卷積層來代替最大池化層進行特征選擇。隨后,在每個采樣層中用深度可分離卷積代替常規的卷積進行特征學習的同時降低參數量。最后,添加一個輕量級高效的卷積塊注意力加權模塊,采用學習的方式獲取特征圖中通道信息和空間信息的重要程度,并且按照學習到的重要程度自適應地調整每個特征圖的權重,完成對特征圖的重新標定。最終本文方法更注重細微處的分割,提高了分割的精度,同時占用較少的計算資源。
本文以U-net 為基準模型,提出一種基于深度可分離卷積與卷積塊注意力模塊(convolutional block attention module,CBAM)的視網膜血管分割算法。在特征編碼階段,每層使用一個深度可分離卷積塊進行特征提取,然后增加一個CBAM 模塊,采用學習的方式獲取每個特征圖中通道信息和空間信息的重要程度,并且按照學習到的重要程度全自動自適應地調整每個特征圖的權重,提高對模型存在積極影響參數的權值,降低對模型存在消極影響參數的權值,完成對特征圖的重新標定,隨后使用步長為2 的卷積層進行下采樣縮小特征圖大小。在特征解碼階段,編碼階段的高分辨率特征與上采樣特征進行拼接,后接一個可分離卷積塊和一個CBAM模塊,在最后一層使用普通的卷積用于輸出最后的預測圖。模型采用雙線插值對特征圖進行上采樣。同時,在卷積運算后都執行ReLU 函數使輸出變為非線性。具體的結構圖如圖1所示。

圖1 本文方法結構圖Fig.1 Architecture of proposed method
其中,網絡輸入的通道數為3,輸出通道數為2,分別對應需要預測的兩種類別,即劃分為前景的視網膜血管區域和劃分為背景的非血管區域。圖中,DSC Block是深度可分離卷積塊,CBAM Block 是CBAM 模塊,Conv Block 是常規卷積塊,UpSampling 是上采樣層,DownSampling是下采樣層,Copy是跳躍連接。
U-net是Ronneberger等人[23]提出的一種對稱的網絡結構,它的對稱編解碼結構和跳躍連接結構,將圖像的高維特征與低維特征相結合,提高圖像從小尺寸到大尺寸還原過程中填補缺失和空白值的能力,有助于提升網絡模型進行像素級分類的能力。并且U-net 具有簡單、靈活并且在中小型訓練數據集上也能取得不錯的分割效果等優點。
U-net中池化層主要有三個作用,分別是:增加卷積神經網絡特征的平移不變性;池化層的降采樣使得高層特征具有更大的感受野;池化層的逐點操作相比卷積層的加權和更有利于優化求解。但池化操作在跳格平移過程中勢必會出現忽視或丟失細節特征等問題。由于OCTA-500分割數據集中視網膜血管并不是集中分布在視網膜血管圖像的某一個區域中,而是不規則且不均勻的分布在整張圖像中。如果采用池化操作勢必會出現丟失部分區域的血管微小處的細節特征,從而導致Unet 不能精確分割。因此本文用步長為2 的卷積層代替池化層,可以將其視為是參數可訓的池化層,有效地彌補了傳統U-net分割過程中因池化操作而丟失細節特征的問題。讓網絡通過學習的方式自動選擇哪些是分割過程中的冗雜無關信息需要被拋棄,哪些是血管的細節特征不能被拋棄。
深度可分離卷積(depthwise separable convolutions)是Chollet等人[24]提出的一種卷積方式,如圖2所示。卷積的主要作用是特征提取。常規卷積操作是實現通道和空間相關性的聯合映射。而深度可分離卷積操作是將常規卷積操作分解為一個深度卷積加上一個逐點卷積的過程,使其在執行空間卷積的同時,并保持通道之間分離,然后按照深度方向進行卷積。

圖2 深度可分離卷積結構圖Fig.2 Deep separable convolutional architecture
與常規卷積操作相比,深度可分離卷積操作如圖3所示,具有能降低計算復雜度,減少參數量等優點。深度可分離卷積分為逐通道卷積和逐點卷積先后兩個步驟,分別如圖4所示。

圖3 常規卷積操作Fig.3 Normal convolution

圖4 逐通道卷積操作和逐點卷積操作Fig.4 Depthwise convolution and pointwise convolution
深度可分離卷積和常規卷積操作相比其擴寬了網絡寬度的同時,也極大地減少了網絡的參數量和降低了計算過程中所耗費的資源。已有實驗證明深度可分離卷積能在保證任務精度的同時降低參數量[24-27]。由于OCTA-500 用于分割的數據集存在樣本數量偏少的特點,所以深度可分離卷積操作和常規卷積操作相比,勢必在降低網絡參數量、計算復雜度的同時也能獲得更好的學習效果。因此本文提出用深度可分離卷積操作代替U-net 每個采樣層中的常規卷積操作,將每層中用于特征提取的兩次常規卷積操作替換為一個深度可分離卷積塊。
CBAM 模塊是Woo 等人[28]提出,與Hu 等人[29]提出的通道注意力SE模塊(squeeze-and-excitation block)相似,是一種簡單且適用于卷積神經網絡的通道空間注意力模塊。雖然SE 模塊對提升模型性能有效果,但是通常會忽略特征圖的位置信息,而位置信息對于生成空間選擇性特征圖是非常重要的。CBAM 提取空間和通道重要信息并結合,它提出給定一個中間特征映射,沿著兩個獨立的維度即通道和空間順序推斷注意力映射,然后將注意力映射乘以輸入特征映射以進行自適應特征細化。CBAM模塊也適用于分割任務[30],該模塊能夠自適應的細化特征圖的映射,關注重要的特征信息并抑制不重要的特征信息,提升分割性能,其結構如圖5所示。

圖5 CBAM塊結構圖Fig.5 CBAM block architecture
CBAM 模塊是一個融合了兩種注意力機制的輕量級通用模塊,可以將其添加在任意網絡的卷積層后面。該模塊具體計算過程如以下公式所示:
其中,F表示特征圖(C×H×W) 的輸入,Mc是一維(C×1×1)的通道注意力圖,Ms是二維(1×H×W)的空間注意力圖,?表示乘法操作,F′是中間輸出(C×H×W),F″是最終的輸出(C×H×W) ,MLP 是多層感知機,AvgPool 是平均池化操作,MaxPool 是最大池化操作,σ是sigmoid激活函數,f7×7是卷積核大小為7×7 的卷積操作,[;]是通道維度的拼接操作。
圖6是通道注意力子模塊的操作過程,它比SE 模塊多了一個全局最大池化,而池化操作本身是提取高層次特征,不同的池化意味著提取的高層次特征更加豐富。首先,通過平均池化和最大池化操作聚合一個特征圖的空間信息,生成兩個空間上下文描述符:AvgPool(F)和MaxPool(F),這兩個描述符分別表示平均池化后的特征和最大池化后的特征。然后,這兩個描述符被前向送入一個由二者共享的網絡來生成通道注意力圖。具有一個隱藏層的多層感知機組成了這個共享網絡。每個空間上下文描述符經過共享網絡處理之后,使用按位加法融合輸出特征向量通過sigmoid激活后得到Mc(F),將其和原輸入特征圖相乘生成通道注意力特征F′作為通道注意力子模塊的輸出。

圖6 通道注意力塊Fig.6 Channel attention module
圖7是空間注意力子模塊的操作過程。該子模塊將通道注意力子模塊的輸出特征圖作為輸入,首先完成基于通道的全局最大池化和全局平均池化操作,然后將這2 個結果基于通道進行拼接,合并成一個通道數為2的特征圖,然后經過一個卷積核大小為7×7 的標準卷積層后變為1個通道。緊接著經過sigmoid激活生成空間注意力特征(spatial attention feature)Ms(F),最后將該特征和空間注意力子模塊的輸入特征做乘法,生成的特征圖F″作為空間注意力子模塊的輸出,同時也是CBAM模塊最終的輸出。

圖7 空間注意力塊Fig.7 Spatial attention module
CBAM 模塊能以極小的計算代價實現放大特征圖中對模型訓練有利的參數的權重,縮小對模型不利的參數的權重,提取空間和通道重要信息并結合。由于OCTA-500中的視網膜血管圖像普遍存在血管末端細小且易于背景混淆的問題,而使用傳統U-net 分割過程中部分區域會出現血管末端丟失和血管細小處錯誤分為背景的問題。因此本文在每個深度可分離卷積塊后(previous convolutional block)、下個卷積塊(next convolutional block)之前增加一個CBAM 模塊,繼續學習特征圖的空間信息和通道信息,提高網絡分割的精度。將CBAM模塊插入到兩個相鄰的卷積塊中的示意圖如圖8所示。

圖8 CBAM插入到相鄰的兩個卷積塊中Fig.8 Insert into two adjacent convolutional blocks
本實驗采用的數據集是由陳強教授及其團隊在IEEE-DataPort 上公開的2020 版視網膜血管數據集OCTA-500[31],它是目前最大的OCTA圖像數據集。OCTA-500包含500 名具有6 mm×6 mm 和3 mm×3 mm 兩種視野類型的測試者,該數據集共包含36萬張圖像,大小約為80 GB。OCTA-500 根據視野類型劃分為兩個子集OCTA_6M 和OCTA_3M,其中一個子集OCTA_6M 包含了300 名視野為6 mm×6 mm 的測試者;另一個子集OCTA_3M 包含了200 名視野為3 mm×3 mm 的測試者。每個子集都包含了六種不同區域的視網膜血管投影類型圖像,分別是整個眼睛(FULL)的OCTA圖像、整個眼睛的OCT圖像、內界膜(ILM)和外叢狀層(OPL)的OCTA 圖像、內界膜和外叢狀層的OCT 圖像、外叢狀層和布魯赫膜(BM)的OCTA圖像和外叢狀層和布魯赫膜的OCT圖像;還包含了年齡、性別、左右眼和疾病類型4種文本標簽以及視網膜血管和無血管區兩種像素級分類標簽,每個子數據集共包含三種不同的數據。
本次實驗只選用了OCTA_6M 子集中用于分割的數據集,其中選用的原始圖像是整個眼睛的OCTA 圖像,選用的標簽是視網膜血管分割標簽,原始圖像和真實標簽各300幅,原始圖像和真實標簽的示例如圖9所示。

圖9 原始圖片和真實標簽Fig.9 Input image and ground truth
本實驗將數據集按照7∶3 的比例通過隨機抽樣的方式將其劃分為訓練集和測試集,分別包含210幅訓練圖像和90幅測試圖像。為統一后續對比實驗中不同網絡的輸入尺寸,因此在送入網絡前統一將像素大小調整為512×512,如表1所示。

表1 數據集分布情況Table 1 Dataset distribution
在訓練過程中,訓練集數據量偏少是造成模型欠擬合的重要因素之一。由于OCTA圖像較為稀缺,OCTA-500視網膜血管分割數據集中數據量較少。因此為降低欠擬合的影響,本文采取對輸入圖像進行隨機裁剪、翻轉、縮放、平移等方式對輸入圖像進行在線數據增強,使數據更加豐富多樣。
本實驗為了對模型性能進行定量比較,因此引入四種量化統計指標:(1)真陽性(true positives)指實際是血管也被準確識別為血管的像素點;(2)假陰性(false negatives)指實際是血管卻被識別為非血管的像素點;(3)真陰性(true negatives)指實際是非血管也被準確識別為非血管的像素點;(4)假陽性(false positives)指實際是非血管卻被識別為血管的像素點。在此基礎上為準確評價模型分割性能,本文使用綜合評價指標F1 分數(F-measure,F1)、交并比(intersection over union,IoU)、均交并比(mean intersection over union,mIoU)、靈敏度(sensitivity,Se)、特異性(specificity,Sp)、精確率(precision,Pre)和準確率(accuracy,Acc)作為模型的評價指標,具體見參考文獻[7]。
本實驗為了對模型參數的復雜度和訓練過程中所耗費的計算資源進行定量比較,因此引入五種量化統計指標,分別是模型總參數量(params)、浮點運算次數(FLOPs)所占空間大小(memory),模型讀取和寫入內存的總消耗(Mem R+W)和乘法加法操作(MAdds)。
本實驗是使用惠普(HP)臺式電腦在Windows 10操作系統下完成的,處理器為Intel?CoreTMi9-10920X CPU@3.50 GHz,運行內存為32 GB,顯卡為NVIDIA GeForce RTX 3080Ti(12 GB顯存),實驗的仿真平臺為PyCharm,使用的Python 3.8編程語言,開源深度學習計算框架采用的版本是Pytorch 1.7.1。
訓練過程中選用的優化器為Adam,損失函數設置為交叉熵損失,學習率設置為0.000 5,根據顯卡性能選擇送入網絡的圖片批量大小為2,并根據訓練結果保存最優模型。
將本文方法與常見的視網膜血管分割方法FCN[6]、U-net[23]、SegNet[32]、U-net++[13]、Res Unet[12]和Medical Transformer[14](M Trans)一起在OCTA-500 數據集上進行對比實驗。除了Batch_size大小根據顯卡性能統一設置為2 以外,其余參數均使用各自論文中的最優參數。分割結果如表2所示,訓練損失函數變化曲線圖如圖10所示。

表2 不同網絡在OCTA-500的分割結果Table 2 Segmentation results of different networks單位:%

圖10 訓練損失函數變化曲線圖Fig.10 Training loss function change results size
由圖10 可知,本文方法(圖中紅點曲線)在OCTA-500這種小型數據集上訓練具有較快的收斂速度。本文方法和U-net 以及基于U-net 改進的網絡(即Unet++和Res Unet)相比,訓練中具有更小的損失值,并趨于最優表現。從圖10可以看出,Unet++的訓練損失較高,可能是由于文獻[13]中使用的數據集和本文的數據集在數據特性和樣本數量上有較大差異,因此直接將其參數運用于本數據集并不合適,造成訓練損失較大。而Medical Transformer(M Trans)由于網絡架構的不同,雖然能有更小的訓練損失值,但訓練時間較長,訓練輪次較多。并經實驗發現,M Trans 要訓練近1 200 輪才能達到和本文方法訓練20輪相近的分割效果。
由表2可知,本文方法與FCN、U-net和Res Unet等網絡相比能得到更好的分割效果。本文方法的F1分數和U-net 的F1 分數相比提升至80.01%,而IoU、mIoU、Sp、Acc、Pre 各項指標也如表2 所示分別提升了5.27、3.25、2.06、1.26、10.27 個百分點。由于OCTA-500 視網膜血管數據集普遍存在圖像背景噪聲多、信噪比低等問題,所以導致U-net和FCN等網絡最后的分類結果比較粗糙,容易將血管末端局部區域錯分為背景或將部分背景錯分為血管。
圖11和12 為兩個分割實例,分別展示了U-net 和Res Unet 針對上述兩類問題錯分的情況以及本文方法的分割結果。圖11中,U-net和Res Unet將血管末端細小處的部分區域誤分為背景,導致假陰性值增大。圖12中,U-net和Res Unet分割過程中將背景錯分為血管,導致假陽性值增大。而本文方法針對將血管末端錯分為背景或將部分背景錯分為血管這兩類問題都有明顯的改善。

圖11 假陰性(FN)示意圖Fig.11 Example diagram of false negative

圖12 假陽性(FP)示意圖Fig.12 Example diagram of false positive
所有網絡的分割結果如圖13 所示。一方面,各個網絡的分割結果中會出現把部分背景錯誤分類為血管的情況,如圖13 中case1 和case2 中圈出的部分所示。在case1中所有網絡的分割結果中都有將背景和血管發生不同程度錯分的情況,而本文方法錯分情況相對較少;在case2 中FCN、SegNet 和Unet++的分割結果中錯分情況較為明顯。另一方面,在各個網絡的分割結果中,血管末端細小處會發生不同程度的丟失,如case3、case4 和case5 中圈出的部分所示。case3 中本文方法對血管末端的丟失較少;case4中U-net和Res Unet對血管末端丟失較為嚴重;case5 中SegNet、Res Unet 和M Trans的分割結果中血管末端丟失情況較為明顯。總體上本文方法能更好地改善上述兩類問題,和其他網絡相比,本文方法的分割結果更接近真實結果。

圖13 不同網絡的分割結果圖Fig.13 Segmentation results with different networks
該消融實驗為尋找網絡的最優結構,在網絡結構上做出改進,使用不同的網絡結構進行對比實驗。分別從深度可分離卷積塊的個數和不同的注意力模塊兩個角度進行測試,并根據結果得到最優的結構。
2.6.1 深度可分離卷積塊
本文方法首先在U-net 基礎上增加一個CBAM 模塊;然后用一個深度可分離卷積塊(DSC Block)來代替每個采樣層中的兩次常規卷積操作進行特征提取;最后用兩個深度可分離卷積塊來代替每個采樣層中的兩次常規卷積操作進行特征提取。具體見表3。

表3 使用不同數量的深度可分離卷積塊的分割結果Table 3 Results of different numbers of DSC-Block單位:%
由表3可以發現U-net和CBAM模塊相結合的網絡與傳統的U-net相比,分割性能有輕微的下降,這是因為OCTA-500數據集本身樣本數量偏小的特性導致參數量較大的U-net可能欠擬合。而用深度可分離卷積塊代替傳統的卷積操作大幅度降低了參數量,所以帶深度可分離卷積塊的U-net 比傳統的U-net 在數據量較少的OCTA-500上的分割效果更好。而使用兩個深度可分離卷積塊的網絡結構所得到的分割效果又有所降低。因此,將一個深度可分離卷積塊和一個CBAM 模塊相結合的網絡結構優于其他三種網絡結構,這種網絡結構在各項指標上均能取得較好的結果。
2.6.2 注意力模塊
本文首先在U-net上用深度可分離卷積操作代替常規的卷積操作作為該部分實驗的基準模型(no attention module,NAM);然后在以此為基礎增加一個通道注意力模塊(channel attention module,CAM);最后將通道注意力模塊替換為通道空間注意力模塊(convolutional block attention module,OM)。具體實驗結果見表4。

表4 模型改進前后分割結果Table 4 Results of different method 單位:%
實驗結果表明,增加了通道空間注意力CBAM 模塊的模型與沒有添加注意力模塊和只有通道注意力模塊的兩種模型相比,前者更注重視網膜血管末端細微處的分割;且在OCTA-500數據集上的分割效果更好。
借助Python 提供的工具包ptflops(https://pypi.org/project/ptflops/)計算并評估不同網絡的參數量、FLOPs、內存占用量等參數,不同網絡的復雜度對比如表5 所示。其中,表中缺失數據是由于該工具包只能統計基于卷積操作的相關參數。

表5 不同網絡的復雜度對比Table 5 Network complexity results of different models
由表5可知,本方法的參數量和FLOPs都有顯著的降低,也減少了訓練所耗費的計算資源。本文方法與U-net 相比,其參數量以及FLOPs 分別只有U-net 的19.2%和16.5%。本文方法與Res Unet和U-net++相比,它的參數量分別減少了79.7%和75.4%;它的FLOPs 也分別減少了87.5%和79.8%。并且本文方法所占用的總內存為1 223 MB,讀取和寫入所耗費的總內存為2.69 GB,乘法加法操作數量(×109)為60.52,和基于U-net改進的網絡相比,都有不錯的表現。而M Trans由于網絡構架的不同,它更多是采用參數量較少的自注意力計算代替傳統的卷積進行特征提取,雖然模型的參數量較少,但讀寫內存遠遠高于本文方法,耗費更多的資源。本文方法具有較低的模型復雜度,能更好地解決在訓練樣本有限的情況下,訓練不充分或訓練時間過長等問題。
本文提出一種將可分離卷積和CBAM 模塊相結合的U-net語義分割模型。視網膜血管分割由于血管末端細小且易與背景混淆導致難以進行精確分割。為了解決該問題,提高視網膜血管的分割精度,本文首先使用深度可分離卷積代替常規的卷積;然后在深度可分離卷積塊后增加一個CBAM模塊,使其能在U-net的基礎上更好地提取視網膜血管的細節特征;最后,將編碼器和解碼器中對稱的特征圖進行跳躍連接,融合上下文的多重語義信息,提高模型的分割性能。在OCTA-500分割數據集上使用本文方法和常見的方法進行大量對比實驗,結果表明本文方法能達到較高分割性能的同時,占用較少的計算資源。
由于OCTA 視網膜血管圖像普遍存在血管連續且不均勻分布在整張圖像中的特性。因此,分割結果中可能會出現圖像邊框處的血管被錯分為背景的情況,或是出現血管斷裂的情況。后續的研究一方面是注重于對圖像邊框處的特征提取,改進網絡架構,能更好的融合各層特征,減少因為下采樣和上采樣過程而導致圖像邊框處的血管等重要信息的丟失;另一方面,考慮添加諸如條件隨機場等后處理方法,用以捕獲整張圖像中完整的血管結構,從而避免分割結果中出現血管斷裂的情況。