深度學習在視網膜血管分割上的研究進展

李蘭蘭，張孝輝，牛得草，胡益煌，趙鐵松，王大彪

1.福州大學 物理與信息工程學院 福建省媒體信息智能處理與無線傳輸重點實驗室，福州350116

2.福州大學 機械工程及自動化學院，福州350116

3.廣東省第二人民醫院，廣州510317

在2019 年10 月，根據世界衛生組織發布的一份世界宣明會報告，世界范圍內超過4.18 億人患有青光眼、糖尿病視網膜病變（diabetic retinopathy，DR）、老年性黃斑變性（age-related macular degeneration，AMD）或其他可導致失明的眼部疾病[1]。許多眼底病變都會發生在血管的周圍，視網膜眼底圖像中包含豐富的視網膜血管特征[2-3]。分析視網膜血管長、寬、彎曲度、分叉模式等結構特性可以得到眼底疾病的臨床病理特征，對這些疾病的預防和治療具有重要意義[4-5]。如用于微動脈瘤檢測的薄血管和厚血管的直徑都是糖尿病視網膜病變診斷的重要生物標志物[6-7]。視網膜血管分割是獲取這些結構特性的必要的步驟，良好的分割結果將使后續特征提取和異常檢測分析更加高效、準確[8-9]。由于視網膜血管復雜的樹狀結構，人工視網膜血管分割存在易出錯、費時、乏味等問題[10-11]。自動分割算法能夠幫助醫生分析復雜的眼底圖像，且精度在逐步提升，近年來引起了較多的關注[3]。

視網膜血管準確自動分割難度較大，原因在于：（1）視網膜血管的尺度變換大，其中有非常微小的毛細血管，最小直徑僅有1～2個像素寬，對比度也比視網膜血管的主要動脈和靜脈低[12]；（2）視網膜血管具有和樹相似的復雜結構，比如分叉、交叉結構[13]；（3）部分的視網膜血管存在微動脈瘤、滲出物等病變，增加了分割的難度[13]。

在傳統算法中，通常將人工設計的紋理、顏色、形狀這些底層特征作為血管分割的依據[14-15]。如Vlachos 等人[16]提出了多尺度的線性跟蹤程序應用于視網膜血管的分割和血管的提取，在DRIVE 數據集上得到分割的準確性達到92.9%。Zhao 等人[17]提出了基于Retinex 理論的圖像不均勻性校準，基于局部相位的血管增強和基于圖分割的主動輪廓分割三者結合的算法用于血管的分割，在DRIVE 數據集上的準確性為95.3%。盡管這些方法在特定的環境下取得了好的分割結果，但是人工設計的特征不能夠充分地表達視網膜血管復雜的特征，在相對大的數據集中，算法就不能適應復雜的環境[14]。而且傳統自動分割方法用時不能達到實時檢測的效果，比如Fraz等人[18]的研究每分割一張圖片需要100 s。

近年來很多研究者嘗試將深度學習引入到醫學圖像處理領域，相較于傳統自動分割算法，深度學習有很大的優勢：首先，深度學習是一種端到端的學習方式，不需要手動設計統計特征，可以自動提取圖像的底層、中層和高層特征，避免了傳統算法人工設計特征不能完全表征圖像的特征的缺陷。其次，深度學習應用到醫學圖像處理領域表現出優秀的學習能力和潛力，性能接近或超過傳統方法，比如，Li等人[19]將分割任務重新塑造為從視網膜圖像到血管圖的跨模態數據轉換問題，在DRIVE 數據集上準確性為95.27%。Gu 等人[20]基于編碼解碼結構提出了語義編碼網絡（context encoder network，CE-Net）分割算法，在DRIVE 數據集上準確性為95.45%。Zhou 等人[21]基于生成對抗網絡（generative adversarial network，GAN）[22]提出的對稱均衡生成對抗網絡（symmetric equilibrium generative adversarial network，SEGAN），在DRIVE 數據集上準確性為95.63%。

正因為深度學習在視網膜血管分割任務上巨大潛力，表現出較好的臨床應用上前景，近年來吸引了大量的國內外研究。本文對近年來基于深度學習的視網膜分割研究進行總結回顧，主要包括視網膜圖像數據庫建立、圖像預處理方法及血管分割算法三方面。在此基礎上探討當前研究仍存在的不足，分析可以改進的措施，并展望未來較有潛力的研究方向。

Table 1 Fundus image databases表1 眼底圖像數據庫

1 數據處理

1.1 數據庫

深度學習本質上是基于數據驅動的算法，高質量的圖片數據庫對深度學習算法的性能極為重要。世界上許多研究機構建立并公開了其眼底圖像數據庫，以期推進深度學習技術在視網膜血管分割上的發展。其中影響較大的有荷蘭的DRIVE 數據庫、美國的STARE 數據庫，此外還有英國的CHASE_DB1數據庫、捷克的HRF 數據庫等。表1 是眼底圖像開源數據庫的綜合信息。

這些開源數據庫對分割算法的進步起到了很好的推動作用，然而目前數據集建立的工作仍存在一些不足：首先，目前的不同數據庫圖片差異性較大，拍攝圖片使用的設備、數據的維度等方面各不相同，這對深度學習模型的泛化性能影響較大。其次，數據庫里面的數據較少，比如常用的DRIVE 和STARE數據庫只有幾十張圖片，而深度學習在自然圖片中一般要求數萬量級的圖片量。相對而言，眼底視網膜數據庫的數據量很少，這也是醫學圖像處理領域目前存在的普遍性問題。因此加快建立標準統一和具有一定規模的數據庫是推進深度學習今后在視網膜血管分割中應用的一項重要工作。此外，目前眼底圖像數據庫建立工作主要是在歐美等發達國家進行，我國在這方面的研究還較少。

1.2 數據預處理

由于數據集的缺乏，采用數據增強技術對圖像數量進行提高是一項必備的工作。使用數據增強技術可以降低模型過擬合的概率，有利于模型的收斂，可以提升模型的泛化性能[23]。目前在視網膜血管分割研究中被使用的數據增強技術主要有水平和垂直翻轉[2,6,24-28]、調整大小[6,25-26,28]、添加隨機噪聲[25]、隨機旋轉[6,24,26,28]、調整對比度[6]等。不同的研究會根據實際需要選擇一種或者多種圖像增強技術，圖像增強技術在部分研究中的使用情況見表2。總體上看，水平或豎直翻轉是最廣泛使用的增強操作，而增強對比度則較少使用。

Table 2 Data enhancement of fundus images表2 眼底圖像的數據增強操作

圖像預處理操作可以讓圖像的特征完全地表征出來，神經網絡更容易提取圖像不同的特征，有助于提高模型性能。目前在視網膜血管分割任務中常用的圖像預處理方法主要有圖像灰度化[2,6,13,24-25,27,29-31]、圖像標準化[2,10,24,27-28,30,32]、對比度受限的自適應直方圖均衡化（contrast limited adaptive histogram equalization，CLAHE）算法[2,10,13,27,29,32]、提取圖像的綠色通道圖片[6,25,30-31,33-34]、伽馬校準[2,10,28-30,32]。不同研究根據模型需要選取一種或多種預處理方法，近年研究使用的預處理方法統計見表3，總體上看圖像灰度化和標準化是使用較多的預處理技術。

Table 3 Data preprocessing of fundus image表3 眼底圖像的圖像預處理

為了減輕模型的計算負荷并獲取更多的圖像的細節特征，許多研究還會對眼底圖像進行切片處理。圖像切片是將一張完整的眼底圖像分割成小尺寸的圖像補丁。不同的尺寸對模型帶來的計算負擔不同，同時對于圖像的細節和全局特征把握也不同。分割尺寸的大小沒有客觀標準，定性來看，尺寸越小對模型提取細節特征越有利，而尺寸越大對模型提取全局特征越有利。目前常用的圖像切片的尺寸有9×9[31]、48×48[2,29,30,32]、64×64[27-28,35]、128×128[6,25,29,33]。圖像切片尺寸的匯總如表4。

Table 4 Image slice size for retinal vessel segmentation表4 視網膜血管分割的圖像切片尺寸

2 圖像分割算法

在數據相關操作完成后，需要通過分割算法將視網膜血管從背景中分割出來。早期使用的醫學圖像分割神經網絡主要為全卷積神經網絡和編碼解碼網絡，在這些網絡基礎上發展了很多不同結構的神經網絡。本文從網絡架構的角度對近年來用于視網膜血管分割的神經網絡進行歸類總結，主要分為級聯結構、多路徑、多尺度類型的神經網絡，介紹了各類神經網絡的特點，并對比各種分割模型在現有研究中達到的性能，同時對比了算法的復雜度。從算法現實部署的角度介紹了部分研究。目前分割算法中常見的性能指標見表5。

Table 5 Performance metrics of retinal vessel segmentation表5 視網膜血管分割性能指標

2.1 早期醫學圖像分割神經網絡

Long 等人[36]提出全卷積神經網絡（fully convolutional networks，FCN）用于圖像的語義分割，如圖1[36]。作者通過修改經典的CNN（convolutional neural networks）網絡結構，將全連接層都轉換為卷積層，來管理非固定尺寸的輸入和輸出。模型前幾層的特征圖通過上采樣和最后一層的特征圖進行融合產生一個精確細致的分割圖。該模型在PASCAL VOC、NYUDv2和SIFT Flow 上進行了測試，取得了較好的分割效果。在圖像分割領域，FCN 被認為是里程碑式的進步，證明了深度神經網絡可以在變化的圖像上以端到端的形式訓練進行圖像分割。

Fig.1 Fully convolutional networks圖1 全卷積神經網絡

編碼解碼模型也可以用于圖像的分割，大部分的深度學習的分割網絡都是用的編碼解碼網絡。有一些專門為醫學圖像分割而開發的模型，比如受到FCN啟發的U-Net網絡[37]和V-Net網絡[38]。Ronneberger 等人[37]提出的U-Net 如圖2[37]所示，該網絡包含兩個路徑，壓縮路徑主要用來捕獲上下文的語義，對稱的擴張路徑主要關注像素位置信息。下采樣和收縮路徑和FCN 網絡具有類似的結構，都是使用3×3的卷積核來提取數據的特征。對于上采樣和擴張路徑部分使用轉置卷積，在減少它們特征圖數量的同時增加特征圖的維度。通過將網絡下采樣部分的特征圖復制到上采樣部分避免模式信息的丟失。在UNet基礎上，Milletari等人設計了V-Net[38]用于3D 醫學圖像的分割，同時引入了一個基于Dice 系數的目標函數，通過這種目標函數能夠使模型處理前景和背景中像素嚴重不匹配的情況。

2.2 視網膜血管分割算法

近期提出的視網膜血管分割算法主要是基于全卷積神經網絡。從網絡架構上，全卷積神經網絡可劃分為編碼解碼結構和多尺度神經網絡。編碼解碼結構是級聯結構和多路徑網絡的基礎架構，網絡之間的關系如圖3 所示。下面將詳細介紹每種網絡的特點、最近研究，并且對算法的性能、復雜度、缺點進行對比、分析。

Fig.2 U-Net used for biomedical image segmentation圖2 U-Net:用于生物醫學圖像分割

Fig.3 Relationship between algorithms圖3 算法之間的關系

2.2.1 級聯結構神經網絡

級聯結構神經網絡由兩個相似網絡間串聯而成。前一級網絡產生了血管分割圖，后一級網絡可以在前一級網絡的輸出血管分割圖基礎上對血管分割結果的結構進行細化，對血管像素的預測結果進行優化，典型結構見圖4[2]。這種網絡對于視網膜血管的空間結構的預測能力優勢明顯。如Wu 等人[2]設計了名為NFN+w/o Ics級聯結構的神經網絡，前向網絡將輸入轉換為粗血管分割圖，后一級網絡調整粗血管分割圖分類錯誤的像素，重新優化了血管的空間結構。基礎模型和NFN+w/o Ics 模型（級聯結構,無跳躍連接結構）在DRIVE 數據集上設計對比實驗，NFN+w/o Ics 模型在AUC、AUPR、ACC 等指標上分別上升了0.3%、0.79%、0.12%，體現了級聯結構在模型中改善了分割血管的連通性，提升了結構預測的能力，提升了模型的性能。Wu等人[12]提出的多尺度跟蹤網絡（multiscale network followed network，MS-NFN）包含NFN 模塊。每個NFN 模塊由兩個子網絡（uppool 網絡或者pool-up 網絡）形成了級聯結構。對兩個不同路徑的NFN 模塊網路生成的血管分割圖進行平均得到最后的血管分割結果。Lian 等人[13]提出了基于全局和局部增強圖片的殘差U-net 網絡，其中用于粗分割的WUN（weighted U-net）模塊和用于細化的WRUN（weighted Res-Unet）模塊組成了級聯結構。全局增強眼底圖的圖像切片作為WUN 的輸入生成粗分割血管圖，局部增強的圖像切片、相應金標準的圖像切片以及前一級網絡的粗分割血管圖作為WRUN 的聯合輸入來訓練網絡。這個模型能夠很好地處理光照、硬性區域視盤、病變區、邊緣區、視盤區等異常噪聲區域。同時該模型能夠很好地分割細小血管，又能保持視網膜血管的幾何連接。

2.2.2 多路徑神經網絡

Fig.4 NFN+neural network structure圖4 NFN+神經網絡的結構圖

多路徑神經網絡是兩個及以上不同路徑的神經網絡并行組成的網絡架構（圖5[39]），每條路徑關注圖像不同特征的信息，比如一個路徑關注全局特征，另一個路徑就關注局部特征，最后將兩個路徑的產生的特征圖進行整合得到最后的結果。這種神經網絡可以整合更多的語義信息，同時對于感興趣的區域有更好的針對性，有利于毛細血管和薄血管的分割，多路徑神經網絡對于圖像分割領域來說是一個新的嘗試。如Tian 等人[39]模擬了初級視覺皮層對多路徑信息處理的神經編碼機制，提出了多路徑卷積神經網絡[39]分割方法，兩個路徑分別為高頻特征提取路徑和低頻特征提取路徑，其中高頻提取路徑關注圖像的局部信息，低頻特征提取路徑關注圖像的全局信息。Yan 等人[6]提出的深度學習模型分為厚血管分割、細血管分割和血管特征融合三個階段。對粗血管和細血管進行分離分割可以獲得更好的鑒別特征，因此最大限度地減少了粗細血管比例不平衡所帶來的負面影響，血管融合階段通過進一步識別非血管像素來改善血管整體厚度一致性細化了結果。Wang 等人[30]提出的DEU-Net 網絡有兩種編碼路徑:一種是帶有大核的空間路徑以保留空間信息；另一種是帶有多尺度卷積塊的上下文路徑以捕獲更多語義信息。Wu 等人[32]提出的Vessel-Net網絡，在模型優化過程中引入了傳統的監管路徑、豐富特征的監管路徑和兩種多尺度的監管路徑。Khan 等人[40]提出的網絡其中一條路徑提取目標清晰的邊緣，另一條通過空間金字塔池化模塊將幾種不同的分辨率的特征進行匯集去提取顯著的語義信息。

2.2.3 多尺度神經網絡

Fig.5 Multi-path convolutional neural network designed by Tian et al圖5 Tian 等人設計的多路徑卷積神經網絡

Fig.6 Neural network integrating multiple layers of semantics designed by Song et al圖6 Song 等人設計的整合多層語義的神經網絡

多尺度神經網絡是對不同尺度大小的特征圖進行整合，典型結構見圖6[35]，考慮到高層特征和底層特征不同的優勢，高層特征有助于像素的分類，底層特征可以幫助像素的定位[35]。將不同層級的語義相互整合可以獲得更加全面的信息。如Song 等人[35]提出的神經網絡，該網絡以圖像切片作為輸入，每個模塊創建固定大小的特征圖，然后將這些不同尺度的特征圖組合成一個單獨的特征圖。Feng 等人[35]提出一種交叉連接卷積神經網絡（cross-connected convolutional network，CcNet），主路徑和次路徑之間的交叉連接融合了多層次的特征，根據學習到的特征預測像素的類別。Hu 等人[41]提出基于改進的交叉損失函數的卷積神經網絡進行多尺度特征圖的整合，并且引入了全連通條件隨機場（fully connected conditional random fields，Fully CRFs）來消除特征圖噪聲和邊緣模糊的問題來細化特征圖，從而得到最后的分割結果。Guo 等人[26]提出的BTS-DSN 網路引入了bottomtop short connections 和top-bottom short connections的連接方式，bottom-top short connections 將底層的語義信息傳遞給高層，細化了高層側輸出的結果，緩解了由于降采樣操作高層側輸出糊化的問題，topbottom short connections 將高層的結構信息傳遞給底層，優化了底層側輸出的結構信息，減少了底層側輸出的噪聲。Zhang 等人[28]提出了基于全卷積神經網絡的架構，將相鄰的卷積層提取的特征融合在一起，可以將底層的信息盡可能地傳輸到頂層。同時引入文獻[27]中的Atrous Convolution 來取代常規的卷積操作。Xu 等人[29]采用不同膨脹率的并行放大卷積濾波器設計多尺度聚合塊，并嵌入網絡中，充分探索利用多尺度信息。在CHASE-DB1 和HRF 中的性能體現了文中提出方法的有效性，解決了毛細血管尺度變化大，不利于分割的問題。

2.2.4 算法的性能對比

表6 是關于近期視網膜血管分割算法的性能對比表格，其中標黑的部分是在相應的指標排名前三的性能分數。通過性能的對比發現，Lian 等人[13]提出的級聯結構+跳躍連接+加權注意機制和Wang 等人[14]提出的特征金字塔級聯模塊在SP、ACC 上取得了較好的性能。Wu 等人[2]提出的級聯結構+跳躍連接在AUC 上性能突出。級聯結構的第一級可以確定視網膜血管的形狀和大概位置，級聯網絡的第二級對分類錯誤的像素重新進行預測，以及對血管結構進行優化。在單獨SE 上，Tian 等人[39]提出的多路徑網絡的SE=86.39%取得了最高的性能。在單獨SP 上，Lian等人[13]提出的級聯結構+跳躍連接+加權注意機制網絡達到了最優的性能SP=98.61%。在單獨ACC 上，Lian 等人[13]的工作也是最優的，ACC=96.92%。在單獨AUC 上，Wu 等人[12]提出的多路徑+級聯結構和Gridach[46]提出的ResNet 預訓練網絡+金字塔擴張模塊達到了最優AUC 分別為98.70%、98.74%。多路徑神經網絡通過不同的路徑關注視網膜血管的不同的信息，可以獲得更加有利于細小血管分割的特征，也較利于血管的分割。

2.2.5 算法的復雜度分析

如表7 中所示，在上述算法實施的平臺主要是英偉達的顯卡，可以滿足現實部署的實施。Feng 等人[34]、Wei 等人[48]設計的算法推斷時間都是處于毫秒級的，可以滿足現實中的算法需要的推斷時間。Laibacher等人[47]、Jin等人[10]、Wei等人[48]的計算參數數量分別為0.55×106、0.88×106、0.27×106，計算的代價也比較小。Laibacher 等人[47]、Wei 等人[48]中模型的大小分別只有2.2 MB 和1.2 MB，具備了嵌入在設備上的潛力。因此近些年提出的基于深度學習的視網膜血管分割算法具有實際應用的潛力。

2.2.6 算法的缺點分析

雖然目前的視網膜血管分割算法取得了很好的結果，但在SE 這一指標上始終沒有突破90.00%，因此分割算法還是有待提升。列舉了目前最優的視網膜血管分割算法解決的問題，并總結出最優算法存在的不足。

在文獻[13]中設計了級聯結構的神經網絡，在網絡第二級采用了對圖像切片進行增強的方法，通過對局部圖像的增強，獲得了豐富的局部信息，有利于薄血管的分割。級聯結構的神經網絡在網絡的第二級優化了第一級網絡的分割結果，對于血管的結構又進行了優化。在文獻[2]中級聯結構的神經網絡后一級網絡可以優化血管的結構，前一級網絡預測錯誤的像素，可以通過后一級網絡重新預測。同時作者利用兩級網絡間的跳躍連接以及網絡內的跳躍連接將底層的特征傳輸到高層，有利于薄血管的分割。在文獻[39]中設計了多路徑卷積神經網絡，能夠有效抑制噪聲，保證血管分割后的連續性。同時作者利用高斯低通濾波器和高斯高通濾波器對圖像進行處理分別得到包含全局特征信息的低頻圖像和包含局部特征信息的高頻圖像，通過多路徑整合了更加全面的信息，其中關于局部特征的信息更加有利于薄血管的分割。在文獻[12]中提出的多尺度的跟隨網絡用于視網膜血管分割，其中提出的NFN 模塊，在一定程度上遏制了預測血管斷裂的問題。但是沒有考慮細小血管的分割，以及有病變區域圖像的分割。在文獻[14]中提出的RVSeg-Net網絡中包含了特征金字塔級聯模塊（feature pyramid cascade module，FPC），這個模塊能夠捕獲多尺度的特征，解決視網膜血管尺寸變化大的問題，同時聚合了局部和全局語義信息解決了不連續的問題。在文獻[32]中作者提出了Vessel-Net 網絡用于視網膜血管分割。其中整合了Inception 和residual模塊改善了特征表示。提出的多路徑監督方法保留了多尺度特征，對于血管的結構預測起到了很大的作用。

Table 6 Performance comparison of retinal vessel segmentation methods表6 視網膜血管分割方法的性能對比

Table 7 Analysis of algorithm complexity表7 算法復雜度的分析

在文獻[2,13,39]中都考慮了對于薄血管分割的問題，在文獻[2,13,32]中都考慮了血管結構預測的問題，在文獻[12,14,39]中都考慮了血管分割結果中血管不連續的問題，在文獻[14]中考慮了血管尺度變化大的問題。對于這些最新的相關研究關注的問題都只是解決了某一個或者兩方面的問題，而沒有解決所有的問題。

總的來說，目前視網膜血管分割算法對于一些模糊小血管的分割存在著困難，雖然目前有一些針對這個問題的算法，但是敏感性始終維持在83%左右，還存在著很大的提升空間，同時這些模糊小血管還是造成分割結果中血管斷裂的主要因素；對于分叉交叉這些血管的連接處，算法的分割可能會出現斷裂的問題；對于視網膜中存在病變區域的血管分割還是存在著問題，且相關研究較少。

2.3 現實部署的嘗試

在移動設備硬件資源不足的情況下，包含大量參數的神經網絡的現實部署就會存在一些限制。一方面神經網絡不能超過設備的存儲和計算大小的極限，另一方面還要滿足一定的性能要求。在視網膜血管分割任務中，相關人員探索了輕量級的卷積神經網絡。如Hajabdollahi 等人[31]提出了一種基于量化和剪枝相結合的神經網絡。其中全連接層被量化，卷積層被修剪，網絡的參數減少了60%。在STARE數據集上SE=75.99%，SP=97.57%，ACC=95.81%，算法在SE和SP 的指標上獲得了當前接近最優的性能，證明了簡化CNN 有作為便攜式視網膜診斷設備中血管自動分割方法的潛力。隨后，Laibacher等人[47]提出了M2UNet網絡的參數只有0.55×106，相較于U-Net網絡31.03×106的參數來說明顯降低。在Rockchip RK3399平臺上進行測試時，M2U-Net的推斷時間只需要5 870.0 ms，而U-Net的推斷時間則需要8 460 000.0 ms，證明了網絡實時分割的潛力。Li 等人[3]沿用U 型網絡的結構并整合了注意力機制模塊，模塊提升了中間層的利用率，適當地減少模型的深度，最深的特征圖僅僅只有128 通道，模型總共只有0.4×106的參數。Wei 等人[48]考慮到人工設計神經網絡是非常費時的，因此基于遺傳算法自動設計一個輕量級的U 型網絡，網絡對于每張圖片的推斷時間只有27.5 ms，網絡參數僅有0.27×106。Atli 等人[49]提出了一種新穎的全卷積神經網絡，利用上采樣和下采樣的方式構建了形狀類似正弦波的網絡，網絡的每張圖片的推斷時間為350.0 ms。表8是近些年關于輕量化網絡的總結。

通過以上總結可以看到神經網絡具有落地應用的潛力。在移動設備硬件資源局限的情況下，設計一個性能達標并且參數盡可能小的神經網絡是一個值得探索的方向。

2.4 其他值得關注的研究

生成對抗網絡一般用于生成圖像數據[51]，由鑒別器和生成器兩個網絡組成。當鑒別器試圖區分生成器的生成圖像和金標準圖像時，生成器試圖生成鑒別器無法區分的圖像。近些年來也有人將生成對抗網絡（GAN）用于圖像的分割，比如Son 等人[24]將GAN 用于視網膜血管的分割，并且在DRIVE 數據庫上AUC=98.03%，接近當前Gridach[46]AUC=98.74%的最優性能。雖然直接使用GAN 網絡可以獲得較好的分割結果，但GAN 的鑒別器較少有相關結構的研究，盡管鑒別器不直接生成圖像，但是它也需要足夠的能力去識別生成圖像和真實標簽之間細節的差別。為了保證鑒別器能夠提取高分辨率的細節信息，Zhou 等人[21]在GAN[22]網絡的生成器和鑒別器上都使用U-Net 作為基礎網絡，構建出對稱平衡體系，保證了鑒別器有能力提取高分辨率的信息。同時在生成器中嵌入了多尺度特征細化塊（multi-scale features refine block，MSFRB），MSFRB 優化了高分辨率的淺層特征和高層語義特征，并且促進了它們的融合。在MSFRB 分支中加入了注意力機制（attention mechanism，AM）抑制了不重要的特征。提出的對稱均衡生成對抗網絡（symmetric equilibrium generative adversarial network，SEGAN）在DRIVE數據集上AUC=98.30%。GAN 網絡的鑒別器可以鑒別生成分割圖和真實標簽之間的差異，相對于全卷積和編碼解碼類型的網絡多了一個校正錯誤的老師，不斷促使生成器去生成接近真實標簽的血管分割圖，并且相關研究結果表現出較好的性能。因此將GAN 系列網絡用于視網膜血管的分割是一個有潛力的研究方向。

Table 8 Performance and parameter comparison of light-weight networks表8 輕量級網絡的性能以及參數對比

在深度學習中損失函數決定模型最后收斂的區域。設計一個針對特定任務的損失函數有助于模型的收斂。Yan 等人[25]設計了一個針對視網膜血管分割任務的聯合損失函數，它是由分段級損失和像素級損失組成的，這種損失讓厚薄血管在損失計算中的重要性更加均衡，在一定程度上解決了厚血管和薄血管分布不均勻的問題，在DRIVE 上SP=98.18%，接近當前Lian 等人[13]SP=98.61%的最優性能。因此設計一個針對視網膜血管分割任務的損失函數是值得探索的研究方向。

3 總結和展望

視網膜眼底圖像提供了豐富的病理變化信息，可用于黃斑變性、糖尿病視網膜病變、青光眼等眼病的診斷。在眼底圖像的各種特征中，視網膜血管特征起著至關重要的作用。為了提取視網膜血管的特征，生成一個精確的視網膜血管分割是必要的。本文對近年來基于深度學習的視網膜血管分割方法的研究進行回顧總結，得到的結論及下一步的研究方向如下：

（1）總結了5 個常見的眼底圖像數據庫，其中在研究中使用最多的是DRIVE 數據庫。這些開源數據庫有效推進了深度學習在眼底視網膜血管分割方面的應用，然而現有眼底圖像數據庫建立工作仍存在一些不足，主要表現在數據庫的標準并不統一和數據庫的數據較少等方面。建立有一定數據規模的高質量眼底圖像數據庫，是下一步研究的重要工作內容。

（2）數據增強、圖像預處理及圖像切片處理，常用在視網膜血管分割任務中，在現有研究中使用較多的數據增強技術為水平或豎直翻轉，使用較多的圖像預處理方法為圖像灰度化和標準化。

（3）從網絡架構的角度可將視網膜血管分割網絡分為級聯結構、多路徑和多尺度神經網絡。級聯結構網絡的第一級可以確定視網膜血管形狀和大概位置，第二級對第一級網絡的分割結果進行優化，這種結構適用于結構復雜的視網膜血管的分割。多路徑神經網絡通過整合不同路徑的信息就可以得到更加全面的信息，避免了神經網絡在訓練過程中過度關注某一方面的信息，而忽略了其他重要的信息，多路徑神經網絡在視網膜血管分割任務中就可以一定程度上避免神經網絡訓練時對粗血管的依賴程度過高，而忽略細血管的問題。

（4）部分先進網絡推斷時間可以達到毫秒級，計算消耗在兆以下，網絡的大小在10 MB 以下。這些性能良好的網絡具有實際應用的潛力。

（5）對于薄血管，病變區域的分割以及對于血管結構的預測，還是存在困難，而且分割中可能會出現血管斷裂的情況。目前的算法只是針對單一問題做出了相關研究，并沒有同時解決所有的問題。

（6）目前用于視網膜血管分割任務綜合最優的神經網絡是級聯結構的神經網絡,網絡達到的敏感性、特異性、準確性分別為82.78%、98.61%和96.92%。

（7）在移動設備硬件資源限制的情況下，網絡輕量化是值得探索的方向。GAN 系列網絡用于視網膜血管分割及設計針對視網膜血管任務的損失函數是未來有潛力的研究方向。