多尺度深度監督的高度近視萎縮病變分割方法

曾增峰，環宇翔，鄒 卓，鄭立榮

(復旦大學信息科學與工程學院微納系統中心,上海 201203)

1 引言

由于眼底相機的成像能夠清晰地顯示眼底組織信息，并在眼底圖像上較好地顯示出病變，而廣泛應用于眼科醫學成像領域。從眼底圖像中精確地分割出高度近視萎縮病變，是現代科學技術輔助診斷高度近視及手術規劃的關鍵步驟。然而，可靠而精確地分割高度近視萎縮病變在眼底圖像分割的研究中還存在以下問題：

(1)不同個體的眼底圖像質量良莠不齊，萎縮病變形狀、大小有很大差異；

(2)萎縮病變與相鄰組織之間邊界較為模糊，難以區分。

存在該問題的圖像如圖1所示[1]。針對上述問題，如何提升算法的分割精度是醫學圖像科研人員所面臨的極具挑戰性的任務[2]。為此，本文將提出一種基于灰度變換的眼底圖像優化算法。

Figure 1 Fundus image display圖1 眼底圖像展示

目前，深度學習已經被廣泛應用到解決計算機視覺和醫學圖像語義分割等領域的眾多問題。Long等[3]提出了一個基于全卷積神經網絡FCN(Fully Convolutional Network)的圖像語義分割方法，該方法用1×1的卷積層代替全連接層，使得網絡可以接受任意尺寸的輸入圖像，并通過反卷積使得經過多次卷積縮小的特征圖能夠恢復到原始圖像尺寸大小，同時更好地保留圖像空間信息。Ronneberger等[4]、Drozdzal等[5]和?i?ek等[6]對U-Net分割方法做了詳細的描述和論證，并列舉了各自方法的優缺點和原理差異。通過上述3個文獻可以得出，現有U-Net結構所應用的方法都是使用2D卷積層和2D轉置卷積層建立下采樣層和上采樣層組合的對稱結構，可在下采樣層和上采樣層之間添加跳躍連接操作來提升分割精度，并能夠在卷積層中添加2D注釋斷層圖進行3D醫學圖像疾病分割。Chen等[7]用膨脹卷積核代替經典的卷積核，解決了下采樣降低特征圖大小和網絡參數較多的問題。在圖像中目標特征與背景差異明顯情況下，上述分割方法可以取得不錯的分割效果，但當特征差異不明顯時，分割精度則有待提高。另外，深度學習算法一般要對圖像進行預處理，預處理結果的好壞會直接影響分割精度。

受深度學習在多學科交叉領域取得豐碩研究成果的啟發，研究人員將其應用到了醫學圖像處理與分析中。在實踐的過程中，針對醫學圖像中的不同任務，深度學習方法均獲得了較好的結果。大多數的分割方法往往需要一定的知識和經驗積累，采用一些復雜的預處理操作和其他輔助方法，如K-means[8]、支持向量機[9]等，但這些方法不能充分利用圖像中豐富的語義信息。為了更好地輔助醫生對高度近視進行診斷與治療，拓展深度學習和醫療技術結合的應用前景，本文提出了一種具有多尺度深度監督的高度近視萎縮病變分割方法，可以較好地解決上述問題，完成高度近視萎縮病變眼底圖像的精準分割。

2 相關網絡結構介紹

2.1 V-Net

Milletari等[10]提出了只需要少量數據就可訓練的V-Net，并將Dice 相似系數作為損失函數。研究表明，V-Net只需少量的醫學圖像數據就能夠得到不錯的分割精度，并且網絡的訓練速度很快，因此廣泛應用于醫學圖像分割領域。在醫學圖像語義分割的應用中，V-Net能夠做到端對端訓練、像素對像素的分類，即便沒有對數據集進行預處理，也可以取得較好的分割效果，可見其具有很好的醫學圖像特征空間表征能力。V-Net網絡結構及其特征學習過程如圖2所示。

V-Net的網絡結構由下采樣路徑和上采樣路徑組成，并且整個網絡都使用全0補齊方式的卷積使圖像的輸入尺寸和輸出尺寸一致。

圖2左邊的下采樣路徑是十分經典的卷積神經網絡，它是由卷積塊結構組成的，每個卷積塊結構中均有多個卷積，類似ResNet[11]網絡中使用殘差結構來解決深度學習梯度消失的問題，卷積層中卷積核大小均為5×5，采用PReLU作為激活函數，采用卷積核的步數來控制特征圖尺寸的大小。每一次卷積塊操作后特征圖的通道數量都翻倍，但是特征圖尺寸減半。

Figure 2 V-Net圖2 V-Net

圖2右邊的上采樣路徑的每一個卷積塊之前都是反卷積塊，除了第1個反卷積塊不改變特征圖的通道數量，其余的反卷積塊都使特征圖的通道數量減半并使特征圖尺寸加倍。將反卷積的結果與下采樣路徑中對應大小的特征圖拼接起來，組成跳躍拼接的結構。對拼接后的特征圖進行多次5×5的卷積運算，其類似下采樣路徑中的卷積塊。上采樣路徑中的最后1層的卷積核大小為1×1，其將特征圖的32個通道轉化為分類個數，例如本文將圖像分割分為前景和背景，所以分類個數為2[12]。

V-Net結構與 U-Net結構十分類似，看起來呈V形狀，故稱之V-Net。通過對比V-Net和U-Net的網絡結構可以得出，兩者主要差別為V-Net在上采樣和下采樣的每個階段都采用了ResNet的短路連接方式，其相當于在U-Net中引入了ResBlock，可以在一定程度上解決深度網絡退化問題，緩解梯度彌散問題，即殘差連接使得信息前后向傳播更加順暢。同時，現有研究表明V-Net性能更好，并且V-Net具有的上述結構與優點，十分適合本文的眼底圖像分割任務，為此本文將改進原有V-Net的網絡結構來優化分割任務。

2.2 特征金字塔網絡

Lin等[13]提出一種特征金字塔網絡FPN(Feature Pyramid Networks)，其大概結構如圖3所示。

Figure 3 Feature pyramid networks圖3 特征金字塔網絡

FPN左邊的下采樣路徑是典型的深度卷積神經網絡，通過卷積操作使得特征圖大小保持不變或者減半。FPN右邊的上采樣路徑的每一步都采用反卷積，使得特征圖尺寸保持不變或者加倍。反卷積結果與上采樣中對應大小一致的特征圖拼接起來。

由于特征金字塔網絡能夠從不同尺度圖像提取語義信息，充分利用低層特征和高層特征，本文將其運用到V-Net中組成具有多尺度融合功能的MS-V-Net(Multi-Scale V-Net)，即在V-Net的網絡結構上改變一些連接，在增加少量參數計算量的情況下提高網絡分割精度。

2.3 深度監督網絡

Lee 等[14]提出一種深度監督網絡DSN(Deeply-Supervised Nets)，其大概結構如圖4所示。

DSN左邊的不同卷積塊引入了分類目標函數，對多個連續卷積塊學習到的信息特征提供直接監督，不像傳統的深度卷積網絡主要依賴最后分類層計算預測誤差再進行反向傳播來指導前面層的學習，該網絡中每個卷積塊之間形成緊密監督的形式。

由于深度監督網絡能夠對前面層的學習起到監督作用，從而保證整個網絡的學習效果，本文將其運用到在MS-V-Net中組成具有多尺度深度監督功能的MSS-V-Net(Multi-Scale Supervised V-Net)，即在MS-V-Net的網絡結構上添加多個目標函數來提高網絡的分割精度。

Figure 4 Deeply-supervised nets圖4 深度監督網絡

3 眼底圖像的優化算法

由于不同個體的眼底圖像質量差異較大及因萎縮病變與相鄰組織之間邊界較為模糊等問題，現有大部分眼底圖像優化算法[15 - 17]對眼底圖像的局部采用對比度增強、色彩校正和直方圖均衡化等方法，盡管這些方法具有一定的作用，但結果仍不令人滿意。另外，可以使用美圖秀秀、GIMP和PhotoShop等圖像處理軟件，人工處理以達到圖像優化的效果，但是該方法需要耗費巨大人力，并且效率十分低下。況且不同人員對像素敏感性差異較大，修圖效果存在差別，無法保證圖像效果一致，這對于深度學習是一個巨大障礙。為解決上述問題，本文構建眼底圖像的優化算法，旨在使眼底圖像組織結構清晰、質量風格統一。

3.1 算法原理

為了更好地描述算法原理，本文定義中央區域和非中央區域2個概念：

定義1圖像灰度直方圖的灰度值分布區間中間區段對應像素坐標點的區域為中央區域CA (Central Area)。

定義2圖像灰度直方圖的灰度值分布區間非中間區段對應像素坐標點的區域為非中央區域N-CA(Non-Central Area)。

根據定義1和定義2，眼底圖像的優化算法如算法1所示:

算法1眼底圖像的優化算法

輸入:待優化圖像。

輸出:優化后圖像。

步驟1調整圖像局部區域的灰度：

在輸入待優化圖像后，首先需要分離眼底圖像的 RGB 顏色通道，并獲取它們各自的灰度直方圖。其次，將眼底圖像的眼底區域作為感興趣區域，并保證只在該區域進行操作。最后，在每個顏色通道的灰度直方圖中提取感興趣區域，并對其中央區域的灰度值進行灰度變換。灰度變換公式如式(1)所示：

(1)

其中，Ao和At分別為變換前后對應坐標點的灰度值，Qo和Qt分別為變換前后圖像的灰度極小值，Co和Ct為變換前后圖像的對比度，CEC為通道C的灰度變換權重系數。

步驟2平衡圖像全部區域的亮度:

經過調整眼底圖像中央區域的灰度后，由于非中央區域的灰度值沒有經過任何處理，導致中央區域和非中央區域的灰度值會存在較大差異，為此，首先用中央區域灰度值的最大值和最小值替換非中央區域灰度值的最大值和最小值。其次，對整幅圖像的所有像素點的灰度值疊加平衡值(Oa)，該值為實驗經驗值。最后，將優化后的3個顏色通道的灰度圖像融合成彩色的眼底圖像。

3.2 實驗結果及分析

本節實驗數據由2部分構成，即公開數據集Grand Challenge of PALM[1]和Grand Challenge of ODIR2019[18]。本節實驗環境為：Windows 10 64位操作系統，CPU i5-9300H，軟件編程環境為Anaconda Spyder-Python 3.6。

在眼底圖像的優化算法實驗過程中，關鍵步驟所包含的重要參數設置為:B、G、R通道對應的Oa、CEC、Qt、Co分別為38,0.9,0,64; 90,1.0,0,200; 180,0.9,112,240。

實驗結果如圖5所示。從圖5中可以看出，圖5b為在經過算法步驟1后的圖像，可以看出該圖像相對于原始圖像已經達到一定的優化效果，但是由于還未對非中央區域的灰度最大值和最小值進行替換，圖像較為深紅并略顯失真。圖5c為經過算法步驟2后的圖像，眼底圖像已經變得組織結構清晰、質量風格統一。2個步驟處理后的圖像相對于圖5a原始圖像呈現出較好的圖像質量。

Figure 5 Image optimization display圖5 圖像優化展示

圖6展示了病理性高度近視的3幅眼底圖像優化前后對比。可以看出，優化算法明顯提高了圖像質量的一致性，使得眼底圖像較為清晰地顯示多種生理結構，具體表現為眼底邊緣輪廓更為清晰，主要是清除了眼底的黑色邊緣，更清晰地顯示眼底中的血管、視神經盤等組織結構，并且使萎縮病變與相鄰組織之間邊界的區別較為明顯。

Figure 6 Before and after image optimization圖6 圖像優化前后對比

由此可以得出，該算法為優化眼底圖像提供了一種較為新穎的方法，具有提高眼底圖像的可讀性和統一眼底圖像色調及清晰顯示眼底組織的作用。

Figure 7 MS-V-Net圖7 MS-V-Net

4 基于V-Net的MSS-V-Net

傳統方法需要較為復雜的圖像預處理，如需要預先用形態學提取高度近視病變特征等操作，這些預處理導致網絡分割效果偏差較大。為此，本文研究多尺度深度監督條件下的高度近視病變分割算法，相對于傳統的分割方法具有較大優勢，深度學習方法只需提供分割標簽就能夠自動學習并取得較好的分割結果。

4.1 MS-V-Net

如圖7所示，相對于V-Net網絡結構，可以看出MS-V-Net網絡在V-Net網絡上采樣路徑中，額外增加了一條上采樣路徑，即MS-V-Net包括2條上采樣路徑。第1條上采樣路徑為原始V-Net網絡的上采樣路徑；第2條上采樣路徑為多尺度上采樣路徑，其是由第1條上采樣路徑所引申出來的。在第2條上采樣路徑的反卷積之前都需要對第1條上采樣路徑的特征圖進行1×1的卷積；再將反卷積結果與第1條上采樣路徑中對應大小一致的特征圖拼接起來，并且為了消除拼接操作可能導致的混疊效應，需要對拼接后的特征圖進行卷積操作；最終經過Softmax函數進行像素分類，從而可以分割出萎縮病變區域。

在測試階段，同V-Net網絡一樣采用最后一層的分割結果作為預測結果。

4.2 MSS-V-Net

由2.3節的深度監督思想可知，卷積神經網絡前面層學習效果越好越有利于后面層提取信息特征，即前面層提取特征越豐富，則越能夠保證后面層具有穩健的學習能力。如圖8所示，在第2條上采樣路徑的每個階段引入Softmax目標函數，即每個階段都將進行語義分割，3個Softmax目標函數分別對應3個Dice損失函數，實現多個損失函數共同調整模型的目的，能夠提升模型的泛化能力和魯棒性。

Figure 8 MSS-V-Net 圖8 MSS-V-Net

具體來說，MSS-V-Net利用多尺度特征融合后每個階段信息引入分類目標函數進行不同尺度的語義分割，每個階段形成緊密監督的形式，訓練過程中實現了在不同多尺度層獨立預測的功能。

訓練過程包含3個Dice損失函數，重要性權重分別設置為0.2,0.2和0.6，但是只監控最后一層分類輸出的Dice數值，并只保證該數值達到最大才存儲權重模型。

實驗經驗表明,在測試階段最后層的結果特征提取能力最強，前面層只是起到輔助提取特征的作用，并監督最后一層達到較好的分割結果。因此，本文采用最后層的分割結果作為MSS-V-Net的預測結果。

對于MSS-V-Net結構，引入深層監督目標函數主要有以下2個方面的作用：

(1)深度監督可以起到正則項的作用，提升網絡對重要信息特征的判別性。

(2)深度監督的作用可以理解為一定程度上解決了深度學習中的梯度消失和梯度爆炸等問題，提高了深度學習網絡對重要信息特征的泛化能力。

5 實驗及評估標準

5.1 實驗平臺

本文實驗環境為：Windows 10 64位操作系統，使用NVIDIA GeForce GTX 1060Ti 顯卡，核心頻率為2.30 GHz，顯存為6 GB，軟件編程環境為Python 3.6，cuDNN神經網絡GPU加速庫，基于TensorFlow后端的Keras深度學習框架。

5.2 評價指標

定義3文獻[10]已經證明，Dice損失函數能夠更好地處理前景和背景像素數目之間存在嚴重不平衡的情況，所以本文采用Dice作為評價指標，其定義如式(2)所示：

(2)

其中，P和G分別表示預測結果和金標準標簽；ΔP和ΔG分別表示P和G包含的閉合區域；N(·)表示區域中的像素總數；Smooth=1，具有防止除0的作用。Dice(·)的值越大表示算法的分割精度越高。

定義4盒圖是一種用作顯示一組數據分散情況資料的統計圖，能夠直觀顯示數據離散程度，如圖9所示。

Figure 9 Box-plot圖9 盒圖

其中，Q1和Q3之間的距離稱為四分位數極差(IQR)，定義為：

IQR=Q3-Q1

(3)

在分析數據的過程中，借助盒圖可以有效地識別數據的特性[19]:

(1)盒圖的下端點是第1個四分位數，上端點是第3個四分位數，盒的長度是第3個四分位數和第1個四分位數的極差IQR。

(2)盒內的線標記了第2個四分位數，即中位數。

(3)盒外的2條線(亦稱作胡須)延伸到最小觀測值和最大觀測值。

本文用盒圖作為評價指標衡量測試數據集的Dice分布情況，在處理Dice觀測值時，盒圖能夠繪制出可能的離群點[20]。

5.3 實驗過程

實驗采用隨機挑選的方法將數據集劃分為訓練集(260幅)、驗證集(30幅)和測試集(35幅)。在調整超參數時，參考相關文獻及實踐經驗，從訓練集隨機抽取一份小規模數據集對超參數進行大致的網絡探索，以節省模型參數調整的時間。本文的參數設置為：Adam優化算法，基本學習率為0.000 1，Mini-batch為4，權重衰減因子為0.000 01，最大迭代次數為90次。

盡管深度學習分割網絡降低了數據預處理難度，只需批量輸入圖像數據，就能夠自動學習萎縮病變特征，達到分割的目的。但是，由于訓練深度學習網絡需要較多圖像數據，并為了避免過擬合，本文采用以下3種數據增廣方法來擴增高度近視數據集：

(1)翻轉。本文采用水平翻轉的數據擴增方法。

(2)圖像亮度調整。將隨機生成的亮度值疊加到原始圖像的像素值上。

(3)旋轉和尺度變換。在一定角度之間隨機地選擇一個角度進行旋轉和對圖像坐標做尺度變換。

為了更好地說明MSS-V-Net模型的圖像語義分割效果，3個模型分別在原始數據集和優化數據集上進行6組對比實驗。

在訓練過程中，每個epoch都用驗證集對模型進行評估，并只保留Dice相似系數值最大的模型作為最終模型。

5.4 實驗結果及分析

在本文的實驗過程中，訓練集和驗證集的Dice損失函數，在每個模型訓練的初始階段存在較大的差異，但是最終模型都達到收斂狀態且收斂時Dice值相差不大，無法判斷模型好壞。為此，本實驗主要用測試集判定模型的泛化能力。

在測試集上，分別采用V-Net、MS-V-Net和MSS-V-Net提取原始圖像和優化圖像的輪廓并計算Dice的盒圖作為評價指標。

圖10a和圖10i為原始圖像，圖10e和圖10m為標簽，圖10b～圖10d分別為V-Net、MS-V-Net和MSS-V-Net對原始圖像1的分割結果，圖10j～圖10l分別為V-Net、MS-V-Net和MSS-V-Net對原始圖像2的分割結果，圖10f～圖10h分別為V-Net、MS-V-Net和MSS-V-Net對優化圖像1的分割結果，圖10n～圖10p分別為V-Net、MS-V-Net和MSS-V-Net對優化圖像2的分割結果。從圖10可以看出，MSS-V-Net和MS-V-Net的分割結果相較于V-Net的分割結果，更好地擬合了高度近視萎縮病變的輪廓，存在較少的誤分割閉連通輪廓，初步驗證了MSS-V-Net在高度近視萎縮病變分割上的可行性和有效性。

Figure 10 Segmentation results on the data set圖10 數據集上的分割結果

利用統計學評價指標來分析模型的分割精度。由圖11可知，只有MSS-V-Net和MS-V-Net在優化數據的情況下不存在離群點，V-Net在原始數據集、優化數據集上分別有1，3個離群點，MSS-V-Net、MS-V-Net在原始數據集上均有2個離群點。圖11中V-Net、MS-V-Net和MSS-V-Net的Dice盒圖都呈現中位數變大，盒子長度變短，上下間隔變小，盒外的2條線長度變短的趨勢。可知，總體上MSS-V-Net 和MS-V-Net 的魯棒性均高于V-Net的，并且MSS-V-Net 也比MS-V-Net 具有更好的泛化能力和分割精度。

Figure 11 Box-plot of Dice圖11 Dice盒圖

值得一提的是，分割結果可能存在一些零散分割區域，這包括2種情況：(1)這些區域并不是病變區域；(2)這些區域依附在主體的分割病變區域上，大概率這些離散區域本身就是病變區域。這2種情況的零散分割區域能夠相互抵消，導致了即使經過消除實驗，Dice相似系數值也相差無幾，消除實驗的作用在該任務中顯得微乎其微，因此本文只分析原始分割結果數據作為結論。

綜上可知，MS-V-Net網絡能夠更細粒度地利用上采樣過程中的低層特征和高層特征的語義信息，通過融合這些信息特征提升網絡分割精度。MSS-V-Net通過在不同融合層引入多個分類目標函數，實現對連續融合層學習到的信息特征提供直接監督，不像傳統的深度卷積網絡主要依賴最后層計算預測誤差再進行反向傳播來指導前面層的學習。

6 結束語

在計算機輔助高度近視的診斷與治療的系統中，圖像分割系統能夠預測到高度近視病變嚴重程度，供醫生進一步確認患者病情，這些工作不僅提高了診斷效率和精確度，而且還提供了病變篩查的可行措施。本文采用具有多尺度深度監督思想的模型來分割高度近視萎縮病變眼底圖像區域。該模型不需要人工提取病變信息特征，只需利用分割網絡強大的信息表征能力進行自動學習，即可直接獲得分割結果。針對圖像分割問題，該模型與原始的V-Net相比，充分地利用了眼底圖像豐富的語義信息，更為有效地適應病理性高度近視的復雜特征，且具有強大的自主學習能力、泛化能力和魯棒性等優點。值得一提的是，本文提出的圖像優化算法無需復雜的處理工作，就能夠獲得結構清晰、風格統一的眼底圖像，并使模型可以獲得相對較好的分割精度。

更為重要的是，作者使用多尺度深度監督方法參加Grand Challenge-KiTS19 Challenge[21]競賽，在分割CT圖像的腎臟與腫瘤的任務中，取得了第7名[22]的比賽成績[23]，雖然不是針對眼底圖像的相關疾病分割的競賽，但是也一定程度上證明了本文方法的可行性和有效性。