基于U-Net的直腸癌CT圖像分割系統的設計與實現

許晶淼，胡天寒，劉影，吳敏，林莉

（皖南醫學院，安徽 蕪湖 241000）

0 引言

近年來在我國乃至全世界，直腸癌的發病率與死亡率都高于其他惡性腫瘤。而目前，大多數醫院依靠放射科醫生人工標注直腸腫瘤區域，這種方法依托于醫生的主觀性，因此利用深度學習在直腸癌CT 圖像上的分割，可以給醫生提供臨床診斷上的參考意見，提高診斷效率。

機器學習技術在國外多領域發展，該技術也被應用于研究直腸癌放射學領域，使得在醫學圖像研究領域成果顯著增加。Ran G 等[1]基于決策樹模型，以年齡、性別以及全血計數作為特征，來檢測患者早期結直腸癌；Bychkov D 等[2]利用機器學習技術，將深度學習模型應用于預測患者結直腸癌的預后，結果顯示該模型可提取的預后信息比具有一定工作經驗的醫生要更多；Li Y 等[3]基于術前CT 圖像的數據，開發了一個機器學習模型，用于預測在結直腸癌中肝轉移的情況，該模型可以為高危直腸癌患者出現肝轉移的情況下提供個性化的監測；Trebeschi 等[4]將卷積神經網絡訓練在磁共振彌散加權圖像上，該研究可以自動定位并分割直腸癌，但是數據量太小，無法支撐網絡的訓練。

在國外研究成果的引領啟發下，我國將深度學習技術應用于直腸癌分割的研究也越來越多。南京醫科大學戴薇等[5]研究通過采用基于U-Net的自動分割模型對直腸癌GTV 和OARs 進行勾畫，實驗結果顯示對OARs 勾畫準確性較高，但是對GTV 勾畫的準確性仍需提高。華南師范大學肖波等[6]使用240張直腸癌CT 圖像進行訓練與測試，利用FCN-8s、U-Net 以及SegNet 模型對直腸癌CT 圖像進行分割，以此來定位病灶位置，實驗結果表明，U-Net 模型和InceptionV3模型分割結果更好，分類準確率高。西南科技大學汪豪等[7]提出能有效避免梯度消失問題的一種基于殘差塊端到端改進的U型神經網絡模型，該模型結合圖像裁剪預處理，可提高直腸癌的分割精度。

本文提出了一種改良卷積層的U-Net 模型，對直腸癌CT圖像進行分割以及系統實現。基于卷積神經網絡對直腸和腫瘤區域進行分割，使用在臨床試驗上應用最多的U-Net 模型，對其卷積塊間增加歸一化層構成新的Conv-concat 模塊。改進后的U-Net 模型在直腸癌CT 圖像上對腫瘤分割的精確率顯著提高，在直腸癌臨床診斷中可提供有價值的參考信息，以制定治療方案。

1 數據集和模型設計

1.1 數據集的選取

本文使用第7屆“泰迪杯”數據挖掘挑戰賽中的數據集。該數據集包含2部分，一部分是未標注的直腸癌CT 圖像的train 數據，另一部分是已標注好對應的直腸癌掩膜的label 數據。train 數據中包含108 位患者的CT 圖像文件夾，每位患者有20～30 張CT 圖像，原圖像為DCM 格式，共計3 166 張CT 圖像，其中精選3 000幅CT圖像用于實驗分割。

任取一名患者直腸癌CT圖像如圖1所示，以及該患者直腸癌對應掩膜如圖2所示。

圖1 患者直腸癌CT圖像

圖2 與圖1直腸癌對應的腫瘤掩膜

1.2 圖像預處理

首先，讀取數據集，再結合本文數據集的特點，選擇圖片剪裁與圖像歸一化這2種預處理方法。

1）讀取數據

由于train數據集中各個文件夾的CT圖像數量不一樣，所以需要使用Python 中glob()函數讀取文件夾和文件名，之后再使用Image.open()函數讀取圖片。

2）圖片裁剪

直腸腫瘤只發生在直腸，實際需要處理的區域并不需要整張圖片，適當裁剪能夠提高網絡訓練的速度。圖3為使用圖片裁剪技術后的效果圖。

圖3 圖片剪裁后效果圖

3）圖像歸一化

使用標準歸一化是數據處理中一個重要步驟，此方法可有效地減少圖像數據中一些異常值對實驗的影響。神經網絡利用梯度下降的方法來反向傳播更新誤差，尤其在數據差值很大的情況下，標準歸一化非常重要。

式（1）為歸一化函數：I表示原圖像；Inorm表示歸一化后的圖像；Imax、Imin分別表示原圖像I 的最大值和最小值。

1.3 訓練模型

U-Net 整體的網絡結構表現為對稱的U 型，其設計主要針對于醫學圖像的分割，并且U-Net網絡因其不錯的訓練效果、較高的訓練效率和可以適應很小的訓練集等特性引起了許多研究者的關注。

1.3.1 U-Net模型介紹

U-Net 網絡是一種可以實現端到端映射的網絡，可實現圖像分割、恢復、增強和超分辨等目標。其具體網絡結構如圖4所示。本文對網絡輸入256×256大小的圖像進行初始特征提取，網絡可分為左右兩部分，左邊部分是收縮路徑，使用降采樣和卷積模塊提取不同尺度的特征；右邊部分是擴展路徑，使用上采樣和卷積模塊恢復尺度并融合先前特征，恢復圖像并輸出。

圖4 U-Net模型

卷積模塊由兩層連續的卷積層組成，其中卷積核的大小設置為3×3，步長為1,Padding 為same，以此來實現更大尺寸、更高深度的特征提取；降采樣實現圖像尺度的縮小；上采樣(或反卷積層)實現圖像尺度的變大；圖中灰色的箭頭線表示跳連，在同一尺度下，將收縮路徑上的特征合并到擴展路徑上的特征。

1.3.2 改進U-Net模型卷積層

本文在傳統U-Net 卷積塊(如圖5 所示)間增加歸一化層，構成了新的Conv-concat 模塊(如圖6 所示)。相比于未改進的U-Net模型的卷積塊，Conv-concat模塊做了兩點改進。

圖5 傳統U-Net卷積模塊

圖6 改進的Conv-concat卷積模塊

首先，讓卷積產生的特征圖和最開始輸入的Conv-concat模塊的特征圖進行整合，將整合的結果作為下一次卷積的輸入。其次，為了降低網絡模型對初始化參數的依賴，在Conv-concat 模塊中，在每一個卷積層后都增加一個BN 層(即Batch Normalization)對輸入進行標準化，使得將每一批次中的數據正態化。

2 實驗設計與結果分析

2.1 實驗設計

為了驗證U-Net 模型對直腸癌CT 圖像分割的效果，在共計3 000張圖片的數據集上進行實驗，因為腫瘤分布是連續的，為了避免局部特征過于集中，對數據集進行亂序，之后再按9:1 分配，其中包括訓練集2 700張和驗證集300張。

實驗在型號為NVIDIA GTX 2060 的GPU 上進行訓練。U-Net 網絡模型輸入的圖片尺寸為256×256×1，訓練的輪次分別設置為100 次，200 次和400 次，使用Adam優化器和均方誤差損失函數。

2.2 評估標準

本實驗使用Dice系數、準確率Acc作為評估標準來檢測模型的性能。

1）Dice系數

對圖像分割的評價首先采用Dice系數，其中A是醫生勾畫的直腸腫瘤區域，B 是算法分割后獲得的直腸腫瘤區域。將Dice系數的取值范圍設置在[0,1]，若取值越接近1，則表明經網絡訓練得到的直腸腫瘤分割結果與醫生人工標注的結果越接近，即分割結果較為精確。Dice系數計算公式如式（2）所示：

2）準確率Acc

本文將正確分割直腸癌CT 圖像記為正類，未分割出直腸癌位置或錯誤分割記為負類。將正類中檢測成正類數記為TP，正類中檢測成負類數記為FN；將負類中檢測成正類數記為FP，負類中檢測成負類記為TN。混淆矩陣如表1所示：

表1 混淆矩陣

統計網絡判斷正確的圖片個數，再除以總的圖片數量得到準確率。準確率公式如式(3)所示：

2.3 實驗結果與分析

以下是初步實驗得到的結果圖，results 保存了每一輪訓練集的loss 和metric 以及驗證集的val_loss 和val_metric，將其繪制出來，得到的曲線如圖7所示。

圖7 訓練了100次訓練集、驗證集損失值和Dice值變化曲線圖

從圖7 中結果可以看出，驗證集的損失值總是比訓練集大，即腫瘤分割效果總比訓練集差，說明評價網絡要用未訓練的數據進行測試，網絡需要通過不斷地擬合訓練集，以此達到最佳的訓練效果。本次試驗中，驗證集的Dice 系數達到了0.82，這是一個比較高的值，說明網絡訓練效果尚可。

針對本文的腫瘤分割問題，評價指標主要有2個，一是分割區域精確度，也就是Dice 系數；二是腫瘤分割的準確率，即Acc。

在300張測試集中，分割的直腸腫瘤平均Dice 系數達到了0.821 2，表明分割的腫瘤區域與醫生給予的掩膜較為符合。計算得出測試集的準確率Acc 達到了99.44%，這表明網絡對于有腫瘤圖片和沒有腫瘤圖片的區分是非常準確的。

2.4 基于U-Net的直腸癌CT圖像分割系統的實現

將訓練的最優模型提取出來并設計直腸癌分割系統。醫生上傳直腸癌CT 圖像，系統輸入端獲取直腸癌CT 圖像，通過模型處理并輸出生成相應的直腸癌病灶的位置和大小。具體系統界面如圖8所示，先通過“上傳圖片”，選取要分割的圖像，點擊“檢測結果”，即在右邊得到直腸癌病灶位置和大小。

圖8 系統實現界面

3 總結

本文使用深度學習中U-Net 網絡，并基于該網絡模型改進其卷積塊部分，對直腸癌腫瘤區域進行分割并實現分割系統。實驗結果測試集上的準確率Acc達到了99.44%，可以準確區分有無腫瘤的CT圖像，并且能給予一些輔助性診斷參考意見。但是分割的腫瘤平均Dice系數為0.8212，表明分割的腫瘤區域與醫生給予的掩膜符合度仍需提高，預測的腫瘤區域輪廓不夠細致。