基于改進3D-Dense Net的膽囊癌診斷模型研究

尹梓名，慕長齡，束翌俊

（1.上海理工大學健康科學與工程學院，上海 200093；2.上海交通大學醫學院附屬新華醫院普外科，上海 200092）

0 引言

膽囊癌是一類起源于膽囊黏膜的惡性上皮細胞疾病，是消化系統常見惡性腫瘤，中老年多見，近年來其發病率呈現上升趨勢。膽囊癌可直接侵犯周圍組織，同時也可以通過淋巴、血液循環或腹腔移植等途徑轉移，由于缺乏早期臨床表現，大部分病例確診時已為中晚期，嚴重影響患者預后。影像學檢查廣泛應用于多種疾病的檢測，其中增強CT可以很好地判斷病灶的強度以及增強方式，還可以對病灶種類作出判斷，對臨床診斷與治療有很大幫助。影像學檢查往往需要具有專業知識的醫師進行識別與判斷，耗費大量時間與精力，并且不同醫師間存在主觀偏倚。

隨著人工智能的不斷發展，基于神經網絡的深度學習技術被廣泛應用于醫學影像領域。例如，吳世洋等首先對肺部圖像數據庫聯盟中的肺癌CT圖像進行分割獲得肺結節圖像，然后利用卷積神經網絡（Convolutional Neural Network，CNN）進行特征提取，最后利用Logistic分類器進行模型構建與測試，該方法取得了84.4%的分類準確率；吳云峰基于改進的Inception-ResNet提出肺部CT圖像分類以及系統構建方法，該方法對于新冠肺炎的診斷準確率超過95%；葉佳超等基于CNN中的Dense Net網絡模型對新冠肺炎CT圖像取得了良好的識別效果，精確率為91%，召回率為79%，F1值為85%，準確率為85%，AUC值為94%。

本文對Dense Net模型進行優化與改進，將傳統的二維影像輸入增加至三維，并且改進了Dropout機制與Softmax損失函數，應用改進后的3D-Dense Net模型對膽囊癌進行輔助診斷。

1 相關研究

1.1 人工神經網絡

人工神經網絡是模仿人類大腦神經網絡和功能創建的一種網絡，其各個節點可以看作是人工神經元。自然神經元通過位于細胞膜或樹突上的突觸接受信號，當信號足夠強或者突破某個閾值時，神經元被激活，然后通過軸突發射信號，信號會被另一個突觸接收，并激活新的神經元。人工神經元模型對自然神經元的復雜性進行了高度抽象的符號性概括。該模型包含多個輸入，這些輸入分別被不同的權值相乘，然后經過數學函數計算用于決定是否激發神經元，另有一個函數計算人工神經元的輸出。有許多人工神經網絡就是對真實神經元網絡進行建模，用于研究動物和機器的行為與控制，但也有許多用于模式識別、預測、數據壓縮等。全連接神經網絡是所有神經網絡中最簡單的一種，其結構如圖1所示。

Fig.1 Fully connected neural network structure圖1 全連接神經網絡結構

Z

w

1.2 CNN

CNN是一種深度前饋神經網絡，目前在圖片分類、圖片檢索、目標檢測、目標分割、目標跟蹤、視頻分類、姿態估計等圖像視頻相關領域有很多成功的應用。CNN一般由卷積層、池化層、全連接層、批規劃范層組成。

1.3 Dense Net

在深度神經網絡中，隨著網絡深度的加深，梯度消失問題會愈加明顯，目前針對該問題出現了解決方案，如ResNet、Highway Networks、Stochastic depth等，盡管這些網絡結構有所差異，但核心都在于將前層和后層通過較短的路徑連接起來。Dense Net是Huang等于2017年提出的最優深度模型，其借鑒了ResNet與Goog Le Net的優點，將跨連接充分應用至模塊內的每一個特征層，即任一卷積層的輸入直接包含了前面所有卷積層的輸出，特征得到充分復用。高低層次的特征融合使得網絡具有較強的抗過擬合性能，且參數量更小，跨連接的應用也緩解了層數加深而導致的梯度消失問題。Dense Net由多個Dense block和Transition layer構成，每個Dense block都包含多個子結構，一個4層Dense block的結構如圖2所示。

在傳統CNN中，如果網絡有L層，那么就會有L個連接。但在Dense Net中，會有L*（L+1）/2個連接，因為每一層的輸入來自于前面所有層的輸出。因此，Dense Net的優點為網絡更窄，模型參數更少。

本文提出的模型是將患者的增強CT影像轉換為三維影像數據，然后將三維影像數據輸入到3D-Dense Net網絡中提取1 024個深層特征，通過全連接層后到達分類器得到最終分類結果，整個模型結構與數據處理過程如圖3所示。

Fig.2 4-layer Dense block structure圖2 4層Dense block結構

1.4 改進后的3D-Dense Net

本文針對患者CT影像進行膽囊癌識別，因此需要提取患者CT影像的深層特征。較深的網絡往往能提取到完整的特征，但計算量大，結果容易過擬合，而且識別速度緩慢。因此，本文對傳統的Dense Net-121結構進行了改進，除了將卷積核替換為三維卷積核外，還改進了Dropout機制和Softmax損失函數。

傳統的Dense Net結構中包含Dropout層，該層通過隨機丟棄多個神經元來抑制模型過擬合。CNN通過卷積核對影像特征進行提取，卷積操作的特定實現方式使得特征圖之間會產生信息冗余，因此Dropout對于CNN的效果有限。Drop Block模塊是谷歌團隊于2018年提出的一個針對CNN的正則化模塊。Dropout與Drop Block的效果比較如圖4所示。

Drop Block會將特征圖的某一塊連通區域置為零，從而強制模型學習其余區域的特征，以此提高模型的抗擬合能力。

在Dense Net網絡模型的內部單元結構DenseLayer中，1×1卷積沒有考慮到像素與其周圍像素點之間的空間關系，而是依賴坐標位置添加了線性變換。因此，在傳統的Dense Net網絡結構中都會添加非線性的激活函數。Softmax損失函數是常見的深度學習網絡損失函數，傳統的Dense Net網絡結構在輸出部分使用的都是Softmax函數與交叉熵損失相結合的方式。本文在最后的全連接層加入中心損失（Center loss）訓練網絡，在最后輸出部分將交叉熵函數替換為Focal-loss進行不平衡校正。

Fig.4 Effect comparison between dropout and dropblock圖4 Dropout與Drop Block效果比較

2 實驗設計

2.1 實驗環境

本文實驗均在Linux Ubuntu16.04系統環境下進行，深度學習框架采用PyTorch，編程語言為Python 3.7版；模型訓練GPU使用NVIDIA TITAN RTX，顯存為64G，內存為32G；CUDA版本為10.1，cuDNN版本為7.64。

2.2 實驗數據

選取2010-2020年上海交通大學附屬新華醫院收治的287例膽囊癌患者與100例膽囊良性疾病患者的增強CT影像數據作為原始數據。篩選患者增強CT中的動脈期影像作為數據集，由5名經驗豐富的放射科醫生對膽囊區域進行勾畫并作為感興趣區域。標注完成后，對原始圖像進行三維轉換并裁剪標注區域。由于部分患者的影像數據在醫生標注過程中被發現存在問題，如沒有增強CT、CT影像不正常、標注影像與原始影像大小不匹配等，因此最終入組的數據集由150例膽囊癌與86例良性膽囊疾病（膽囊息肉49例，黃色肉芽腫6例，腺肌癥31例）患者構成。其中男100例，女136例，男女比例1∶1.36，平均年齡為62.3歲，將數據集按照6∶2∶2的比例隨機劃分為訓練集142例，驗證集47例，測試集47例。

Fig.3 Model structure and data processing flow圖3 模型結構與數據處理流程

原始影像數據格式為DICOM（Digital Imaging and Communications in Medicine），是醫學圖像及其相關信息的國際標準格式（ISO12052），定義了質量能滿足臨床需要的可用于數據交換的醫學圖像格式。將多張DICOM格式的影像轉換為1個NIFTI（Neuroimaging Informatics Technology Initiative）文件，影像原始大小為512×512。為了提高特征提取的精度并消除多余干擾因素，對原始影像的感興趣區域進行切割，確保每張影像均包含患者膽囊區域并盡可能減少其他干擾區域大小。感興趣區域的切割方法如下：找到醫生標注區域的中心點，分別向x、y、z 3個方向進行延伸，確保切割后的感興趣區域包含患者整個膽囊且擴展區域不延伸至原圖區域以外，切割后單張影像大小為224×224，每個患者的三維影像文件包含32張CT影像，儲存為NIFTI文件格式，切割前與切割后效果比較如圖5（彩圖掃OSID碼可見，下同）所示。

Fig.5 Comparison of image effect before cutting and after cutting圖5 切割前后圖像效果比較

2.3 實驗評估設計

為了驗證本文模型的性能，對多種結構、不同參數的3D-ResNet、3D-Dense Net模型進行分析比較，篩選出最適合于膽囊癌分類的三維CNN。實驗過程采用五折交叉驗證。

2.4 評價指標

模型評價指標包括準確率（Accuracy）、特異度（Specificity）、靈敏度（Sensitivity）、精確率（Precision）以及ROC曲線。各個指標的計算公式分別表示為：

式中，真陽性TP（True Positives）表示膽囊癌患者樣本被目標檢測器判別為膽囊癌患者的數量；假陽性FP（False Positives）表示良性膽囊疾病患者樣本被目標檢測器判別為膽囊癌患者的數量；假陰性FN（False Negatives）表示膽囊癌患者被目標檢測器判別為良性膽囊疾病患者的數量；真陰性TN（True Negatives）表示良性膽囊疾病患者被目標檢測器判別為非膽囊癌患者的數量；Z表示膽囊癌患者數；C表示良性膽囊疾病患者數。

ROC曲線（Receiver Operating Characteristic Curve）全稱為受試者工作特征曲線，其是根據一系列不同的二分類方式（分界值或決定閾），以真陽性率（敏感度）為縱坐標，假陽性率（特異度）為橫坐標繪制的曲線。AUC（Area Under Curve）為ROC曲線下面積。學者們往往使用AUC值作為模型評價標準，ROC曲線并不能清晰地說明哪個分類器的效果更好，而AUC值越大的分類器效果越好。

3 實驗結果

不同深度的Res Net和Dense Net模型各項指標比較如表1所示。

Table 1 Performance index comparison of different model structures表1 不同模型結構指標比較

由表1結果可知，在使用ResNet-64網絡進行膽囊癌分類時，分類準確率最高為0.65，特異度為0.55，靈敏度為0.74，精確率為0.69。隨著網絡深度的增加，ResNet-128的分類效果得到提升，準確率可達0.74，靈敏度可達0.88。繼續增加網絡深度，ResNet-256的分類效果變弱，準確率為0.70，靈敏度為0.80，特異度為0.59。實驗結果表明，在ResNet網絡體系中，隨著網絡深度的增加，模型分類性能得到提升，然而增加到一定深度后，模型測試集的分類效果降低，而訓練集表現良好，說明模型出現過擬合現象。Dense Net網絡也存在該問題，當模型深度達到169后，在測試集的分類效果反而下降。最終實驗結果表明，Dense Net模型經過改進后效果均優其他模型，其中Dense Net-121模型結構經過改進后準確率可達0.91，其模型超參數如表2所示，模型訓練集與驗證集的準確率與損失如圖6、圖7所示。

可以看出，隨著訓練epoch數量的增加，訓練集與驗證集的準確率均穩步增加，而模型損失也逐漸減少，說明改進模型沒有明顯的過擬合或欠擬合現象，在訓練集和驗證集中表現良好。改進模型的受試者ROC曲線如圖8所示。

Table2 Model super parameter setting表2 模型超參數設置

Fig.6 Changeof accuracy of training set and verification set with the number of epoch圖6 訓練集與驗證集準確率隨訓練輪數的變化

Fig.7 Change of loss of training set and verification set with the number of epoch圖7 訓練集與驗證集損失隨訓練輪數的變化

Fig.8 Model prediction ROC curve圖8 模型預測受試者ROC曲線

4 討論

膽囊癌起病隱匿，早期大多無癥狀，因此當患者發現病變時已經發展至進展期，患者往往因腫瘤分期較晚而失去救治機會。臨床對于膽囊癌的診斷主要依賴于傳統的影像學檢查，如雙源CT。然而，腹部雙源CT影像識別需要醫生有豐富的專業知識與閱片經驗，人工閱片不僅耗費大量時間與精力，還可能因為疏忽或主觀因素產生誤判的情況。

深度學習算法具有學習能力強、覆蓋范圍廣、適應性好、上限高等特點。因此，本文基于深度學習模型，通過提取影像特征實現膽囊癌的診斷，經過實驗驗證，本文模型在膽囊癌診斷方面具有一定可行性。然而，目前該模型仍存在以下問題：①膽囊癌數據量較少。對于醫學影像的研究，數據集的構建是極為關鍵的一環，但醫學數據往往存在收集困難、信息敏感、分布不集中等問題；②深度學習模型的可解釋性一直以來為人詬病，目前膽囊癌的診斷金標準為病理學檢查，而本文提出的模型是根據患者術前影像數據構建出來的，僅憑影像數據無法完全準確地判斷患者是否為膽囊癌患者。此外，深度學習提取的深層特征的具體含義也無法解釋，后續工作將考慮加入一些可解釋性特征。綜上所述，本文提出的基于改進3D-Dense Net的膽囊癌診斷模型具有良好的準確率與可靠性，后續還將進行多中心的大規模實驗以推動該模型應用于臨床輔助診斷。