基于深度學習的細胞癌惡化程度預測方法研究

銀溫社　胡楊升　董青青

摘要：細胞癌是當今致死率最高的癌癥之一，細胞癌惡化程度預測方法對治療該病癥具有重大意義。對細胞圖像病理識別數據集中的癌癥細胞切片進行檢測，首先利用數據增加（DATA Augmentation，DA）技術，增加模型訓練集和測試集，然后設計卷積神經網絡訓練和測試網絡結構，再結合經驗設置優化參數進行預測模型訓練，從而為細胞癌惡化程度預測提供一個深度模型的檢測手段。隨著深度學習的發展和醫學圖像在臨床上的應用，以及醫學影像數據集的不斷完善，該方法有望為醫生診斷細胞癌惡化程度提供一種有效工具。

關鍵詞關鍵詞：深度學習；細胞癌；檢測；卷積神經網絡

DOIDOI：10.11907/rjdk.172498

中圖分類號：TP301

文獻標識碼：A文章編號文章編號：16727800（2018）003001104

英文摘要Abstract：Cell carcinoma is one of the highest mortality rates in todays society. The prediction of cell cancer progression have a great significance for the treatment of this disease. In this paper， the cell image provided in the pathological identification data set by JuShuLi are detected. First， data augmentation is used to add the model training set and test set， and then， the convolution neural network training network structure and testing network is designed， the predictor model is trained by setting the optimization parameters combined with experience. Thus providing a depth detection method for the prediction of cell cancer progression. With the development of deep learning and the clinical application of medical images， the medical image data sets are constantly improved. This method is expected to provide an effective tool for doctors diagnose the deterioration of cell carcinoma.

英文關鍵詞Key Words：deep learning； cell carcinoma； detection； convolution neural network

0引言

細胞是組成人體的最基本單位，其規則的生長衰變對人體健康至關重要。當出現不規則的生長情況時，病理學家可以對惡化細胞進行檢測，以確定細胞是否惡化癌變。由于空間和時間上的基因異質性以及紋理和形狀上的不確定性，盡管病理學家經驗豐富，但診斷誤差率仍有30%～40%。病理學家通過活體檢測或醫學影像主觀地分析細胞的形態是否由正常的扁平梭狀變成了惡化的球形、細胞核是否分葉、顏色是否淡化等特征，往往只能作出初步診斷，必須結合個人病史，甚至家族病史才能給出最終診斷結果。此類主觀診斷方法周期很長，而且臨床數據顯示誤診率較高。因此，找到一種高效、準確的細胞癌惡化程度預測方法尤為重要。

癌癥惡化程度預測方法備受關注，特別是隨著特征提取、分類器、機器學習算法的產生以及深度學習思想的提出，這一領域研究很多。如張利文團隊[1]提出了基于定量影像組學的肺腫瘤良惡性預測方法。該方法先通過雪橇自動生長對病灶區域進行分割，然后進行特征提取和特征選擇，最后通過SVM訓練預測模型，預測準確度在80%左右，但工作量較大。Rejintal 團隊[2]提出的基于圖像處理的白血病癌細胞檢測方法，主要采用k均值分割、灰度共生矩陣和SVM分類器，但此方法提取特征較少，文章中沒有給出識別精度。在相關研究基礎上，本文提出一種基于深度學習的細胞癌惡化程度預測方法。

深度學習是機器學習研究的一個新領域，其目標在于建立能模擬人腦進行學習的神經網絡來解釋數據，通過組合低層特征形成更加抽象的高層特征，從而發現分布式特征。卷積神經網絡是模擬人腦網絡的一種，它不但具有尺度不變性，而且具有權值共享等特點[3]。卷積神經網絡從特征提取到特征選擇再到權值優化，模型構建完全組合在神經網絡的隱含層內[4]，大大降低了復雜度。在預測方面，使用有監督的標記訓練，模型預測結果就是標記對應值。

1預測模型及預測方法

1.1深度學習框架選擇

本文選擇開源的Caffe深度學習框架，其高效，簡潔的特點是選擇它的原因之一[5]，在圖像識別和分類領域擁有大部分資源，很多圖像領域的研究都是在Caffe框架下進行實驗的，開源項目很多也可在GitHub上找到。當然在硬件方面，NVIDIA為其提供的多GPU加速也是選擇Caffe的原因。

1.2卷積神經網絡結構設計

卷積神經網絡同感知機、BP神經網絡、遞歸神經網絡以及自適應共振理論一樣，也屬于人工神經網絡的一種[69]。卷積神經網絡經歷了感受野和神經認知機兩大階段[1011]，它更加擬合于生物神經網絡，其權值共享和可多維圖片輸入的特點，使其占領了人工智能的大部分領域，避免了例如SVM等監督學習模型的特征提取、特征選擇和數據重建過程[12]，其尺度不變性也為卷積神經網絡的發展奠定了技術基礎。

訓練網絡結構輸入層即數據層，設置批處理大小scale為64，此參數可根據實驗者的計算機處理能力進行調整。因為本文是基于GPU訓練的，所以設置批處理大小為64；對于數據導入文件，Caffe支持LMDB和LEVELDB兩種類型文件，它們都是鍵/值對（Key/Value Pair）嵌入式數據庫管理系統編程庫。雖然LMDB的內存消耗是LEVELDB的1.1倍，但是LMDB的速度比LEVELDB快15%左右，所以本文選擇數據導入文件為LMDB類型。為了把通道圖像的像素值定在[0，1]區間內，設置scale為0.003 906 25。卷積層設置濾波器的權重學習率參數lr_mult為1，偏置學習率參數bias為2。一般bias為lr_mult的2倍，這樣，收斂速度會有一個很好的提升；卷積核的個數、大小、步長以及是否有填充都對特征信息提取和最后的驗證集預測產生較大影響，本文基于先驗知識和經驗分別設置卷積核個數為32，步長為1，卷積核大小為5×5，填充為1。因為服從高斯分布，可以將中心點作為原點，從而在正態曲線上分配權重和偏置參數，產生規整的特征映射圖且支持稀疏性。使用高斯分布隨機初始化卷積核，高斯分布標準差為0.001。對于池化層，因為細胞的紋理特征對預測惡化程度很重要，而最大值池化方法能夠更好地保留紋理特征，因此使用最大值池化方法，經驗性地設置池化窗口大小為3×3，窗口滑動步長為2。激活層使用RELU層，使用max（x，0）作為激活函數，當x>0時，輸出x，當x≤0時，輸出0。其具有稀疏性，并且可以很大程度地降低梯度。全連接層同卷積層一樣，但是設置高斯分布標準差為0.1，設置輸出類別數為5，輸入類別數是和惡化程度級別數相同的。核函數對于準確度的提升也有一定的影響[13]，本文在第一個全連接層中使用sigmoid函數，在第二個全連接層也就是輸出層中選擇徑向基函數，定義如下：

sigmoid函數：

φ（v）=tanhv2=1-exp-v1+exp（-v）（1）

徑向基函數：

yj=∑hi=1wijexp-12σ2xp-ci2（2）

以上網絡結構參數和方法函數可隨需要進行調節，例如：如果用CPU預測模型，可以減小批處理大小，從而解決內存溢出問題；如果計算機內存不夠，可考慮把訓練集和測試集轉化為LEVELDB類型作為輸入文件，從而減小內存消耗；如果要進一步提高收斂速度和精度，可以制作均值文件。權重學習率參數、偏置學習率參數、卷積核個數、卷積核大小、步長、填充大小以及池化窗口大小和步長，可根據損失值和精度進行反饋調節。對于隨機初始化卷積核的方式，也可選擇常量初始化（constant）、均勻分布初始化（uniform）、xavier初始化、雙線性初始化（bilinear）等方式；對于池化層，可選擇均值池化和隨機池化方法。均值池化有保留整體特征的特點，隨機池化不會造成特征圖的過度失真，以上池化方式也可穿插在各池化層中使用，以保證特征提取的整體性；對于激活層，可以用sigmoid函數代替RELU函數，但是sigmoid函數容易飽和，從而導致損失函數收斂較慢。具體訓練網絡結構如圖1所示，預測模型結構如圖2所示。

1.3學習率策略

隨著數據集增加及網絡結構變得更深，深度模型的訓練往往會花費較長時間，所以如何選擇或設計深度學習策略是提高收斂速度和減少訓練時間的一個重要因素[14]。因為Solver優化方法包括多種學習策略[15]，所以在此介紹Slover方法。Slover方法是通過前向推斷和反向梯度計算對參數進行更新從而減小loss。其定義為

L（W）=1D∑Dtfw（X（t））+λr（W）（3）

L（W）≈1N∑Ntfw（X（t））+λr（W）（4）

式（3）、式（4）中，D是給定的數據集，N為隨機子集，N遠遠小于D，L（W）為平均損失，λ為權重，W為更新權重，fw（X（t））是數據中X（t）項的損失，r（W）是正則項。對于前向過程，計算fw即loss，對于反向過程，計算fw即梯度，然后根據梯度fw、正則項的梯度r（W）等計算參數更新W。

學習率策略很多，例如隨機梯度下降SGD（Stochastic Gradient Descent）[16]、Adam（來源于adaptive moment estimation）[17]、AdaDelta[18]以及賀昱曜等[14]提出的組合型AdaMix學習率方法。利用Mnist數據集[19]進行手寫數字識別模型訓練，觀察迭代過程，Adam、AdaDelta與SGD的訓練損失（Train loss）、測試準確度（Test accuracy）和測試損失（Test loss）變化曲線如圖3所示。

圖3基于Adam、AdaDelta與SGD學習策略的Loss下降過程和Accuracy上升過程

從圖3可以看出，基于Adam學習策略的識別準確度可達90%以上，但在迭代中會產生大的震蕩，這不利于精度的穩定上升。基于AdaDelta學習策略的識別準確度也可達到90%以上，但其收斂速度過慢，而且迭代后期準確度難以提高。基于SGD學習策略的識別準確度將近100%，而且收斂速度很快，大約在迭代1 000次左右就已達98%的準確度。

SGD雖然不像Adam和AdaGrad（Adaptive Gradient）學習率優化方法一樣是自適應優化方法，但根據函數本身的特點調節學習率大小，在很多情況下也不失為一種簡單有效的優化方法[14]。本文沿用隨機梯度下降方法SGD，其定義如下：

Vt+1=μVt-αL（Wt）（5）

Wt+1=Wt+Vt+1（6）

式（5）、式（6）中，Vt+1為本次更新值，Wt+1為本次權重，Vt為上次計算的更新值，Wt為當前權重，學習參數α和μ分別是負梯度權重和一次更新值的權重，L（Wt）為負梯度。

1.4數據選擇

本文應用聚數力網絡平臺提供的細胞圖像數據集的165張圖片作為訓練集和測試集原本（http：//dataju.cn/Dataju/web/datasetInstanceDetail/242），通過數據增加（DATA Augmentation，DA）把訓練集擴展為4 950張，測試集為1 573張。數據增加通過旋轉、變形、扭曲、裁剪以及噪聲添加等功能增加數據集[20]，然后根據聚數力提供的惡化程度信息，分為良性健康、良性腺瘤、惡性中度分化、惡性中度至差分和惡性5類。訓練集中包括21例良性健康、16例良性腺瘤、24例惡性中度分化、12例惡性中度至差分、12例惡性。測試集中包括21例良性健康、16例良性腺瘤、23例惡性中度分化、8例惡性中度至差分、12例惡性。

2實驗結果

本文基于深度學習的細胞癌惡化程度預測模型，設計了深度學習訓練網絡結構和預測網絡結構。預測網絡結構相比訓練網絡結構沒有訓練和測試數據層，沒有損失層和精度層，增加了測試圖片的輸入層和輸出似然值的Softmax層。選擇SGD作為本文學習策略。迭代170 000次進行模型訓練，預測模型的最終訓練損失值為0.016 889 6，測試損失值為0.035 688 9，預測準確度為 87.38%。利用訓練出的惡化程度預測模型對5張不同惡化程度的圖片進行預測，良性健康的預測準確率為87.21%，良性腺瘤的預測準確率為94.17%，惡性中度分化預測準確率為89.33%，惡性中度至差分預測準確度為81.58%，惡性預測準確度為90.91%，詳細數據見表1。

本文訓練預測模型的Loss下降和Accuracy上升曲線如圖4所示。

3結語

細胞圖像病理識別數據集中含有較少的無關信息，通過構建深度訓練網絡結構，從而訓練出惡化程度預測模型，實驗結果顯示基于深度學習的細胞癌惡化程度預測方法的預測準確度達到87.38%。該模型可以輔助病理學家進行相關研究。本文方法有深度模型化及高準確預測的優點，可用于病理學家的臨床研究中。

本文方法也可用于其它癌癥的預測和分析，但如果數據集中含有較多的無關信息，建議首先對病灶區域進行分割，利用分割出來的病灶區域進行預測模型訓練，這對提高預測準確度和解決過擬合很重要，后續將對本文方法的普適性進行分析和研究。隨著國內外相關數據集的不斷公開，深度學習樣本會不斷增加，預測準確率會相應提高。

參考文獻參考文獻：

[1]張利文，劉俠，王俊，等.基于定量影像組學的肺腫瘤良惡性預測方法[J].自動化學報，2017，43（2）：16.

[2]REJINTAL A， ASWINI N. Image processing based leukemia cancer cell detection[C]. Recent Trends in Electronics， Information & Communication Technology（RTEICT），2016.

[3]VINCENTP， LAROCHELLEH， BENGIOY， et al. Extracting and composing robust features with denoising autoencoders[C]. Proc of the 25th International Conference on Machine Learning， New York：ACM Press， 2008：10961103.

[4]JIFENG D， KAIMING H， JIAN S. Convolutional feature masking for joint object and stuff segmentation[C]. Computer Vision and Pattern Recognition （CVPR），2015.

[5]YANGQING J， SHELHAMER E， DONAHUE J， et al. Caffe：convolutional architecture for fast feature embedding[C]. Proceedings of The 22nd ACM International Conference on Multimedia， Orlando：ACM， 2014：675678.

[6]MCCULLOCH W S， PITTS W A. Logical calculus of the ideas immanent in nervous activity[J]. Journal of Symbolic Logic，1944，9（2）：4950.

[7]ROSENBLATT F. The perceptron： a probabilistic model for information storage and organization in the brain[J]. Psychological Review，1958，65（6）：386387.

[8]CARPENTER G A， GROSSBERG S， ROSEN D B. Fuzzy art： fast stable learning and categorization of analog patterns by an adaptive resonance system[J]. Neural Networks，1991，4（6）：759771.

[9]BENGIO Y. Learning deep architectures for AI[M]. Fundations & Trends in Machine Learning，2009.

[10]HUBEL D H， WIESEL T N. Receptive fields of single neurones in the cats striate cortex[J]. Journal of Physiology，1959，148（3）：574591.

[11]ALBERICO A. Analysis of the process of visual pattern recognition by the neocognitron： kunihiko fukushima[J]. Communications in Partial Differential Equations，2016（1）：2223.

[12]YIMING H， DI W， ZHIFEN Z， et al. Emdbased pulsed tig welding process porosity defect detection and defect diagnosis using GASVM[J]. Journal of Materials Processing Technology，2017，239（1）：92102.

[13]KAI Y， WEI X， YIHONG G. Deep learning with kernel regularization for visual recognition[C]. Proceedings of the TwentySecond Annual Conference on Neural Information Processing Systems， Vancouver：NIPS Proceedings，2008：18891896.

[14]賀昱曜，李寶奇.一種組合型的深度學習模型學習率策略[J].自動化學報，2016，42（6）：953958.

[15]樂毅，王斌.深度學習：Caffe之經典模型詳解與實戰[M].北京：電子工業出版社，2016.

[16]BORDES A， BOTTOU L， GALLINARI P. SGDQN： careful quasinewton stochastic gradient descent[J]. Journal of Machine Learning Research，2009，10（3）：17371754.

[17]KINGMA D P， BA J. Adam： a method for stochastic optimization[J]. Computer Science，2014（5）：156159.

[18]ZEILER M D.Adadelta： an adaptive learning rate method[J]. Computer Science，2012（6）：2428.

[19]LI D. The MNIST database of handwritten digit images for machine learning research[J]. IEEE Signal Processing Magazine，2012，29（6）：141142.

[20]SIMARD P Y， STEINKRAUS D， PLARR J C. Best practices for convolutional neural networks applied to visual document analysis[C]. Proceedings of The Seventh International Conference on Document Analysis and Recognition，2003：958.

責任編輯（責任編輯：杜能鋼）