基于深度學習的肺結節診斷識別研究

高喚 李秀娟

摘 要：醫學圖像診斷領域的研究熱點是病灶點特征和精準定位，將深度學習應用到該領域后診斷效果明顯，但是不同深度學習模型之間存在差異性。重點介紹幾種重要的深度神經網絡模型，總結深度學習在肺結節診斷識別中的研究進展，并提出將深度學習應用于肺結節臨床診斷識別所面臨的挑戰與機遇。

關鍵詞：深度學習;肺結節診斷;卷積神經網絡;醫學圖像

DOI：10. 11907/rjdk. 191972 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP301文獻標識碼：A 文章編號：1672-7800（2019）009-0047-04

Diagnosis and Recognition of Lung Nodules Based on Deep Learning

GAO Huan， LI Xiu-juan

（College of Electrical Engineering， Henan University of Technology， Zhengzhou 450001，China）

Abstract： The research hotspots of medical image diagnosis are the characteristics of lesions and precise positioning. After applying deep learning to this field， we find the diagnostic effect is obvious， but there are differences between different depth learning models. This paper focuses on several important deep neural network models， summarizes the research progress of deep learning in the diagnosis and identification of pulmonary nodules， and proposes the challenges and opportunities for applying deep learning to the clinical diagnosis and identification of pulmonary nodules.

Key Words：deep learning; pulmonary nodule diagnosis; convolutional neural network; medical imaging

0 引言

作為人類公敵的肺癌，是對人類生存威脅最大的惡性腫瘤之一，其發病率和死亡率目前均占所有惡性腫瘤首位[1-2]。降低肺癌死亡率、提高病人生存率，最關鍵的是早發現、早診斷、早治療。而肺結節作為早期肺癌的主要表現形式，及早發現與治療可以極大降低肺癌患者死亡率。人們生活水平和健康意識的不斷提高以及醫療設備的精細化發展，促進了肺結節診斷治療的發展，但同時也給傳統的醫生診斷帶來了大量數據量和工作量[3-4]。

在醫學領域，肺結節診斷識別方法主要有影像學檢查、痰液細胞學檢查、纖維支氣管鏡檢查以及穿刺活檢等。而影像學X線計算機斷層攝影（X-ray Computed Tomography，CT）檢查由于其無創性而受到人們青睞，傳統肺結節診斷識別方法由影像科醫生通過逐張觀察被檢查者肺部CT圖像切片，依靠自身經驗判斷是否有肺結節以及其良惡性。面對大數據的CT圖像，醫院現存在診斷肺結節耗時長、效率低、主觀性大等問題，而影像科醫生面對長時間的診斷分析工作，極易造成疲勞，容易導致漏診和誤診。因此，利用一些專業診斷分析工具[5]，為醫生提供輔助診斷，減輕醫生負擔，從而為早期肺癌的判別提供客觀、科學的診斷依據，推動醫療診斷的智能化、精細化發展尤為必要。在這些診斷分析工具中，深度學習由于其易學性、通用性、高效性及準確性，在醫學圖像診斷識別領域，尤其是肺結節診斷識別方面，正以極快的速度向前發展。

近年來，隨著深度學習技術的不斷發展，很多深度神經網絡（Deep Neural Networks，DNN）模型也被應用到醫學影像肺結節診斷中[6]，歸納總結為兩類：有監督學習方法和無監督學習方法[7-13]。其中，有監督學習包括卷積神經網絡（Convolutional Neural Networks，CNN），無監督學習包括棧式自動編碼器（Stacked Auto-Encoders，SAE）[14]、限制玻爾茲曼機（Restricted Boltzman Machines，RBM）、深度信念網絡（Deep Belief Networks，DBN）等[15]。

本文重點介紹深度學習中幾個重要的深度神經網絡模型并探討深度學習在肺結節診斷識別中的研究進展，最后進行總結，提出基于深度學習的肺結節臨床診斷識別所面臨的挑戰與機遇。

1 幾種典型深度神經網絡模型

深度神經網絡[16]是一種含多隱層的神經網絡結構，能模擬人腦對外界的抽象機制。相比淺層神經網絡學習，深度神經網絡更加復雜，能夠提取更抽象的特征，具有以下優點：①能最大程度地表示輸入輸出間的函數關系，泛化能力強;②參數遠遠小于同級別的淺層網絡，不僅降低連接復雜度，還能抑制過擬合。

1.1 卷積神經網絡

CNN是一種備受青睞的深度神經網絡，由于其輸入一般是帶標簽的數據，故屬于有監督學習。自2012年開始，CNN憑借其無與倫比的特征學習能力被廣泛應用于圖像識別、音頻識別等領域，同時許多科技公司相繼投入大量精力對其進行產品化研究。如圖1所示，CNN一般由3個基本單元構成，它們是卷積層（Convolutional Layer）、池化層（Pooling Layer）和全連接層（Fully Connected Layer），每層功能各不相同，通過合理安排連接順序可實現不同需求。

一般地，在CNN結構中卷積層和池化層可多次交替出現，在其頂層往往放置多個全連接層。尤其需要注意的是，除全連接層外，其余各層間神經元都以局部連接方式相連。局部感知和權值共享是CNN實現特征提取的關鍵理論基礎，局部感知使得層間的局部連接能夠減少網絡參數，權值共享能更有效地提取關鍵特征。如圖2所示，一個基本CNN框架包括卷積、池化和非線性激活這3步操作。

1.2 自動編碼器

自動編碼器是深度學習領域中最常用的模型之一。如圖3所示，自動編碼器將隱含層看作是編碼器與解碼器的組合，數據通過輸入與輸出間隱含層的編碼和解碼后基本保持不變。由于輸入數據通常無標記，因此隱含層編碼和解碼的過程就是對數據特征進行提取的過程。其學習目標是使重建的誤差最小化，訓練時往往采用共軛梯度法調整網絡參數。單個自動編碼器一般不足以產生具有顯著判別能力的特征，因此研究者們常把多個自動編碼器前后堆疊起來，這樣后層自動編碼器便能在前層自動編碼器中所學得的特征基礎上再進行深入學習，這便構成了棧式自動編碼器。不過，在網絡訓練時，如果誤差集中體現在前層自動編碼器中，后層自動編碼器的繼續學習將會失去作用，并且可能演變成對數據均值的學習。針對這種現象，有學者提出采用預訓練方式[17]。

1.3 限制玻爾茲曼機

RBM來源于玻爾茲曼機，之所以加上“限制”兩字，是因為它并不允許同一層中神經元的相互連接。每個神經元的輸出只有兩種狀態，一般使用二進制的0和1表示。RBM具有兩層結構，即可見層（V層）和隱層（H層），兩層神經元間全連接，但每層神經元之間是獨立的，即每層神經元之間無連接，如圖4所示。RBM是一種基于能量的模型，即能量最小化時網絡模型達到理想狀態。在給定的可見層單元狀態下，各隱層的激活條件獨立;同樣地，給定隱層單元狀態時，可見層的激活條件獨立[18]。

1.4 深度信念網絡

DBN由多個RBM組成，一個典型的DBN結構如圖5所示。DBN是由多層潛在隨機變量構成的概率生成模型。潛在變量通常具有二進制值，通常稱為隱藏單元或特征檢測器。最上面的兩層之間有無向的對稱連接，形成聯想記憶;較低的層從上面的層接收自頂向下的、定向的連接。最底層單元的狀態表示一個數據向量[19]。

DBN有兩個最重要特性：一是它提供一個高效的、逐層的過程學習自頂向下、可生成的權重，其決定了一層中的變量如何依賴于上一層的變量;二是學習之后，每一層潛在變量的值都可以通過一個自底向上的單遍歷推斷，該遍歷從底層一個觀察到的數據向量開始，然后反向使用生成權值。

DBN通過將一層中潛在變量的值作為訓練下一層的數據進行處理。可以遵循這種高效、貪婪的學習，或與其它學習過程相結合，微調所有權重，以提高整個網絡的生成或辨別性能。可以通過添加最后一層變量的期望輸出和反向傳播誤差導數進行區分性的微調。將具有多個隱層的網絡應用到高度結構化的輸入數據，如圖像時，如果通過學習一個對輸入數據中結構建模的DBN初始化隱層中的特征檢測器，則反向傳播效果會更好。

2 研究進展

深度學習方法是根據相應算法完成肺結節的篩選[20-21]并進行判斷分類[22-25]，可以比較完整地觀察整張切片而無遺漏，且不會受到疲勞狀態影響，其結果也較為客觀和全面。當前，深度學習方法結合CT圖像對肺結節進行診斷識別的研究較多。

楊佳玲等[26]將自定義的DBN引入肺結節的良惡性診斷中，實現肺結節的分類算法。該算法首先提取感興趣區域，從形狀、灰度、紋理、空間位置這幾個方面提取87個不同的肺結節特征，并構造特征向量[27];然后對提取的特征進行研究分析，構建出5層DBN，該網絡包括3個隱層，一個輸入、一個二分類輸出層;最后對所構建DBN模型進行訓練測試，并給出測試指標。對來自肺部圖像數據庫聯盟（Lung Image Database Consortium，LIDC）與某醫院的206個CT病例進行訓練測試，結果表明該算法指標分別是分類精度95.3%、敏感性92.5%和特異性93.2%，ROC曲線下面積為0.921。

Song等[28]比較分析了用于肺癌鈣化檢測的3種深度神經網絡模型，分別是CNN、DNN、SAE，并將這些網絡模型應用于CT圖像中，在LIDC數據庫上對肺結節良惡性進行診斷分類、預測評估。實驗結果表明，CNN的性能優于DNN和SAE，準確率為84.15%，靈敏度為83.96%，特異性為84.32%，在3種網絡中效果最好。

Shen等[29]提出了一種多作物卷積神經網絡（Multi-crop Convolutional Neutral Network，MC-CNN），通過對卷積特征圖中不同區域的作物進行池化處理，然后在不同的時間應用最大池化處理技術，自動提取結節的突出信息。通過在LIDC數據庫上進行大量實驗，結果表明，提出的方法能獲得最先進的結節可疑性分類性能，其分類精度、敏感性和特異性分別為87.14%，77%和93%，ROC曲線下面積為0.93。同時，所提出的網絡能有效地表征結節的語義屬性（細微度和邊緣）和結節直徑，對結節良惡性建模診斷很有幫助。

Raunak等[30]提出從三維圖像直接映射到類標簽，為了實現這一目標，構造了四種雙通路卷積神經網絡，包括一個基本的3D CNN、一個新的多輸出網絡、一個3D DenseNet和一個具有多輸出的增強3D DenseNet。通過在LIDC數據集上對這4個網絡進行評估，顯示其性能優于大多數現有方法，特別是3D多輸出DenseNet （MoDenseNet），在端到端肺結節診斷任務上達到了最先進的分類精度，其分類精度、敏感性和特異性分別為90.40%，90.47%和90.33%，ROC曲線下面積為0.954 8。此外，研究者認為在LIDC數據集上預先訓練的網絡可作進一步擴展，通過遷移學習處理更小的數據集。在肺結節分類中的預測準確性也證明了這一點。

苗光等[31]提出了一種二維和三維卷積神經網絡相結合的肺結節檢測方法。該方法首先采用改進的2D全卷積神經網絡U-net檢測候選結節[32]。針對原始U-net模型在訓練時，會出現過擬合現象，通過改變網絡輸入圖片大小、添加Batch-Normalization層、采用Leaky-ReLU、加入dropout策略等方法抽取候選結節。隨后，將多層切片中的候選結節通過計算歐式距離并參考注釋文件等方法進行合并，并根據計算出的均值坐標，提取出疑似結節的三維立體圖像塊。之后，構造出一個7層的3D卷積神經網絡框架用于去除結節的假陽性，該框架包含一個輸入層、三個卷積層、一個池化層、一個全連接層和一個Softmax分類器。將提取的候選結節送入構建的3D CNN模型中進行二分類處理以去除假陽性結節。在LIDC數據集上，平均每位患者為36.2個假陽性時，結節初步檢測召回率時為98.2%;在假陽性去除后，假陽性為1和4時，準確率分別是87.3%和97.0%。該方法采用3D CNN能更加有效地提取到結節原有的空間信息，有效解決了肺結節識別效率不高及大量假陽性問題。

3 結語

綜上所述，基于深度學習的肺結節診斷識別，能有效克服傳統醫生診斷存在診斷識別速度慢、認知能力參差不齊、工作強度大等問題，可提高肺結節診斷識別精度，還可減少醫生工作量，輔助醫生進行診斷分析，其診斷結果具有客觀穩定性，極大提高了診斷精度及工作效率。

但將深度學習方法徹底應用于肺結節的臨床診斷識別尚存在一些問題[33]：①深度神經網絡模型提取的肺結節特征不可見，這給分析不同特征的重要程度造成困難;②在有監督的深度學習方法中，需要大量地訓練和測試樣本，以期得到較高的精確度，但醫學圖像往往涉及病患私密性等，增加了樣本的獲取難度;③深度學習訓練及測試時，由于運算量較大，因而對內存、CPU及GPU等硬件要求高，且訓練及測試時間較長[34];④深度學習并不能完全取代人工，它必須依賴已有臨床專家標注的肺結節樣本，才能實現對新樣本的診斷和識別，而在肺癌診斷方面，由于患者個體差異，一般并不能完全保證所取樣本的全面性。

根據2016年國家科技部“精準醫學研究”重點專項項目研發計劃[35]以及《2018年醫療人工智能技術與應用白皮書》，再結合目前醫療改革趨勢可知，在醫學影像學領域，不僅僅是在肺結節診斷識別中，深度學習在很多領域的應用將更加深入;并且，隨著深度學習方法的日趨完善，采用遷移學習及弱監督學習[36-38]， 有效結合無監督預訓練和監督學習的優點進行肺結節診斷識別，可充分利用大量未標注數據以保證樣本的全面性。可以預測，采用深度學習方法實現肺結節的輔助臨床診斷識別將成為現實。

參考文獻：

[1] 周清華，范亞光，王穎，等. 中國肺癌低劑量螺旋CT篩查指南（2018 年版）[J]. ?Chinese Journal of Lung Cancer，2018，21（2）：67.

[2] NETTO S M B， SILVA A C， NUNES R A， et al. Automatic segmentation of lung nodules with growing neural gas and support vector machine[J]. Computers in biology and medicine，2012， 42（11）： 1110-1121.

[3] 鄭光遠，劉峽壁，韓光輝. 醫學影像計算機輔助檢測與診斷系統綜述[J]. 軟件學報， 2018， 29（5）： 1471-1514.

[4] 聶貞慧，劉麗東，蘇丹柯. 基于深度學習的X線診斷乳腺癌研究進展[J]. 中國醫學影像技術，2019，35（5）： 774-777.

[5] 陳詩慧，劉維湘，秦璟，等. 基于深度學習和醫學圖像的癌癥計算機輔助診斷研究進展[J]. 生物醫學工程學雜志，2017，34（2）：314-319.

[6] KOMMRUSCH S，POUCHET L N. Synthetic lung nodule 3D image generation using autoencoders[J]. ?arXiv preprint arXiv：1811.07999， 2018.

[7] AFFONSO C，ROSSI A L D，VIEIRA F H A，et al. Deep learning for biological image classification[J]. Expert Systems with Applications，2017，85：114-122.

[8] 劉飛，張俊然，楊豪. 基于深度學習的醫學圖像識別研究進展[J]. 中國生物醫學工程學報， 2018，37（1）：86-94.

[9] 蕭毅，夏晨，張榮國，等. 人工智能技術在醫學影像中的應用討論[J]. 第二軍醫大學學報， 2018，39（8）：813-818.

[10] SERJ M F，LAVI B，HOFF G，et al. A deep convolutional neural network for lung cancer diagnostic[J]. arXiv Preprint arXiv：1804. 08170， 2018.

[11] LASHARI S A， IBRAHIM R. A framework for medical images classification using soft set[J]. Procedia Technology，2013，11：548-556.

[12] LITJENS G，KOOI T，BEJNORDI B E，et al. A survey on deep learning in medical image analysis[J]. Medical Image Analysis，2017，42：60-88.

[13] LUNDERVOLD A S， LUNDERVOLD A. An overview of deep learning in medical imaging focusing on MRI[J]. Zeitschrift für Medizinische Physik，2019，29（2）：102-127.

[14] KURUVILLA J，GUNAVATHI K. Lung cancer classification using neural networks for CT images[J]. Computer Methods and Programs in Biomedicine，2014，113（1）：202-209.

[15] LECUN Y，BENGIO Y，HINTON G. Deep learning[J]. Nature，2015，521（7553）：436.

[16] SCHMIDHUBER J. Deep learning in neural networks： An overview[J]. Neural networks， 2015，61：85-117.

[17] HINTON G E，SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science，2006，313（5786）：504-507.

[18] ACKLEY D H，HINTON G E，SEJNOWSKI T J. A learning algorithm for boltzmann machines[J].Cognitive Science，1985，9（1）：147-169.

[19] HINTON G E，OSINDERO S，TEH Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation，2006，18（7）：1527-1554.

[20] LAI M.Deep learning for medical image segmentation[DB/OL]. arXiv Preprint arXiv：1505.02000， 2015.

[21] LAI Z F，DENG H F.Medical image classification based on deep features extracted by deep model and statistic feature fusion with multilayer perceptron[J]. Computational Intelligence and Neuroscience，2018.

[22] CAUSEY J L，ZHANG J，MA S，et al. Highly accurate model for prediction of lung nodule malignancy with CT scans[R]. Scientific Reports，2018-06-18.

[23] DE BRUIJNE M. Machine learning approaches in medical image analysis： From detection to diagnosis[J]. Medical Image Analysis，2016，33（11）：94-97.

[24] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet classification with deep convolutional neural networks[C]. Advances in Neural Information Processing Systems，2012：1097-1105.

[25] FROZ B R，DE CARVALHO FILHO A O，SILVA A C， et al. Lung nodule classification using artificial crawlers， directional texture and support vector machine[J]. Expert Systems with Applications，2017，69：176-188.

[26] 楊佳玲，趙涓涓，強彥，等. 基于深度信念網絡的肺結節良惡性分類[J]. 科學技術與工程，2016（32）：69-74.

[27] JACOBS C，VAN RIKXOORT E M，TWELLMANN T，et al. Automatic detection of subsolid pulmonary nodules in thoracic computed tomography images[J]. Medical Image Analysis，2014，18（2）：374-384.

[28] SONG Q Z，ZHAO L，LUO X K，et al. Using deep learning for classification of lung nodules on computed tomography images[J]. Journal of Healthcare Engineering，2017（8）：1-7.

[29] SHEN W，ZHOU M，YANG F，et al. Multi-crop convolutional neural networks for lung nodule malignancy suspiciousness classification[J]. ?Pattern Recognition，2017，61： 663-673.

[30] DEY R，LU Z，HONG Y.D iagnostic classification of lung nodules using 3D neural networks[C]. 2018 IEEE 15th International Symposium on Biomedical Imaging，2018：774-778.

[31] 苗光，李朝鋒. 二維和三維卷積神經網絡相結合的CT圖像肺結節檢測方法[J]. 激光與光電子學進展，2018，55（5）：051006.

[32] ALOM M Z，HASAN M，YAKOPCIC C，et al. Recurrent residual convolutional neural network based on u-net （R2U-net） for medical image segmentation[DB/OL]. https：//arxiv.org/ftp/arxiv/papers/1802/1802.06955.pdf.

[33] RAZZAK M I，NAZ S， ZAIB A. Classification in BioApps：deep learning for medical image processing： overview， challenges and the future[M]. Heidelberg： Springer，2018.

[34] 竇瑞欣. 深度學習算法在醫學影像學中的應用及研究進展[J]. 中國醫學計算機成像雜志， 2018，24（5）： 369-372.

[35] 田娟秀，劉國才，谷珊珊，等. 醫學圖像分析深度學習方法研究與挑戰[J]. 自動化學報， 2018，44（3）：401-424.

[36] TAJBAKHSH N，SHIN J Y，GURUDU S R，et al. Convolutional neural networks for medical image analysis： full training or fine tuning[J]. IEEE transactions on medical imaging，2016，35（5）：1299-1312.

[37] KIM H E，HWANG S. Deconvolutional feature stacking for weakly-supervised semantic segmentation[DB/OL]. https：//arxiv.org/pdf/1602.04984.pdf.

[38] SHIN H C，ROTH H R，GAO M，et al.Deep convolutional neural networks for computer-aided detection： CNN architectures， dataset characteristics and transfer learning[J]. IEEE Transactions on Medical Imaging，2016，35（5）： 1285-1298.

（責任編輯：孫 娟）