基于深度學習的肺部醫學圖像分析研究進展

劉銳，何先波

(1.西華師范大學計算機學院；2.川北醫學院基礎醫學院，四川 南充 637000)

據2018年《CA》雜志發表的全球癌癥報告顯示，全球發病率和致死率第一的癌癥依然是肺癌，每年有18.4%的癌癥患者死于肺癌，遠高于其后的結腸直腸癌(9.2%)、胃癌(8.2%)和肝癌(8.2%)等[1]。早期肺癌癥狀很容易被患者忽視，通常很不明顯甚至沒有癥狀，一旦患者出現咳嗽長期不愈并且伴隨咳血等癥狀時，表明肺癌大多已經出現轉移并進入中晚期，此時病理特征復雜，惡化速度快，已經錯過了最佳治療時機[2]。

肺癌篩查和檢測的方式主要可分為兩類：一種是通過穿刺獲取組織進行篩查，雖然組織學檢測對肺癌的檢測率非常的高，然而這種方式需要進行皮肺穿刺，對患者會造成不確定的創傷甚至于肺部感染，所以往往作為最后的檢查手段；另一種是利用醫學影像技術檢測，醫學圖像作為智慧醫療的重要媒介，在醫學領域中的作用越來越明顯。在醫學上，早期肺癌主要的表現形式為肺結節，對于肺結節的檢測，臨床上大多依賴醫學影像技術對患者進行初步診斷，諸如X線成像、計算機斷層掃描成像(computed tomography，CT)、錐形束CT、磁共振成像(magnetic resonance imaging，MRI)、正電子發射斷層成像(positron emission tomography，PET)等。其中，CT成像技術是當前普遍采用的最高效、最直接的肺結節檢測醫學影像學方式，因其檢查方便且可以清晰地顯示體內任何器官組織的結構，成為醫生診斷肺部病灶的重要工具。

目前，臨床上的肺部腫瘤醫學影像診斷方式主要還是人工閱片，然而由于肺部腫瘤的多模態影像和各階段診斷報告等圖像數據呈爆炸式增長[3]，海量數據加重了醫生的工作量，縱使閱片經驗豐富的熟練醫生也很難保證完全準確的判斷，容易因為人眼疲勞導致漏診和誤診。隨著人工智能的快速發展，深度學習在計算機視覺領域的巨大成功，對于解決醫學領域的諸多應用性困難提供了可能性。深度學習是一種通過使用神經網絡的表征學習能力來尋找最佳特征表示及其組合的方法，較之淺層學習具有更強的特征學習能力，結合醫學影像學可以輔助醫生進行準確、高效地診斷，對于肺癌的診斷有著重要的研究意義和應用價值[4]。本文介紹了深度學習及其在醫學圖像處理領域的研究進展，尤其對肺部腫瘤圖像方面的應用研究現狀做了重點介紹，最后總結了深度學習在醫學圖像分析中面臨的主要問題并對應用前景進行了展望。

1 深度學習

1.1 深度學習概述

深度學習作為機器學習領域的一個重要分支，其概念的提出最初是由Hinton等人通過對人工神經網絡的研究發表于2006年的《Science》雜志中[5]。目的是通過多層網絡結構來模擬人腦神經元的數據處理特性。較之于傳統的機器學習方法，深度學習是更加優異的圖像特征表示方法，可以同時在一個模型結構里進行學習和分類，因此我們可以直接輸入原始圖像進行訓練和預測學習并且可以取得一個不錯的結果。如今，深度學習作為機器學習中的佼佼者，在序列預測、語音識別、計算機視覺和圖像處理等多個領域取得優異的成績，其主要原因是：計算機運算能力大幅度的增長；以NVIDIA公司為代表的廠家推出更高性能的陣列GPU集群，正是高性能GPU的廣泛使用為深度學習提供了硬件支持；隨著人工智能理論知識體系的不斷完善以及數據采集方法的提高，使深度學習可以采用分層式的方式通過更加高效的計算單元完成快速有效的特征學習和預測回歸。深度學習采用訓練大規模數據集的方式搭建擁有多個隱含層的自動學習網絡模型，通過自動學習讓每層得到有用的特征，繼而提取得到逐層數據特征，獲取低維、稀疏和更高層的特征，在醫學圖像處理方面具有明顯的優勢。深度學習模型結構主要分為三類，即生成性深度結構，區分性深度結構以及混合型結構[6]。常用的模型結構主要有自動編碼器(auto encoder，AE)、深度玻爾茲曼機(deep boltzmann machine，DBM)、限制玻爾茲曼機(restricted boltzmann machine，RBM)、深度信念網絡(deep belief networks，DBN)、循環神經網絡(recurrent neural network，RNN)、卷積神經網絡(convolutional neural networks，CNN)等[7]。

1.2 深度學習框架介紹

深度學習技術的不斷突破，除了眾多學術界的專家在理論方面的貢獻之外，工業界也作出了巨大貢獻，出現了許多開源的深度學習框架可用于快速搭建神經網絡模型并可直接運用到實際系統中。接下來介紹幾個目前流行的開源框架的設計思路和優點。

(1)Caffe框架

Caffe(convolution architecture for feature extraction)是由加州大學伯克利分校視覺和學習中心(berkeley vision and learning center，BVLC)開發的基于C++/CUDA/Python架構實現的卷積神經網絡框架，其創建者是賈揚清博士。Caffe以前饋卷積神經網絡架構(如CNN)為基礎，提供了面向命令行、Matlab和Python等眾多接口。最大的特點是適合做特征提取，并且能夠在CPU和GPU之間快速切換，支持GPU加速以更快的實現CNN的學習過程。2017年4月18日，Facebook根據BSD許可協議開源出Caffe的升級版Caffe2，鑒于其更加全面的特性，預期未來可能超越Caffe成為更受追捧的深度學習框架。

(2)MxNet框架

MxNet的開發者來自分布式機器學習社區(distributed machine learning community，DMLC)，是一個面向效率和靈活性設計的深度學習框架，被亞馬遜云計算服務平臺(AWS)官方所推薦。MxNet是各個框架中最先能夠支持多GPU和分布式訓練的框架。MxNet基本支持所有的主流腳本語言的綁定，比如C++、Python、R、Julia、MATLAB和JavaScript等。

(3)TensorFlow框架

TensorFlow是相對高階的基于Python開發的開源深度學習庫，由Google Brain基于第一代深度學習架構DistBelief開發，用戶可以簡便快捷的使用它設計神經網絡模型。TensorFlow支持自動求導，核心代碼是用C++編寫并且降低了線上配置的復雜度，能夠支持異構設備的分布式計算，可以部署在包括智能手機、PDA、電腦、服務器等多種設備上自動運行算法，具有極佳的靈活性、輕便性和高效性。TensorFlow使用數據流圖集成了目前深度學習中最流行的單元，除了支持圖像識別、語音識別、自然語言處理等領域諸如CNN、RNN和LSTM算法的常用神經網絡模型結構外，還支持深度強化學習，比如求解高維偏微分方程，并且依然在不斷的快速更新。

(4)Keras框架

Keras是采用純Python語言開發的極簡和高度模塊化開源神經網絡庫。旨在支持深度神經網絡的快速實驗而生，能夠在TensorFlow、Theano、CNTK和MxNet上運行。Keras提供了目前最方便的API接口，用戶組合多種高級模塊就能夠快速簡便的進行神經網絡模型的設計，非常容易入門。Keras同時支持CNN和RNN，支持多輸入和多輸出結構，具有高靈活性、高簡潔性、易理解性等特點。Keras可以從CPU計算到GPU加速之間無縫地切換，常以TensorFlow和Theano作為后端，因此可以直接通過此兩種框架持續開發所帶來的性能提升，將性能損失降低到最小，而且往往只需要極少數的代碼就能實現其他任何框架大量代碼才能實現的任務，對于新模塊的添加非常便捷，非常適合前沿研究。

2 醫學圖像分析研究現狀分析

2.1 醫學圖像分割研究進展

2015年，研究提出了一種利用少量的醫學圖像直接進行端到端訓練的全卷積神經網絡模型，用于軸向切片上的候選選擇，大幅度刷新了之前機器學習模型保持的記錄，在當年的醫學圖像分割的比賽中取得了優異的成績，此模型即為醫學圖像分割中最著名的模型U-net[8]。元昌安等[9]基于K均值和新的核函數的方法改進RSF模型，通過此模型對進行圖像分割處理，與原算法相比，實驗結果顯示改進后的算法在具有更快執行速度的情況下對分割精度提高了40%。Carneiro等[10]將深度學習技術和基于導數的檢索方法相結合，分割心臟超聲圖像的左心室，結合動態模型與深度神經網絡對左心室心內膜超聲數據進行跟蹤，使結果更加的精確。Zhao等[11]提出了一種結合CT圖像的灰度信息的肺實質的分割算法，基于傳統的區域生長法采用四角旋轉的方法分割了圖像。Jia等[12]提出了一種利用主動輪廓模型來分割肺結節的方法，將肺部醫學圖像的局部灰度平均值和邊緣能量結合了起來。Zhang等[13]基于三維深度卷積神經網絡對醫學圖像進行特征提取，明顯提升了對MRI腦腫瘤(嬰兒)、膝關節軟骨和前列腺組織的分割結果。

2.2 病灶圖像識別研究進展

Wu等[14]利用超聲造影的良惡性結果基于深度學習對肝臟局灶性病變進行分類。Jia等[15]通過稀疏自編碼器對肺結節的良性和惡性進行識別。Song等[16]提出了基于二維卷積神經網絡(2D CNN)直接訓練橫切面圖像的結節檢測方法。Shin等[17]采用稀疏自編碼器將動態對比增強磁共振成像(DCE-MRI)的組織類型進行了全自動分類。Donahue等[18]采用ImageNet訓練100多萬張自然圖像得到的卷積神經網絡模型DeCAF中提取出中高維特征進行目標識別、情景分析和圖像分類都取得了優異的結果。

2.3 計算機輔助診斷研究進展

Suk等[19]利用深度玻爾茲曼機在多模態醫學圖像中挖掘高維特征，對阿爾茨海默病和輕度認知功能障礙的診斷準確率高達95.35%與85.67%。Burlina等[20]基于深度卷積神經網絡結合超聲檢查圖像對80例受試者的肌肉全自動分類，以此診斷肌炎。Dou等[21]提出了一種直接對三維的原始數據進行訓練的卷積神經網絡模型檢測人體大腦微出血狀況，獲取到大量有用的高維特征，敏感度達到了93.16%。金林鵬等[22]提出了一種導聯卷積神經網絡，以多導聯心電圖獨特的二維結構進行識別，準確率達到了83.66%。

3 深度學習在肺部腫瘤診斷中的應用

肺癌的早期篩查對于患者的及早治療意義重大，肺癌的主要早期表征是肺結節，由于其體積或半徑極小，一般為不規則的類圓白亮結構(圖1)，在CT影像中很難被分辨出來，大大增加了漏診的幾率[23]；通常按照肺部病變形態學和患者的實際感受來區分良性和惡性結節，惡性肺結節邊緣具有毛刺且多為不光滑形態[24]，放射科醫生往往是根據自己的經驗界定肺結節的良惡性，這種情況下會導致診斷結果的客觀性不足，由此產生的假陰性結果會使患者錯過治療的最好時機,與此同時，通常假陽性疑似患者要利用組織學等臨床手段排除,這會給患者增添痛苦甚至增加病情惡化的風險，且費用較昂貴。為了幫助醫生和患者解決這些問題，基于深度學習結合醫學影像學進行肺結節檢測識別變得尤為重要。Sun等[25]基于癌癥圖像數據庫集合(lung image database consortium，LIDC)結合深度學習算法進行了肺結節計算機輔助診斷研究，使用到的深度學習算法有三種，即為堆疊去噪自編碼(SDAE)、深度信念網絡(DBN)和卷積神經網絡(CNN)，與傳統的計算機輔助診斷系統的準確率(0.794 0)對比發現，SADE的準確率為0.792 9，CNN的準確率為0.797 6，DBN的準確率為0.811 9，CNN與DBN的準確率略高。目前，肺部病變利用計算機輔助診斷檢測主要有兩個步驟：第一個是通過肺部感興趣區域的分割提取大量疑似病變組織，在盡量不考慮假陽性的前提下篩查出真結節，降低漏診率；第二個是通過良惡性判斷，提取有效特征，對感興趣區域進行良惡性分類從而去除假陽性，提高準確率。

常見的疑似結節提取方法主要有模板法、形態學法、遺傳算法、閾值法、聚類法、以及其他神經網絡算法等，關鍵技術主要包括：圖像增強、圖像ROI分割、提取多維度特征。在對肺部病變組織進行檢測識別時，為了初步定位病灶區域，先要對肺實質進行分割，接著對比分析提取出的灰度、形狀、紋理、對比度等不同特征，確定疑似病灶，達到檢測肺部腫瘤的目的。

基于肺部醫學圖像的計算機輔助診斷系統進行良惡性判斷涉及到的關鍵技術在于模型設計和疾病分類，候選結節的分類作為肺結節檢測的熱點，常用分類器通常分為基于規則的分類器和基于模式識別的分類器，如決策樹、隨機森林、神經網絡、支持向量機等。近些年來，隨著深度學習技術的不斷進步，神經網絡算法越來越多的被用于肺部病變計算機輔助診斷系統中。王克全等[26]將模糊神經網絡輔助診斷介入到肺部腫瘤CT圖像的診斷中，實驗結果顯示與病理結果相比該方法對于肺部腫瘤的診斷結果相差不大；Yoshida[27]利用肺區左右對稱的原理用以降低肋骨結構對肺結節檢測的影響，達到降低假陽性的目的。Suzuki等[28]提出了一種大規模人工神經網絡圖像處理技術，直接輸入胸片的感興趣區域，該技術可有效解決胸片上肋骨和鎖骨遮擋肺結節而影響檢測的問題，降低假陽性，提升了準確率。Weng等[29]首先預訓練深度神經網絡，輸入相干反斯托克斯拉曼散射圖像再次訓練模型，對于肺部圖像正常、小細胞癌、腺癌和鱗狀細胞癌的分類，準確率達到89.2%。

4 總結與展望

隨著大數據時代的來臨，深度學習應運而生，憑借著優異的圖像處理能力，已經出現了可用于臨床上的肺部腫瘤計算機輔助診斷系統，并且具有一定的輔助診斷意義，可是最大的問題依然是如何降低假陽性，減少人工干預實現真正的智能化檢測。同時由于肺結節計算機輔助診斷研究需要大規模的帶醫生標注信息的數據集作為基礎，反而使之成為了制約系統功能進一步增強的因素。因為大規模帶有醫生標注信息的醫學圖像數據集很難獲取，這需要耗費大量的人力、物力才能實現普及標準化的醫學圖像數據集。所以如何使深度學習可以通過小樣本的學習準確預測病變組織，取得不弱于使用大規模數據集訓練后的結果，是未來可以研究的方向。同時對抗學習方式的出現也為我們提供了一個解決思路，如果可以通過對抗網絡(GAN)生成具有實際意義的病變組織數據集，以此擴大原有的醫學影像數據集，就可以產生大量帶有金標準的醫學影像數據。此外，在國家進一步的醫療改革的大背景下，醫療大數據中心的建立使得含有大量自然語言描述的電子病歷和診斷報告都可作為醫學圖像數據的補充，基于計算機視覺領域中的先進方法對于醫學圖像處理、計算機輔助診斷等領域可以預見到會有巨大的幫助。隨著深度學習技術的改進和完善，計算能力和硬件性能的不斷提高，在這個有標記醫學圖像大數據時代中，深度學習在醫學圖像分析中具有廣闊的應用前景。