醫(yī)學(xué)圖像分析深度學(xué)習(xí)方法研究與挑戰(zhàn)

田娟秀　劉國(guó)才　谷珊珊　鞠忠建　劉勁光　顧冬冬

生物醫(yī)學(xué)影像已成為疾病診斷和治療中不可或缺的組成部分,且日益重要.核磁共振成像(Magnetic resonance image,MRI)、正電子發(fā)射斷層掃描(Positron emission tomography,PET)、計(jì)算機(jī)斷層掃描(Computer tomography,CT)、錐形束CT、3D超聲成像等醫(yī)學(xué)影像技術(shù)目前已廣泛應(yīng)用于臨床檢查、診斷、治療與決策.如何充分利用人工智能深度學(xué)習(xí)方法分析處理這些超大規(guī)模的醫(yī)學(xué)圖像大數(shù)據(jù),為臨床醫(yī)學(xué)中各種重大疾病的篩查、診斷、治療計(jì)劃、治療圖像引導(dǎo)、療效評(píng)估和隨訪提供科學(xué)方法和先進(jìn)技術(shù),是當(dāng)前醫(yī)學(xué)圖像分析領(lǐng)域急需解決的重大科學(xué)問(wèn)題和前沿醫(yī)學(xué)影像關(guān)鍵技術(shù)[1].

醫(yī)學(xué)圖像分析最初主要采用邊緣檢測(cè)、紋理特征、形態(tài)學(xué)濾波以及構(gòu)建形狀模型和模板匹配等方法.這類(lèi)分析方法通常針對(duì)特定任務(wù)而設(shè)計(jì),被稱(chēng)為手工定制式設(shè)計(jì)方法.機(jī)器學(xué)習(xí)以數(shù)據(jù)驅(qū)動(dòng)方式分析任務(wù),能自動(dòng)地從特定問(wèn)題的大規(guī)模數(shù)據(jù)集中學(xué)習(xí)相關(guān)模型特征和數(shù)據(jù)特性.與針對(duì)特定問(wèn)題而顯式地手工設(shè)計(jì)模型不同,機(jī)器學(xué)習(xí)方法可直接從數(shù)據(jù)樣本中隱式地自動(dòng)學(xué)習(xí)醫(yī)學(xué)圖像特征,其學(xué)習(xí)過(guò)程本質(zhì)上是一個(gè)優(yōu)化問(wèn)題的求解過(guò)程.通過(guò)學(xué)習(xí),模型從訓(xùn)練數(shù)據(jù)中選擇正確的特征,使分類(lèi)器在測(cè)試新數(shù)據(jù)時(shí)做出正確決策.因此,機(jī)器學(xué)習(xí)在醫(yī)學(xué)圖像分析中起著至關(guān)重要的作用,已經(jīng)成為最有前途的研究領(lǐng)域[2].

深度學(xué)習(xí)(Deep learning,DL)是一種機(jī)器學(xué)習(xí)方法,源于人工神經(jīng)網(wǎng)絡(luò)的研究,其動(dòng)機(jī)在于建立模擬人腦分析理解數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò).1959年,霍普金斯大學(xué)Hubel等通過(guò)觀察貓的腦部視覺(jué)中樞對(duì)視網(wǎng)膜感知圖像的處理方式發(fā)現(xiàn),視神經(jīng)元對(duì)信息處理的方式是分工分層的,不同神經(jīng)元關(guān)注的對(duì)象特征不同,每一層神經(jīng)元抽象出對(duì)象的部分特征進(jìn)行處理,所有信息經(jīng)過(guò)逐層激發(fā),在中樞最高層激發(fā)出整個(gè)對(duì)象認(rèn)知.這一發(fā)現(xiàn)給從事神經(jīng)網(wǎng)絡(luò)研究的計(jì)算機(jī)專(zhuān)家提供了重要的建模思路[3].20世紀(jì)80年代,神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)一步發(fā)展,通過(guò)在只有輸入層和輸出層的網(wǎng)絡(luò)結(jié)構(gòu)中添加中間隱層,使神經(jīng)網(wǎng)絡(luò)可以解決更加復(fù)雜的分類(lèi)問(wèn)題[4].但層數(shù)的增加為各層的神經(jīng)節(jié)點(diǎn)之間的連接權(quán)重選取帶來(lái)困難,反向傳播算法(Back propagation,BP)的出現(xiàn)在一定程度上解決了權(quán)重選取問(wèn)題[5].LeCun等在1989年將BP算法應(yīng)用到前饋多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程,用以識(shí)別手寫(xiě)的郵政編碼[6].隨著層次的加深,多層網(wǎng)絡(luò)會(huì)出現(xiàn)梯度消失問(wèn)題,導(dǎo)致BP算法無(wú)法有效調(diào)整神經(jīng)元連接之間的權(quán)重,學(xué)習(xí)時(shí)間過(guò)長(zhǎng).同時(shí),由于計(jì)算能力這一根本性限制,神經(jīng)網(wǎng)絡(luò)研究一直未能在應(yīng)用領(lǐng)域取得實(shí)質(zhì)性突破.直到2006年前后,Hinton團(tuán)隊(duì)在深度前饋網(wǎng)絡(luò)中采取無(wú)標(biāo)注的數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)預(yù)訓(xùn)練,解決了BP算法梯度消失問(wèn)題.他們先采用非監(jiān)督貪心逐層訓(xùn)練方法,有效降低了觀察對(duì)象的維度,然后用監(jiān)督訓(xùn)練微調(diào)所有網(wǎng)絡(luò)參數(shù).這一算法為解決深層結(jié)構(gòu)相關(guān)優(yōu)化難題帶來(lái)了希望,在圖像目標(biāo)識(shí)別等分類(lèi)預(yù)測(cè)方面取得了突破性進(jìn)展[7?8].LeCun等提出的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks,CNNs)利用空間相對(duì)關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能,是第一個(gè)真正多層結(jié)構(gòu)學(xué)習(xí)算法[9].Graves等提出的長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(Long short-term memory,LSTM)也在圖像手寫(xiě)字識(shí)別和語(yǔ)音識(shí)別方面取得了突破性進(jìn)展[10?12].

自2006年以來(lái),深度學(xué)習(xí)在多個(gè)領(lǐng)域取得了重要突破.在語(yǔ)音識(shí)別方面,微軟研究人員通過(guò)與Hinton等合作,首先將受限玻爾茲曼機(jī)(Restricted boltzmann machine,RBM)和深度信念網(wǎng)絡(luò)(Deep belief network,DBN)引入到語(yǔ)音識(shí)別模型訓(xùn)練中,在大詞匯量語(yǔ)音識(shí)別系統(tǒng)中獲得了巨大成功,使語(yǔ)音識(shí)別錯(cuò)誤率相對(duì)之前降低30%.2012年11月,微軟展示了一個(gè)全自動(dòng)的同聲傳譯系統(tǒng),其支撐的關(guān)鍵技術(shù)就是深度學(xué)習(xí)[13].在圖像分類(lèi)方面,微軟亞洲研究院He等[14]提出了殘差學(xué)習(xí)框架,其最重要的突破在于重構(gòu)了學(xué)習(xí)過(guò)程,重定向了深層神經(jīng)網(wǎng)絡(luò)信息流,從而很好地解決了此前深層神經(jīng)網(wǎng)絡(luò)層數(shù)與準(zhǔn)確度之間的矛盾.在人臉識(shí)別領(lǐng)域,香港中文大學(xué)Sun及其研究團(tuán)隊(duì)研發(fā)的DeepID在使用測(cè)試基準(zhǔn)LFW數(shù)據(jù)庫(kù)上獲得99.15%的人臉識(shí)別率[15].2015年,DeepMind團(tuán)隊(duì)在《Nature》雜志上公布了自己的研究成果,通過(guò)深度神經(jīng)網(wǎng)絡(luò)與強(qiáng)化學(xué)習(xí)等方法的結(jié)合,計(jì)算機(jī)能夠通過(guò)自學(xué)成為游戲高手,在一系列復(fù)雜任務(wù)中的性能表現(xiàn)與人類(lèi)相當(dāng)[16].2016年3月,DeepMind開(kāi)發(fā)的AlphaGo程序以4∶1擊敗韓國(guó)圍棋冠軍李世石,成為近年來(lái)人工智能領(lǐng)域新的里程碑.2017年5月,AlphaGo在中國(guó)以3∶0擊敗世界圍棋冠軍柯潔,再次證明了其強(qiáng)大的學(xué)習(xí)、分析、決策能力.DeepMind團(tuán)隊(duì)自2016年起關(guān)注醫(yī)療領(lǐng)域,試圖將人工智能技術(shù)應(yīng)用于醫(yī)療行業(yè).DeepMind Health開(kāi)發(fā)了名為Streams的軟件,幫助臨床醫(yī)生更快地查看醫(yī)療結(jié)果,只需幾秒鐘時(shí)間就能查看急性腎臟損傷風(fēng)險(xiǎn)病人的驗(yàn)血結(jié)果,優(yōu)化病人的治療方案[17].

近年來(lái),深度學(xué)習(xí)不斷取得重大進(jìn)展,主要得益于不斷提高的計(jì)算能力和持續(xù)增長(zhǎng)的可用數(shù)據(jù)量,以及深度學(xué)習(xí)模型及其算法的不斷改進(jìn).其實(shí)質(zhì)是通過(guò)構(gòu)建多隱層的機(jī)器學(xué)習(xí)模型,利用海量的樣本數(shù)據(jù)訓(xùn)練,學(xué)習(xí)更精準(zhǔn)的特征,最終提高分類(lèi)或預(yù)測(cè)的準(zhǔn)確性[18].深度學(xué)習(xí)這種從數(shù)據(jù)中學(xué)習(xí)層次特征的特點(diǎn),使得它非常適合發(fā)現(xiàn)高維數(shù)據(jù)中的復(fù)雜結(jié)構(gòu)[19],已經(jīng)應(yīng)用到語(yǔ)音識(shí)別[13]、自然語(yǔ)言處理[20]、人臉識(shí)別[15,21]、目標(biāo)檢測(cè)[22]等領(lǐng)域和各種挑戰(zhàn)賽中[23?25],取得了破紀(jì)錄的好成績(jī).有關(guān)深度學(xué)習(xí)的更詳細(xì)發(fā)展歷程和非醫(yī)學(xué)圖像分析領(lǐng)域的應(yīng)用進(jìn)展,讀者可參閱2015年由LeCun等聯(lián)名撰寫(xiě)的綜述[19]、Schmidhuber撰寫(xiě)的綜述[26]、Goodfellow 等撰寫(xiě)的專(zhuān)著[27]以及最近發(fā)表的中文綜述[28?30].

深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的巨大成功,激發(fā)了國(guó)內(nèi)外許多學(xué)者將其應(yīng)用于醫(yī)療圖像分析.哈佛大學(xué)醫(yī)學(xué)院Wells教授在其綜述中指出應(yīng)用深度學(xué)習(xí)解決醫(yī)學(xué)圖像分析任務(wù)是本領(lǐng)域的發(fā)展趨勢(shì)[31].2016年來(lái),已有多位專(zhuān)家對(duì)深度學(xué)習(xí)在醫(yī)學(xué)圖像分析中的研究現(xiàn)狀及問(wèn)題進(jìn)行了總結(jié)、評(píng)述和討論[32?36].最近,Medical Image Analysis上發(fā)表的綜述對(duì)深度學(xué)習(xí)在醫(yī)學(xué)圖像分類(lèi)、檢測(cè)和分割、配準(zhǔn)和檢索等方面的研究進(jìn)行了較全面的歸納總結(jié)[37].

本文根據(jù)我們課題組近3年來(lái)收集、整理的文獻(xiàn)資料和國(guó)家自然科學(xué)基金項(xiàng)目研究工作,聚焦于綜述深度學(xué)習(xí)在醫(yī)學(xué)圖像分析應(yīng)用領(lǐng)域的研究現(xiàn)狀和挑戰(zhàn).首先,簡(jiǎn)述醫(yī)學(xué)圖像分析特點(diǎn).其次,論述深度學(xué)習(xí)方法自動(dòng)提取多層次特征的基本原理;然后,重點(diǎn)論述計(jì)算機(jī)視覺(jué)和醫(yī)學(xué)圖像分析中深度CNN分類(lèi)、分割框架;系統(tǒng)梳理深度學(xué)習(xí)在醫(yī)學(xué)圖像分析各個(gè)應(yīng)用領(lǐng)域的國(guó)內(nèi)外研究現(xiàn)狀;最后,總結(jié)深度學(xué)習(xí)方法應(yīng)用于醫(yī)學(xué)圖像分析時(shí)面臨的挑戰(zhàn)與應(yīng)對(duì)策略,而且對(duì)開(kāi)放的醫(yī)學(xué)圖像分析深度學(xué)習(xí)研究方向進(jìn)行展望.

1　醫(yī)學(xué)圖像分析特點(diǎn)

醫(yī)學(xué)圖像分析已廣泛應(yīng)用于良惡性腫瘤、腦功能與精神障礙、心腦血管疾病等重大疾病的臨床輔助篩查、診斷、分級(jí)、治療決策與引導(dǎo)、療效評(píng)估等方面.醫(yī)學(xué)圖像分類(lèi)與識(shí)別、定位與檢測(cè)、組織器官與病灶分割是當(dāng)前醫(yī)學(xué)圖像分析深度學(xué)習(xí)方法研究主要應(yīng)用領(lǐng)域.不同成像原理的醫(yī)學(xué)圖像分析和計(jì)算機(jī)視覺(jué)領(lǐng)域中的自然圖像分析存在較大的差別.至今為止,國(guó)內(nèi)外學(xué)者主要針對(duì)MRI、CT、X射線、超聲、PET、病理光學(xué)顯微鏡等不同成像原理的醫(yī)學(xué)圖像分析任務(wù)開(kāi)展了一系列的深度學(xué)習(xí)研究工作,因此,本節(jié)主要概述這幾種醫(yī)學(xué)圖像及其主要分析任務(wù).

1.1　常用醫(yī)學(xué)圖像特點(diǎn)

1)X射線圖像:自德國(guó)物理學(xué)家倫琴于1895年發(fā)現(xiàn)X射線以來(lái),X射線圖像用于臨床診斷已有100多年的歷史.醫(yī)學(xué)X射線圖像是人體不同組織器官和病灶的電子密度度量影像.基于X射線的成像包括2D的計(jì)算機(jī)放射成像、數(shù)字化X射線攝影術(shù)、數(shù)字減影血管造影術(shù)和乳房X線攝影術(shù),以及3D的螺旋計(jì)算機(jī)斷層掃描術(shù)等,已廣泛地應(yīng)用于骨科[38?39]、肺部、乳腺和心血管[40]等臨床疾病檢測(cè)和輔助診斷,但2Dx射線圖像不能提供人體組織器官和病灶的三維立體信息,2Dx射線圖像中各組織器官和病灶信息重疊,自動(dòng)識(shí)別比較困難.

2)CT圖像:計(jì)算機(jī)斷層掃描(CT)利用精確準(zhǔn)直的X射線束對(duì)人體某部位一定厚度的斷面進(jìn)行照射掃描,并由與射線線束一起旋轉(zhuǎn)的探測(cè)器接收透射穿過(guò)該斷面的X射線,最后,計(jì)算機(jī)根據(jù)探測(cè)器接收到的X射線信號(hào)數(shù)據(jù)重建相應(yīng)人體斷面的3D圖像.CT圖像具有亞毫米級(jí)的空間分辨率,能夠提供清晰的人體骨性組織解剖結(jié)構(gòu)和病灶影像,已廣泛應(yīng)用于多種臨床疾病檢查和輔助診斷.CT圖像還能提供腫瘤放療計(jì)劃劑量計(jì)算所必需的組織和病灶電子密度信息,能夠?yàn)槟[瘤放療提供更準(zhǔn)確的靶區(qū)和危及器官定位和邊界信息,是腫瘤臨床放療的基本圖像[41].但CT圖像不能提供清晰的軟組織和病灶影像,因此,高精度的軟組織器官和腫瘤CT圖像分類(lèi)識(shí)別、檢測(cè)、定位和分割非常困難.

3)MRI圖像:核磁共振圖像(MRI)是人體組織器官和病灶中的氫原子核在外部強(qiáng)磁場(chǎng)作用下產(chǎn)生的磁共振信號(hào)大小的度量,并通過(guò)計(jì)算機(jī)對(duì)體外核磁共振信號(hào)探測(cè)器接收到的信息數(shù)據(jù)進(jìn)行3D圖像重建.MRI具有亞毫米級(jí)的空間分辨率,能夠提供非常清晰的人體軟組織解剖結(jié)構(gòu)和病灶影像.功能核磁共振圖像(Functional MRI,fMRI)和各種增強(qiáng)劑顯像MRI可提供組織生理、病理和生物化學(xué)信息.動(dòng)態(tài)對(duì)比度增強(qiáng)(Dynamic contrast-enhanced,DCE)MRI具有非侵入方式評(píng)價(jià)整個(gè)腫瘤區(qū)域的能力,已應(yīng)用于腫瘤學(xué)相關(guān)領(lǐng)域[42].特別是將DCE MRI與核磁共振彌散加權(quán)成像(Diffusion-weighted MRI,DW MRI)相結(jié)合,能夠區(qū)分復(fù)雜的頭頸部?jī)?nèi)不同區(qū)域的腫瘤[43].T1W、T2W、DCE、fMRI、DWI、磁共振血管成像、磁共振波譜成像等多種MRI影像增強(qiáng)技術(shù)使MRI比CT能更好地可視化、更精確地定位和區(qū)分腫瘤和正常軟組織器官.但MRI一般不能提供骨性組織解剖結(jié)構(gòu)影像,組織器官之間的空隙容易導(dǎo)致偽影,且難以避免和校正.外部磁場(chǎng)的變化也會(huì)產(chǎn)生難以校正的偽影.各種不同的成像序列使MRI圖像的自動(dòng)分析更加復(fù)雜和困難.

4)PET圖像:正電子發(fā)射斷層掃描(PET)利用F18等放射性元素標(biāo)記的示蹤劑(如F18脫氧葡萄糖)衰變時(shí)發(fā)射的正電子信息成像,因此,PET圖像是相應(yīng)示蹤劑放射性活度的度量,能提供腫瘤生物學(xué)特性(如葡萄糖代謝、乏氧、增殖等)信息,其標(biāo)準(zhǔn)攝入值大小可用于臨床輔助判別腫瘤良、惡性[44].PET能提供比CT、MRI更直觀、更精確的可視化生物學(xué)與放射(抗輻射)生物學(xué)特性信息,目前已廣泛用于惡性腫瘤臨床診斷與轉(zhuǎn)移檢查、放療靶區(qū)定位與勾畫(huà)和腫瘤生物調(diào)強(qiáng)放療計(jì)劃設(shè)計(jì)評(píng)估.PET圖像還常用于心、腦功能與疾病的輔助診斷與評(píng)估.然而,PET圖像通常缺乏組織器官的解剖結(jié)構(gòu)影像,而且目前臨床PET系統(tǒng)的空間分辨率遠(yuǎn)低于CT和MRI系統(tǒng),一般只有3～5毫米,部分容器效應(yīng)大、噪聲強(qiáng),因此,PET圖像自動(dòng)分析更具挑戰(zhàn)性.

5)超聲成像:利用超聲束掃描人體,通過(guò)對(duì)反射信號(hào)的接收、處理,以獲得體內(nèi)器官的圖像.近年來(lái),超聲成像技術(shù)不斷發(fā)展,出現(xiàn)了3D彩超、超聲全息攝影、體腔內(nèi)超聲成像、彩色多普勒成像及超聲生物顯微鏡等新的超聲成像技術(shù).目前超聲成像應(yīng)用非常廣泛,已成為臨床婦產(chǎn)科、眼科及心血管等部位多種疾病診斷的首選方法,常用來(lái)鑒別胎兒發(fā)育是否正常,判斷內(nèi)臟器官的形態(tài)是否有異常,確定病灶的范圍和物理性質(zhì)[45?46].

6)病理圖像:是指切取一定大小的病變組織,采用蘇木精和曙紅(H＆E)等染色方法將切片組織做成病理玻片,然后用顯微鏡成像技術(shù)對(duì)微觀的細(xì)胞和腺體成像.通過(guò)對(duì)病理圖像進(jìn)行分析,可探討病變產(chǎn)生的原因、發(fā)病機(jī)理、病變的發(fā)生發(fā)展過(guò)程,從而做出病理診斷.最近出現(xiàn)的數(shù)字全掃描儀能夠獲得細(xì)胞核方向,紋理,形狀,結(jié)構(gòu)等腫瘤空間信息,允許對(duì)切片組織形態(tài)進(jìn)行量化分析.而識(shí)別這些量化特征的先決條件是需要檢測(cè)和分割細(xì)胞核和腺體等組織學(xué)基元[32].

目前,臨床醫(yī)學(xué)圖像分析深度學(xué)習(xí)研究對(duì)象并不限于前述6類(lèi)醫(yī)學(xué)圖像,還包括裂隙燈成像[47]、視網(wǎng)膜圖像[48]以及皮膚鏡圖像[49]等.

1.2　主要醫(yī)學(xué)圖像分析任務(wù)

1)醫(yī)學(xué)圖像分類(lèi)與識(shí)別

臨床醫(yī)生常需要借助醫(yī)學(xué)圖像來(lái)輔助診斷人體內(nèi)是否有病灶,并對(duì)病灶的輕重程度進(jìn)行量化分級(jí),因此自動(dòng)識(shí)別圖像中的病灶區(qū)域和正常組織器官是醫(yī)學(xué)圖像分析的基本任務(wù).

2)醫(yī)學(xué)圖像定位與檢測(cè)

人體組織器官解剖結(jié)構(gòu)和病灶區(qū)域的定位是臨床治療計(jì)劃和干預(yù)流程中非常重要的預(yù)處理步驟,定位的精度直接影響治療的效果[37].圖像目標(biāo)定位任務(wù)不僅需要識(shí)別圖像中的特定目標(biāo),而且需要確定其具體的物理位置.圖像目標(biāo)檢測(cè)任務(wù)則需要把圖像中所有目標(biāo)識(shí)別出來(lái),且確定它們的物理位置和類(lèi)別.

3)醫(yī)學(xué)圖像分割任務(wù)

圖像分割是識(shí)別圖像中感興趣的目標(biāo)區(qū)域(如腫瘤)內(nèi)部體素及其外輪廓,它是臨床手術(shù)圖像導(dǎo)航和圖像引導(dǎo)腫瘤放療的關(guān)鍵任務(wù).

復(fù)雜的醫(yī)學(xué)圖像分析任務(wù)常常需要綜合進(jìn)行分類(lèi)、檢測(cè)與分割,如在文獻(xiàn)[50]中,為了進(jìn)行診斷乳房X射線圖像中病灶的良/惡性,先后進(jìn)行了病灶檢測(cè)、病灶分割、病灶分類(lèi).由病理學(xué)圖像分析判斷癌癥嚴(yán)重程度時(shí),需要首先檢測(cè)、分割細(xì)胞核,然后基于分割結(jié)果進(jìn)行特征和統(tǒng)計(jì)分析,最后分類(lèi)得到分級(jí)結(jié)果.

2　深度學(xué)習(xí)模型

本節(jié)論述常用的深度學(xué)習(xí)模型,包括棧式自編碼器(SAE)、深度信念網(wǎng)絡(luò)(DBN)、深度玻爾茲曼機(jī)(DBM)、卷積神經(jīng)網(wǎng)絡(luò)(CNNs)和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN).重點(diǎn)論述如何通過(guò)各種模型從訓(xùn)練樣本數(shù)據(jù)中學(xué)習(xí)多層次的圖像特征.

2.1　無(wú)監(jiān)督特征學(xué)習(xí)模型與網(wǎng)絡(luò)微調(diào)

2.1.1　SAE

自動(dòng)編碼機(jī)(Autoencoder,AE)是特殊的兩層神經(jīng)網(wǎng)絡(luò)[51],如圖1(a)所示,若AE的輸入x=[x1,x2,···,xn]T,隱層h=[h1,h2,···,hm]T,輸出,編碼過(guò)程是從x到h的映射,一般采用非線性激活函數(shù)計(jì)算潛在特征表示:

解碼過(guò)程是從隱層h到輸出x′的映射:

其中,σ(x)=1/(1+exp(?x)),為sigmoid函數(shù).Wx,h是輸入 xx 與隱層h的連接權(quán)值矩陣,而 bx,h為該連接的偏置量.Wh,x′是隱層h與輸出x′的連接權(quán)值矩陣,而bh,x′為此連接的偏置量.權(quán)值矩陣Wx,h,Wh,x′以及偏置量 bx,h,bh,x′通過(guò)求解最小化均方誤差函數(shù)J得到最優(yōu)值:

Wh,x′通常為AE通過(guò)最小化網(wǎng)絡(luò)的輸入和輸出值之間的重建誤差學(xué)習(xí)輸入數(shù)據(jù)的潛在特征或壓縮表示.典型地,m＜n,這樣,數(shù)據(jù)被投影到代表輸入主要潛在結(jié)構(gòu)的低維子空間中,達(dá)到維數(shù)約簡(jiǎn)的效果.

圖1　自動(dòng)編碼機(jī)及棧式自編碼神經(jīng)網(wǎng)絡(luò)Fig.1　Autoencoder and stacked autoencoder

單層AE是簡(jiǎn)單的淺層結(jié)構(gòu),其表示能力非常有限.SAE是由多層AE組成的神經(jīng)網(wǎng)絡(luò),前一層AE的輸出作為其后一層AE的輸入,層與層之間采用全連接形式,如圖1(b)所示.SAE通過(guò)自動(dòng)編碼–解碼網(wǎng)絡(luò)從像素級(jí)數(shù)據(jù)中抽取輸入圖像特征,從而提高模型的表示能力,已廣泛應(yīng)用于維數(shù)約簡(jiǎn)和特征學(xué)習(xí).數(shù)據(jù)樣本不僅是SAE的輸入,同時(shí)還作為SAE的輸出目標(biāo),因而可檢測(cè)SAE中間層學(xué)到的特征是否符合要求.若對(duì)SAE中的各層加以稀疏性約束,可構(gòu)成棧式稀疏自編碼器(Stacked sparsely autoencoder,SSAE),使模型具有一定的抗噪能力,且模型泛化性更好[52?53].當(dāng)輸入向量用SSAE表示時(shí),不同網(wǎng)絡(luò)層表示不同層次的特征,即網(wǎng)絡(luò)的較低層表示簡(jiǎn)單的模式,網(wǎng)絡(luò)的較高層表示輸入向量中更復(fù)雜抽象的本質(zhì)模式.

2.1.2　基于RBM的深度模型

RBM是具有一個(gè)可視層和一個(gè)隱層的無(wú)向圖模型[54].它假設(shè)可視層和隱層之間是對(duì)稱(chēng)連接的,但層內(nèi)結(jié)點(diǎn)之間不存在任何連接.給定輸入向量,可以得到潛在特征表示,反之亦然.因此,RBM是一個(gè)生成模型,可以從訓(xùn)練數(shù)據(jù)分布中采樣生成新數(shù)據(jù).圖2(a)是一個(gè)RBM模型,可視層包含了m個(gè)可視結(jié)點(diǎn)v=[v1,v2,···,vm]T,隱層包含n個(gè)隱藏結(jié)點(diǎn)h=[h1,h2,···,hn]T. 模型參數(shù)θ=(W,b,c),其中,W是一個(gè)m×n的矩陣,表示可視結(jié)點(diǎn)與隱層結(jié)點(diǎn)之間的連接權(quán)值;b=[b1,b2,···,bm]T,是可視層對(duì)應(yīng)的偏置值;c=[c1,c2,···,cn]T,是隱層對(duì)應(yīng)的偏置值.

圖2　受限玻爾茲曼機(jī)RBM及基于RBM的深度網(wǎng)絡(luò)Fig.2Restricted Boltzmann machine(RBM)and deep networks based RBM

若可視層和隱層結(jié)點(diǎn)服從伯努利分布,狀態(tài)(v,h)的能量函數(shù)可定義為

可視結(jié)點(diǎn)與隱層結(jié)點(diǎn)的聯(lián)合分布p(v,h)可由能量函數(shù)E(v,h)給出:

模型的條件概率為

由于連接的對(duì)稱(chēng)性,可從隱層表示生成輸入觀察,因此,RBM本質(zhì)上是一個(gè)AE.模型參數(shù)通過(guò)最大化觀察與輸入的相似性進(jìn)行優(yōu)化,通常采用對(duì)比散度算法(Contrastive divergence,CD)訓(xùn)練[56].RBM有嚴(yán)謹(jǐn)數(shù)學(xué)框架,可以輸出概率,用于解決分類(lèi)問(wèn)題.

將RBM 視作搭建深度網(wǎng)絡(luò)的基本模塊,可以構(gòu)建出兩種常用深度特征學(xué)習(xí)網(wǎng)絡(luò):DBN和DBM.

1)DBN由Hinton等在2006年提出,該模型將多個(gè)RBM堆疊起來(lái),構(gòu)建出深度框架,從而產(chǎn)生單個(gè)概率模型[7?8].DBN包含一個(gè)可視層v和一系列隱層h1,···,hL,靠近可視層的部分隱層使用貝葉斯置信網(wǎng)絡(luò),形成有向生成模型,這些層的概率分布計(jì)算不依賴(lài)于高層,如h1層僅依賴(lài)于可視層v而不需考慮h2層,從而加快了計(jì)算速度.而最上面兩層仍保持RBM無(wú)向生成模型的形式,如圖2(b)[55].

2)DBM也是以層次方式堆疊多個(gè)RBM的深度網(wǎng)絡(luò),與上述DBN不同的是,DBM中所有層保持無(wú)向生成模型的形式.如圖2(c),DBM包含輸入層和L個(gè)隱層[55],且只有相鄰層結(jié)點(diǎn)之間才有連接.DBM中間隱層的條件概率分布計(jì)算同時(shí)利用了其相鄰兩層信息,如DBM 第l隱層(除第1隱層)的條件概率依據(jù)第l+1隱層和第l?1隱層的聯(lián)合信息來(lái)計(jì)算,即p(hl|hl+1,hl?1),使DBM對(duì)有噪輸入具有更加健壯的表示能力.

2.1.3　無(wú)監(jiān)督學(xué)習(xí)與網(wǎng)絡(luò)微調(diào)

從訓(xùn)練角度來(lái)看,前述SAE、DBN和DBM三種深度模型中,SAE通過(guò)重構(gòu)誤差來(lái)進(jìn)行訓(xùn)練,較后兩者更容易學(xué)習(xí),因而常用來(lái)代替RBM構(gòu)建深度結(jié)構(gòu).三者形式上有所不同,但存在相通之處.首先,由于RBM連接的對(duì)稱(chēng)性,可從隱層特征生成輸入觀察,因而,RBM本質(zhì)上是一個(gè)自動(dòng)編碼器.其次,這三種深度模型都是以基本模塊(RBM或AE)逐層堆疊構(gòu)成,通常采用Hinton提出的貪婪逐層訓(xùn)練方法[7?8,55].貪婪層次學(xué)習(xí)的關(guān)鍵思想是每次只預(yù)訓(xùn)練一層網(wǎng)絡(luò),即首先用訓(xùn)練樣本數(shù)據(jù)輸入訓(xùn)練第1隱層的參數(shù),然后用第1隱層的輸出作為第2隱層的輸入,訓(xùn)練第2隱層的參數(shù),以此類(lèi)推,第l層的輸出作為第l+1層的輸入以訓(xùn)練第l+1層參數(shù).這種預(yù)訓(xùn)練技術(shù)以無(wú)監(jiān)督的方式學(xué)習(xí),可利用未標(biāo)記的樣本作為訓(xùn)練數(shù)據(jù)集.最后,它們都是生成模型,當(dāng)它們從數(shù)據(jù)中學(xué)習(xí)特征表示時(shí),并未涉及到與分類(lèi)任務(wù)對(duì)應(yīng)的離散標(biāo)簽值或連續(xù)實(shí)數(shù)目標(biāo)值,因而學(xué)習(xí)到的特征不保證具有區(qū)分性的.為了解決這個(gè)問(wèn)題,通常在非監(jiān)督特征學(xué)習(xí)之后進(jìn)行微調(diào)處理(Fine-tuning).

對(duì)特定的分類(lèi)或回歸任務(wù)而言,將SAE、DBN或DBM的最高隱藏層的輸出(即最高層特征)作為分類(lèi)器的輸入,預(yù)測(cè)輸入的目標(biāo)值,構(gòu)建特征學(xué)習(xí)深層神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型[33].為了微調(diào)深度神經(jīng)網(wǎng)絡(luò)的參數(shù),首先將預(yù)訓(xùn)練得到的各隱層參數(shù)作為有監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的初始值,隨機(jī)初始化最高隱層和輸出層的連接權(quán)值,然后利用標(biāo)簽數(shù)據(jù),以監(jiān)督方式通過(guò)梯度下降和BP算法聯(lián)合訓(xùn)練所有參數(shù),對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整.經(jīng)驗(yàn)證明,通過(guò)預(yù)訓(xùn)練初始化參數(shù)有助于監(jiān)督優(yōu)化,減少陷入局部最優(yōu)的風(fēng)險(xiǎn)[7,57].

這三種深度模型可以學(xué)習(xí)潛在的本質(zhì)特征,從大量無(wú)標(biāo)簽的信息數(shù)據(jù)中學(xué)習(xí)高層次的特征表達(dá),結(jié)合標(biāo)簽數(shù)據(jù)對(duì)模型參數(shù)進(jìn)行微調(diào),從而進(jìn)一步達(dá)到期望的分類(lèi)結(jié)果.同時(shí),這種自底而上的生成結(jié)構(gòu)能夠自頂向下地反饋誤差,可減少網(wǎng)絡(luò)前饋傳遞造成的誤差,更魯棒地處理輸入數(shù)據(jù).但是,它們要求網(wǎng)絡(luò)的輸入通常為向量形式,而對(duì)于醫(yī)學(xué)圖像,像素或體素的鄰域結(jié)構(gòu)信息是一個(gè)重要的信息源,向量化必然會(huì)破壞圖像中的鄰域結(jié)構(gòu)關(guān)系.

2.2　監(jiān)督學(xué)習(xí)模型

2.2.1　CNN

為更好利用空間結(jié)構(gòu)信息,1989年LeCun提出了CNN[6].CNN可接受2D或3D圖像塊作為輸入,適于捕獲視覺(jué)的局部信息.CNN通常由多個(gè)交替出現(xiàn)的卷積層和池化(Pooling)層,以及末端的全連接層構(gòu)成多層次人工神經(jīng)網(wǎng)絡(luò),如圖3所示.其中,卷積層具有固定的輸入大小,感受局部區(qū)域上下文信息,具有權(quán)值共享和下采樣的特點(diǎn),同時(shí)具有一定程度的位移、尺度和形變不變性,大大減少了模型的自由度[6,9].

圖3　卷積神經(jīng)網(wǎng)絡(luò)框架[9]Fig.3Architecture of convolutional neural network[9]

與傳統(tǒng)固定卷積算子不同的是,卷積層的卷積核通過(guò)學(xué)習(xí)得到.卷積層通常采用多個(gè)卷積核,用于提取多個(gè)特征映射.設(shè)學(xué)習(xí)核表示第l?1層的特征映射i與第l層特征映射j之間的連接權(quán)值,卷積層的作用是利用核在輸入不同位置檢測(cè)局部特征.

其中,?表示卷積操作,是偏置值,f(·)是非線性激活函數(shù).具體來(lái)說(shuō),卷積層l中第j個(gè)特征映射依據(jù)其鄰接較低l?1層的特征映射來(lái)計(jì)算,Ml?1表示第l?1層的特征映射數(shù)目.

池化層在卷積層之后,對(duì)卷積層的特征映射進(jìn)行子采樣.具體來(lái)說(shuō),池化層特征映射中的每個(gè)結(jié)點(diǎn)特征值是基于對(duì)應(yīng)卷積特征映射的局部感受野計(jì)算,在感受野結(jié)點(diǎn)范圍內(nèi)找到一個(gè)代表值,如最大值或平均值.通常,池化層中感受野的步長(zhǎng)與子采樣感受野的大小相等,這樣有助于CNN保持平移不變性[33].

在卷積網(wǎng)絡(luò)的末端,通常是可作為分類(lèi)的全連接層.與SAE和DBN的逐層訓(xùn)練相反,CNN通常以完全監(jiān)督的方式端到端地訓(xùn)練.CNN在本質(zhì)上是一種輸入到輸出的映射,通過(guò)學(xué)習(xí)使網(wǎng)絡(luò)具有輸入到輸出的映射能力.通常,CNN網(wǎng)絡(luò)參數(shù)的訓(xùn)練算法與傳統(tǒng)BP算法相似,通過(guò)前向傳播計(jì)算輸出值,然后將輸出值與理想標(biāo)簽值的誤差,通過(guò)梯度下降法對(duì)最小化誤差問(wèn)題尋優(yōu),再利用反向傳播梯度調(diào)整CNN的參數(shù).

2.2.2　RNN

RNN是一種具有反饋連接的循環(huán)神經(jīng)網(wǎng)絡(luò),其本質(zhì)屬性是網(wǎng)絡(luò)的狀態(tài)會(huì)隨時(shí)間演化,適用于提取數(shù)據(jù)的時(shí)序特征[18].RNN在給定序列x1,x2,···,xT的情況下學(xué)習(xí)時(shí)序特征.在某時(shí)間t隱層神經(jīng)元狀態(tài)ht由輸入xt和前一狀態(tài)ht?1確定:

W表示隱層神經(jīng)元與輸入結(jié)點(diǎn)的連接權(quán)值矩陣,而R表示隱層神經(jīng)元之間的連接權(quán)值矩陣,θ=(W,R,b).對(duì)于分類(lèi)任務(wù),通常在其后加全連接層和softmax分類(lèi)層,將序列映射到特定類(lèi)別標(biāo)簽[37].

因?yàn)樘荻刃枰獜妮敵鐾ㄟ^(guò)時(shí)間反向傳播及RNN自身的深度特性,因而會(huì)有學(xué)習(xí)中存在梯度消失或爆炸的問(wèn)題[58].1997年由Hochreiter等提出的長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)LSTM可解決這一問(wèn)題[59].LSTM模塊由門(mén)控函數(shù)組成,每個(gè)門(mén)受輸入權(quán)值矩陣和前一個(gè)隱藏狀態(tài)權(quán)值矩陣的控制.模塊的核心是一個(gè)存儲(chǔ)單元c,可存儲(chǔ)模塊的輸出并作為下一時(shí)刻的狀態(tài).

3　基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分析

近幾年,深度學(xué)習(xí)方法不僅僅在以自然圖像為分析處理對(duì)象的計(jì)算機(jī)視覺(jué)任務(wù)中展示了卓越的性能,同時(shí),也在醫(yī)學(xué)圖像領(lǐng)域取得了突破性進(jìn)展.目前,本領(lǐng)域?qū)W者大多利用深度CNN做分類(lèi)研究,主要用于醫(yī)學(xué)圖像病灶識(shí)別、檢測(cè)和分割等醫(yī)學(xué)圖像分析任務(wù).在2016年IEEE Trans on Medical Imaging深度學(xué)習(xí)專(zhuān)刊出版的18篇論文中,有14篇是深度CNN及其改進(jìn)方法[34].本節(jié)首先歸納計(jì)算機(jī)視覺(jué)和醫(yī)學(xué)圖像分析中深度CNN分類(lèi)、分割框架,然后,總結(jié)深度學(xué)習(xí)在醫(yī)學(xué)圖像分類(lèi)、檢測(cè)、分割等應(yīng)用領(lǐng)域的國(guó)內(nèi)外研究現(xiàn)狀.

3.1　 計(jì)算機(jī)視覺(jué)中的深度CNN

1998年,LeCun提出LeNet,并成功應(yīng)用于手寫(xiě)數(shù)字識(shí)別[9].隨著ReLU和Dropout的提出,以及GPU和大數(shù)據(jù)帶來(lái)的歷史機(jī)遇,CNN在2012年迎來(lái)了歷史突破,AlexNet網(wǎng)絡(luò)結(jié)構(gòu)獲得了當(dāng)年的ImageNet圖像分類(lèi)競(jìng)賽冠軍[60].Farabet等率先引入多尺度(Multi-scale)和多處理流(Multi-stream)思想,利用多個(gè)卷積神經(jīng)網(wǎng)絡(luò)流程分別處理輸入圖像金字塔的不同尺度信息,提取多層次特征,使模型具有強(qiáng)大捕獲紋理、形狀和上下文信息的能力[61].2014年提出的VGG框架與AlexNet相似,但采用小卷積核實(shí)現(xiàn)更深的網(wǎng)絡(luò),利用多尺度融合進(jìn)一步提升準(zhǔn)確率[62].針對(duì)CNN經(jīng)典結(jié)構(gòu)要求固定尺寸的輸入圖像而可能導(dǎo)致?lián)p失信息的問(wèn)題,He等利用空間金字塔池化(Spatial pyramid pooling,SPP)深度網(wǎng)絡(luò)模型,SPP接受任意大小的輸入圖像,輸出等長(zhǎng)的特征表示,同時(shí),SPP結(jié)構(gòu)增強(qiáng)了形變的魯棒性[63].2013年底,Lin等提出Network in network(NIN)結(jié)構(gòu),采用微神經(jīng)網(wǎng)絡(luò)MLP代替卷積層中的線性濾波器,在分類(lèi)層使用全局均值池化取代全連接層減少過(guò)擬合風(fēng)險(xiǎn)[64].在NIN的基礎(chǔ)上,Google提出了Inception結(jié)構(gòu),將不同大小的卷積核輸出與3×3的池化層輸出級(jí)聯(lián)起來(lái),增加了網(wǎng)絡(luò)的寬度和尺度的適應(yīng)性,同時(shí),應(yīng)用1×1的卷積來(lái)減少特征映射的維度.Google將多個(gè)Inception結(jié)構(gòu)串聯(lián)起來(lái),搭建了一個(gè)22層的深度網(wǎng)絡(luò),即GoogLeNet,獲ImageNet ILSVRC-2014分類(lèi)和檢測(cè)任務(wù)的冠軍[65].2015年,Inception結(jié)構(gòu)變得更深,原有的5×5卷積核拆成兩層3×3的卷積核,并加入1×n和n×1的卷積核.同時(shí),He等發(fā)現(xiàn),單純?cè)黾由疃葧?huì)導(dǎo)致網(wǎng)絡(luò)退化,為此提出殘差網(wǎng)絡(luò)ResNet,允許模型中存在跳轉(zhuǎn)連接(Shortcut),成功訓(xùn)練了深達(dá)152層的網(wǎng)絡(luò),是2015年ImageNet ILSVRC不依賴(lài)外部數(shù)據(jù)的圖像檢測(cè)與圖像分類(lèi)競(jìng)賽的雙料冠軍.

近兩年,深度卷積網(wǎng)絡(luò)朝著更深、更準(zhǔn)確方向發(fā)展的同時(shí),也有不少工作朝著網(wǎng)絡(luò)更簡(jiǎn)化、更靈活、更有效地訓(xùn)練方面努力.Google進(jìn)一步地將Inception結(jié)構(gòu)與Residual net結(jié)合,提出了Inceptionresidual net結(jié)構(gòu).實(shí)驗(yàn)表明,采用Inception V4結(jié)構(gòu)的性能與ResNet相當(dāng),但訓(xùn)練時(shí)間減半,收斂更快[66?67].Long等提出全卷積網(wǎng)絡(luò)(Fully convolutional network,FCN)進(jìn)行像素級(jí)分類(lèi),避免了圖像塊之間的重疊而導(dǎo)致重復(fù)卷積計(jì)算的問(wèn)題[68].Zagoruyko等提出了寬度殘差網(wǎng)絡(luò)(Wide residual networks,WRNs),通過(guò)增加寬度來(lái)提高性能,且在參數(shù)數(shù)量相當(dāng)?shù)那闆r下,WRNs比深度ResNet好訓(xùn)練.實(shí)驗(yàn)表明16層WRNs網(wǎng)絡(luò)在精度和效率上達(dá)到、甚至優(yōu)于上千層的ResNet網(wǎng)絡(luò)[69].Huang等提出了密集連接卷積神經(jīng)網(wǎng)絡(luò)DenseNet,在該網(wǎng)絡(luò)中,任何兩層之間都有直接的連接.DenseNet有效地緩解梯度消失問(wèn)題,強(qiáng)化了特征傳播,支持特征重用,并大幅度降低網(wǎng)絡(luò)參數(shù)數(shù)量,可以更有效地訓(xùn)練[70].Chen等提出了一種結(jié)合ResNet和DenseNet優(yōu)勢(shì)的新型卷積網(wǎng)絡(luò)結(jié)構(gòu)DPN(Dual path networks),該網(wǎng)絡(luò)通過(guò)殘差旁支通路再利用特征和密集連接通路探索新特征[71].而Iandola等則致力于簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)和減少網(wǎng)絡(luò)參數(shù),提出了全新的網(wǎng)絡(luò)結(jié)構(gòu)SqueezeNet,該網(wǎng)絡(luò)僅需1/50的AlexNet參數(shù)量即可達(dá)到了AlexNet相同的精度[72].

上述網(wǎng)絡(luò)框架中卷積核的幾何形狀是固定的,對(duì)模型幾何變換的模擬能力受限.Dai等提出了形變卷積網(wǎng)絡(luò)DCNN,利用形變卷積(Deformable convolution)和形變感興趣區(qū)池化(Deformable ROI pooling)來(lái)增強(qiáng)網(wǎng)絡(luò)對(duì)于幾何變換的建模能力.該方法用帶偏移的采樣代替原來(lái)的固定位置采樣,且偏移量是可以通過(guò)學(xué)習(xí)得到,并不需要額外的監(jiān)督[73].

2017年ILSVRC圖像分類(lèi)任務(wù)冠軍團(tuán)隊(duì)WWW 提出的SENet(Squeeze-and-excitation networks)模型,錯(cuò)誤率已經(jīng)低至2.251%,遠(yuǎn)遠(yuǎn)低于5.1%的人眼辨識(shí)錯(cuò)誤率[74].

近兩年,中國(guó)團(tuán)隊(duì)在計(jì)算機(jī)視挑戰(zhàn)賽中表現(xiàn)出色.商湯科技和香港中文團(tuán)隊(duì)、公安部三所、海康威視分別獲得2016年ILSVRC物體檢測(cè)、物體定位、場(chǎng)景分類(lèi)冠軍[75].而南京信息工程大學(xué)和帝國(guó)理工學(xué)院組成的BDAT團(tuán)隊(duì)、新加坡國(guó)立大學(xué)與奇虎360合作團(tuán)隊(duì)(DET)分別拿下2017年ILSVRC2017物體檢測(cè)(識(shí)別)、物體定位冠軍[76].這些團(tuán)隊(duì)大都采用了多種網(wǎng)絡(luò)整合的復(fù)合性網(wǎng)絡(luò),如(DET)提出采用基于DPN和基本聚合的深度學(xué)習(xí)模型,在兩類(lèi)分類(lèi)定位任務(wù)中表現(xiàn)出色,均取得了最低的定位錯(cuò)誤率,分別為0.062263和0.061941,刷新了世界紀(jì)錄.復(fù)旦大學(xué)Li Heng-Duo(Henry)使用具有軟非最大抑制功能的可形變區(qū)域FCN和ImageNet預(yù)訓(xùn)練的ResNet?50,獲得了2017年第2屆Nexar挑戰(zhàn)賽冠軍[77?78].

表1列出了計(jì)算機(jī)視覺(jué)分類(lèi)任務(wù)的CNN經(jīng)典框架.從表1可看出,基于CNN的深度學(xué)習(xí)模型展示了非常卓越的性能.從CNN框架的演化過(guò)程來(lái)看,CNN朝著更深、更準(zhǔn)確方向發(fā)展的同時(shí),也有不少工作朝著網(wǎng)絡(luò)更簡(jiǎn)化、更靈活、更有效地訓(xùn)練方面努力,目標(biāo)是得到更好的特征表示、減少計(jì)算復(fù)雜度和內(nèi)存消耗.這些高效網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)不斷融合新思想:一方面,卷積核趨于小尺度,網(wǎng)絡(luò)層次加深,保證足夠的感受野;另一方面,為了突破其固定感受野的局限性,引入多尺度和多處理流思想,采用多尺度卷積核形成Inception結(jié)構(gòu),跳轉(zhuǎn)連接提供了多尺度信息的融合,而形變卷積可以增強(qiáng)網(wǎng)絡(luò)對(duì)于幾何變換的建模能力.

表1　基于CNN的計(jì)算機(jī)視覺(jué)分類(lèi)任務(wù)經(jīng)典框架Table 1　Classical CNN frameworks for computer vision classi fi cation tasks

3.2　醫(yī)學(xué)圖像分析中的深度CNN

醫(yī)學(xué)圖像分類(lèi)、定位與檢測(cè)和分割是醫(yī)學(xué)圖像分析的三大基本任務(wù).CNN在醫(yī)學(xué)圖像分析中的基本應(yīng)用是基于圖像塊(Patch)的滑窗圖像分類(lèi)[9,79].而全卷積網(wǎng)絡(luò)(Fully convolutional network,FCN)[68]為實(shí)現(xiàn)圖像語(yǔ)義分割提供了非常好的解決方案.

Sermanet等采用對(duì)包圍盒進(jìn)行預(yù)測(cè)的方式工作,實(shí)現(xiàn)了一個(gè)基于CNN的分類(lèi),定位和檢測(cè)綜合框架[80].該研究表明,目標(biāo)定位與檢測(cè)任務(wù)可以在圖像分類(lèi)的基礎(chǔ)上實(shí)現(xiàn).醫(yī)學(xué)圖像分割問(wèn)題是為圖像中的像素或體素指定具有生物學(xué)意義的標(biāo)記,如解剖結(jié)構(gòu)、組織類(lèi)別或病灶,因而,可將分割問(wèn)題轉(zhuǎn)化為分類(lèi)問(wèn)題,即對(duì)圖像中的像素或體素進(jìn)行特征提取,然后基于特征將各個(gè)像(體)素分類(lèi).因此,定位、檢測(cè)和分割任務(wù)都可以在圖像分類(lèi)的基礎(chǔ)上實(shí)現(xiàn).

1)基于圖像塊的滑窗分類(lèi)框架

CNN可直接應(yīng)用于分類(lèi)圖像中的每個(gè)像素或體素.典型的像素級(jí)分類(lèi)處理是以滑窗方式處理,即以某個(gè)像素點(diǎn)為中心取一個(gè)圖像塊(或立方體塊)作為樣本訓(xùn)練深度學(xué)習(xí)模型,使深度學(xué)習(xí)模型能夠提取到深層特征,然后基于特征訓(xùn)練分類(lèi)器.在測(cè)試階段,同樣地,以測(cè)試圖片的每個(gè)像素點(diǎn)為中心采樣一個(gè)圖像塊作為輸入,通過(guò)模型進(jìn)行預(yù)測(cè),輸出結(jié)果作為該像素點(diǎn)的分類(lèi)值.基于深度學(xué)習(xí)的像素級(jí)分類(lèi)方法早期主要采用這種方式.如Ciresan等采用深度CNN網(wǎng)絡(luò)作為像素分類(lèi)器成功地在電子顯微鏡像中分割出生物神經(jīng)膜[79]和在乳腺癌病理組織圖像中檢測(cè)有絲核分裂細(xì)胞[81].然而,這種逐像素取圖像塊進(jìn)行分類(lèi)的方法非常耗時(shí),且相鄰圖像塊之間存在重疊、運(yùn)算重復(fù)、效率低下,另外一個(gè)不足是受圖像塊大小固定的限制,無(wú)法建模較大的上下文信息,從而影響分類(lèi)性能.為了對(duì)更多的上下文信息進(jìn)行建模,一類(lèi)方法是加深網(wǎng)絡(luò)層次,另一類(lèi)方法是引入多尺度和多處理流的思想.He等提出的SPP與跳轉(zhuǎn)連接為構(gòu)建多尺度和多通道處理流程的信息融合提供了可行方案[14].這種基于多尺度和多處理流的CNN框架,可以處理不同大小的感受野,有效地結(jié)合了局部和全局信息,從而有效地提高分類(lèi)準(zhǔn)確率[82?85].

2)FCN語(yǔ)義分割框架

針對(duì)滑窗式分類(lèi)中因相鄰輸入圖像塊之間的重疊而導(dǎo)致重復(fù)卷積計(jì)算的問(wèn)題,Long等提出了FCN進(jìn)行像素級(jí)分類(lèi),高效解決語(yǔ)義級(jí)別的圖像分割問(wèn)題[68].

與經(jīng)典CNN提取固定長(zhǎng)度的特征向量進(jìn)行分類(lèi)不同,FCN利用卷積和點(diǎn)積都是線性算子且可互換表示的特點(diǎn),將全連接層轉(zhuǎn)換成卷積運(yùn)算,可以接受任意尺寸的輸入圖像.圖4是FCN的網(wǎng)絡(luò)結(jié)構(gòu)示意圖.

具體來(lái)講,FCN模型的訓(xùn)練過(guò)程如下:首先,輸入圖像通過(guò)網(wǎng)絡(luò)模型從左至右地利用卷積層、池化層和相應(yīng)激活函數(shù)進(jìn)行前饋計(jì)算,逐層提取特征表示;使用1×1卷積層代替全連接層,并采用反卷積層對(duì)最后一個(gè)卷積層的特征圖進(jìn)行上采樣,使它恢復(fù)到輸入圖像相同的尺寸,從而可以對(duì)每個(gè)像素都產(chǎn)生一個(gè)預(yù)測(cè);然后,利用分割金標(biāo)準(zhǔn),以監(jiān)督方式通過(guò)反向傳播誤差,訓(xùn)練調(diào)整網(wǎng)絡(luò)參數(shù).FCN不需逐圖像塊計(jì)算過(guò)程,保留了原始輸入圖像中的空間信息,能夠在上采樣的特征圖上進(jìn)行逐像素分類(lèi),即能夠進(jìn)行像素到像素的語(yǔ)義分割.僅由最后特征圖直接上采樣得到的預(yù)測(cè)圖邊緣可能不光滑,需要將淺層特征和高層抽象特征相融合,然后再通過(guò)上采樣得到輸出.這種方式兼顧局部和全局信息,取得了非常好的分割效果.

圖4　全卷積網(wǎng)絡(luò)框架[68]Fig.4　Architecture of fully convolutional network[68]

最近提出的一些分割方法是在FCN的基礎(chǔ)上實(shí)現(xiàn)的.Ronneberger等在FCN思想基礎(chǔ)上,提出了U-net分割框架,U-net采用對(duì)等的上采樣和下采樣層,而且,對(duì)應(yīng)卷積和反卷積層之間存在著跳轉(zhuǎn)連接,可以結(jié)合不同層的特征.與基于塊的CNN相比,U-net框架的優(yōu)勢(shì)在于可以考慮整個(gè)圖像的上下文[86].另一個(gè)相似方法將U-net擴(kuò)展到3D,使其更適合3D醫(yī)學(xué)圖像體素處理[87].Dou等提出了面向醫(yī)學(xué)圖像3D體數(shù)據(jù)分割框架DSN,該框架采用FCN進(jìn)行密集性預(yù)測(cè),并利用逆卷積層將各層特征上采樣到與輸入相同大小,有效地融合由粗而精的多尺度信息,同時(shí),通過(guò)構(gòu)建直接引導(dǎo)上下層訓(xùn)練的目標(biāo)函數(shù),可進(jìn)行端到端地3D深度監(jiān)督學(xué)習(xí),最后用條件隨機(jī)場(chǎng)方法(Conditional random fi eld,CRF)精化分割結(jié)果[88].Milletari等提出了一個(gè)專(zhuān)為3D醫(yī)學(xué)圖像分割而設(shè)計(jì)的改進(jìn)型U-net,稱(chēng)之為V-net,該模型采用3D卷積和基于分割衡量指標(biāo)DICE系數(shù)作為目標(biāo)函數(shù),使之更適用于醫(yī)學(xué)圖像分割[89].

3.3　醫(yī)學(xué)圖像分類(lèi)

3.3.1　圖像篩查

圖像篩查是深度學(xué)習(xí)在醫(yī)學(xué)圖像分析領(lǐng)域中的最早應(yīng)用之一,是指將一個(gè)或多個(gè)檢查圖像作為輸入,通過(guò)訓(xùn)練好的模型對(duì)其預(yù)測(cè),輸出一個(gè)表示是否患某種疾病或嚴(yán)重程度分級(jí)的診斷變量[37].

圖像篩查屬于圖像級(jí)分類(lèi),用來(lái)解決此任務(wù)的深度學(xué)習(xí)模型最初關(guān)注于SAE、DBN及DBM網(wǎng)絡(luò)和非監(jiān)督預(yù)訓(xùn)練方法.研究主要集中在神經(jīng)影像的分析上,如通過(guò)神經(jīng)影像診斷是否患有老年癡呆癥(Alzheimer′s disease,AD)或輕度認(rèn)識(shí)功能障礙(Mild cognitive impairment,MCI)[90?92]. 這些算法通常利用多模態(tài)圖像作為輸入,提取MRI、PET及CSF等模態(tài)中的互補(bǔ)特征信息.Suk等分別采用DBM和SAE從3D神經(jīng)影像圖像塊中發(fā)現(xiàn)其潛在層次特征表達(dá),構(gòu)造AD/MCI診斷模型[90?91].這兩個(gè)方法都在ADNI數(shù)據(jù)集[93]上進(jìn)行驗(yàn)證,結(jié)果表明使用SAE比DBM的模型分類(lèi)性能更好.在其他方面也有少量基于非監(jiān)督模型的圖像分類(lèi)研究,如Rahhal等采用SSAE以弱監(jiān)督方式學(xué)習(xí)特征,對(duì)心電圖信號(hào)進(jìn)行分類(lèi)[94];Abdel-Zaher等先使用DBN無(wú)監(jiān)督學(xué)習(xí),再利用反饋式監(jiān)督學(xué)習(xí)調(diào)整網(wǎng)絡(luò),對(duì)Wisconsin乳腺癌數(shù)據(jù)集分類(lèi)[95].

目前,CNN正逐漸成為圖像檢查分類(lèi)中的標(biāo)準(zhǔn)技術(shù),其應(yīng)用非常廣泛.如Arevalo等提出了乳腺癌診斷的特征學(xué)習(xí)框架,采用CNN自動(dòng)學(xué)習(xí)區(qū)分性特征,對(duì)乳房X線照片病變分類(lèi)[96].Kooi等比較了傳統(tǒng)CAD中手動(dòng)設(shè)計(jì)和自動(dòng)CNN特征提取方法,兩者都在約4.5萬(wàn)乳房X線圖像的大數(shù)據(jù)集上訓(xùn)練,結(jié)果顯示CNN在低靈敏度下優(yōu)于傳統(tǒng)CAD系統(tǒng)方法,且在高靈敏度下兩者相當(dāng)[97].Spampinato等應(yīng)用深度CNN自動(dòng)評(píng)估骨骼骨齡[38].北京航天大學(xué)Xu等研究了在很少的人工標(biāo)注情況下,利用深度CNN自動(dòng)提取特征,結(jié)合多實(shí)例學(xué)習(xí)方法,對(duì)組織病理學(xué)圖像分類(lèi)結(jié)腸癌[98].Gao等探討了影響CT腦圖像分類(lèi)任務(wù)的深度學(xué)習(xí)技術(shù)應(yīng)用的重要性,特別是利用CNN,旨在為AD早期診斷提供補(bǔ)充信息[99].Payan等[100]和Hosseiniasl等[101]則采用3D CNN對(duì)神經(jīng)影像進(jìn)行AD的診斷.另外,Abdi等應(yīng)用CNN對(duì)超聲波心動(dòng)圖心尖四腔切面對(duì)心動(dòng)回波質(zhì)量進(jìn)行自動(dòng)分級(jí)[102].Gao等通過(guò)融合兩個(gè)2D CNN提取超聲波心動(dòng)圖的時(shí)域和空域信息特征,對(duì)超聲波心動(dòng)圖進(jìn)行視點(diǎn)分類(lèi),從而輔助診斷心臟病[103].

另外,還有一些工作將CNN與RNN結(jié)合起來(lái),如Gao等利用CNN提取裂隙燈圖像中的低層局部特征信息,結(jié)合RNN進(jìn)一步提取高層特征,對(duì)核性白內(nèi)障進(jìn)行分級(jí)[47].

3.3.2　目標(biāo)或病灶分類(lèi)

目標(biāo)或病灶的檢測(cè)與分類(lèi)可以輔助醫(yī)生對(duì)疾病進(jìn)行診斷,如對(duì)乳腺病灶進(jìn)行良惡性分類(lèi).其處理過(guò)程通常首先通過(guò)預(yù)處理方法識(shí)別或標(biāo)記出的特定區(qū)域,然后再對(duì)特定區(qū)域進(jìn)行目標(biāo)或病灶分類(lèi).精確的分類(lèi)不僅需要病灶外表的局部信息,而且還需結(jié)合其位置的全局上下文信息.

CNN框架在病灶分類(lèi)中應(yīng)用廣泛.Anthimopoulos等利用CNN設(shè)計(jì)了一個(gè)區(qū)分毛玻璃狀病變、蜂窩病變、鈣化和肺小結(jié)節(jié)等間質(zhì)性肺病模式的多分類(lèi)框架,準(zhǔn)確率約85.5%[104].Kawahara等采用多處理流CNN對(duì)皮膚病灶分類(lèi),其中每個(gè)流程處理不同分辨率的圖像[105].Jiao等利用CNN提取不同層次的深度特征,提高了乳腺癌的分類(lèi)準(zhǔn)確率[106].Tajbakhsh等就CT圖像中檢測(cè)肺結(jié)節(jié)且區(qū)分良性和惡性肺結(jié)節(jié)的任務(wù),比較了大規(guī)模訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)(Massive-training arti fi cial neural networks,MTANNs)與CNN這兩種端到端訓(xùn)練的人工神經(jīng)網(wǎng)絡(luò)的性能,其實(shí)驗(yàn)結(jié)果表明,只有使用較少訓(xùn)練數(shù)據(jù)時(shí),MTANN的性能明顯高于CNN[107].

另一方面,一些學(xué)者把CNN與其他基本模型結(jié)合起來(lái)實(shí)現(xiàn)分類(lèi).如Kallenberg結(jié)合CNN與SAE的特點(diǎn),采用非監(jiān)督預(yù)訓(xùn)練卷積稀疏自動(dòng)編碼機(jī)(Convolutional sparsely autocoder,CSAE)模型,實(shí)現(xiàn)乳腺密度分割和乳腺的風(fēng)險(xiǎn)評(píng)估[108].而Van等結(jié)合CNN的區(qū)分性與RBM的生成性特點(diǎn),利用CRBM(Convolutional restricted boltzmann machines)對(duì)肺部CT進(jìn)行分析[109].上海大學(xué)Zhang等構(gòu)建點(diǎn)門(mén)限玻爾茲曼機(jī)和RBM的深度結(jié)構(gòu)對(duì)剪切波彈性圖像提取特征,實(shí)現(xiàn)了更好的腫瘤良惡性分類(lèi)性能,準(zhǔn)確率達(dá)到93.4%[110].而Shi等利用新的深度多項(xiàng)式網(wǎng)絡(luò)對(duì)小樣本超聲數(shù)據(jù)集的腫瘤分類(lèi),在胸部和前列腺數(shù)據(jù)集的分類(lèi)準(zhǔn)確度分別為92.4%和90.28%,優(yōu)于基于DBN和SAE的方法[45].

3.4　目標(biāo)或病灶定位與檢測(cè)

準(zhǔn)確地在醫(yī)學(xué)圖像中定位特定生物標(biāo)記或解剖結(jié)構(gòu)在臨床治療中具有非常重要的意義,直接關(guān)系到治療效果的好壞.醫(yī)學(xué)圖像定位常需要分析3D體素信息.為了使用經(jīng)典深度學(xué)習(xí)算法進(jìn)行3D數(shù)據(jù)處理,一些方法將3D空間看成2D正交面的組合,這樣可將定位任務(wù)轉(zhuǎn)換成為分類(lèi)任務(wù),利用通用深度學(xué)習(xí)框架進(jìn)行處理.如Yang等結(jié)合三個(gè)正交方向CNN的信息識(shí)別股骨末端的標(biāo)記,標(biāo)記的3D位置定義為三個(gè)2D圖塊的交點(diǎn)[111].香港中文大學(xué)Chen等將FCN擴(kuò)展到3D FCN,提出的基于3D FCN的定位和分割方法,在2015脊椎盤(pán)定位和分割挑戰(zhàn)賽中取得了非常好的成績(jī)[112].Vos等通過(guò)將3D CT體積解析成2D形式,識(shí)別目標(biāo)3D矩形包圍盒,進(jìn)而定位到感興趣的心臟、主動(dòng)脈弧和下降主動(dòng)脈等解剖區(qū)域[113].另外,LSTM 也用于處理包含在醫(yī)學(xué)視頻中的時(shí)間信息,如Kong等結(jié)合LSTM-RNN和CNN檢測(cè)心臟MRI視頻中的舒張末和收縮末[114].而Cai等采用深度CRBM以無(wú)監(jiān)督方式提取和融合不同模態(tài)圖像特征,識(shí)別MR/CT圖像中脊椎[115?116].

圖像的感興趣目標(biāo)區(qū)域(Region of interest,ROI)或病灶檢測(cè)是診斷的關(guān)鍵部分,在計(jì)算機(jī)輔助檢測(cè)系統(tǒng)中已有較長(zhǎng)的研究歷史.通常設(shè)計(jì)成自動(dòng)檢測(cè)病灶,用以提高檢測(cè)準(zhǔn)確率或減少專(zhuān)家的讀片時(shí)間[37].實(shí)現(xiàn)過(guò)程分兩個(gè)步驟:在全圖像空間中進(jìn)行定位ROI;在感興趣區(qū)進(jìn)一步識(shí)別出小病灶區(qū).

早在1995年,Lo等就提出了第一個(gè)利用RNN的目標(biāo)檢測(cè)系統(tǒng),該系統(tǒng)使用4層的CNN在X光圖像中檢測(cè)結(jié)節(jié)[117].Ciresan等采用深度CNN網(wǎng)絡(luò)作為像素分類(lèi)器成功地在乳腺癌病理組織圖像中檢測(cè)有絲核分裂細(xì)胞[81].Sirinukunwattana等利用空間約束的CNN,結(jié)合鄰域集成預(yù)測(cè)器,有效地提高了在結(jié)腸癌病理圖像中檢測(cè)和分類(lèi)細(xì)胞核的準(zhǔn)確率[118].Li等提出了基于深層CNN分類(lèi)的青光眼檢測(cè)方法[119].Roth等利用深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法,提高了CT圖像目標(biāo)檢測(cè)的準(zhǔn)確性.他們的主要思想是用現(xiàn)有其他方法提取侯選ROI,然后基于深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)隱含的高層次特征,并根據(jù)這些特征進(jìn)行目標(biāo)對(duì)象檢測(cè)和分割.他們分別在腹部CT圖像自動(dòng)淋巴結(jié)檢測(cè)[120]、硬化轉(zhuǎn)移和結(jié)腸息肉檢測(cè)[121?122]等應(yīng)用領(lǐng)域明顯提高了目標(biāo)檢測(cè)精度.Wang等利用12層CNN網(wǎng)絡(luò)在乳房X光圖像中檢測(cè)乳房動(dòng)脈鈣化,鈣質(zhì)量定量分析結(jié)果表明,由此檢測(cè)結(jié)果推斷鈣質(zhì)量接近于金標(biāo)準(zhǔn),準(zhǔn)確度達(dá)到了96.24%[123].Quellec等利用圖像級(jí)標(biāo)簽監(jiān)督訓(xùn)練基于CNN的病變檢測(cè)器,使用靈敏度分析檢測(cè)在圖像級(jí)預(yù)測(cè)中起作用的像素,獲得圖像大小的熱點(diǎn)圖,通過(guò)在訓(xùn)練ConvNets的同時(shí)增強(qiáng)熱點(diǎn)圖的稀疏性,避免熱點(diǎn)圖受到偽影的影響.該方案在Kaggle彩色眼底圖像檢測(cè)糖尿病性視網(wǎng)膜病變挑戰(zhàn)賽數(shù)據(jù)集上獲得了很好的成績(jī)[124].

圖像的感興趣目標(biāo)或病灶檢測(cè)的關(guān)鍵是對(duì)每個(gè)像素進(jìn)行分類(lèi).目前大多數(shù)基于深度學(xué)習(xí)目標(biāo)檢測(cè)系統(tǒng)采用CNN執(zhí)行像(體)素分類(lèi)任務(wù),之后采用某種形式的后處理方式得到目標(biāo).CNN框架和方法類(lèi)似于第3.2節(jié)中討論的像(體)素級(jí)分類(lèi)方法,需要結(jié)合被分類(lèi)像(體)素的鄰域上下文或3D信息提高分類(lèi)準(zhǔn)確率,如使用多處理流CNN整合不同視角剖面信息[84]或多模態(tài)圖像數(shù)據(jù)[125].Albarqouni等采用多尺度CNN方案在乳腺癌病理圖像中檢測(cè)有絲分裂[126].香港中文大學(xué)Chen等利用多個(gè)2D深層特征近似表達(dá)3D醫(yī)學(xué)圖像的特征,結(jié)合SVM 分類(lèi)器,實(shí)現(xiàn)敏感性加權(quán)圖像(Susceptibility weighted imaging,SWI)自動(dòng)檢測(cè)腦微出血(Cerebral microbleeds,CMBs)[127].Dou等在文獻(xiàn)[127]基礎(chǔ)上改進(jìn),采用級(jí)聯(lián)3D CNN框架,充分利用MR中的空間上下文信息,提取更能代表CMBs的高級(jí)特征,該方法在具有320個(gè)MR圖像的大數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn)驗(yàn)證,實(shí)現(xiàn)了93.16%高靈敏度[128].該研究小組還用類(lèi)似多級(jí)3D CNN框架在CT序列中檢測(cè)肺結(jié)節(jié),在ISBI 2016舉辦的LUNA16挑戰(zhàn)賽中得到驗(yàn)證,該算法在減少假陽(yáng)性指標(biāo)上取得了2016年的最高成績(jī)[129].van Grinsven等利用CNN提取特征,并采用正負(fù)樣本均衡策略,有效地實(shí)現(xiàn)了在眼底圖像中檢測(cè)出血[130].

有少量工作采用其他深度學(xué)習(xí)方法來(lái)實(shí)現(xiàn)感興趣目標(biāo)或病灶檢測(cè),如Shin等將SAE深度學(xué)習(xí)方法應(yīng)用于MRI圖像上檢測(cè)腹部器官,先以非監(jiān)督方式學(xué)習(xí)空間特征,然后基于“興趣點(diǎn)”進(jìn)行多器官檢測(cè)[52].南京信息工程大學(xué)Xu等利用SSAE網(wǎng)絡(luò)學(xué)習(xí)深度特征,識(shí)別組織病理學(xué)圖像乳腺癌的細(xì)胞核,確定乳腺癌的分期[131].Masood等針對(duì)標(biāo)記訓(xùn)練數(shù)據(jù)不足的情況,提出基于結(jié)合DBN和SVM的半監(jiān)督學(xué)習(xí)算法,對(duì)皮膚鏡黑色素瘤自動(dòng)識(shí)別[132].與傳統(tǒng)CNN方法將原圖像作為輸入不同,Li采用Sobel邊緣輪廓特征和Gabor紋理特征作為輸入,利用CNN進(jìn)行特征融合和深度特征提取,提高了C-armx射線圖像自動(dòng)檢測(cè)腰椎準(zhǔn)確率[39].

最近有研究還將基于CNN的方法應(yīng)用到檢測(cè)和定位手術(shù)視頻中的工具.如Girshick等和Sarikaya等利用基于候選包圍盒檢測(cè)模型Faster R-CNN從機(jī)器人輔助手術(shù)視頻中定位和檢測(cè)自動(dòng)化工具[133?134].Twinanda等設(shè)計(jì)了一個(gè)新CNN框架EndoNET自動(dòng)地從膽囊切除視頻中學(xué)習(xí)視覺(jué)特征,同時(shí)實(shí)現(xiàn)手術(shù)階段(Phase)識(shí)別和術(shù)中多工具檢測(cè)任務(wù)[135].而Chen等提出了一個(gè)結(jié)合CNN和LSTM的方法,自動(dòng)檢測(cè)超聲影像中多個(gè)標(biāo)準(zhǔn)平面,為實(shí)質(zhì)性生物測(cè)量和診斷提供幫助[136].

3.5　醫(yī)學(xué)圖像分割

3.5.1　器官與組織分割

醫(yī)學(xué)圖像中器官及其子結(jié)構(gòu)的分割可用于定量分析體積和形狀有關(guān)的臨床參數(shù),如心臟的心室體積和收縮射出率.另一方面,在采用智能調(diào)強(qiáng)放療技術(shù)對(duì)腫瘤進(jìn)行治療時(shí),危及器官勾畫(huà)是制定放療計(jì)劃中非常重要的步驟之一.深度學(xué)習(xí)在此任務(wù)中應(yīng)用非常廣泛,主要應(yīng)用于:

1)組織病理學(xué)圖像和顯微鏡圖像分割

通過(guò)計(jì)算機(jī)提取來(lái)自手術(shù)和活檢組織標(biāo)本的圖像特征可以幫助預(yù)測(cè)疾病侵襲性的程度,從而進(jìn)行疾病診斷和分級(jí).這些預(yù)測(cè)器的關(guān)鍵組成部分就是從組織病理圖像挖掘的圖像特征[32].

最近,深度學(xué)習(xí)方法已在組織病理學(xué)圖像分割中應(yīng)用.目前大多數(shù)組織病理學(xué)圖像和顯微鏡圖像分割方法都是基于CNN的.許多學(xué)者利用圖塊訓(xùn)練網(wǎng)絡(luò)取得了非常優(yōu)秀的分割結(jié)果.Ciresan等率先將深度CNN應(yīng)用于醫(yī)學(xué)圖像分割,他們以滑窗方式在電子顯微鏡圖像中分割出生物神經(jīng)膜[79].Kumar等利用基于塊的CNN對(duì)H&E染色的病理學(xué)圖像進(jìn)行細(xì)胞核分割[137].Xu等則采用遷移學(xué)習(xí)方法,利用ImageNet訓(xùn)練深度CNN作為特征提取,在MICCAI 2014腦腫瘤數(shù)字病理挑戰(zhàn)賽中取得了97.5%的分類(lèi)準(zhǔn)確度和84%的分割準(zhǔn)確度[138].Qaiser等利用CNN提取圖像塊特征,構(gòu)建基于拓?fù)涮卣鞯某掷m(xù)同調(diào)分布,用于H&E染色的組織學(xué)圖像的自動(dòng)腫瘤分割[139].

結(jié)合多分辨率和多處理流方法可以更好地結(jié)合上下文信息,提高分割準(zhǔn)確性,如Song等采用自粗而精的多尺度CNN方法在宮頸癌病理圖像中分割細(xì)胞核[84,140].Fakhry提出的殘差反卷積網(wǎng)絡(luò)由兩個(gè)通路組成,捕獲全分辨率特征上下文信息,用于電子顯微圖像EM的分割,該方法采用端到端地訓(xùn)練,提出的模型包括足夠的上下文信息,能夠?qū)崿F(xiàn)像素級(jí)預(yù)測(cè),是EM圖像中分割3D神經(jīng)突觸開(kāi)放挑戰(zhàn)賽的最好方法之一[141].香港中文大學(xué)的Chen等基于FCN的多級(jí)特征表示,提出了一個(gè)高效深度輪廓感知網(wǎng)絡(luò)DCAN,在MICCAI′2015舉行的結(jié)腸組織學(xué)圖像腺體分割挑戰(zhàn)賽中取得了冠軍[142].Xu等綜合FCN前景分割、DCAN邊緣檢測(cè)和基于包圍盒的目標(biāo)檢測(cè)三個(gè)深度通道信息,在H&E病理圖像中進(jìn)行腺體分割,且該框架可擴(kuò)展應(yīng)用到其他分割任務(wù)中[143].在MICCAI′2015結(jié)腸組織學(xué)圖像腺體分割挑戰(zhàn)賽中表現(xiàn)出色的方法大多是基于CNN或FCN.更多關(guān)于病理圖像細(xì)胞核及腺體分割的文獻(xiàn),可參考綜述[32,144].

另外,Xie等使用空間RNN去分割H&E組織病理學(xué)圖像的肌束膜,該網(wǎng)絡(luò)考慮了當(dāng)前圖像塊的行和列先驗(yàn).為結(jié)合左上角和右下角鄰域的雙向信息,RNN在不同方向應(yīng)用4次,然后聯(lián)合輸入到全連接層,為單個(gè)圖塊產(chǎn)生最終輸出[145].

為了得到好的分割結(jié)果,有些工作將CNN分類(lèi)的結(jié)果作為分割初始值,利用水平集等形變模型或稀疏形狀模型等精化細(xì)胞核分割結(jié)果[140,146].

2)腦組織和結(jié)構(gòu)分割

若中樞神經(jīng)系統(tǒng)發(fā)生病變,神經(jīng)細(xì)胞的代謝紊亂,將使腦脊液(Cerebrospinal fl uid,CSF)的性狀和成分發(fā)生改變,因此,腦脊液的檢測(cè)成為重要的中樞神經(jīng)系統(tǒng)受損輔助診斷手段之一.白質(zhì)(White matter,WM)異常的相關(guān)疾病很多,包括多發(fā)性硬化癥、精神分裂癥、阿茲海默癥等,因此對(duì)中樞神經(jīng)系統(tǒng)進(jìn)行有效地分割出灰質(zhì)(Grey matter,GM),WM和CSF是研究熱點(diǎn)之一.Zhang等將T1、T2和FA(Fractional anisotropy)三種模態(tài)圖像作為輸入,采用深度CNN網(wǎng)絡(luò)解決嬰兒GM、WM和CSF分割這一挑戰(zhàn)性任務(wù),從而對(duì)嬰兒腦發(fā)育優(yōu)劣程度作評(píng)估[147].Stollenga等為了利用GPU并列處理,將傳統(tǒng)的多維度MD-LSTM 重新排列成金字塔的方式,即PyraMid-LSTM,該模型在MRBrainS13數(shù)據(jù)集上的像素級(jí)腦部圖像分割成GM、WM 和CSF,取得了2015年比賽的最好效果[148].

在采用智能調(diào)強(qiáng)放療技術(shù)對(duì)腦腫瘤進(jìn)行治療時(shí),需要保護(hù)周?chē)匾X組織和結(jié)構(gòu),因而正確地分割腦組織和結(jié)構(gòu)有著重要的臨床意義.上海交通大學(xué)Cui等提出了一種基于圖像塊的方法使用CNN自動(dòng)分割腦MRI,該方法從公共MRI數(shù)據(jù)集中抽取一部分圖像塊樣本訓(xùn)練CNN,訓(xùn)練好的CNN用于腦MRI的白質(zhì)、丘腦,側(cè)腦室的分割,分割準(zhǔn)確率達(dá)到了90%[149].還有一些學(xué)者采用多尺度方法,借助多CNN處理流程提高分割的準(zhǔn)確率.如Choi等采用兩個(gè)CNN處理流程:全局CNN確定紋狀體的大致位置,局部CNN預(yù)測(cè)所有體素的標(biāo)簽.該方法應(yīng)用于腦結(jié)構(gòu)的紋狀體分割,實(shí)驗(yàn)表明其分割結(jié)果的平均DICE系數(shù)達(dá)到了0.893[83].Moeskops等采用多尺度CNN方法進(jìn)行腦組織分割,該方法在8個(gè)組織分類(lèi)上取得了好結(jié)果,在5個(gè)不同年齡段數(shù)據(jù)集(從嬰兒到中老年)上進(jìn)行驗(yàn)證,分割結(jié)果的DICE相似系數(shù)分別為0.87,0.82,0.84,0.86和0.91[150].

還有一些采用其他深度學(xué)習(xí)框架的分割方法,如Dolz等提出了基于SSAE深度學(xué)習(xí)方法在罹患腦癌情況下從MRI圖像中分割腦干[151].Mansoor等利用SAE從腦MRI序列中提取有助于區(qū)分對(duì)比度差區(qū)域的深度特征,如視束和病理部分,并提出了基于局部形狀和稀疏外觀的前視覺(jué)通路自動(dòng)分割方法,該方法的魯棒性與手動(dòng)分割相當(dāng)[152].

最近的相關(guān)文獻(xiàn)采用FCN方法減少基于滑窗分類(lèi)的冗余計(jì)算,如Shakeri等將FCN應(yīng)用于腦皮層結(jié)構(gòu)分割[153];Moeskops等訓(xùn)練單個(gè)FCN分割腦MRI、分割胸MR中胸部肌肉,及在心臟CT血管造影圖像中分割冠狀動(dòng)脈[154].

3)血管分割

深度學(xué)習(xí)還應(yīng)用到非常有挑戰(zhàn)性的血管分割任務(wù)中.Nasr-Esfahani等采用基于圖像塊的CNN算法從X光血管造影圖像中提取血管[40].Wu提出識(shí)別血管結(jié)構(gòu)的通用方法,使用CNN學(xué)習(xí)目標(biāo)的外觀特征,然后,利用基于主成分分析的最近鄰搜索估計(jì)局部結(jié)構(gòu)分布,進(jìn)一步結(jié)合廣義概率跟蹤框架提取整個(gè)眼底血管連接樹(shù)[155].Liskowski提出一種基于監(jiān)督的眼底血管分割技術(shù),使用深層CNN神經(jīng)網(wǎng)絡(luò),采用預(yù)處理好的大樣本(高達(dá)400 000)訓(xùn)練,ROC達(dá)到0.99,準(zhǔn)確率達(dá)到0.97,網(wǎng)絡(luò)性能大大超過(guò)了先前的算法[156].山東大學(xué)Wang提出了一個(gè)綜合CNN和隨機(jī)森林的監(jiān)督方法來(lái)解決視網(wǎng)膜血管病變分割的問(wèn)題[157].在這些方法中,大多數(shù)是采用監(jiān)督深度學(xué)習(xí)方法提取特征,再結(jié)合其他已有技術(shù)和分類(lèi)器保證分割的準(zhǔn)確性.與前述通過(guò)分類(lèi)實(shí)現(xiàn)分割的研究不同的是,Li等將視網(wǎng)膜血管分割問(wèn)題轉(zhuǎn)換為從視網(wǎng)膜圖像到血管映射圖的跨模態(tài)數(shù)據(jù)變換問(wèn)題,采用深度AE學(xué)習(xí)視網(wǎng)膜圖像與血管映射圖之間的關(guān)系[158].

4)心臟心室分割

從心臟MRI數(shù)據(jù)中分割出左心室是計(jì)算心室體積和收縮射出率等臨床指標(biāo)的重要步驟之一.Carneiro等采用基于DBN學(xué)習(xí)特征對(duì)左心室外觀建模,利用監(jiān)督學(xué)習(xí)模型在心臟超聲波圖像中自動(dòng)分割出左心室[46],而Avendi等采用SAE學(xué)習(xí)深度特征初步推斷左心室的形狀,再結(jié)合形變模型提高左心室分割的準(zhǔn)確性和魯棒性[159].Ngo等結(jié)合DBN深度學(xué)習(xí)和水平集方法,從心臟MRI圖像自動(dòng)分割出心臟左心室[160].Dou等提出的基于FCN的DSN框架及CRF精化方法在心臟及主動(dòng)脈的分割性能達(dá)到了領(lǐng)先水平[88].Tan等通過(guò)CNN回歸方法得到左心室中心,利用兩尺度CNN網(wǎng)絡(luò)結(jié)合外輪廓之間的徑向距離等形狀先驗(yàn)參數(shù)來(lái)分割左心室[161].Zhen等利用多尺度的CRBM進(jìn)行無(wú)監(jiān)督學(xué)習(xí),然后利用標(biāo)簽數(shù)據(jù)監(jiān)督訓(xùn)練回歸森林預(yù)測(cè)器,從MR圖像中可直接估計(jì)出雙心室體積[162].

深度學(xué)習(xí)還應(yīng)用到其他方面,如Roth等利用深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法,實(shí)現(xiàn)了腹部CT圖像胰腺全自動(dòng)分割[163?164].Zilly等提出基于集合學(xué)習(xí)的CNN架構(gòu)方法從視網(wǎng)膜圖像分割視盤(pán)[48].Guo等聯(lián)合SSAE模型深度特征學(xué)習(xí)和稀疏塊匹配的前列腺分割方法[165].Korez等使用3D FCN產(chǎn)生脊柱體相似度映射圖,驅(qū)動(dòng)形變模型在MR圖像中分割脊柱體[166].Yang等利用CNN學(xué)習(xí)胸部X光照片的梯度與相應(yīng)的骨骼圖像之間的映射,利用級(jí)聯(lián)CNN逐漸細(xì)化預(yù)測(cè)的骨骼梯度,最后將不同尺度的預(yù)測(cè)骨骼梯度融合到最大后驗(yàn)框架中,以產(chǎn)生骨骼圖像的最終估計(jì).該方法通過(guò)從原始X光照片中減去骨骼圖像的估計(jì),從而起到抑制骨性結(jié)構(gòu)影響的作用[85].

從深度學(xué)習(xí)應(yīng)用框架來(lái)看,目前大多數(shù)圖像分割方法都是基于CNN的.許多學(xué)者利用基于圖像塊方式訓(xùn)練網(wǎng)絡(luò)取得了很好的分割結(jié)果,相關(guān)應(yīng)用實(shí)例可參見(jiàn)文獻(xiàn)[40,48,79,138?139,147,149,163?164].結(jié)合多分辨率和多處理流方法可以更好地結(jié)合上下文信息,提高分割準(zhǔn)確性,相關(guān)應(yīng)用實(shí)例可參見(jiàn)文獻(xiàn)[83,141,150].最近的文獻(xiàn)有很多使用FCN方法減少基于滑窗分類(lèi)的冗余計(jì)算,且已擴(kuò)展成3D FCN模型并應(yīng)用到多目標(biāo)分割中,相關(guān)的例子可見(jiàn)文獻(xiàn)[88,142,153?154,166].由FCN衍生出的U-net[86?87]以及針對(duì)3D圖像分割設(shè)計(jì)DSN[88]和V-net[89]在最近的圖像分割任務(wù)中表現(xiàn)出色.

有少量工作采用其他深度學(xué)習(xí)方法來(lái)實(shí)現(xiàn),如采用SAE的方法有文獻(xiàn)[151,159,165],采用DBN的實(shí)例有文獻(xiàn)[46,160].另外,RNN在分割任務(wù)中越來(lái)越流行.例如,Xie等使用空間RNN考慮當(dāng)前圖像塊的行和列先驗(yàn)去分割H&E組織病理學(xué)圖像的肌束膜[145].多維遞歸神經(jīng)網(wǎng)絡(luò)(MD-RNN),特別是采用LSTM的RNN,可以通過(guò)幾次掃掠所有像素接收空–頻信息,Stollenga等利用PyraMid-LSTM將腦部圖像分割成GM、WM和CSF,取得了2015年最好效果[148].Poudel等結(jié)合2D U-net框架和GRU-RNN,提出了遞歸全卷積網(wǎng)絡(luò),從MRI圖像中分割心臟及左心室[167].

基于體素分割方法挑戰(zhàn)之一是存在假陽(yáng)性,不能確保分割的結(jié)果在空間上是連通的,有可能存在孔洞或毛刺.為了解決這個(gè)問(wèn)題,將深度學(xué)習(xí)方法與圖割[84]、MRF、CRF[168?169]和水平集方法[160]相結(jié)合可精化分割結(jié)果.在大多數(shù)情況下,圖模型作為標(biāo)記的正規(guī)化子應(yīng)用在CNN或FCN產(chǎn)生的相似性映射圖上,用以生成連貫的精化區(qū)域.Gao等提出了基于分割的標(biāo)簽傳播方法,利用深度CNN進(jìn)行分類(lèi),然后再結(jié)合CRF獲得了高精度結(jié)果[170].

3.5.2　病灶與腫瘤的分割

在對(duì)病灶或腫瘤進(jìn)行任何治療之前,關(guān)鍵是準(zhǔn)確地分割出病灶或腫瘤,確保在治療期間殺死腫瘤細(xì)胞的同時(shí)保護(hù)正常組織器官[151].為了得到準(zhǔn)確分割,病灶與腫瘤分割通常需要結(jié)合多模態(tài)圖像信息以及全局與局部上下文信息,因此采用多模態(tài)圖像信息作為網(wǎng)絡(luò)模型輸入、不同尺度的多處理流網(wǎng)絡(luò)[82]、3D CNN[88]和非均勻采樣圖塊的策略[82,171].

為方便比較,我們梳理了近三年來(lái)采用腦腫瘤分割基準(zhǔn)(Brain tumor image segmentation benchmark,BRATS)公共數(shù)據(jù)集[172]驗(yàn)證的幾個(gè)具有代表性的優(yōu)秀算法,如表2所示.這些算法都是基于CNN的方法,值得注意的是,Kamnitsas等采用全深度3D CNN網(wǎng)絡(luò),利用多處理流網(wǎng)絡(luò)結(jié)合全局和局部上下文信息,在非常具有挑戰(zhàn)性的包括從多模態(tài)數(shù)據(jù)分割創(chuàng)傷性腦損傷、腦腫瘤和中風(fēng)等病變分割任務(wù)中展現(xiàn)了出色的性能,特別是在腦腫瘤整體分割水平上已超過(guò)了專(zhuān)家的勾畫(huà)水平[168].

Yu等結(jié)合殘差網(wǎng)絡(luò)和全卷積網(wǎng)的特點(diǎn),構(gòu)造了深度殘差全卷積網(wǎng)絡(luò)(Fully convolutional residual network,FCRN),在皮膚鏡圖像中自動(dòng)分割黑色素瘤,在ISBI2016挑戰(zhàn)賽中取得了第2名的成績(jī)[49].

在病灶分割中,也看到了U-net的應(yīng)用及利用全局和局部的相似框架.如Wang等采用類(lèi)似于U-net的結(jié)構(gòu),由相同的下采樣和上采樣通路,但沒(méi)有使用跳轉(zhuǎn)連接[173].另一個(gè)類(lèi)似U-net的框架應(yīng)用于分割多發(fā)性硬化病灶,但是使用了3D卷積,且第一個(gè)卷積層和最后一個(gè)反卷積層之間存在單個(gè)跳轉(zhuǎn)連接[171].

值得注意的是,圖像中大多數(shù)像(體)素是屬于正常組織,病灶分割的一大挑戰(zhàn)是類(lèi)分布的非均衡性.有關(guān)類(lèi)分布非均衡性的應(yīng)對(duì)策略將在第4.2節(jié)討論.

4　挑戰(zhàn)與對(duì)策

深度學(xué)習(xí)是以數(shù)據(jù)驅(qū)動(dòng)方式學(xué)習(xí)各級(jí)抽象特征,這些特征在很多應(yīng)用領(lǐng)域表現(xiàn)了非常強(qiáng)大的特征表示能力和魯棒性.盡管深度學(xué)習(xí)在以自然圖像為分析處理對(duì)象的計(jì)算機(jī)視覺(jué)任務(wù)中展示了卓越的性能,但將深度學(xué)習(xí)方法成功應(yīng)用到醫(yī)學(xué)圖像分析領(lǐng)域仍具有很大挑戰(zhàn)性,主要表現(xiàn)在以下幾個(gè)方面:

表2　腦瘤分割方法比較(使用BRATS數(shù)據(jù)集驗(yàn)證)Table 2　Comparison of methods for brain tumor segmentation(validation on BRATS database)

1)自然光學(xué)圖像不僅空間分辨率、對(duì)比度比大多數(shù)醫(yī)學(xué)圖像高,而且還具有亮度、顏色、紋理等易于識(shí)別的許多自然視覺(jué)特征.而大多醫(yī)學(xué)圖像只有某種特殊信號(hào)的強(qiáng)度值,而且通常信噪比很低,因此,大多數(shù)醫(yī)學(xué)圖像中各組織器官解剖結(jié)構(gòu)、病灶區(qū)域之間的分界線并不清晰,紋理差異也不大,同時(shí)還會(huì)因個(gè)體差異和成像原理不同而顯著不同,因此,醫(yī)學(xué)圖像分析比自然圖像分析更困難.

2)醫(yī)學(xué)圖像各種成像方法存在局限性,不同模態(tài)的醫(yī)學(xué)圖像數(shù)據(jù)僅能反映人體內(nèi)部的特定解剖、功能信息,各有優(yōu)缺點(diǎn),且不同成像設(shè)備和圖像重建方法存在較大差異,臨床上通常需要同時(shí)使用多種不同成像原理和成像方法的醫(yī)學(xué)圖像進(jìn)行輔助分析診斷,導(dǎo)致醫(yī)學(xué)圖像自動(dòng)分析處理比自然圖像更復(fù)雜、更困難.

3)目前計(jì)算機(jī)視覺(jué)中的很多分類(lèi)任務(wù)是圖像級(jí)的,而醫(yī)學(xué)圖像不僅僅用于圖像級(jí)的疾病篩查,而且用于像素、體素級(jí)的治療計(jì)劃制定.如腫瘤調(diào)強(qiáng)放射治療計(jì)劃要求對(duì)腫瘤和危及的正常組織器官進(jìn)行精確檢測(cè)、識(shí)別、定位,并從CT、MRI、PET等醫(yī)學(xué)圖像中高精度地分割出腫瘤放療靶區(qū)及其周?chē)＝M織器官.而且異常病灶區(qū)域(腫瘤)非常復(fù)雜,其出現(xiàn)的位置、大小、形狀個(gè)體差異很大,因而異常病灶區(qū)檢測(cè)、識(shí)別和分割比正常組織器官更具挑戰(zhàn)性,醫(yī)學(xué)圖像分析比自然圖像分析計(jì)算復(fù)雜度更大,許多計(jì)算機(jī)視覺(jué)中的深度學(xué)習(xí)算法不能直接用于醫(yī)學(xué)圖像分析.

4)自然圖像分類(lèi)任務(wù)中,業(yè)界已經(jīng)建立了帶有人工標(biāo)注的超大規(guī)模的學(xué)習(xí)訓(xùn)練樣本數(shù)據(jù)集,如MNIST、CIFAR、ImageNet,而應(yīng)用深度學(xué)習(xí)進(jìn)行醫(yī)學(xué)影像分析時(shí),獲取大規(guī)模的學(xué)習(xí)訓(xùn)練樣本數(shù)據(jù)集非常困難,特別對(duì)病灶樣本數(shù)據(jù)集,因?yàn)槠渥兓艽?且需要臨床專(zhuān)家標(biāo)注,因此,可用的標(biāo)注數(shù)據(jù)規(guī)模相對(duì)很小[31,35,47].但是,異常的病灶檢測(cè)、識(shí)別和分割具有重要的臨床應(yīng)用價(jià)值,比如自動(dòng)篩查、自動(dòng)診斷以及自動(dòng)制定治療計(jì)劃.

5)獲得大規(guī)模醫(yī)學(xué)數(shù)據(jù)分析標(biāo)注樣本數(shù)據(jù)困難.a)它很難獲得資金資助用于建設(shè)數(shù)據(jù)集;b)需要稀缺和昂貴的醫(yī)療專(zhuān)家對(duì)高質(zhì)量的醫(yī)學(xué)圖像數(shù)據(jù)進(jìn)行標(biāo)注;c)醫(yī)學(xué)圖像大多位于醫(yī)院封閉私有的數(shù)據(jù)庫(kù)中,隱私保護(hù)條例可能會(huì)阻礙這些數(shù)據(jù)的訪問(wèn),使得共享醫(yī)療數(shù)據(jù)比共享自然圖像更難[34];d)醫(yī)學(xué)圖像分析的應(yīng)用很廣,需要收集許多不同的數(shù)據(jù)集.

為了提高特征表示能力和分類(lèi)準(zhǔn)確率,需要足夠多的醫(yī)學(xué)圖像訓(xùn)練樣本數(shù)據(jù).當(dāng)樣本數(shù)據(jù)量不足時(shí)該怎么處理？如何使用小規(guī)模的訓(xùn)練樣本數(shù)據(jù)最有效？如何利用各模態(tài)互補(bǔ)信息和圖像空間上下文信息提高醫(yī)學(xué)圖像分類(lèi)準(zhǔn)確率？如何獲取大規(guī)模的醫(yī)學(xué)數(shù)據(jù)分析標(biāo)注樣本數(shù)據(jù)?目前,主要的應(yīng)對(duì)策略如下:

4.1　遷移學(xué)習(xí)與弱監(jiān)督學(xué)習(xí)

CNN的主要潛力在于能夠在多層抽象中提取一系列區(qū)分性的特征.如前所述,深度CNN模型是監(jiān)督學(xué)習(xí)模型,從零開(kāi)始訓(xùn)練CNN是一大挑戰(zhàn).

1)CNN要求大量標(biāo)記訓(xùn)練樣本數(shù)據(jù),醫(yī)學(xué)領(lǐng)域?qū)＜覙?biāo)注非常昂貴,有些病例(比如腫瘤)稀少;

2)要求大量的內(nèi)存和計(jì)算資源,否則訓(xùn)練過(guò)程將異常費(fèi)時(shí);

3)訓(xùn)練深度CNN常會(huì)因過(guò)擬合和收斂問(wèn)題而變得非常復(fù)雜,常需要重復(fù)調(diào)整框架或者網(wǎng)絡(luò)中的學(xué)習(xí)參數(shù)[34].

針對(duì)這一挑戰(zhàn),采用遷移學(xué)習(xí)方法,借助自然圖像或來(lái)自不同醫(yī)學(xué)領(lǐng)域的數(shù)據(jù)集以監(jiān)督方式預(yù)訓(xùn)練CNN網(wǎng)絡(luò).遷移學(xué)習(xí)有兩種典型使用策略:

1)使用預(yù)訓(xùn)練網(wǎng)絡(luò)作為特征提取器.研究發(fā)現(xiàn),盡管醫(yī)學(xué)圖像與自然圖像在成像原理和圖像外觀上有非常大的差異,用ImageNet訓(xùn)練好的CNN模型仍可用于醫(yī)學(xué)圖像識(shí)別應(yīng)用[177].如Bar等將預(yù)訓(xùn)練網(wǎng)絡(luò)用作胸部病理學(xué)識(shí)別特征生成器[178?179].Ginneken等將CNN特征與手工特征結(jié)合起來(lái),提高了結(jié)節(jié)檢測(cè)系統(tǒng)性能[180].

2)使用目標(biāo)醫(yī)療數(shù)據(jù)微調(diào)預(yù)訓(xùn)練網(wǎng)絡(luò).將預(yù)訓(xùn)練CNN作為監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)初始值,利用任務(wù)相關(guān)的有限標(biāo)注數(shù)據(jù)集以監(jiān)督方式對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào),調(diào)整網(wǎng)絡(luò)中的幾個(gè)或全部層[181?182].Ciompi等采用自然圖像集ImageNET預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò),用少量有標(biāo)記CT數(shù)據(jù)序列進(jìn)行有監(jiān)督地學(xué)習(xí)精調(diào)網(wǎng)絡(luò),可自動(dòng)檢測(cè)肺裂周?chē)Y(jié)節(jié)[183].Tajbakhsh等分析表明深度微調(diào)比淺層精調(diào)性能有所提高,且訓(xùn)練集規(guī)模減少時(shí)使用精調(diào)網(wǎng)絡(luò)的重要性提高了[184].

兩種策略都已得到廣泛應(yīng)用,前者的好處是不需要訓(xùn)練所有深度網(wǎng)絡(luò),方便將提取的特征替換插入到現(xiàn)有的醫(yī)學(xué)圖像分析流程中,但哪種策略效果最好目前尚未定論[37].

除了采用遷移學(xué)習(xí),另一種策略是弱監(jiān)督學(xué)習(xí),有效結(jié)合無(wú)監(jiān)督預(yù)訓(xùn)練和監(jiān)督學(xué)習(xí)的優(yōu)點(diǎn).雖然醫(yī)學(xué)圖像可用標(biāo)注數(shù)據(jù)較少,但其本身的規(guī)模可能很大.可以充分利用未標(biāo)注數(shù)據(jù),采取預(yù)訓(xùn)練技術(shù),以非監(jiān)督的方式來(lái)提取該類(lèi)圖像的一般特征.然后將提取到的特征作為有監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)初始值,利用標(biāo)注數(shù)據(jù)訓(xùn)練分類(lèi)器.如Kallenberg等采用卷積稀疏自動(dòng)編碼機(jī)(Convolutional sparsely autocoder,CSAE)進(jìn)行乳腺密度分割和乳腺風(fēng)險(xiǎn)評(píng)估,CSAE和經(jīng)典CNN的主要區(qū)別在于CSAE卷積層以SAE的非監(jiān)督方式逐層預(yù)訓(xùn)練[108].在獲得目標(biāo)標(biāo)注數(shù)據(jù)非常昂貴的情況下,利用多實(shí)例學(xué)習(xí)(Multiple instance learning,MIL)和深度學(xué)習(xí)相結(jié)合的方式也是一個(gè)可行替代方案,如Xu等研究了使用結(jié)合監(jiān)督和非監(jiān)督特征學(xué)習(xí)的MIL框架,結(jié)果表明基于MIL框架的性能優(yōu)于手工特征,與完全監(jiān)督方法性能接近[98].另外,有研究得到了一些有意思的結(jié)論,即采用非專(zhuān)業(yè)醫(yī)生完成標(biāo)注工作,其效果不比醫(yī)學(xué)專(zhuān)家標(biāo)注的差[185].Albarqouni等提出由非專(zhuān)業(yè)的眾包服務(wù)平臺(tái)來(lái)完成標(biāo)注工作,或許是另一個(gè)可行解決方案[126].

4.2　正則化與均衡化

CNN訓(xùn)練是多批次迭代優(yōu)化網(wǎng)絡(luò)參數(shù)的過(guò)程,在每批次迭代中,從訓(xùn)練數(shù)據(jù)隨機(jī)選擇樣本子集,輸入到網(wǎng)絡(luò),并通過(guò)反向傳播更新其參數(shù),以最小化目標(biāo)函數(shù).使用醫(yī)學(xué)圖像數(shù)據(jù)需要考慮以下兩個(gè)挑戰(zhàn):

1)醫(yī)學(xué)成像設(shè)備和圖像重建方法差異.由于醫(yī)學(xué)圖像成像設(shè)備及圖像重建方法存在差異,可能會(huì)引起灰度不均勻和偏移場(chǎng)不一致的問(wèn)題[186].雖然監(jiān)督學(xué)習(xí)技術(shù)在使用標(biāo)準(zhǔn)化成像協(xié)議的有限實(shí)驗(yàn)中表現(xiàn)出很大的潛力,但是可能在稍微不同的條件下獲取的新圖像上性能快速惡化.

針對(duì)以上問(wèn)題,可考慮進(jìn)行以下處理來(lái)削弱其不良影響:

a)批規(guī)范化:對(duì)訓(xùn)練樣本中每個(gè)小批量樣本進(jìn)行規(guī)范化,通過(guò)將其均值標(biāo)準(zhǔn)化為0,方差歸一化,避免梯度消失和梯度溢出,同時(shí)可以加速收斂,可作為一種正則化技術(shù)來(lái)提高網(wǎng)絡(luò)的泛化能力[187].

b)正則化:正則化是降低過(guò)擬合的有效策略,通過(guò)在模型代價(jià)函數(shù)中加入正則化項(xiàng)L1和L2,降低模型的復(fù)雜度,從而減少過(guò)擬合[82].

c)Dropout:在每次訓(xùn)練迭代中,隨機(jī)將比例為p的部分神經(jīng)元輸出設(shè)置為0(即解除部分結(jié)點(diǎn)的連接),Dropout是避免網(wǎng)絡(luò)過(guò)擬合的隨機(jī)正則化策略,同時(shí)也可看作隱式的模型集成[188].

2)樣本分布不均衡.醫(yī)學(xué)領(lǐng)域的分類(lèi)任務(wù)通常需辨別正常組織器官與病灶區(qū)域.每個(gè)病例中各種組織類(lèi)別的數(shù)據(jù)分布是非均衡的,而且正常組織器官類(lèi)會(huì)被過(guò)度表示,且大多數(shù)正常組織器官訓(xùn)練樣本是高度相關(guān)的,只有一部分正常組織器官樣本的信息量大.例如,腦腫瘤分割是一個(gè)高度數(shù)據(jù)不均衡問(wèn)題,其中健康組織體素約占總體素的98%,剩余約2%的病理體素中,包括0.18%屬于骨疽,1.1%的水腫,0.12%的非強(qiáng)化腫瘤,0.38%的強(qiáng)化腫瘤[82].在學(xué)習(xí)過(guò)程中均等地對(duì)待這些數(shù)據(jù)會(huì)導(dǎo)致許多訓(xùn)練迭代浪費(fèi)在非信息樣本上,使得CNN訓(xùn)練過(guò)程耗費(fèi)不必要的時(shí)間,同時(shí),這種以健康組織樣本主導(dǎo)的訓(xùn)練,會(huì)導(dǎo)致訓(xùn)練出的CNN模型存在問(wèn)題.針對(duì)這個(gè)問(wèn)題,van Grinsven等通過(guò)識(shí)別信息量大的正常樣本以及在訓(xùn)練過(guò)程中動(dòng)態(tài)選擇誤分類(lèi)的負(fù)樣本,提高CNN的學(xué)習(xí)效率并減少了訓(xùn)練時(shí)間[130].Havaei等提出采用兩次訓(xùn)練策略,即初始時(shí)挑選所有類(lèi)別等概率的圖像塊數(shù)據(jù)集進(jìn)行訓(xùn)練,然后,保持其他各層的核固定,僅在輸出層使用更能代表真實(shí)分布樣本進(jìn)行重新訓(xùn)練[82].通過(guò)這種方式,可以平衡應(yīng)對(duì)所有類(lèi)的多樣性,同時(shí),輸出概率通過(guò)利用數(shù)據(jù)標(biāo)簽的真實(shí)分布再訓(xùn)練被校正.Brosch等調(diào)整了損耗函數(shù),用加權(quán)敏感度和特異性的結(jié)合來(lái)定義,特異性的權(quán)值越大,使它對(duì)數(shù)據(jù)非均勻性越不敏感[171].還有一些方法通過(guò)在正樣本上進(jìn)行數(shù)據(jù)增強(qiáng)處理來(lái)平衡數(shù)據(jù)[168,176].

4.3　融合多模態(tài)互補(bǔ)圖像信息和圖像空間上下文信息

由于醫(yī)學(xué)圖像成像的局限性,不同模態(tài)(成像原理)的醫(yī)學(xué)圖像數(shù)據(jù)僅能反映人體特定的信息,各有優(yōu)缺點(diǎn).如CT與MRI在骨組織與軟組織成像上互補(bǔ),CT、MRI與PET在解剖成像與功能成像上互補(bǔ).即使同一類(lèi)成像,利用不同對(duì)比度增強(qiáng)方法得到的圖像也各有千秋.如不同的MRI模態(tài)產(chǎn)生不同類(lèi)型的組織對(duì)比圖像,從而提供有價(jià)值的結(jié)構(gòu)信息,使腫瘤及其亞臨床區(qū)域的診斷和分割成為可能.通常,T1圖像用于區(qū)分健康組織,而T2圖像對(duì)水腫區(qū)域敏感,在圖像上相應(yīng)區(qū)域產(chǎn)生亮信號(hào).在T1-Gd圖像中,腫瘤邊界可以容易地通過(guò)在活性細(xì)胞區(qū)域中積累的造影劑(釓離子)的信號(hào)亮度來(lái)區(qū)分腫瘤組織.在FLAIR圖像,水分子的信號(hào)被抑制,這有助于區(qū)分水腫區(qū)域腦脊髓液[189].聯(lián)合多模態(tài)醫(yī)學(xué)影像,利用不同影像的互補(bǔ)信息,可以提供清晰的功能和解剖結(jié)構(gòu)信息,從而提高分析的準(zhǔn)確性,因此大多分割算法是采用多模態(tài)醫(yī)學(xué)圖像作為輸入[147?149,174?175].

為了實(shí)現(xiàn)像素級(jí)的醫(yī)學(xué)圖像分類(lèi)/分割,僅有被分類(lèi)像素點(diǎn)本身的信息是遠(yuǎn)遠(yuǎn)不夠的,還需要結(jié)合鄰域像素,提供更好的上下文信息.大多數(shù)醫(yī)學(xué)圖像是3D信息,為了更好地考慮被分割體素上下文信息,除了加深CNN網(wǎng)絡(luò)層次、采用多尺度和多處理流CNN方法外,還需要考慮如何對(duì)3D信息建模的問(wèn)題.目前有以下兩種不同的處理方式對(duì)3D信息建模:

1)將3D體信息近似轉(zhuǎn)換成2D圖像塊信息.以被分類(lèi)體素為中心,取多個(gè)視角的2D剖面近似表達(dá)其3D鄰域上下文信息,借助2D卷積簡(jiǎn)化計(jì)算,提高計(jì)算效率[120,175].將每個(gè)剖面視為一個(gè)信息源,借助多通道或多處理流方式整合所有剖面信息,提高分類(lèi)準(zhǔn)確率.如Roth等采用三個(gè)正交剖面輸入到CNN三通道中,檢測(cè)結(jié)腸息肉或可疑淋巴結(jié)[120].Setio等使用一個(gè)多處理流CNN框架對(duì)胸部CT感興趣點(diǎn)是否為結(jié)節(jié)分類(lèi),通過(guò)對(duì)感興趣點(diǎn)提取了多達(dá)9個(gè)不同方向的剖面圖像塊作為多處理流CNN的輸入,最后在全連接層合并這些特征,以獲得最終分類(lèi)結(jié)果[190].

2)利用3D CNN來(lái)處理.以被分類(lèi)體素為中心,提取其3D立方體塊,借助3D卷積提取特征.這種方法全面考慮3D鄰域信息,有助于提取更具區(qū)分性的特征,一般來(lái)說(shuō),分類(lèi)準(zhǔn)確率更高.缺點(diǎn)是參與運(yùn)算的3D體素多,計(jì)算效率偏低[168].隨著計(jì)算速度的提高,3D CNN在近兩年得到了廣泛采用.如Nie等利用3D本身信息訓(xùn)練3D CNN,用以評(píng)估重度膠質(zhì)瘤病人生存率[191].

另外,通過(guò)與其他算法相結(jié)合,可以進(jìn)一步提高分類(lèi)/分割的準(zhǔn)確性和精化分割區(qū)域邊界.如先采用超像素分割方法生成侯選區(qū)域ROI,再利用深度學(xué)習(xí)提取深度特征,可以減少搜索空間以提高計(jì)算效率,提高分類(lèi)/分割準(zhǔn)確性[84,120?121];結(jié)合深度學(xué)習(xí)和水平集方法,從心臟磁共振(MR)數(shù)據(jù)中自動(dòng)準(zhǔn)確地分割出的心臟左心室[160].

4.4　大規(guī)模的醫(yī)學(xué)數(shù)據(jù)分析標(biāo)注樣本數(shù)據(jù)

一方面,醫(yī)學(xué)圖像領(lǐng)域的挑戰(zhàn)賽及大型公開(kāi)數(shù)據(jù)集的出現(xiàn)對(duì)醫(yī)學(xué)圖像分析的發(fā)展有著極大的幫助.自2007年以來(lái),MICCAI、ISBI和SPIE等醫(yī)學(xué)成像研討會(huì)組織挑戰(zhàn)賽數(shù)據(jù)集已經(jīng)成為慣例,開(kāi)放了大量用于基準(zhǔn)研究的醫(yī)學(xué)數(shù)據(jù)集[34],收錄在網(wǎng)站http://www.grand-challenge.org/.使用這些公開(kāi)基準(zhǔn)數(shù)據(jù)集的明顯優(yōu)勢(shì)在于其提供了任務(wù)和評(píng)估度量指標(biāo)的精確定義,便于公平、標(biāo)準(zhǔn)化地比較各種算法的性能.在Kaggle近兩年組織的彩色眼底圖像糖尿病性視網(wǎng)膜病變檢測(cè)及分期[192]和MRI圖像分析測(cè)量心臟體積并導(dǎo)出射血量[193]的兩次競(jìng)賽中,頂級(jí)競(jìng)爭(zhēng)者都使用了CNN網(wǎng)絡(luò).同時(shí),國(guó)內(nèi)也開(kāi)始舉辦大型醫(yī)學(xué)圖像分析挑戰(zhàn)賽,如天池醫(yī)療AI大賽正在進(jìn)行中,該大賽旨在用深度學(xué)習(xí)等AI方法在肺部CT中檢測(cè)肺小結(jié)節(jié)[194].預(yù)計(jì)使用更大的數(shù)據(jù)集進(jìn)行挑戰(zhàn)的趨勢(shì)將會(huì)繼續(xù),而深度學(xué)習(xí)將會(huì)在最佳解決方案中占主導(dǎo)地位.

另一方面,臨床醫(yī)學(xué)數(shù)據(jù)的收集為深度學(xué)習(xí)提供了另一個(gè)解決方案.在大多數(shù)西方醫(yī)院臨床中PACS(Picture archiving and communication systems)系統(tǒng)使用至少有十年,其中有上百萬(wàn)的醫(yī)學(xué)圖像,且可數(shù)字化有效存取.而我國(guó)人口基數(shù)大,且縣級(jí)以上的大多醫(yī)院都陸續(xù)采用PACS系統(tǒng),潛在可用的醫(yī)學(xué)圖像規(guī)模非常大.目前,多地陸續(xù)成立了醫(yī)療大數(shù)據(jù)中心及研究院.2016年,我國(guó)已經(jīng)啟動(dòng)國(guó)家重點(diǎn)研發(fā)計(jì)劃“精準(zhǔn)醫(yī)學(xué)研究”專(zhuān)項(xiàng)項(xiàng)目,如中南大學(xué)信息安全與大數(shù)據(jù)研究院承擔(dān)的醫(yī)學(xué)大數(shù)據(jù)安全與隱私保護(hù)課題,可望在解決醫(yī)學(xué)圖像隱私問(wèn)題的同時(shí),為深度學(xué)習(xí)研究提供可用的醫(yī)療大數(shù)據(jù).目前,我們項(xiàng)目組承擔(dān)的國(guó)家自然科學(xué)基金項(xiàng)目“腫瘤PET/CT/MRI紋理譜深度學(xué)習(xí)分析建模與智能放療應(yīng)用”進(jìn)展順利,通過(guò)與北京301醫(yī)院和湖南省腫瘤醫(yī)院合作,以臨床醫(yī)生勾畫(huà)的腫瘤放療靶區(qū)和危及器官信息作為參考金標(biāo)準(zhǔn)學(xué)習(xí)訓(xùn)練樣本集,搭建了結(jié)合多尺度信息的3D CNN靶區(qū)分割框架,以39個(gè)鼻咽瘤病例PET/CT圖像數(shù)據(jù)進(jìn)行訓(xùn)練,用8例病例進(jìn)行測(cè)試,初步實(shí)驗(yàn)的DICE準(zhǔn)確率為0.68.而以PET/MRI圖像數(shù)據(jù)進(jìn)行訓(xùn)練模型的準(zhǔn)確率要比PET/CT好很多,以12個(gè)鼻咽瘤病例PET/MRI圖像數(shù)據(jù)進(jìn)行訓(xùn)練,用2例病例進(jìn)行測(cè)試,實(shí)驗(yàn)的DICE準(zhǔn)確率達(dá)到了0.925,目前正廣泛收集更多病例進(jìn)行驗(yàn)證,有望獲得更有說(shuō)服力的結(jié)果.

5　開(kāi)放的研究方向

綜上所述,深度學(xué)習(xí)具有自動(dòng)地從數(shù)據(jù)中學(xué)習(xí)深層次、更具鑒別性特征的能力,已應(yīng)用于醫(yī)學(xué)圖像分析的多個(gè)研究領(lǐng)域,并取得了突破性進(jìn)展.我們注意到,在大多數(shù)文獻(xiàn)中,使用深度學(xué)習(xí)相關(guān)方法展示了其領(lǐng)先水平的性能,這已由醫(yī)學(xué)圖像分析的若干計(jì)算挑戰(zhàn)賽結(jié)果證明;其次,云計(jì)算和多GPU高性能并行計(jì)算技術(shù)的發(fā)展,使得深度學(xué)習(xí)從海量的醫(yī)學(xué)圖像大數(shù)據(jù)中學(xué)習(xí)深層特征成為可能;最后,可公開(kāi)訪問(wèn)的相關(guān)醫(yī)學(xué)圖像數(shù)據(jù)庫(kù)的出現(xiàn),如腦瘤MRI圖像BRATS[[173]數(shù)據(jù)集、老年癡呆癥神經(jīng)圖像ADNI數(shù)據(jù)集[93]、缺血性中風(fēng)ISLES數(shù)據(jù)集[195]及多個(gè)醫(yī)學(xué)圖像分割挑戰(zhàn)賽數(shù)據(jù)集,使得基于深度學(xué)習(xí)的分割算法能夠得到有效驗(yàn)證[33,36].

從現(xiàn)有文獻(xiàn)梳理中可看出,目前代表領(lǐng)先水平的深度學(xué)習(xí)方法大多是使用監(jiān)督學(xué)習(xí)的方式,特別是基于CNN的框架.前期的研究側(cè)重于預(yù)訓(xùn)練CNN和將CNN用作特征提取器,可通過(guò)簡(jiǎn)單下載這些預(yù)訓(xùn)練網(wǎng)絡(luò)并將其直接方便地使用到任何醫(yī)學(xué)圖像分析中.而近兩年端到端訓(xùn)練CNN成為醫(yī)學(xué)圖像分析的優(yōu)先方法.然而,獲得用于監(jiān)督學(xué)習(xí)的標(biāo)注數(shù)據(jù)是深度學(xué)習(xí)方法應(yīng)用于醫(yī)學(xué)數(shù)據(jù)分析的一大挑戰(zhàn)[31,35].在目前已標(biāo)記訓(xùn)練數(shù)據(jù)有限情況下,充分利用醫(yī)學(xué)圖像中的非標(biāo)注圖像,結(jié)合非監(jiān)督和監(jiān)督學(xué)習(xí)的優(yōu)點(diǎn),進(jìn)行弱監(jiān)督和無(wú)監(jiān)督學(xué)習(xí)將成為醫(yī)學(xué)圖像分析的一個(gè)重要發(fā)展方向.

另外,電子病歷和醫(yī)生專(zhuān)家的文本報(bào)告中包含了豐富的以自然語(yǔ)言描述的臨床診療信息,這些信息可作為圖像標(biāo)記數(shù)據(jù)的補(bǔ)充.計(jì)算機(jī)視覺(jué)領(lǐng)域中的自然圖像字幕生成方法,結(jié)合RNN和CNN的文本和圖像分析,相信很快會(huì)應(yīng)用于醫(yī)學(xué)圖像分析領(lǐng)域.

上述挑戰(zhàn)為醫(yī)學(xué)圖像分析領(lǐng)域的研究人員提供了巨大的機(jī)會(huì),我們相信,通過(guò)深度學(xué)習(xí)算法的不斷改進(jìn),借助高性能并行計(jì)算技術(shù)的發(fā)展和日益改善的醫(yī)學(xué)圖像質(zhì)量與不斷增長(zhǎng)的醫(yī)學(xué)圖像標(biāo)記樣本集,基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分析將大有所為.

1 Bibault J E,Giraud P,Burgun A.Big data and machine learning in radiation oncology:state of the art and future prospects.Cancer Letters,2016,382(1):110?117

2 Suzuki K,Zhou L P,Wang Q.Machine learning in medical imaging.Pattern Recognition,2017,63:465?467

3 Hubel Dh,Wieselt N.Receptive fi elds of single neurones in the cat′s striate cortex.The Journal of Physiology,1959,148(3):574?591

4 Fukushima K,Miyake S,Itot.Neocognitron:a neural network model for a mechanism of visual pattern recognition.IEEE Transactions on Systems,Man,and Cybernetics,1983,SMC-13(5):826?834

5 Rumelhart D E,Hinton G E,Williams R J.Learning representations by back-propagating errors.Nature,1986,323(6088):533?536

6 LeCun Y,Boser B,Denker J S,Henderson D,Howard R E,Hubbard W,Jackel L D.Backpropagation applied to handwritten zip code recognition.Neural Computation,1989,1(4):541?551

7 Hinton G E,Osindero S,Teh Y W.A fast learning algorithm for deep belief nets.Neural Computation,2006,18(7):1527?1554

8 Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks.Science,2006,313(5786):504?507

9 Lecun Y,Bottou L,Bengio Y,Haffner P.Gradient-based learning applied to document recognition.Proceedings of the IEEE,1998,86(11):2278?2324

10 Graves A,Schmidhuber J.Offline handwriting recognition with multidimensional recurrent neural networks.In:Proceedings of the 21st International Conference on Neural Information Processing Systems.British Columbia,Canada:Curran Associates Inc.,2012.545?552

11 Cire?san D C,Meier U,Gambardella L M,Schmidhuber J.Deep,Big,Simple neural nets for handwritten digit recognition.Neural Computation,2010,22(12):3207?3220

12 Graves A,Jaitly N.Towards end-to-end speech recognition with recurrent neural networks.In:Proceedings of the 31st International Conference on Machine Learning.Beijing,China:PMLR,2014.1764?1772

13 Hinton G,Deng L,Yu D,Dahl G E,Mohamed A R,Jaitly N,Senior A,Vanhoucke V,Nguyen P,Sainatht N,Kingsbury B.Deep neural networks for acoustic modeling in speech recognition:the shared views of four research groups.IEEE Signal Processing Magazine,2012,29(6):82?97

14 He K M,Zhangx Y,Ren S Q,Sun J.Deep residual learning for image recognition.In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Las Vegas,NV,USA:IEEE,2016.770?778

15 Sun Y,Wangx G,Tangx O.Deep learning face representation from predicting 10,000 classes.In:Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus,OH,USA:IEEE,2014.1891?1898

16 Mnih V,Kavukcuoglu K,Silver D,Rusu A A,Veness J,Bellemare M G,Graves A,Riedmiller M,Fidjeland A K,Ostrovski G,Petersen S,Beattie C,Sadik A,Antonoglou I,Kingh,Kumaran D,Wierstra D,Legg S,Hassabis D.Human-level control through deep reinforcement learning.Nature,2015,518(7540):529?533

17 Helping clinicians get patients from test to treatment,faster[Online],available:http://www.deepmind.com/health,March 14,2017.

18 Zhang Lei,Zhang Yi.Big data analysis by in fi nite deep neural networks.Journal of Computer Research and Development,2016,53(1):68?79(張蕾,章毅.大數(shù)據(jù)分析的無(wú)限深度神經(jīng)網(wǎng)絡(luò)方法.計(jì)算機(jī)研究與發(fā)展,2016,53(1):68?79)

19 LeCun Y,Bengio Y,Hinton G.Deep learning.Nature,2015,521(7553):436?444

20 Collobert R,Weston J.A uni fi ed architecture for natural language processing:deep neural networks with multitask learning.In:Proceedings of the 25th International Conference on Machine Learning(ICML).Helsinki,Finland:ACM,2008.160?167

21 Taigman Y,Yang M,Ranzato M,Wolf L.Deepface:closing the gap to human-level performance in face veri fi cation.In:Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus,OH,USA:IEEE,2014.1701?1708

22 Szegedy C,Toshev A,Erhan D.Deep neural networks for object detection.In:Proceedings of the 2013 Neural Information Processing Systems(NIPS).Lake Tahoe Nevada,USA:NIPS,2013.2553?2561

23 Russakovsky O,Deng J,Suh,Krause J,Satheesh S,Ma S,Huang Zh,Karpathy A,Khosla A,Bernstein M,Berg A C,Fei-Fei L.ImageNet large scale visual recognition challenge.International Journal of Computer Vision,2015,115(3):211?252

24 VOC 2012[Online],available:https://coursys.sfu.ca/2016sp-cmpt-733-g2/pages/voc2012,March 14,2017.

25 Mitos-atypi-14[Online],available:http://mitos-atypia-14.grand-challenge.org/,March 14,2017.

26 Schmidhuber J.Deep Learning in neural networks:an overview.Neural Networks,2015,61:85?117

27 Goodfellow I,Bengio Y,Courville A.Deep Learning.Massachusetts:MIT Press,2016.

28 Duan Yan-Jie,Lv Yi-Sheng,Zhang Jie,Zhao Xue-Liang,Wang Fei-Yue.Deep learning for control:the state of the art and prospects.Acta Automatica Sinica,2016,42(5):643?654(段艷杰,呂宜生,張杰,趙學(xué)亮,王飛躍.深度學(xué)習(xí)在控制領(lǐng)域的研究現(xiàn)狀與展望.自動(dòng)化學(xué)報(bào),2016,42(5):643?654)

29 Guan Hao,Xue Xiang-Yang,An Zhi-Yong.Advances on application of deep learning for video object tracking.Acta Automatica Sinica,2016,42(6):834?847(管皓,薛向陽(yáng),安志勇.深度學(xué)習(xí)在視頻目標(biāo)跟蹤中的應(yīng)用進(jìn)展與展望.自動(dòng)化學(xué)報(bào),2016,42(6):834?847)

30 Luo Jian-Hao,Wu Jian-Xin.A Survey on fi ne-grained image categorization using deep convolutional features.Acta Automatica Sinica,2017,43(8):1306?1318(羅建豪,吳建鑫.基于深度卷積特征的細(xì)粒度圖像分類(lèi)研究綜述.自動(dòng)化學(xué)報(bào),2017,43(8):1306?1318)

31 Wells III W M.Medical image analysis-past,present,and future.Medical Image Analysis,2016,33:4?6

32 Madabhushi A,Lee G.Image analysis and machine learning in digital pathology:challenges and opportunities.Medical Image Analysis,2016,33:170?175

33 Shen D G,Wu G R,Sukh I.Deep learning in medical image analysis.Annual Review of Biomedical Engineering,2017,19:221?248

34 Greenspanh,van Ginneken B,Summers R M.Deep learning in medical imaging:overview and future promise of an exciting new technique.IEEE Transactions on Medical Imaging,2016,35(5):1153?1159

35 Weese J,Lorenz C.Four challenges in medical image analysis from an industrial perspective.Medical Image Analysis,2016,33:44?49

36 Rueckert D,Glocker B,Kainz B.Learning clinically useful information from images:past,present and future.Medical Image Analysis,2016,33:13?18

37 Litjens G,Kooit,Bejnordi B E,Setio A A A,Ciompi F,Ghafoorian M,van der Laak J A W M,van Ginneken B,S′anchez C.A survey on deep learning in medical image analysis.Medical Image Analysis,2017,42(9):60?88

38 Spampinato C,Palazzo S,Giordano D,Aldinucci M,Leonardi R.Deep learning for automated skeletal bone age assessment inx-ray images.Medical Image Analysis,2016,36:41?51.

39 Li Y,Liang W,Zhang Y L,Anh B,Tan J D.Automatic lumbar vertebrae detection based on feature fusion deep learning for partial occluded C-armx-ray images.In:Proceedings of the 38th Annual International Conference of the Engineering in Medicine and Biology Society(EMBC).Orlando,FL,USA:IEEE,2016.647?650.

40 Nasr-Esfahani E,Samavi S,Karimi N,Soroushmehr S M R,Ward K,Jafari Mh,Felfeliyan B,Nallamothu B,Najarian K.Vessel extraction inx-ray angiograms using deep learning.In:Proceedings of the 38th International Conference of the Engineering in Medicine and Biology Society(EMBC).Orlando,FL,USA:IEEE,2016.643?646.

41 Dobbsh J,Parker R P.The respective roles of the simulator and computed tomography in radiotherapy planning:a review.Clinical Radiology,1984,35(6):433?439

42 Niessen W J.MR brain image analysis in dementia:from quantitative imaging biomarkers to ageing brain models and imaging genetics.Medical Image Analysis,2016,33:107?113

43 Powell C,Schmidt M,Borri M,Koh D M,Partridge M,Riddell A,Cookd G,Bhide S A,Nutting C M,Harrington K J,Newbold K L.Changes in functional imaging parameters following induction chemotherapy have important implications for individualised patient-based treatment regimens for advanced head and neck cancer.Radiotherapy and Oncology,2013,106(1):112?117

44 Bagci U,Udupa J K,Mendhiratta N,Foster B,Xu Z Y,Yao Jh,Chenx J,Mollura D J.Joint segmentation of anatomical and functional images:applications in quanti fi cation of lesions from PET,PET-CT,MRI-PET,and MRI-PET-CT images.Medical Image Analysis,2013,17(8):929?945

45 Shi J,Zhou S C,Liux,Zhang Q,Lu Mh,Wangt F.Stacked deep polynomial network based representation learning for tumor classi fi cation with small ultrasound image dataset.Neurocomputing,2016,194:87?94

46 Carneiro G,Nascimento J C,Freitas A.The segmentation of the left ventricle of the heart from ultrasound data using deep learning architectures and derivative-based search methods.IEEE Transactions on Image Processing,2012,21(3):968?982

47 Gaoxt,Lin S,Wongt Y.Automatic feature learning to grade nuclear cataracts based on deep learning.IEEE Transactions on Biomedical Engineering,2015,62(11):2693-2701

48 Zilly J,Buhmann J M,Mahapatra D.Glaucoma detection using entropy sampling and ensemble learning for automatic optic cup and disc segmentation.Computerized Medical Imaging and Graphics,2017,55:28?41

49 Yu L Q,Chenh,Dou Q,Qin J,Heng P A.Automated melanoma recognition in dermoscopy images via very deep residual networks.IEEE Transactions on Medical Imaging,2017,36(4):994?1004

50 Dhungel N,Carneiro G,Bradley A P.A deep learning approach for the analysis of masses in mammograms with minimal user intervention.Medical Image Analysis,2017,37:114?128

51 Bourlardh,Kamp Y.Auto-association by multilayer perceptrons and singular value decomposition.Biological Cybernetics,1988,59(4?5):291?294

52 Shinh C,Orton M R,Collins D J,Doran S J,Leach M O.Stacked autoencoders for unsupervised feature learning and multiple organ detection in a pilot study using 4D patient data.IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(8):1930?1943

53 Vincent P,Larochelleh,Lajoie I,Bengio Y,Manzagol P A.Stacked denoising autoencoders:learning useful representations in a deep network with a local denoising criterion.The Journal of Machine Learning Research,2010,11(12):3371?3408

54 Smolensky P.Information Processing in Dynamical Systems:Foundations of Harmony Theory.Massachusetts:MIT Press,1986.194?281

55 Salakhutdinov R,Hinton G.Deep Boltzmann machines.JournalofMachineLearningResearch,2009,5(2):1967?2006

56 Carreira-Perpinan M A,Hinton G E.On contrastive divergence learning.In:Proceedings of the 2005 Arti fi cial Intelligence and Statistics.Bridgetown,Barbados:AISTATS,2005.

57 Larochelleh,Bengio Y,Louradour J,Lamblin P.Exploring strategies for training deep neural networks.The Journal of Machine Learning Research,2009,10:1?40

58 Bengio Y,Simard P,Frasconi P.Learning long-term dependencies with gradient descent is difficult.IEEE Transactions on Neural Networks,1994,5(2):157?166

59 Hochreiter S,Schmidhuber J.Long short-term memory.Neural Computation,1997,9(8):1735?1780

60 Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification with deep convolutional neural networks.In:Proceedings of the 2012 International Conference on Neural Information Processing Systems.Lake Tahoe,Nevada,USA:Curran Associates Inc.,2012.1097?1105

61 Farabet C,Couprie C,Najman L,LeCun Y.Learning hierarchical features for scene labeling.IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(8):1915?1929

62 Simonyan K,Zisserman A.Very deep convolutional networks for large-scale image recognition.arXiv:1409.1556,2014.

63 He K M,Zhangx Y,Ren S Q,Sun J.Spatial pyramid pooling in deep convolutional networks for visual recognition.IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904?1916

64 Lin M,Chen Q,Yan S C.Network in network.arXiv:1312.4400,2014.

65 Szegedy C,Liu W,Jia Y Q,Sermanet P,Reed S,Anguelov D,Erhan D,Vanhoucke V,Rabinovich A.Going deeper with convolutions.In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,MA,USA:IEEE,2015.1?9

66 Szegedy C,Vanhoucke V,Ioffe S,Shlens J,Wojna Z.Rethinking the Inception architecture for computer vision.In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas,NV,USA:IEEE,2016.2818?2826

67 Szegedy C,Ioffe S,Vanhoucke V,Alemi A A.Inception-v4,Inception-ResNet and the impact of residual connections on learning.arXiv:1602.07261,2016.

68 Long J,Shelhamer E,Darrellt.Fully convolutional networks for semantic segmentation.In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,Massachusetts,USA:IEEE,2015.3431?3440

69 Zagoruyko S,Komodakis N.Wide residual networks.In:Proceedings of the 2016 British Machine Vision Conference.York,UK:BMVC,2016.87.1?87.12

70 Huang G,Liu Z,van der Maaten L,Weinberger K Q.Densely connected convolutional networks.In:Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition.Hawaii,USA:IEEE,2017.2261?2269

71 Chen Y P,Li J A,Xiaohx,Jinx J,Yan S C,Feng J S.Dual path network.arXiv:1707.01629,2017.

72 Iandola F N,Han S,Moskewicz M W,Ashraf K,Dally W J,Keutzer K.SqueezeNet:AlexNet-level accuracy with 50x fewer parameters and＜0.5MB model size.arXiv:1602.07360,2016.

73 Dai J F,Qih Z,Xiong Y W,Li Y,Zhang G D,Huh,Wei Y C.Deformable convolutional networks.arXiv:1703.06211,2017.

74 Hu J,Shen L,Sun G.Squeeze-and-excitation networks.arXiv:1709.01507,2017.

75 ILSVRC2016[Online],available:http://image-net.org/challenges/LSVRC/2016/results,October 30,2017.

76 LSVRC2017[Online],available:http://image-net.org/challenges/LSVRC/2017/results,October 30,2017.

77 Dai J F,Li Y,He K M,Sun J.R-FCN:object detection via region-based fully convolutional networks.arXiv:1605.06409.2016.

78 Nexar challenge II[Online],available:https://www.getnexar.com/challenge-2/,October 30,2017.

79 Cire?san D C,Giusti A,Gambardella L M,Schmidhuber J.Deep neural networks segment neuronal membranes in electron microscopy images.In:Proceedings of the 25th International Conference on Neural Information Processing Systems.Lake Tahoe,Nevada:Curran Associates Inc.,2012.2843?2851

80 Sermanet P,Eigen D,Zhangx,Mathieu M,Fergus R,Lecun Y.Overfeat:integrated recognition,localization and detection using convolutional networks.arXiv:1312.6229,2014.

81 Cire?san D C,Giusti A,Gambardella L M,Schmidhuber J.Mitosis detection in breast cancer histology images with deep neural networks.Medical Image Computing and Computer-Assisted Intervention.Nagoya,Japan:Springer,2013.411?418

82 Havaei M,Davy A,Warde-Farley D,Biard A,Courville A,Bengio Y,Pal C,Jodoin P M,Larochelleh.Brain tumor segmentation with deep neural networks.Medical Image Analysis,2017,35:18?31

83 Choih,Jin Kh.Fast and robust segmentation of the striatum using deep convolutional neural networks.Journal of Neuroscience Methods,2016,274:146?153

84 Song Y Y,Zhang L,Chen S P,Ni D,Lei B Y,Wangt F.Accurate segmentation of cervical cytoplasm and nuclei based on multiscale convolutional network and graph partitioning.IEEE Transactions on Biomedical Engineering,2015,62(10):2421?2433

85 Yang W,Chen Y Y,Liu Y B,Zhong L M,Qin G G,Lu Zt,Feng Q J,Chen W F.Cascade of multi-scale convolutional neural networks for bone suppression of chest radiographs in gradient domain.Medical Image Analysis,2017,35,421?433

86 Ronneberger O,Fischer P,Broxt.U-net:convolutional networks for biomedical image segmentation.Medical Image Computing and Computer-Assisted Intervention.Munich,Germany:Springer,2015,9351:234?241

87 C?i?cek¨O,Abdulkadir A,Lienkamp S S,Broxt,Ronneberger O.3D U-Net:learning dense volumetric segmentation from sparse annotation.Medical Image Computing and Computer-Assisted Intervention.Athens,Greece:Springer,2016,9901:424?432

88 Dou Q,Yu L Q,Chenh,Jin Y M,Yangx,Qin J,Heng P A.3D deeply supervised network for automated segmentation of volumetric medical images.Medical Image Analysis,2017,41:40?45

89 Milletari F,Navab N,Ahmadi S A.V-Net:fully convolutional neural networks for volumetric medical image segmentation.In:Proceedings of the 4th International Conference on 3D Vision.Stanford,CA,USA:IEEE,2016.565?571

90 Sukh I,Lee S W,Shen D G.The Alzheimer′s Disease Neuroimaging Initiative.Hierarchical feature representation and multimodal fusion with deep learning for AD/MCI diagnosis.NeuroImage,2014,101:569?582

91 Sukh I,Lee S W,Shen D G,The Alzheimer′s Disease Neuroimaging Initiative.Latent feature representation with stacked auto-encoder for AD/MCI diagnosis.Brain Structure and Function,2015,220(2):841?859

92 Liu S Q,Liu S D,Cai W D,Cheh Y,Pujol S,Kikinis R,Feng D G,Fulham M J.Multimodal neuroimaging feature learning for multiclass diagnosis of Alzheimer′s disease.IEEE Transactions on Biomedical Engineering,2015,62(4):1132?1140

93 ANDI.Sharing Alzheimer′s research data with the world[Online],available:http://adni.loni.usc.edu/,March 14,2017.

94 Al Rahhal M M,Bazi Y,AlHichrih,Alajlan N,Melgani F,Yager R R.Deep learning approach for active classi fication of electrocardiogram signals.Information Sciences,2016,345:340?354

95 Abdel-Zaher A M,Eldeib A M.Breast cancer classi fi cation using deep belief networks.Expert Systems with Applications,2016,46:139?144

96 Arevalo J,Gonz′alez F A,Ramos-Poll′an R,Oliveira J L,Lopez M A G.Representation learning for mammography mass lesion classi fi cation with convolutional neural networks.Computer Methods and Programs in Biomedicine,2016,127:248?257

97 Kooit,Litjens G,van Ginneken B,Gubern-M′erida A,S′anchez C I,Mann R,den Heeten A,Karssemeijer N.Large scale deep learning for computer aided detection of mammographic lesions.Medical Image Analysis,2017,35:303?312

98 Xu Y,Mot,Feng Q W,Zhong P L,Lai M D,Chang E I C.Deep learning of feature representation with multiple instance learning for medical image analysis.In:Proceedings of the 2014 IEEE International Conference on Acoustics,Speech and Signal Processing.Florence,Italy:IEEE,2014.1626?1630

99 Gaox W,Hui R,Tian Z M.Classi fi cation of CT brain images based on deep learning networks.Computer Methods and Programs in Biomedicine,2017,138:49?56

100 Payan A,Montana G.Predicting Alzheimer′s disease:a neuroimaging study with 3D convolutional neural networks.arXiv:1502.02506,2015.

101 Hosseini-Asl E,Gimel′farb G,El-Baz A.Alzheimer′s disease diagnostics by a deeply supervised adaptable 3D convolutional network.arXiv:1607.00556,2016.

102 Abdi Ah,Luong C,Tsangt,Allan G,Nouranian S,Jue J,Hawley D,Fleming S,Gin K,Swift J,Rohling R,Abolmaesumi P.Automatic quality assessment of echocardiograms using convolutional neural networks:feasibility on the apical four-chamber view.IEEE Transactions on Medical Imaging,2017,36(6):1221?1230

103 Gao Xh,Li W,Loomes M,Wang L Y.A fused deep learning architecture for viewpoint classi fi cation of echocardiography.Information Fusion,2017,36:103?113

104 Anthimopoulos M,Christodoulidis S,Ebner L,Christe A,Mougiakakou S.Lung pattern classi fi cation for interstitial lung diseases using a deep convolutional neural network.IEEE Transactions on Medical Imaging,2016,35(5):1207?1216

105 Kawahara J,Hamarneh G.Multi-resolution-tract CNN with hybrid pretrained and skin-lesion trained layers.International Workshop on Machine Learning in Medical Imaging.Athens,Greece:Springer,2016.164?171

106 Jiao Z C,Gaox B,Wang Y,Li J.A deep feature based framework for breast masses classi fi cation.Neurocomputing,2016,197:221?231

107 Tajbakhsh N,Suzuki K.Comparing two classes of end-toend machine-learning models in lung nodule detection and classi fi cation:MTANNs vs.CNNs.Pattern Recognition,2016,63:476?486

108 Kallenberg M,Petersen K,Nielsen M,Ng A Y,Diao P F,Igel C,VachonC M,Holland K,Winkel R R,Karssemeijer N,Lillholm M.Unsupervised deep learning applied to breast density segmentation and mammographic risk scoring.IEEE Transactions on Medical Imaging,2016,35(5):1322?1331

109 van Tulder G,de Bruijne M.Combining generative and discriminative representation learning for lung CT analysis with convolutional restricted Boltzmann machines.IEEE Transactions on Medical Imaging,2016,35(5):1262?1272

110 Zhang Q,Xiao Y,Dai W,Suo J F,Wang C Z,Shi J,Zhengh R.Deep learning based classi fi cation of breast tumors with shear-wave elastography.Ultrasonics,2016,72:150?157

111 Yang D,Zhang St,Yan Z N,Tan C W,Li K,Metaxas D.Automated anatomical landmark detection ondistal femur surface using convolutional neural network.In:Proceedings of the 12th International Symposium on Biomedical Imaging.New York,NY,USA:IEEE,2015.17?21

112 Chenh,Dou Q,Wangx,Qin J,Cheng J C Y,Heng P A.3D fully convolutional networks for intervertebral disc localization and segmentation.Medical Imaging and Augmented Reality.Cham:Springer,2016,9805:375?382

113 de Vos B D,Wolterink J M,de Jong P A,Viergever M A,Iˇsgum I.2D image classi fi cation for 3D anatomy localization:employing deep convolutional neural networks.In:Proceedings of the 9784,Medical Imaging 2016:Image Processing.San Diego,California,US:SPIE,2016,9784:Article No.97841Y

114 Kong B,Zhan Y Q,Shin M,Dennyt,Zhang St.Recognizing end-diastole and end-systole frames via deep temporal regression network.In:Medical Image Computing and Computer-Assisted Intervention-MICCAI.Athens,Greece:Springer,2016.264?272

115 Cai Y L,Landis M,Laidley Dt,Kornecki A,Lum A,Li S.Multi-modal vertebrae recognition using Transformed Deep Convolution Network.Computerized Medical Imaging and Graphics,2016,51:11?19

116 Lei J,Li Gh,Tu D,Guo Q.Convolutional restricted Boltzmann machines learning for robust visual tracking.Neural Computing and Applications,2014,25(6):1383-1391

117 Lo S C B,Lou S L A,Lin J S,Freedman Mt,Chien M V,Mun S K.Arti fi cial convolution neural network techniques and applications for lung nodule detection.IEEE Transactions on Medical Imaging,1995,14(4):711?718

118 Sirinukunwattana K,Raza S E A,Tsang Y W,Snead D R J,Cree I A,Rajpoot N M.Locality sensitive deep learning for detection and classi fi cation of nuclei in routine colon cancer histology images.IEEE Transactions on Medical Imaging,2016,35(5):1196?1206

119 Li A N,Cheng J,Wong D W K,Liu J.Integrating holistic and local deep features for glaucoma classi fi cation.In:Proceedings of the 38th Annual International Conference of the Engineering in Medicine and Biology Society.Orlando,FL,USA:IEEE,2016.1328?1331

120 Rothh R,Lu L,Seff A,Cherry K M,Hoffman J,Wang S J,Liu J M,Turkbey E,Summers R M.A new 2.5D representation for lymph node detection using random sets of deep convolutional neural network observations.In:Proceedings of the 17th International Conference International Conference on Medical Image Computing and Computer-Assisted Intervention.Cham,Germany:Springer,2013,8673:520?527

121 Rothh R,Lu L,Liu J M,Yao Jh,SeffA,Cherry K,Kim L,Summers R M.Improving computer-aided detection using convolutional neural networks and random view aggregation.IEEE Transactions on Medical Imaging,2016,35(5):1170?1181

122 Rothh R,Yao Jh,Lu L,Stieger J,Burns J E,Summers R M.Detection of sclerotic spine metastases via random aggregation of deep convolutional neural network classi fications.Recent Advances in Computational Methods and Clinical Applications for Spine Imaging.Cham:Springer,2015.3?12

123 Wang J,Dingh J,Bidgoli F A,Zhou B,Iribarren C,Molloi S,Baldi P.Detecting cardiovascular disease from mammograms with deep learning.IEEE Transactions on Medical Imaging,2017,36(5):1172?1181

124 Quellec G,Charri`ere K,Boudi Y,Cochener B,Lamard M.Deep image mining for diabetic retinopathy screening.Medical Image Analysis,2017,39:178?193

125 Teramoto A,Fujitah,Yamamuro O,Tamakit.Automated detection of pulmonary nodules in PET/CT images:ensemble false-positive reduction using a convolutional neural network technique.Medical Physics,2016,43:2821?2827

126 Albarqouni S,Baur C,Achilles F,Belagiannis V,Demirci,Navab N.AggNet:deep learning from crowds for mitosis detection in breast cancer histology images.IEEE Transactions on Medical Imaging,2016,35(5):1313?1321

127 Chenh,Yu L Q,Dou Q,Shi L,Mok V Ct,Heng P A.Automatic detection of cerebral microbleeds via deep learning based 3D feature representation.In:Proceedings of the 12th International Symposium on Biomedical Imaging(ISBI).New York,NY,USA:IEEE,2015.764?767

128 Dou Q,Chenh,Yu L Q,Zhao L,Qin J,Wang D F,Mok V Ct,Shi L,Heng P A.Automatic detection of cerebral microbleeds from MR images via 3D convolutional neural networks.IEEE Transactions on Medical Imaging,2016,35(5):1182?1195

129 Dou Q,Chenh,Yu L Q,Qin J,Heng P A.Multilevel contextual 3-D CNNs for false positive reduction in pulmonary nodule detection.IEEE Transactions on Biomedical Engineering,2017,64(7):1558?1567

130 van Grinsven M J J P,van Ginneken B,Hoyng C B,Theelent,Sanchez C I.Fast convolutional neural network training using selective data sampling:application to hemorrhage detection in color fundus images.IEEE Transactions on Medical Imaging,2016,35(5):1273?1284

131 Xu J,Xiang L,Liu Q S,Gilmoreh,Wu J Z,Tang Jh,Madabhushi A.Stacked sparse autoencoder(SSAE)for nuclei detection on breast cancer histopathology images.IEEE Transactions on Medical Imaging,2016,35(1):119?130

132 Masood A,Al-Jumaily A,Anam K.Self-supervised learning model for skin cancer diagnosis.In:Proceedings of the 7th International IEEE/EMBS Conference on Neural Engineering.Montpellier,USA:IEEE,2015.1012?1015

133 Girshick R.Fast R-CNN.In:Proceedings of the 2015 IEEE International Conference on Computer Vision.Santiago,Chile:IEEE,2015.1440?1448

134 Sarikaya D,Corso J J,Guru K A.Detection and localization of robotic tools in robot-assisted surgery videos using deep neural networks for region proposal and detection.IEEE Transactions on Medical Imaging,2017,36(7):1542?1549

135 Twinanda A P,Shehata S,Mutter D,Marescaux J,Mathelin M D,Padoy N.EndoNet:a deep architecture for recognition tasks on laparoscopic videos.IEEE Transactions on Medical Imaging,2016,36(1):86?97

136 Chenh,Wu L Y,Dou Q,Qin J,Li S,Cheng J Z,et al.Ultrasound standard plane detection using a composite neural network Framework.IEEE Transactions on Cybernetics,2017,47(6):1576?1586

137 Kumar N,Verma R,Sharma S,Bhargava S,Vahadane A,Sethi A.A dataset and a technique for generalized nuclear segmentation for computational pathology.IEEE Transactions on Medical Imaging,2017,36(7):1550?1560

138 Xu Y,Jia Z P,Ai Y Q,Zhang F,Lai M D,Chang E I C.Deep convolutional activation features for large scale brain tumor histopathology image classi fi cation and segmentation.In:Proceedings of the 2015 IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP).South Brisbane,QLD,Australia:IEEE,2015.947?951

139 Qaisert,Sirinukunwattana K,Nakane K,Tsang Y W,Epstein D,Rajpoot N.Persistent homology for fast tumor segmentation in whole slide histology images.Procedia Computer Science,2016,90:119?124

140 Song Y Y,Tan E L,Jiangx D,Cheng J Z,Ni D,Chen S P,Lei B Y,Wangt F.Accurate cervical cell segmentation from overlapping clumps in pap smear images.IEEE Transactions on Medical Imaging,2017,36(1):288?300

141 Fakhry A,Zengt,Ji S W.Residual deconvolutional networks for brain electron microscopy image segmentation.IEEE Transactions on Medical Imaging,2017,36(2):447?456

142 Chenh,Qix J,Yu L Q,Heng P A.DCAN:deep contouraware networks for accurate gland segmentation.In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Las Vegas,NV,USA:IEEE,2016.2487?2496

143 Xu Y,Li Y,Wang Y P,Liu M Y,Fan Y B,Lai M D,Chang E I C.Gland instance segmentation using deep multichannel neural networks.IEEE Transactions on Biomedical Engineering,2017,64(12):2901?2912

144 Sirinukunwattana K,Pluim J P W,Chenh,Qix J,Heng P A,Guo Y B,Wang L Y,Matuszewski B J,Bruni E,Sanchez U,B¨ohm A,Ronneberger O,Cheikh B B,Racoceanu D,Kainz P,Pfeiffer M,Urschler M,Snead D R J,Snead N M.Gland segmentation in colon histology images:the glas challenge contest.Medical Image Analysis,2016,35:489?502

145 Xie Y P,Zhang Z Z,Sapkota M,Yang L.Spatial clockwork recurrent neural network for muscle perimysium segmentation.International Conference on Medical Image Computing and Computer-Assisted Intervention.Athens,Greece:Springer,2016,9901:185?193

146 Xing F Y,Xie Y P,Yang L.An automatic learning-based framework for robust nucleus segmentation.IEEE Transactions on Medical Imaging,2016,35(2):550-566

147 Zhang W L,Li R J,Denght,Wang L,Lin W L,Ji S W,Shen D G.Deep convolutional neural networks for multi-modality isointense infant brain image segmentation.NeuroImage,2015,108:214?224

148 Stollenga M F,Byeon W,Liwicki M,Schmidhuber J.Parallel multi-dimensional LSTM,with application to fast biomedical volumetric image segmentation.arXiv:1506.07452,2015.

149 Cui Z P,Yang J,Qiao Y.Brain MRI segmentation with patch-based CNN approach.In:Proceedings of the 35th Chinese Control Conference.Chengdu,China:IEEE,2016.7026?7031

150 Moeskops P,Viergever M A,Mendrik A M,de Vries L S,Benders M J N L,Iˇsgum I.Automatic segmentation of MR brain images with a convolutional neural network.IEEE Transactions on Medical Imaging,2016,35(5):1252?1262

151 Dolz J,Betrouni N,Quidet M,Kharroubi D,Leroyh A,Reyns N,Massoptier L,Vermandel M.Stacking denoising auto-encoders in a deep network to segment the brainstem on MRI in brain cancer patients:a clinical study.Computerized Medical Imaging and Graphics,2016,52:8?18

152 Mansoor A,Cerrolaza J J,Idrees R,Biggs E,Alsharid M A,Avery R A,Linguraru M G.Deep learning guided partitioned shape model for anterior visual pathway segmentation.IEEE Transactions on Medical Imaging,2016,35(8):1856?1865

153 Shakeri M,Tsogkas S,Ferrante E,Lippe S,Kadoury S,Paragios N,Kokkinos I.Sub-cortical brain structure segmentation using F-CNN′s.In:Proceedings of the 13th International Symposium on Biomedical Imaging(ISBI).Prague,Czech:IEEE,2016.269-272

154 Moeskops P,Wolterink J M,van der Velden Bh M,Gilhuijs K G A,Leinert,Viergever M A,Iˇsgum I.Deep learning for multi-task medical image segmentation in multiple modalities.Medical Image Computing and Computer-Assisted Intervention.Athens,Greece:Springer,2016,9901:478?486

155 Wu A,Xu Z Y,Gao M C,Buty M,Mollura D J.Deep vessel tracking:a generalized probabilistic approach via deep learning.In:Proceedings of the 13th International Symposium on Biomedical Imaging(ISBI).Prague,Czech:IEEE,2016.1363?1367

156 Liskowski P,Krawiec K.Segmenting retinal blood vessels with deep neural networks.IEEE Transactions on Medical Imaging,2016,35(11):2369?2380

157 Wang S L,Yin Y L,Cao G B,Wei B Z,Zheng Y J,Yang G P.Hierarchical retinal blood vessel segmentation based on feature and ensemble learning.Neurocomputing,2015,149:708?717

158 Li Q L,Feng B W,Xie L P,Liang P,Zhangh S,Wangt F.A cross-modality learning approach for vessel segmentation in retinal images.IEEE Transactions on Medical Imaging,2016,35(1):109?118

159 Avendi M R,Kheradvar A,Jafarkhanih.A combined deep-learning and deformable-model approach to fully automatic segmentation of the left ventricle in cardiac MRI.Medical Image Analysis,2016,30:108?119

160 Ngot A,Lu Z,Carneiro G.Combining deep learning and level set for the automated segmentation of the left ventricle of the heart from cardiac cine magnetic Resonance.Medical Image Analysis,2017,35:159?171

161 Tan L K,Liew Y M,Lim E,McLaughlin R A.Convolutional neural network regression for short-axis left ventricle segmentation in cardiac cine MR sequences.Medical Image Analysis,2017,39:78?86

162 Zhenx,Wang Z,Islam A,Bhaduri M,Chan I,Li S.Multi-scale deep networks and regression forests for direct bi-ventricular volume estimation.Medical Image Analysis,2015,30:120?129

163 Rothh R,Farag A,Lu L,Turkbey E B,Ronald M.Deep convolutional networks for pancreas segmentation in CT imaging.In:Proceedings of 9413,Medical Imaging 2015:Image Processing.Orlando,Florida,USA:SPIE,2015,9413:Article No.94131G

164 Rothh R,Lu L,Farag A,Shinh C,Liu J M,Turkbey E B,Summers R M.DeepOrgan:multi-level deep convolutional networks for automated pancreas segmentation.In:Proceedings of the 18th International Conference Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015.Munich,Germany:Springer,2015.556?564

165 Guo Y R,Gao Y Z,Shen D G.Deformable MR prostate segmentation via deep feature learning and sparse patch matching.IEEE Transactions on Medical Imaging,2016,35(4):1077?1089

166 Korez R,Likar B,Pernuˇs F,Vrtovect.Model-based segmentation of vertebral bodies from MR images with 3D CNNs.Medical Image Computing and Computer-Assisted Intervention.Athens,Greece:Springer,2016.433?441

167 Poudel R P K,Lamata P,Montana G.Recurrent fully convolutional neural networks for multi-slice MRI cardiac segmentation.Reconstruction,Segmentation,and Analysis of Medical Images.Cham:Springer,2016.83?94

168 Kamnitsas K,Ledig C,Newcombe V F J,Simpson J P,Kane A D,Menon D K,Rueckert D,Glocker B.Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation.Medical Image Analysis,2017,36:61?78

169 Chen L C,Papandreou G,Kokkinos I,Murphy K,Yuille.Semantic image segmentation with deep convolutional nets and fully connected CRFs.arXiv:1412.7062,2014.

170 Gao M,Xu Z Y,Lu L,Wu A,Nogues I,Summers R M,Mollura D J.Segmentation label propagation using deep convolutional neural networks and dense conditional random fi eld.In:Proceedings of the 13th International Symposium on Biomedical Imaging.Prague,Czech Republic:IEEE,2016.1265?1268

171 Broscht,Tang L Y W,Yoo Y,Li D K B,Traboulsee A,Tam R.Deep 3D convolutional encoder networks with shortcuts for multiscale feature integration applied to multiple sclerosis lesion segmentation.IEEE Transactions on Medical Imaging,2016,35(5):1229?1239

172 BRATS2015[Online],available:https://www.smir.ch/BRATS/Start2015,March 14,2017.

173 Wang Ch,Yanx C,Smith M,Kochhar K,Rubin M,Warren S M,Wrobel J,Leeh.A uni fi ed framework for automatic wound segmentation and analysis with deep convolutional neural networks.In:Proceedings of the 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society.Milan,Italy:IEEE,2015.2415?2418

174 Urban G,Bendszus M,Hamprecht F A,Kleesiek J.Multimodal brain tumor segmentation using deep convolutional neural networks.In:Proceedings of the 2014 MICCAI Workshop on Multimodal Brain Tumor Segmentation Challenge.Boston,Massachusetts,USA:Springer,2014.31?35

175 Zikic D,Ioannou Y,Brown M,Criminisi A.Segmentation of brain tumor tissues with convolutional neural networks.In:Proceedings of the 2014 MICCAI Workshop on Multimodal Brain Tumor Segmentation Challenge.Boston,Massachusetts,USA:Springer,2014.36?39

176 Pereira S,Pinto A,Alves V,Silva C A.Brain tumor segmentation using convolutional neural networks in MRI images.IEEE Transactions on Medical Imaging,2016,35(5):1240?1251

177 Carneiro G,Nascimento J,Bradley A P.Unregistered multiview mammogram analysis with pre-trained deep learning models.Medical Image Computing and Computer-Assisted Intervention.Munich,Germany:Springer,2015.652?660

178 Bar Y,Diamant I,Wolf L,Greenspanh.Deep learning with non-medical training used for chest pathology identi fi cation.In:Proceedings of 9414,Medical Imaging 2015:Computer-Aided Diagnosis.Orlando,Florida,USA:SPIE,2015,9414:Article No.94140V

179 Bar Y,Diamant I,Wolf L,Lieberman S,Konen E,Greenspanh.Chest pathology detection using deep learning with non-medical training.In:Proceedings of the 12th International Symposium on Biomedical Imaging.New York,NY,USA:IEEE,2015.294?297

180 Ginneken B V,Setio A A A,Jacobs C,Ciompi F.Off-theshelf convolutional neural network features for pulmonary nodule detection in computed tomography scans.In:Proceedings of the 12th International Symposium on Biomedical Imaging.New York,NY,USA:IEEE,2015.286?289

181 Shinh C,Rothh R,Gao M C,Lu L,Xu Z Y,Nogues I,Yao Jh,Mollura D,Summers R M.Deep convolutional neural networks for computer-aided detection:CNN architectures,dataset characteristics and transfer learning.IEEE Transactions on Medical Imaging,2016,35(5):1285?1298

182 Chat fi eld K,Simonyan K,Vedaldi A,Zisserman A.Return of the devil in the details:delving deep into convolutional nets.In:Proceedings of the 2014 British Machine Vision Conference.Nottingham,UK:University of Nottingham,2014.

183 Ciompi F,de Hoop B,van Riel S J,Chung K,Scholten Et,Oudkerk M,de Jong P A,Prokop M,van Ginneken B.Automatic classi fi cation of pulmonary peri- fi ssural nodules in computed tomography using an ensemble of 2D views and a convolutional neural network out-of-the-box.Medical Image Analysis,2015,26(1):195?202

184 Tajbakhsh N,Shin J Y,Gurudu S R,Hurst Rt,Kendall C B,Gotway M B,Liang J M.Convolutional neural networks for medical image analysis:full training or fi ne tuning?IEEE Transactions on Medical Imaging,2016,35(5):1299?1312

185 Aroyo L,Welty C.Truth is a lie:crowd truth and the seven myths of human annotation.AI Magazine,2015,36(1):15?24

186 Zhang St,Metaxas D.Large-scale medical image analytics:recent methodologies,applications and future directions.Medical Image Analysis,2016,33:98?101

187 Ioffe S,Szegedy C.Batch normalization:accelerating deep network training by reducing internal covariate shift.In:Proceedings of the 32nd International Conference on Machine Learning.Lille,France:JMLR,2015,37:448?456

188 Hinton G E,Srivastava N,Krizhevsky A,Sutskever I,Salakhutdinov R R.Improving neural networks by preventing co-adaptation of feature detectors.Computer Science,arXiv:1207.0580,2012.

189 I?s?n A,Direkoˇglu C,S?ah M.Review of MRI-based brain tumor image segmentation using deep learning methods.Procedia Computer Science,2016,102:317?324

190 Setio A A A,Ciompi F,Litjens G,Gerke P,Jacobs C,Riel V,Wille M M W,Naqibullah M,S′anchez C I,van Ginneken B.Pulmonary nodule detection in CT images:false positive reduction using multi-view convolutional networks.IEEE Transactions on Medical Imaging,2016,35(5):1160?1169

191 Nie D,Zhangh,Adeli E,Liu L Y,Shen D G.3D deep learning for multi-modal imaging-guided survival time prediction of brain tumor patients.In:Proceedings of the 19th International Conference Medical Image Computing and Computer-Assisted Intervention.Athens,Greece:Springer,2016,9901:212?220

192 Diabetic retinopathy detection[Online],available:https://www.kaggle.com/c/diabetic-retinopathy-detection,July 2,2017.

193 Second annual data science bowl[Online],available:https://www.kaggle.com/c/second-annual-data-sciencebowl,July 2,2017.

194 Tianchi AI competition[Online],available:https://tianchi.aliyun.com/mini/medical2017.htm_spm=5176.100065.3333.1.FCejdd,July 2,2017.

195 Maier O,Menze Bh,Gablentz J V D,Hani L,Heinrich M P,Liebrand M,Winzeck S,Basit A,Bentley P,Chen L,Christiaens D,Dutil F,Egger K,Feng C,Glocker B,G′’otz M,Haeckt,Halmeh L,Havaei M,Iftekharuddin K M,Jodoin P M,Kamnitsas K,Kellner E,Korvenoja A,Larochelleh,Ledig C,Lee Jh,Maes F,Mahmood Q,Maier-Hein Kh,McKinley R,Muschelli J,Pal C,Pei L,Rangarajan J R,Reza S M,Robben D,Rueckert D,Salli E,Suetens P,Wang C W,Wilms M,Kirschke J S,Kr Amer U M,Müntet F,Schramm P,Wiest R,Handelsh,Reyes M.ISLES 2015-A public evaluation benchmark for ischemic stroke lesion segmentation from multispectral MRI.Medical Image Analysis,2017,35:250?269