基于深度卷積神經(jīng)網(wǎng)絡(luò)方法構(gòu)建肺部多模態(tài)圖像分類診斷模型*

武志遠 馬 圓 唐 浩 姚二林 郭秀花△

【提 要】 目的 介紹卷積神經(jīng)網(wǎng)絡(luò)方法，并將其應(yīng)用于肺部多模態(tài)圖像進行肺結(jié)節(jié)良惡性分類。 方法 基于肺部PET-CT多模態(tài)圖像，分析臨床信息與卷積神經(jīng)網(wǎng)絡(luò)的結(jié)合并與機器學(xué)習(xí)支持向量機方法作效果對比。 結(jié)果 52名患者的323張結(jié)節(jié)圖像納入研究。研究表明，模型中納入臨床信息能夠改進模型的分類效果，準(zhǔn)確率、靈敏度、特異度分別為0.913、0.942、0.417；在與支持向量機模型的對比分析中，卷積神經(jīng)網(wǎng)絡(luò)模型特異度較低為0.417，而靈敏度達到0.942；支持向量機模型靈敏度較低為0.570，而特異度達到0.927。 結(jié)論 基于肺部PET-CT多模態(tài)圖像進行肺結(jié)節(jié)良惡性判別，卷積神經(jīng)網(wǎng)絡(luò)能夠獲得較高的靈敏度。

據(jù)世界衛(wèi)生組織統(tǒng)計報道，肺癌的發(fā)病率、致死率在所有癌癥中占據(jù)首位[1]，其原因是多數(shù)患者在初次診斷時就已經(jīng)處于晚期。提高肺癌患者的生存質(zhì)量、降低肺癌的死亡率，主要挑戰(zhàn)在于提高肺癌早期診斷率。高分辨CT是診斷肺部孤立性肺結(jié)節(jié)的最常用影像學(xué)方法。但是低劑量CT的肺癌篩查假陽性較高[2]。而PET-CT融合兩種模態(tài)的圖像，同時反映病灶的結(jié)構(gòu)信息和代謝信息[3]。因此肺部PET-CT融合圖像的計算機輔助診斷(computer aided diagnosis,CAD)成為熱點。針對肺部PET-CT多模態(tài)融合圖像的多數(shù)研究主要是通過機器學(xué)習(xí)方法，進行人工特征提取，基于深度學(xué)習(xí)進行肺結(jié)節(jié)良惡性分類的研究少有報道[4-5]。

原理與方法

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)起源于貓視覺皮層的研究，受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)而設(shè)計[6]。其中，ResNet網(wǎng)絡(luò)被用于2015年ILSVRC比賽中，已將錯誤率降到3.57%[7]。CNN方法在圖像分類識別和物體定位檢測方面凸顯優(yōu)勢并取得良好效果[8-9]。

1.卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

(1)卷積層

由多個特征面組成，通過卷積核與上一層特征面相關(guān)聯(lián)。卷積核是一個權(quán)值矩陣，可以提取輸入的局部特征，卷積層中的神經(jīng)元通過激活函數(shù)，獲得每個神經(jīng)元的輸出值，這一過程具有權(quán)值共享的特點；卷積層的計算表達式為：

式中：l代表卷積層所在層數(shù)；Mj代表上層的輸入特征圖；k是卷積核；b是偏置；f是激活函數(shù)。

(2)池化層

緊跟在卷積層之后，它的每一個特征面唯一對應(yīng)于其上一層的一個特征面，不會改變特征面的個數(shù)。池化層起到二次提取特征的作用，通過池化操作使神經(jīng)元數(shù)量減少，對圖像進行降維，并提高圖像特征的變換不變特性，降低網(wǎng)絡(luò)模型的運算量。常用的池化方法有最大池化、均值池化、隨機池化，新提出的池化方法有混合池化、Lp范數(shù)池化、空域金字塔池化。池化層的計算形式為：

式中：down()代表下采樣函數(shù)；β和b代表下采樣層系數(shù)和偏置；f是激活函數(shù)。

(3)全連接層

在CNN結(jié)構(gòu)中，經(jīng)多個卷積層和池化層后，連接著1個或1個以上的全連接層，以整合卷積層或者池化層提取到的局部特征信息，最后一層全連接層的輸出值被傳遞給一個輸出層，向外界輸出結(jié)果，進行分類、檢測、識別等任務(wù)。每個神經(jīng)元的輸出為：

hw,b(x)=f(wTx+b)

式中，hw,b(x)表示神經(jīng)元的輸出值；x代表神經(jīng)元輸入的特征向量；w表示權(quán)值向量；b代表權(quán)值；f為激活函數(shù)。

2.卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

(1)向前傳播階段

卷積和池化依次進行，上一層的輸出作為下一層的輸入，并通過激活函數(shù)逐層傳播。

(2)誤差傳播階段

通過實際輸出和期望輸出間的誤差反向傳播，計算損失函數(shù)，得到各個網(wǎng)絡(luò)層的誤差函數(shù)，然后基于各個權(quán)值和偏置對誤差函數(shù)求導(dǎo)，最后采樣隨機梯度下降法對網(wǎng)絡(luò)權(quán)值和偏置進行更新和優(yōu)化，使得實際輸出和期望輸出間的誤差平方和達到最小或小于某一期望閾值。

對于一個含有m個樣本的數(shù)據(jù)集，用批量梯度下降的方法求解神經(jīng)網(wǎng)絡(luò)。單個樣本(x，y)的代價函數(shù)可表示為：

整體代價函數(shù)可表示為：

求解神經(jīng)網(wǎng)絡(luò)就是為了使得代價函數(shù)J(W,b)達到最小化。最小化代價函數(shù)J(W,b;x,y)，用以下方法更新參數(shù)W和b：

α為參數(shù)的更新率，即學(xué)習(xí)率。

3.本文采用的模型結(jié)構(gòu)

Le Net-5網(wǎng)絡(luò)由3個卷積層，2個池化層，2個全連接層構(gòu)成，加上輸入層和輸出層共包含8層，最初被用于手寫數(shù)字識別。本研究中結(jié)節(jié)圖像的分類模型基于Le Net-5網(wǎng)絡(luò)做出調(diào)整。

實例分析

1.資料來源

收集52例來自首都醫(yī)科大學(xué)附屬北京宣武醫(yī)院患者的肺部PET-CT圖像，最終323張肺結(jié)節(jié)圖像納入研究，其中良性44張，惡性279張。病例診斷由病理科醫(yī)生依據(jù)手術(shù)病理切片做出。通過問卷調(diào)查和查閱病人入院信息等方法，收集包括病例人口學(xué)特征信息(年齡、性別)和結(jié)節(jié)形態(tài)學(xué)信息(結(jié)節(jié)大小、淋巴結(jié)是否腫大、結(jié)節(jié)數(shù)量、結(jié)節(jié)密度、實質(zhì)性改變、有暈征、毛玻璃樣改變、毛刺征、分葉征、空泡征、鈣化、空洞、胸膜凹陷征、胸水)共計16個變量。

(1)納入標(biāo)準(zhǔn)

拍攝機器為UMI51096環(huán)光導(dǎo)PET-CT；圖像格式為DICOM；有病理診斷結(jié)果。

(2) 排除標(biāo)準(zhǔn)

個人信息填寫不完整，數(shù)據(jù)缺失；結(jié)節(jié)難以分割提取的病例。

對DICOM格式的PET-CT圖像進行預(yù)處理，在臨床大夫和影像科大夫的輔助下，每個患者保留包含肺部結(jié)節(jié)的圖像進行手動分割，提取感興趣區(qū)域；對圖像感興趣區(qū)域采用區(qū)域增長法進行增強與降噪，去除周圍組織，最終轉(zhuǎn)化為323張歸一化的png格式、28×28大小的肺結(jié)節(jié)二維圖像。區(qū)域分割[22]實質(zhì)是把具有某種相似性質(zhì)的像素連通，從而構(gòu)成最終的分割區(qū)域。研究采用區(qū)域生長法對PET-CT圖像中的肺結(jié)節(jié)進行分割。

2.結(jié)果

(1)人口學(xué)及結(jié)節(jié)形態(tài)學(xué)特征分析結(jié)果

本次共收集病例52例，其中良性病例8例，惡性病例44例。其中，男性35例，女性17例。其中最大年齡為86.19歲，最小年齡為40.47歲。經(jīng)統(tǒng)計學(xué)檢驗發(fā)現(xiàn)，年齡(t=-1.315,P=0.194)和性別(χ2=-1.790,P=1.000)在良惡性兩組之間無統(tǒng)計學(xué)差異。

肺結(jié)節(jié)形態(tài)學(xué)特征方面，經(jīng)卡方檢驗發(fā)現(xiàn)，結(jié)節(jié)大小(P=0.073)、有暈征(P=0.551)、毛玻璃征(P=0.499)、毛刺征(P=0.056)、分葉征(P=0.164)、空泡征(P=0.833)、鈣化征(P=0.109)、空洞(P=1.000)、胸膜凹陷征(P=1.000)、胸水(P=0.311)、淋巴結(jié)腫大(P=0.071)、結(jié)節(jié)密度(P=0.469)、實性結(jié)節(jié)(P=0.499)、結(jié)節(jié)數(shù)量(P=1.000) 16個變量均無統(tǒng)計學(xué)差異。

(2)圖像數(shù)據(jù)平衡處理結(jié)果

將結(jié)節(jié)圖像隨機分為訓(xùn)練集239張和測試集80張，訓(xùn)練集標(biāo)記為良性32張，惡性207張，為解決良惡性圖像數(shù)量間的不平衡問題，進行圖像擴充(平移、旋轉(zhuǎn)、填補等處理)，最后訓(xùn)練集中良性標(biāo)簽1568張，惡性標(biāo)簽1856張。

(3)臨床信息對于分類結(jié)果的影響

基于Le Net-5結(jié)構(gòu)，對比不納入臨床信息和納入臨床信息模型的分類效果，靈敏度和特異度的截點值均設(shè)為0.5，結(jié)果如表1所示。

表1 納入特征變量前后模型分類效果對比

結(jié)果表明，納入人口學(xué)和結(jié)節(jié)形態(tài)學(xué)特征后，模型的識別能力得到提升，特異度上升至0.417，靈敏度達到0.942。

(4)卷積神經(jīng)網(wǎng)絡(luò)與支持向量機方法的比較

CNN模型能夠自動提取圖片特征，并對輸入圖像進行降維。機器學(xué)習(xí)方法需要手動提取特征，本課題組之前用二代小波變化提取圖像紋理值特征，與臨床特征一起送入支持向量機分類器(support vector machine,SVM)進行肺結(jié)節(jié)圖像良惡性分類，結(jié)果如表2所示。

表2 CNN與支持向量機分類效果對比

實驗表明，CNN模型在靈敏度上優(yōu)于支持向量機模型，對于肺癌的早期發(fā)現(xiàn)意義重大；支持向量機特異度優(yōu)于CNN模型，誤診率低。

(5)模型結(jié)果匯總

三個模型基于準(zhǔn)確率、靈敏度、特異度、AUC值進行比較，結(jié)果表明與不加入臨床信息的模型(模型1)相比，加入臨床信息的CNN結(jié)構(gòu)(模型2)的識別率和靈敏度較高，SVM模型(模型3)的特異度較高，具體結(jié)果如圖1所示。

圖1 肺結(jié)節(jié)分類模型效果對比

討 論

1.臨床特征對于結(jié)節(jié)良惡性分類效果差異分析。

基于CNN自動提取的圖像特征進行良惡性分類，分類能力有限。李學(xué)滄[10]等人將CNN應(yīng)用于肺癌病理圖像自動分類中，同時將圖像的顏色特征和邊緣特征納入分類器，取得了良好的效果。研究表明，肺癌圖像的自動分類不應(yīng)僅僅局限于網(wǎng)絡(luò)自動提取的特征，應(yīng)將臨床先驗知識與模型提取特征相融合，基于多維大數(shù)據(jù)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，在不增加模型參數(shù)和運行時間的基礎(chǔ)上，提高診斷的準(zhǔn)確度。

2.醫(yī)學(xué)圖像分類逐漸出現(xiàn)智能化趨勢

有研究[11-12]通過深度學(xué)習(xí)的方法進行肺結(jié)節(jié)的自動提取。今后可以將兩個模型結(jié)合起來，首先搭建結(jié)節(jié)檢測的模型，對感興趣的圖像區(qū)域進行自動分割，將提取的區(qū)域作為輸入進入第二個良惡性分類模型，進行肺結(jié)節(jié)良惡性的分類診斷。此外，較小的數(shù)據(jù)量無法滿足深度學(xué)習(xí)海量數(shù)據(jù)驅(qū)動的要求。解決辦法一方面需要加強數(shù)據(jù)量的收集與質(zhì)量控制，另一方面可以將遷移學(xué)習(xí)理論[13]與醫(yī)學(xué)圖像分類結(jié)合。應(yīng)用開源的圖像數(shù)據(jù)庫，如自然圖像數(shù)據(jù)(ImageNet,CIFAR-10)、醫(yī)學(xué)圖像數(shù)據(jù)庫(LUNA16,LIDC-IDRI)等大數(shù)據(jù)資源，選擇合適的源域數(shù)據(jù)，解決目標(biāo)領(lǐng)域的分類任務(wù)。褚晶輝等人[14]就將遷移學(xué)習(xí)與深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出了自然圖像數(shù)據(jù)與醫(yī)學(xué)圖像數(shù)據(jù)作為源域的二次遷移學(xué)習(xí)策略，構(gòu)建了基于54名患者的乳腺腫瘤診斷系統(tǒng)。

目前，有研究[15]開始運用3-D卷積神經(jīng)網(wǎng)絡(luò)進行感興趣區(qū)域的分割和疾病診斷。現(xiàn)有開源的3-D CNN模型，可以在DICOM格式的醫(yī)學(xué)圖像中，通過三維卷積核作為特征提取工具，進行圖像分類。