基于3D深度殘差網(wǎng)絡(luò)和多模態(tài)MRI的腦膠質(zhì)瘤自動(dòng)分級(jí)

王瑞，劉志強(qiáng)，齊崇，孟藍(lán)熙，李少武

1.北京市神經(jīng)外科研究所/首都醫(yī)科大學(xué)附屬北京天壇醫(yī)院，北京 100070；2.國(guó)家癌癥中心/國(guó)家腫瘤臨床醫(yī)學(xué)研究中心/中國(guó)醫(yī)學(xué)科學(xué)院北京協(xié)和醫(yī)學(xué)院腫瘤醫(yī)院放療科，北京 100021

前言

腦膠質(zhì)瘤是最常見的腦部腫瘤［1］，根據(jù)2016版世界衛(wèi)生組織（World Health Organization,WHO）中樞神經(jīng)系統(tǒng)腫瘤分類標(biāo)準(zhǔn)［2］，腦膠質(zhì)瘤可以分為I～I(xiàn)V級(jí)：I級(jí)和II級(jí)為低級(jí)別腦膠質(zhì)瘤（Low Grade Gliomas,LGG），III 級(jí)和IV 級(jí)為高級(jí)別腦膠質(zhì)瘤（High Grade Gliomas,HGG）。其中LGG生長(zhǎng)速度較慢，通常手術(shù)輔助其他治療手段預(yù)后較好，而HGG生長(zhǎng)迅速、惡性程度高、侵襲性強(qiáng)，患者在手術(shù)切除后仍有很高的病死率，術(shù)后需要進(jìn)一步輔助放療和化療，生存預(yù)后差。因此，腦膠質(zhì)瘤的準(zhǔn)確分級(jí)在確定治療方案和預(yù)測(cè)預(yù)后方面起著重要作用。磁共振成像（Magnetic Resonance Imaging,MRI）已被廣泛應(yīng)用于腦膠質(zhì)瘤的無(wú)創(chuàng)診斷、監(jiān)控和隨訪［3］。與單模態(tài)MRI 相比，多模態(tài)MRI：包括T1加權(quán)像（T1）、T1對(duì)比增強(qiáng)加權(quán)像（T1C）、T2加權(quán)像（T2）、T2液體衰減反轉(zhuǎn)恢復(fù)像（FLAIR）、灌注加權(quán)像、彌散加權(quán)像、彌散張量加權(quán)像和波譜等，可以提供更豐富的腫瘤信息，為腫瘤的精確分級(jí)提供基礎(chǔ)。目前，腦膠質(zhì)瘤分級(jí)的標(biāo)準(zhǔn)方法基于組織病理學(xué)分析，存在以下局限性：（1）活檢是一種侵入性手術(shù)，有潛在的風(fēng)險(xiǎn)；（2）由于MRI 圖像上的腫瘤信號(hào)不均勻，活檢可能存在固有的取樣誤差；（3）不同檢驗(yàn)者之間可能存在觀察的不確定性；（4）組織病理學(xué)分析費(fèi)時(shí)，可能會(huì)延誤診斷。為克服以上缺點(diǎn)，發(fā)展計(jì)算機(jī)輔助腦膠質(zhì)瘤的自動(dòng)分級(jí)技術(shù)尤為重要。如何利用多模態(tài)MRI 提供的豐富信息，快速實(shí)現(xiàn)腦膠質(zhì)瘤精確的自動(dòng)分級(jí)是具有挑戰(zhàn)性的問題。

傳統(tǒng)的模式識(shí)別和機(jī)器學(xué)習(xí)方法（如線性判別分析［4-5］、K-均值聚類［6］、決策樹［7］、支持向量機(jī)［8-9］等）已經(jīng)應(yīng)用于單模態(tài)或多模態(tài)MRI 圖像實(shí)現(xiàn)腦膠質(zhì)瘤的分級(jí)，傳統(tǒng)的方法需要手動(dòng)勾畫感興趣區(qū)域（Region of Interests,ROIs），基于ROIs 提取腫瘤形狀和統(tǒng)計(jì)特征、MRI 圖像強(qiáng)度特征、以及圖像紋理特征等用于圖像分類。這些方法訓(xùn)練模型前需手動(dòng)勾畫ROIs和特征提取，這個(gè)過程耗費(fèi)時(shí)間和精力、并且依賴經(jīng)驗(yàn)，從而影響分級(jí)效率和準(zhǔn)確性。

深度卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別方面有很好的應(yīng)用效果［10-14］，與傳統(tǒng)方法相比，訓(xùn)練模型的過程中可自動(dòng)提取全面的圖像特征，在腫瘤自動(dòng)分級(jí)應(yīng)用方面有很大的潛力，尤其是深度殘差網(wǎng)絡(luò)（Residual Network,ResNet）［15-16］，它具有容易優(yōu)化、增加深度提高準(zhǔn)確性而不引起梯度消失的特點(diǎn)，同時(shí)考慮不同層面的MRI 圖像具有序列信息，二維網(wǎng)絡(luò)提取特征會(huì)丟棄掉部分信息，而三維（3D）網(wǎng)絡(luò)可以更好地捕獲序列信息和空間維度特征，而且不同模態(tài)的MRI具有不同的圖像信息。本研究基于3D深度殘差網(wǎng)絡(luò)和多模態(tài)MRI圖像實(shí)現(xiàn)腦膠質(zhì)瘤的自動(dòng)分級(jí)。

1 資料和方法

腦膠質(zhì)瘤自動(dòng)分級(jí)工作流程（圖1）主要包括：（1）多模態(tài)MRI 圖像預(yù)處理；（2）預(yù)處理后的多模態(tài)MRI 圖像和膠質(zhì)瘤分級(jí)標(biāo)簽（LGG 或HGG）輸入3D深度殘差網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和驗(yàn)證，確定最終的模型；（3）新患者的多模態(tài)MRI 圖像進(jìn)行預(yù)處理；（4）預(yù)處理后的多模態(tài)MRI 圖像輸入到已經(jīng)訓(xùn)練好的3D深度殘差網(wǎng)絡(luò)模型得到分級(jí)結(jié)果（LGG或HGG）。

1.1 數(shù)據(jù)

本研究中用于訓(xùn)練和測(cè)試3D深度殘差網(wǎng)絡(luò)模型的數(shù)據(jù)來(lái)自BraTS2020公共數(shù)據(jù)集［17-19］，包括369例腦膠質(zhì)瘤，其中HGG 293例、LGG 76例。每例術(shù)前MRI圖像均包含T1、T1C、T2和FLAIR 4個(gè)模態(tài)的圖像（圖2）。這些數(shù)據(jù)來(lái)自于多家機(jī)構(gòu)的不同掃描設(shè)備，由1～4名醫(yī)生手動(dòng)勾畫腫瘤區(qū)域，包括增強(qiáng)腫瘤區(qū)（Enhancing Tumor,ET）、瘤周水腫區(qū)域（Peritumoral Edema,ED）、壞死和非增強(qiáng)腫瘤核心區(qū)域（Necrotic/Non-enhancing Tumor Core,NCR/NET），并由神經(jīng)放射科醫(yī)生確認(rèn)，根據(jù)組織病理學(xué)分析確定膠質(zhì)瘤分級(jí)并作為金標(biāo)準(zhǔn)用于模型訓(xùn)練和測(cè)試。多模態(tài)MRI圖像已經(jīng)與標(biāo)準(zhǔn)空間的參考圖像進(jìn)行配準(zhǔn)，并將顱骨剝離分離出大腦區(qū)域，將大腦圖像重新采樣至（1×1×1）mm3體素分辨率，所有腫瘤區(qū)域的并集生成MASK結(jié)構(gòu)。

1.2 數(shù)據(jù)預(yù)處理

腦膠質(zhì)瘤多模態(tài)MRI 圖像3D 空間每個(gè)維度都具有復(fù)雜的成像特征，為了充分利用所有空間維度信息，本研究利用3D空間表示腦膠質(zhì)瘤的異質(zhì)性，即按照3D 腦組織的邊界輪廓對(duì)MRI 圖像和MASK 結(jié)構(gòu)進(jìn)行3D 裁剪，并重新采樣到64×64×64 的體素，多模態(tài)MRI圖像和MASK 結(jié)構(gòu)作為模型輸入。為了減少非標(biāo)準(zhǔn)MRI 強(qiáng)度值偽影，對(duì)多模態(tài)MRI 圖像進(jìn)行歸一化處理，如公式（1）所示：

其中，x表示每個(gè)模態(tài)MRI的強(qiáng)度值，μ表示MRI圖像中整個(gè)大腦非腫瘤區(qū)域強(qiáng)度值的平均值，σ表示對(duì)應(yīng)的標(biāo)準(zhǔn)差。歸一化后的強(qiáng)度值截?cái)嘣冢?5,5］區(qū)間，并最終歸一到［0,1］之間，圖3是歸一化后的多模態(tài)MRI圖像強(qiáng)度值分布。

1.3 3D深度殘差網(wǎng)絡(luò)模型

本研究采用的3D 深度殘差網(wǎng)絡(luò)模型如圖4所示，圖4a 是20 層的3D 殘差網(wǎng)絡(luò)模型框架，圖4b～d 分別是3 個(gè)殘差模塊：Res-Block 0、Res-Block 1、Res-Block 2［16］。多模態(tài)的3D-MRI 圖像和腫瘤區(qū)3DMASK 作為模型輸入，經(jīng)過卷積核是3×3×3、特征圖數(shù)量是16、步長(zhǎng)（Stride）是1 的3D 卷積（Conv3D），連接正則歸一化Batch Norm 和激活函數(shù)ReLU，連接殘差塊Res-Block 0 和Res-Block 1 的組合、兩次殘差塊Res-Block 2 和Res-Block 1 的組合，特征圖數(shù)量從64過渡到256，圖像尺寸從64×64×64 降到16×16×16，連接正則歸一化Batch Norm、激活函數(shù)ReLU、平均池化（Average Pooling）和Flatten，經(jīng)過全連接層Fullyconnected layer后，通過分類器Softmax classifier實(shí)現(xiàn)高低級(jí)別膠質(zhì)瘤分類。

1.4 訓(xùn)練和測(cè)試

369 例腦膠質(zhì)瘤（293 例HGG 和76 例LGG）數(shù)據(jù)樣本分別被隨機(jī)分成訓(xùn)練樣本（64%），驗(yàn)證樣本（16%）和測(cè)試樣本（20%）。訓(xùn)練過程中通過優(yōu)化輸入數(shù)據(jù)結(jié)構(gòu)和模型超參數(shù)，最終確定4個(gè)MRI模態(tài)的整個(gè)腦部區(qū)域和1個(gè)腫瘤MASK區(qū)域同時(shí)作為輸入，網(wǎng)絡(luò)模型的輸入數(shù)據(jù)維度是5×64×64×64，設(shè)置超參數(shù)BatchSize 為2，選擇Adam 優(yōu)化器沿著梯度下降的方向優(yōu)化模型，即每迭代2個(gè)訓(xùn)練樣本更新一次優(yōu)化權(quán)值，設(shè)置最大迭代次數(shù)Epochs 為100，設(shè)置初始學(xué)習(xí)率（Learning Rate,LR）為1e-4。

本研究采用二值交叉熵函數(shù)Binary Crossentropy作為損失函數(shù)，如公式（2）所示：

其中，yi是第i個(gè)樣本的標(biāo)簽，HGG 標(biāo)記為1，LGG 標(biāo)記為0，N是參與計(jì)算的樣本數(shù)量，p(yi)代表第i個(gè)樣本預(yù)測(cè)為HGG的概率。

訓(xùn)練過程中自動(dòng)調(diào)整LR，即訓(xùn)練迭代次數(shù)增加10 次后，驗(yàn)證數(shù)據(jù)集上的損失函數(shù)不再減小，LR 減小為原來(lái)的一半。為避免出現(xiàn)過擬合現(xiàn)象，訓(xùn)練過程中應(yīng)用數(shù)據(jù)增強(qiáng)和Early-Stopping 技術(shù)，數(shù)據(jù)增強(qiáng)是訓(xùn)練過程中將數(shù)據(jù)進(jìn)行隨機(jī)翻轉(zhuǎn)或旋轉(zhuǎn)以增加訓(xùn)練數(shù)據(jù)的多樣性，Early-Stopping是訓(xùn)練迭代30次后，驗(yàn)證數(shù)據(jù)集上的損失函數(shù)不再減小，停止繼續(xù)迭代，保留在驗(yàn)證數(shù)據(jù)上損失函數(shù)最小的模型作為最終的模型。

對(duì)于測(cè)試樣本，將每例患者的多模態(tài)MRI 圖像經(jīng)過1.2 節(jié)中的預(yù)處理后輸入到已經(jīng)訓(xùn)練好的3D 深度殘差網(wǎng)絡(luò)模型，即可以得到腫瘤的自動(dòng)分級(jí)結(jié)果。

1.5 評(píng)價(jià)

分類結(jié)果的評(píng)價(jià)基于準(zhǔn)確率（Accuracy,ACC）、敏感性（Sensitivity,SEN）、特異性（Specificity,SPE）、受試者工作特征（Receiver Operating Characteristic,ROC）曲線下面積（Area Under Curve,AUC）。定義高低級(jí)別膠質(zhì)瘤混合矩陣（表1），即患者被識(shí)別為HGG 為正例（Positive）事件，被識(shí)別為L(zhǎng)GG 為負(fù)例（Negative）事件。預(yù)測(cè)為HGG，實(shí)際為HGG，即為正確的正例事件（True Positive,TP）；預(yù)測(cè)為L(zhǎng)GG，實(shí)際為L(zhǎng)GG，即為正確的負(fù)例事件（True Negative,TN）；預(yù)測(cè)為HGG，實(shí)際為L(zhǎng)GG，即為錯(cuò)誤的正例事件（False Positive,FP）；預(yù)測(cè)為L(zhǎng)GG，實(shí)際為HGG，即為錯(cuò)誤的負(fù)例事件（False Negative,FN），其中計(jì)算概率閾值設(shè)置為0.5，即預(yù)測(cè)概率≥0.5 時(shí)被識(shí)別為高級(jí)別HGG，否則被識(shí)別為L(zhǎng)GG。

表1 高低級(jí)別腦膠質(zhì)瘤混合矩陣Table 1 Confusion matrix of high and low grade gliomas

ACC 表示預(yù)測(cè)正確的樣本占所有樣本的比例，如公式（3）所示：

SEN 表示實(shí)際為正例的樣本中，被預(yù)測(cè)為正例的樣本比例，即HGG 樣本中被預(yù)測(cè)為HGG 的比例，如公式（4）所示：

SPE表示在實(shí)際為負(fù)例的樣本中，被預(yù)測(cè)為負(fù)例的樣本比例，即LGG 樣本中被預(yù)測(cè)為L(zhǎng)GG 的比例，如公式（5）所示：

2 結(jié)果

本研究的驗(yàn)證數(shù)據(jù)集包括隨機(jī)選出的59 例腦膠質(zhì)瘤樣本，其中HGG 48 例、LGG 11 例；測(cè)試數(shù)據(jù)集包括隨機(jī)選出的75 例腦膠質(zhì)瘤樣本，其中HGG 62例、LGG 13 例。圖5是3D 深度殘差網(wǎng)絡(luò)預(yù)測(cè)腦膠質(zhì)瘤分級(jí)表現(xiàn)的ROC 曲線，對(duì)于驗(yàn)證數(shù)據(jù)集，SEN、SPE、ACC 和AUC 分別為0.94、0.91、0.93、0.97；對(duì)于測(cè)試數(shù)據(jù)集，SEN、SPE、ACC 和AUC 分別為0.95、0.62、0.89和0.93。

本研究分別探究了不同的圖像區(qū)域、不同的MRI 模態(tài)組合作為輸入數(shù)據(jù)，以及使用不同的數(shù)據(jù)增強(qiáng)方式和網(wǎng)絡(luò)模型超參數(shù)組合時(shí)數(shù)據(jù)的分類結(jié)果。（1）表2是不同的圖像區(qū)域作為輸入數(shù)據(jù)的分類結(jié)果，其中參考模型代表1.2 小節(jié)數(shù)據(jù)預(yù)處理中的輸入數(shù)據(jù)，腫瘤區(qū)域代表只提取多模態(tài)MRI 圖像中的腫瘤MASK 區(qū)域；（2）表3是不同的MRI 模態(tài)組合作為輸入數(shù)據(jù)的分類結(jié)果，其中參考模型代表4個(gè)模態(tài)（T1、T1C、T2和FLAIR）MRI和MASK 區(qū)域；（3）表4是不同數(shù)據(jù)增強(qiáng)方式的分類結(jié)果，其中參考模型代表使用翻轉(zhuǎn)和旋轉(zhuǎn)的組合作為數(shù)據(jù)增強(qiáng)方式；（4）表5是使用不同網(wǎng)絡(luò)模型超參數(shù)組合的分類結(jié)果，其中參考模型代表使用1.3和1.4小節(jié)描述的超參數(shù)。

表2 不同圖像區(qū)域作為輸入數(shù)據(jù)的分類結(jié)果Table 2 Classification results with different image regions as input

表3 不同MRI模態(tài)組合作為輸入數(shù)據(jù)的分類結(jié)果Table 3 Classification results with different combinations of MRI modality as input

表4 不同數(shù)據(jù)增強(qiáng)方式的分類結(jié)果Table 4 Classification results of different data augmentation manners

表5 不同網(wǎng)絡(luò)模型超參數(shù)組合的分類結(jié)果Table 5 Classification results of different model superparameter combinations

3 討論

腦膠質(zhì)瘤的準(zhǔn)確分級(jí)在精確制定治療方案和預(yù)測(cè)預(yù)后方面起著重要作用，侵入性活檢存在潛在風(fēng)險(xiǎn)和固有的取樣誤差，不同檢驗(yàn)者的觀察存在不確定性且組織病理分析費(fèi)時(shí)費(fèi)力，自動(dòng)分級(jí)技術(shù)可以克服活檢存在的以上缺點(diǎn)。相比于傳統(tǒng)的模式識(shí)別和機(jī)器學(xué)習(xí)方法，基于深度學(xué)習(xí)方法是近幾年的研究熱點(diǎn)，非常具有潛力。本文將3D 深度殘差網(wǎng)絡(luò)應(yīng)用在多模態(tài)MRI 數(shù)據(jù)上實(shí)現(xiàn)了對(duì)高低級(jí)別腦膠質(zhì)瘤的自動(dòng)分級(jí)，文中利用的BraTS2020數(shù)據(jù)集是目前公開可以利用的多模態(tài)MRI 數(shù)據(jù)樣本，包含的數(shù)據(jù)豐富，是測(cè)試算法的優(yōu)質(zhì)數(shù)據(jù)庫(kù)。本文采用了20 層的3D 深度殘差網(wǎng)絡(luò)模型，二值交叉熵函數(shù)BinaryCrossentropy 作為損失函數(shù)，從不同角度（即不同的圖像區(qū)域、MRI 模態(tài)組合作為輸入數(shù)據(jù)，使用不同的數(shù)據(jù)增強(qiáng)方式和網(wǎng)絡(luò)模型超參數(shù)組合）來(lái)優(yōu)化模型，初步結(jié)果表明多模態(tài)MRI 和腫瘤MASK 區(qū)域的組合比只考慮多模態(tài)MRI腫瘤MASK 區(qū)域的結(jié)果要好（表2）；如果只考慮單模態(tài)MRI圖像序列，T1C的預(yù)測(cè)效果最好，如果考慮2 個(gè)模態(tài)MRI 圖像序列，［T1C,T1］或［T1C,FLAIR］的組合預(yù)測(cè)效果較好，如果考慮3 個(gè)模態(tài)的MRI 圖像序列，［T1,T1C,T2］的組合預(yù)測(cè)效果較好（表3）；訓(xùn)練過程中數(shù)據(jù)進(jìn)行增強(qiáng)處理可以提高預(yù)測(cè)精度，旋轉(zhuǎn)和翻轉(zhuǎn)組合的方式預(yù)測(cè)效果最好（表4）。同時(shí)，進(jìn)一步探究了通過增加網(wǎng)絡(luò)深度評(píng)價(jià)模型的表現(xiàn)，從初步實(shí)驗(yàn)結(jié)果（表6）可以看到通過將網(wǎng)絡(luò)深度增加到56 層［15-16］，測(cè)試數(shù)據(jù)集的ACC和AUC并沒有提高。

表6 不同深度的殘差網(wǎng)絡(luò)模型的分類結(jié)果Table 6 Classification results of residual networks with different depths

不同研究者利用深度學(xué)習(xí)網(wǎng)絡(luò)在腦膠質(zhì)瘤自動(dòng)分級(jí)方面進(jìn)行了不同的探索（表7）。Yang 等［20］利用2D 的GoogLeNet 和AlexNet 網(wǎng)絡(luò)，在113 例5 折交叉驗(yàn)證數(shù)據(jù)集上，考慮T1C 模態(tài)作為輸入從頭開始訓(xùn)練，GoogLeNet 網(wǎng)絡(luò)在驗(yàn)證數(shù)據(jù)集的ACC、測(cè)試數(shù)據(jù)集的ACC 和AUC 分別為0.87、0.91 和0.94，AlexNet網(wǎng)絡(luò)在驗(yàn)證數(shù)據(jù)集的ACC、測(cè)試數(shù)據(jù)集的ACC 和AUC 分別為0.87、0.86 和0.90。Naser 等［21］利 用VGG16 網(wǎng)絡(luò)，在110 例LGG 的5 折交叉驗(yàn)證數(shù)據(jù)集上，考慮T1、FLAIR、T1C 的MRI 圖像數(shù)據(jù)作為輸入進(jìn)行遷移學(xué)習(xí)，實(shí)現(xiàn)對(duì)II 級(jí)和III 級(jí)膠質(zhì)瘤的分級(jí)ACC為0.89。Ge 等［22］基于2D CNN 模型，在295 例BraTS2017 數(shù)據(jù)集上，考慮4 個(gè)模態(tài)MRI 圖像作為輸入，在測(cè)試數(shù)據(jù)集上實(shí)現(xiàn)LGG和HGG分類的ACC為0.91。Shahzadi 等［23］使用VGGNet-LSTM 模型，在60例BraTS2015數(shù)據(jù)集上，考慮單模態(tài)FLAIR圖像作為輸入數(shù)據(jù)，在測(cè)試數(shù)據(jù)集上實(shí)現(xiàn)LGG 和HGG 分類ACC為0.84。與前述研究相比，本文在BraTS2020數(shù)據(jù)集上，考慮4個(gè)模態(tài)的MRI數(shù)據(jù)和腫瘤MASK區(qū)域作為模型輸入從頭開始訓(xùn)練，在驗(yàn)證數(shù)據(jù)集上，ACC和AUC分別為0.93和0.97，在測(cè)試數(shù)據(jù)集上，ACC和AUC 分別為0.89 和0.93。本研究采用的數(shù)據(jù)是目前公開可以利用的數(shù)據(jù)，雖然與其他研究者用的數(shù)據(jù)不同，但初步結(jié)果表明與其他研究者的結(jié)果相近。

表7 不同模型預(yù)測(cè)腦膠質(zhì)瘤分級(jí)結(jié)果比較Table 7 Comparison of the performances of different models in glioma grading

本文利用BraTS2020 公開數(shù)據(jù)集，應(yīng)用3D 深度殘差網(wǎng)絡(luò)在多模態(tài)的MRI 圖像上實(shí)現(xiàn)了對(duì)高、低級(jí)別腦膠質(zhì)瘤的自動(dòng)分級(jí)。研究采用的網(wǎng)絡(luò)模型不局限于對(duì)腦膠質(zhì)瘤的自動(dòng)分級(jí)，還可以實(shí)現(xiàn)對(duì)其他腫瘤的分級(jí)。同時(shí)可以應(yīng)用在更多的醫(yī)學(xué)圖像處理領(lǐng)域，比如可用于腦膠質(zhì)瘤基因狀態(tài)預(yù)測(cè)和患者生存期預(yù)測(cè)等方面，從而為精準(zhǔn)醫(yī)療的實(shí)現(xiàn)提供更多助力。