基于深度學(xué)習(xí)訓(xùn)練上腹部DCE-MRI掃描期相分類模型的可行性

額·圖婭，郭小超，王可，黃嘉豪，王祥鵬，張曉東，王霄英

動(dòng)態(tài)對(duì)比增強(qiáng)(dynamic contrast-enhanced,DCE)-MRI能夠準(zhǔn)確直觀地顯示病灶形態(tài)和血供，對(duì)腹部疾病的檢出、鑒別診斷和術(shù)前分期等具有較高的臨床應(yīng)用價(jià)值，是診斷腹部病變的常用影像檢查技術(shù)。在DCE-MRI多期相圖像中，病灶在不同期相具有不同的特征性表現(xiàn)，診斷時(shí)醫(yī)師首先需識(shí)別圖像是哪個(gè)掃描期相的，再結(jié)合病灶的表現(xiàn)做出定性判斷[1]。這個(gè)過程不僅適用于醫(yī)師，也適用于人工智能(artificial intelligence，AI)軟件對(duì)疾病的診斷。

既往多項(xiàng)研究發(fā)現(xiàn)，AI影像診斷模型的準(zhǔn)確性受到圖像質(zhì)量的影響，圖像序列識(shí)別有誤、圖像質(zhì)量不合格等均會(huì)導(dǎo)致AI模型的診斷準(zhǔn)確性降低[2-3]，因此在AI診斷模型廣泛應(yīng)用于臨床之前需要先完成識(shí)別圖像性質(zhì)的工作。本研究中利用深度學(xué)習(xí)方法訓(xùn)練出能對(duì)上腹部DCE-MRI圖像的不同期相進(jìn)行自動(dòng)分類的AI模型，此模型能挑選出合格的增強(qiáng)掃描各期相的圖像輸入到后續(xù)的AI診斷模型中，以保證AI診斷模型的準(zhǔn)確性。

材料與方法

本研究獲得了本院倫理審查委員會(huì)的批準(zhǔn)(2017-1382)，按照本單位人工智能模型訓(xùn)練規(guī)范來(lái)設(shè)計(jì)和執(zhí)行研究方案。

1.用例定義

根據(jù)本單位AI訓(xùn)練管理方法，首先定義研發(fā)上腹部DCE-MRI掃描期相分類模型的用戶樣例(use case)。包括上腹部DCE-MRI圖像性質(zhì)分類AI模型的名稱(identity document，ID)、臨床問題、場(chǎng)景描述、模型在實(shí)際工作中的調(diào)用流程以及模型輸入和輸出數(shù)據(jù)結(jié)構(gòu)等。將此次建立的AI模型的輸出結(jié)果定義為平掃、動(dòng)脈早期、動(dòng)脈晚期及門靜脈-延遲期。

2.研究隊(duì)列的建立

回顧性搜集2013年9月5日-2020年5月9日本院PACS中的圖像。入組標(biāo)準(zhǔn)為： ①登記檢查項(xiàng)目為“上腹部MR平掃+增強(qiáng)”、“上腹部MR增強(qiáng)”或“上腹部MRCP+增強(qiáng)”者；②自2013年9月5日開始，將本院4臺(tái)MR設(shè)備的掃描數(shù)據(jù)按時(shí)間順序入組，每臺(tái)MR設(shè)備入組110例次MR掃描圖像。排除標(biāo)準(zhǔn)：①圖像有明顯偽影；②DCE-MRI圖像不能被醫(yī)師按掃描期相準(zhǔn)確分組。

最終入組417例患者共1330個(gè)期相(將每個(gè)期相的圖像作為1組)的圖像數(shù)據(jù)用于深度學(xué)習(xí)模型的訓(xùn)練。其中，男219例，女198例，年齡10～97歲，平均(57.26±14.85)歲。4臺(tái)MR設(shè)備提供的圖像數(shù)據(jù)：GE discovery HD 750 3.0T，334組；Philips Achieva TX 3.0T，302組；Philips Ingenia 3.0T，399組；Siemens Magnetom Aera 1.5T，295組。增強(qiáng)掃描采用脂肪抑制GRE T1WI序列，使用高壓注射器經(jīng)靜脈團(tuán)注對(duì)比劑Gd-DTPA，劑量0.1 mmol/kg，注射流率2.0 mL/s，隨后以相同流率注射20 mL生理鹽水沖管。注射對(duì)比劑前采集平掃圖像，注射對(duì)比劑后18～25 s、60 s和180 s分別采集動(dòng)脈早期及晚期、門靜脈期和延遲期圖像。

3.數(shù)據(jù)處理

將DICOM格式的圖像轉(zhuǎn)換為NIFTI格式。由兩位影像專家根據(jù)圖像特征，將每例次檢查中患者的平掃和DCE-MRI圖像按掃描期相進(jìn)行分組，分為4個(gè)掃描期相：平掃、動(dòng)脈早期、動(dòng)脈晚期和門靜脈-延遲期(圖1～3)，各掃描期相的評(píng)估標(biāo)準(zhǔn)詳見表1。共獲得1330組圖像數(shù)據(jù)用于訓(xùn)練模型，其中平掃445組、動(dòng)脈早期223組、動(dòng)脈晚期213組、門靜脈-延遲期449組。

圖1 肝臟層面DCE-MRI圖像，由兩位影像專家閱片確定各幀圖像的期相。a)平掃圖像，顯示腹部各器官均無(wú)強(qiáng)化；b)動(dòng)脈早期圖像，顯示腹主動(dòng)脈明顯強(qiáng)化，門靜脈無(wú)明顯強(qiáng)化；c)動(dòng)脈晚期圖像，顯示腹主動(dòng)脈明顯強(qiáng)化，門靜脈強(qiáng)化，肝靜脈無(wú)強(qiáng)化；d～f)門靜脈期-延遲期圖像，顯示門靜脈、肝靜脈明顯強(qiáng)化，肝實(shí)質(zhì)強(qiáng)化。

表1 掃描期相的評(píng)估標(biāo)準(zhǔn)

圖2 脾臟層面DCE-MRI圖像，由兩位影像專家閱片確定各幀圖像的期相。a)平掃圖像，顯示腹部各器官均無(wú)強(qiáng)化；b)動(dòng)脈早期圖像，顯示腹主動(dòng)脈及其分支明顯強(qiáng)化，門靜脈無(wú)明顯強(qiáng)化；c)動(dòng)脈晚期圖像，顯示腹主動(dòng)脈及其分支明顯強(qiáng)化，門靜脈強(qiáng)化，脾臟呈“花斑樣”強(qiáng)化，肝靜脈無(wú)強(qiáng)化； d～f) 門靜脈期-延遲期圖像，顯示門靜脈、肝靜脈明顯強(qiáng)化，肝實(shí)質(zhì)強(qiáng)化，脾臟逐漸均勻強(qiáng)化。 圖3 腎臟層面DCE-MRI，兩位影像專家閱片確定各幀圖像的期相。a)平掃圖像，顯示此層面上的腹部器官均不強(qiáng)化；b)動(dòng)脈早期圖像，顯示腹主動(dòng)脈及其分支明顯強(qiáng)化，門靜脈無(wú)明顯強(qiáng)化；c)動(dòng)脈晚期圖像，顯示腹主動(dòng)脈及其分支明顯強(qiáng)化，門靜脈強(qiáng)化，脾臟呈“花斑樣”強(qiáng)化，腎臟皮髓質(zhì)界限清晰，肝靜脈無(wú)強(qiáng)化；d～f)門靜脈-延遲期圖像，顯示門靜脈、肝靜脈明顯強(qiáng)化，肝實(shí)質(zhì)強(qiáng)化，腎臟逐漸均勻強(qiáng)化，脾臟均勻強(qiáng)化。

4.模型訓(xùn)練

訓(xùn)練分類模型時(shí)，硬件為GPU NVIDIA Tesla P100 16G，軟件包括Python3.6、Pytorch 0.4.1、Opencv、Numpy和SimpleITK等，使用Adam作為訓(xùn)練優(yōu)化器。

本研究使用的深度學(xué)習(xí)網(wǎng)絡(luò)是基于MedicalNe權(quán)重加載而來(lái)[4]。運(yùn)用遷移學(xué)習(xí)的方法，凍結(jié)編碼器權(quán)重來(lái)提取圖像特征。保留編碼器部分，將網(wǎng)絡(luò)的解碼器部分(反卷積部分)替換為經(jīng)典分類結(jié)構(gòu)的卷積層+全連接層作為分類結(jié)構(gòu)。用于分類的卷積層有4層結(jié)構(gòu)：(1)池化層(步幅為2)；(2)卷積層(卷積核大小為3、數(shù)量為512)；(3)池化層(步幅為2)；(4)卷積層(卷積核大小為3、數(shù)量為512)。分類的全連接層由128個(gè)神經(jīng)元構(gòu)成，對(duì)圖像特征進(jìn)行組合分類，最后結(jié)果通過softmax函數(shù)計(jì)算輸出分類數(shù)組。

將1330組圖像數(shù)據(jù)隨機(jī)分為訓(xùn)練集(train set，n=1118)，調(diào)優(yōu)集(validation set，n=108)和測(cè)試集(test set，n=104)。模型訓(xùn)練時(shí)不同設(shè)備的圖像均按8︰1︰1隨機(jī)分到訓(xùn)練集、調(diào)優(yōu)集和測(cè)試集。輸入圖像設(shè)置為自動(dòng)窗寬和窗位，圖像大小為64×128×160，輸出數(shù)據(jù)為模型分類預(yù)測(cè)結(jié)果。圖像擴(kuò)增方法包括平移、旋轉(zhuǎn)、左右鏡像和隨機(jī)噪聲等。訓(xùn)練3D-ResNet深度學(xué)習(xí)模型的主要參數(shù)：模型深度(model depth)=10，是否加載預(yù)訓(xùn)練模型(pretrained)=1，隱藏層數(shù)量配置(hidden layer cfg)=(128, 64)，丟棄比率(dropout)=0.2,數(shù)據(jù)單批次數(shù)量(batch size)=10，訓(xùn)練迭代次數(shù)(num_epochs)=200，學(xué)習(xí)率(learning_rate)=0.0001。

5.模型評(píng)價(jià)

以兩位影像專家閱片的結(jié)果為金標(biāo)準(zhǔn)，應(yīng)用混淆矩陣(confusion matrix)評(píng)價(jià)多分類模型的診斷效能[5]。

對(duì)測(cè)試集數(shù)據(jù)的統(tǒng)計(jì)使用sklearn.metrics軟件(https://scikit-learn.org/stable/modules/classes.html?highlight=metrics#module-sklearn.metrics)。測(cè)試集評(píng)價(jià)指標(biāo)包括宏符合率(macro accuracy,MAcc)、宏F1值(Macro F1)、微F1值(Micro F1)和召回率(recall rate)。對(duì)于多分類模型，MAcc和宏F1值兼顧了多分類所有類別的預(yù)測(cè)結(jié)果，而微F值是以目標(biāo)分類為正樣本，以其它所有分類為負(fù)樣本計(jì)算而得，與二分類的計(jì)算意義相同。

結(jié) 果

AI多分類模型對(duì)各期DCE-MRI圖像自動(dòng)分類結(jié)果與真實(shí)數(shù)據(jù)的比較見表2。多分類模型的評(píng)價(jià)指標(biāo)基于混淆矩陣[5]，使用sklearn.metrics軟件對(duì)測(cè)試集的數(shù)據(jù)進(jìn)行分析。測(cè)試集中MAcc=0.995，Macro F1=0.796，Micro F1=0.989；以單個(gè)掃描期相評(píng)價(jià)，對(duì)平掃圖像的ACC=0.989，F(xiàn)1=0.979,召回率=0.958；動(dòng)脈早期、動(dòng)脈晚期和門靜脈-延遲期的ACC、F1、召回率均為1.000。

表2 3D-ResNet模型對(duì)各期DCE-MRI圖像自動(dòng)分類結(jié)果與真實(shí)數(shù)據(jù)的比較 /組

在訓(xùn)練集、調(diào)優(yōu)集及測(cè)試集中AI模型的總體分期符合率分別為99.9%(1117/1118)、99.1%(107/108)、99.0%(103/104)。在訓(xùn)練集及調(diào)優(yōu)集中，各有1組肝臟多發(fā)轉(zhuǎn)移瘤的動(dòng)脈晚期圖像被預(yù)測(cè)為動(dòng)脈早期(圖4、5)，即在訓(xùn)練集及調(diào)優(yōu)集中對(duì)動(dòng)脈晚期的預(yù)測(cè)符合率分別為99.5%(193/194)和90.9%(10/11)，而對(duì)平掃、動(dòng)脈早期及門靜脈-延遲期的預(yù)測(cè)符合率均為100%；在測(cè)試集中，有1組左腎切除術(shù)后的平掃圖像被預(yù)測(cè)為不確定(圖6)，其預(yù)測(cè)符合率為97.5%(39/40)，AI模型對(duì)其余各期(動(dòng)脈早期、動(dòng)脈晚期及門靜脈-延遲期)圖像的預(yù)測(cè)符合率均為100%。

圖4 52歲女性患者的不同層面動(dòng)脈晚期圖像(由兩位影像專家閱片確定)，顯示肝臟多發(fā)轉(zhuǎn)移瘤，最大者位于肝右葉。腹主動(dòng)脈及分支明顯強(qiáng)化，脾臟呈"花斑樣"強(qiáng)化，腎臟皮髓質(zhì)界限清晰，門靜脈強(qiáng)化，肝靜脈無(wú)強(qiáng)化。可能由于肝臟占位巨大導(dǎo)致圖像中血管結(jié)構(gòu)顯示不清，模型將動(dòng)脈晚期圖像的分類預(yù)測(cè)為“動(dòng)脈早期”。a)肝頂部層面；b)肝臟上部層面；c)脾臟中部層面；d)腎臟上部層面；e)腎臟中部層面；f)肝右后葉下段層面。圖5 51歲女性患者，證實(shí)為結(jié)腸癌并多發(fā)肝轉(zhuǎn)移瘤。不同層面動(dòng)脈晚期圖像(由兩位影像專家閱片確定)顯示肝內(nèi)多發(fā)轉(zhuǎn)移灶，腹主動(dòng)脈及分支明顯強(qiáng)化，脾臟呈“花斑樣”強(qiáng)化，腎臟皮髓質(zhì)界限清晰，門靜脈強(qiáng)化，肝靜脈無(wú)強(qiáng)化。可能由于動(dòng)脈晚期的門靜脈強(qiáng)化欠充分，模型將動(dòng)脈晚期圖像的分類預(yù)測(cè)為“動(dòng)脈早期”。 a)心臟層面；b)肝頂部層面；c)脾臟層面；d)肝右葉層面；e)腎臟層面；f)腎臟層面。

圖6 56歲女性患者，左側(cè)腎癌根治術(shù)后常規(guī)復(fù)查MRI。由兩位影像專家閱片確定圖a～f為不同層面的平掃圖像，顯示腹部臟器均無(wú)強(qiáng)化。可能由于平掃圖像質(zhì)量欠佳，血流抑制效果不滿意，模型對(duì)平掃圖像的分類預(yù)測(cè)為“不確定”。a)心臟層面；b)肝頂部層面；c)脾臟中部層面；d)脾臟下部層面；e)腎臟中部層面；f)腎臟下部層面。

討 論

目前AI在腹部影像中的研究主要集中于多模態(tài)MRI及CT圖像的臟器和病灶的檢測(cè)、分割及分類，對(duì)實(shí)質(zhì)臟器進(jìn)行容積測(cè)量，對(duì)局灶性疾病進(jìn)行良惡性鑒別、病理分級(jí)等，相關(guān)研究結(jié)果顯示AI在疾病診斷、預(yù)后評(píng)估等方面具有相當(dāng)潛力[6-9]。本研究關(guān)注點(diǎn)不是影像診斷，而是利用AI技術(shù)識(shí)別不同期相的DCE-MRI圖像，模型預(yù)測(cè)的結(jié)果既可用于后續(xù)的AI診斷，又可用于圖像質(zhì)控。

本研究采用的網(wǎng)絡(luò)結(jié)構(gòu)為3D殘差網(wǎng)絡(luò)(residual network，ResNet)，是當(dāng)前用于圖像分類的深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural networks，DC-NN)的典型方法之一[10]。本次研究結(jié)果顯示，3D-ResNet AI模型在上腹部DCE-MRI圖像的掃描期相的甄別方面具有良好效能，在測(cè)試集中的預(yù)測(cè)符合率為99.0%(103/104)，與其他圖像序列甄別的研究結(jié)果相似[11-14]。在模型分類準(zhǔn)確性較高的情況下，可以將自動(dòng)分類的數(shù)據(jù)用于后續(xù)的AI診斷模型。由于肝臟MRI診斷模型是基于增強(qiáng)掃描不同期相進(jìn)行訓(xùn)練的，只有輸入符合要求的圖像才能得到準(zhǔn)確的診斷結(jié)果，因此對(duì)掃描期相的準(zhǔn)確分類是診斷準(zhǔn)確的有效保證。除了應(yīng)用于AI診斷，本模型還有望應(yīng)用于掃描的質(zhì)控。由于實(shí)際工作中存在MR掃描儀型號(hào)多樣、參數(shù)設(shè)置不一致、少數(shù)患者配合欠佳等情況，因此日常工作中DCE-MRI圖像質(zhì)量不佳的情況偶有發(fā)生。基于此，本研究入組了較多量的研究數(shù)據(jù)，來(lái)源于本單位較長(zhǎng)時(shí)間段內(nèi)的多臺(tái)MR掃描儀，結(jié)果證明AI分類模型可以應(yīng)用于這些不同來(lái)源的圖像數(shù)據(jù)，模型以相同的標(biāo)準(zhǔn)評(píng)價(jià)動(dòng)態(tài)增強(qiáng)掃描的期相，有望在科室范圍內(nèi)承擔(dān)圖像質(zhì)控的角色。

本研究是回顧性研究，納入了臨床實(shí)際工作中的圖像數(shù)據(jù)，時(shí)間跨度較大，設(shè)備多樣，所采取的掃描方案不同，對(duì)各臺(tái)設(shè)備的掃描方案不能強(qiáng)求一致。因此，我們根據(jù)肝臟病變MRI鑒別診斷的主要需求，強(qiáng)調(diào)分析肝臟DCE圖像時(shí)，必須具備以下各期相：1、平掃(蒙片)；2、動(dòng)脈早期；3、動(dòng)脈晚期；4、門靜脈-延遲期，對(duì)門靜脈期和延遲期的區(qū)分沒有做特殊要求。本研究結(jié)果表明，深度學(xué)習(xí)模型對(duì)區(qū)分4個(gè)期相圖像的符合率是可以接受的。但是對(duì)門靜脈期和延遲期的識(shí)別也是有必要的。我們?cè)趯?shí)際工作中采用的期相識(shí)別方法是：先用深度學(xué)習(xí)模型對(duì)一個(gè)完整DCE序列中拆分出來(lái)的圖像數(shù)據(jù)做預(yù)測(cè)，將所有預(yù)測(cè)為“門靜脈-延遲期”的圖像挑選出來(lái)，再用程序?qū)@幾個(gè)圖像排序。排序的依據(jù)是DICOM header中記錄的掃描時(shí)間，排序的規(guī)則是：在所有“門靜脈-延遲期”圖像中，先找出離動(dòng)脈晚期最近的一個(gè)期相，認(rèn)為是“門靜脈期”；在“門靜脈期”之后的期相按時(shí)間由早到晚認(rèn)為是“延遲期1”、“延遲期2”、……。根據(jù)本研究組既往的研究結(jié)果(未包括在本文的內(nèi)容中)，將深度學(xué)習(xí)與規(guī)則相結(jié)合，區(qū)分門靜脈期和延遲期的準(zhǔn)確性與專家根據(jù)圖像特征的判斷結(jié)果大致相似，基本可以滿足臨床診斷的需求。這種將深度學(xué)習(xí)與傳統(tǒng)信息化工具相結(jié)合的方法，既可以用于圖像識(shí)別[15]，也可以用于流程優(yōu)化[16]，降低了模型訓(xùn)練的難度，提高了信息技術(shù)在臨床應(yīng)用中的可推廣性。

在本研究中，共有3例患者的單個(gè)DCE-MRI掃描期相未被正確識(shí)別，其中訓(xùn)練集與調(diào)優(yōu)集中分別有1組的動(dòng)脈晚期圖像被錯(cuò)誤地預(yù)測(cè)為動(dòng)脈早期，結(jié)合相應(yīng)錯(cuò)判圖像分析，可能是由于肝臟內(nèi)有體積較大的病灶對(duì)門靜脈強(qiáng)化信息造成了干擾，提示當(dāng)掃描范圍上腹部臟器內(nèi)具有嚴(yán)重影響圖像期相判別的疾病時(shí)，會(huì)對(duì)模型分類效能造成影響。另1組為測(cè)試集中平掃圖像被預(yù)測(cè)為不確定，可能是因?yàn)檫@個(gè)病例的平掃圖像中部分層面上下腔靜脈或腹主動(dòng)脈由于流入增強(qiáng)效應(yīng)而呈高信號(hào)，而其它血管為低信號(hào)，從而造成模型分類錯(cuò)誤。分析這3個(gè)病例的圖像中期相被誤判的原因，可以找到模型進(jìn)一步迭代的方向。未來(lái)應(yīng)挑選肝臟明顯結(jié)構(gòu)異常的病例增加到訓(xùn)練集中，以彌補(bǔ)當(dāng)前模型的不足。

本研究存在一定的局限性：(1)本研究是單中心研究，納入的掃描設(shè)備有限；(2)只對(duì)上腹部DCE-MRI圖像進(jìn)行分類，尚未對(duì)其它如T2WI等常規(guī)序列進(jìn)行分類，后續(xù)將進(jìn)一步進(jìn)行研發(fā)；(3)醫(yī)學(xué)影像診斷工作中AI模型可以用于圖像識(shí)別、病灶檢出、病灶分類、病灶分期和預(yù)測(cè)等[17]。本研究提出的深度學(xué)習(xí)模型只是上腹部MR增強(qiáng)掃描中AI應(yīng)用的初步研究，未來(lái)在識(shí)別圖像特征的基礎(chǔ)上，應(yīng)進(jìn)一步分割圖像中重要結(jié)構(gòu)[18]，基于不同臨床情況做出整體評(píng)估和重點(diǎn)病灶評(píng)估[19]，并給出必要的定性和定量診斷信息[20]，此時(shí)才能達(dá)到臨床應(yīng)用的需求。因此本研究提出的模型只是上腹部MR增強(qiáng)掃描AI診斷的第一步，后續(xù)還有很多研究工作需要完成。

總之，本研究中建立了一個(gè)AI分類模型用于區(qū)分上腹部DCE-MRI掃描期相，有利于工作流程的優(yōu)化，為后續(xù)對(duì)接上腹部疾病AI診斷模型打下基礎(chǔ)。