超聲多模態人工智能技術在甲狀腺癌智能診斷中的應用研究

吳愛娣, 王娟,宋藝敏,陳容,李文靖

518052 廣東 深圳,深圳大學總醫院 超聲醫學科

甲狀腺癌已成為中國女性最常見的五種癌癥之一,新發甲狀腺癌病例在中國15～59歲的女性中排名第3位[1]。一直以來,超聲是甲狀腺疾病診斷的首選方式,但具有主觀性及經驗依賴性。人工智能(artificial intelligence,AI),近幾年再度成為各領域關注的焦點,其中深度學習的提出帶來了一系列革命性變化[2]。超聲醫學作為影像領域的重要分支,利用AI相關算法進行聲像圖分析的研究不斷涌現[3-4],不僅為臨床科研提供了新思路,亦有助于提高超聲診斷的準確性。AI學習中模型構建包括訓練集、驗證集與測試集[5],訓練模型需要大量的醫學圖像,甲狀腺癌已被列入全球癌癥發病率的前十位[6],甲狀腺結節的高發病率能夠提供足夠多的醫學病例作為模型的訓練集。因此,甲狀腺AI醫療診斷與甲狀腺結節的診斷迅速契合。現階段關于甲狀腺結節彩色Doppler、彈性成像、超聲造影等類型的數據研究較少,因此,本研究擬設計基于不同類型數據訓練得到的AI模型,通過比較不同模型對甲狀腺癌的診斷效能,求證超聲多模態AI技術在提高甲狀腺癌診斷中的價值。

1 資料與方法

1.1 研究對象與儀器

回顧性收集2020年8月至2023年8月在本院超聲科行甲狀腺檢查中均含有二維灰階圖像、彈性成像及彩色Doppler的486例患者的超聲圖像,共獲得486個甲狀腺結節。年齡范圍13～80歲,平均年齡(40.1±12.0)歲。486個結節中225個結節為惡性(占46.3%),261個結節為良性(占53.7%)。惡性結節全部經病理證實,良性結節經病理證實或至少隨訪一年無變化(隨訪病例需由兩位副高級別以上醫師診斷)。

圖像納入標準:(1)結節圖像清楚、邊界在圖像可顯示范圍內且一張圖像中只有一個結節;(2)經超聲檢查后,根據美國放射學會2017版TI-RADS分類診斷標準[7],診斷為TI-RADS3類及以上結節可納入;(3)患者既往沒有惡性腫瘤病史;(4)患者既往沒有進行甲狀腺消融手術或在本院行超聲檢查前未進行甲狀腺穿刺[8];(5)所有結節圖像均含有同一切面三個模態。

圖像排除標準:(1)甲狀腺結節超聲圖像背景信息模糊,結節顯示不清或結節邊界超出界面可顯示范圍;(2)患者既往進行甲狀腺有創性檢查或治療;(3)原始圖像上出現患者身份、箭頭等標注信息。

儀器:法國聲科Aixploper超聲診斷儀,探頭選擇機器配套使用的淺表器官高頻探頭(頻率為7.5 MHz～13 MHz)。圖像標注軟件為可用于3D醫學圖像中分割結構的軟件ITK-SNAP(3.0版本)。

1.2 方法

1.2.1 建立數據集 (1)圖像標注:甲狀腺目標結節的標注全部由1名經過專業培訓的超聲醫師(具有十年甲狀腺超聲檢查經驗,且經過軟件專業培訓,能熟練掌握軟件操作)進行;(2)數據分組:將486個結節分為兩組,386個結節(良性208個,惡性178個)進行5倍擴增后分為訓練集和驗證集(訓練集1 737個,驗證集193個)用于構建模型,100個結節不擴增分為測試集(良性53個,惡性47個)用于測試模型;(3)數據增強:用于模型訓練的原始數據有386例,為了加強數據的可利用性,算法人員對原始數據進行了數據增強,增強倍數為5倍,增強方法為:①旋轉:所有圖像在±25度范圍內進行隨機角度旋轉;②翻轉:鏡像或者垂直翻轉。增強后得到1 930例數據,共5 790張圖片。

1.2.2 模型訓練 標注好的圖像交由深圳大學生物醫學工程系相關技術人員進行甲狀腺結節超聲特征提取。本研究所采用的網絡主干是ResNet18。為了更好利用數據及降低小數據集的影響,算法設計了自監督任務對ResNet18預訓練。在完成自監督預訓練后,將參數遷移到多模態特征融合網絡的各個特征提取分支上,用以后續對多模態甲狀腺圖像進行分類診斷(圖1)。然后,使用3個ResNet18作為特征提取的網絡分支,3個模態的圖像各自送入對應的ResNet18分支提取特征。同時為了更好結合各模態之間的信息,本實驗使用多模態特征融合分支,提取3個模態的共同特征,并再與各模態自身的特征融合以引導后面網絡層的特征提取,最終融合3個分支的特征用于甲狀腺癌的診斷分類(圖2)。模型訓練大致步驟如下:(1)標注好的386例結節進行5倍擴增得到1 930例結節;(2)將圖像輸入網絡主干進行訓練,采用10折交叉驗證的方法進行模型訓練與驗證。10折交叉驗證:即將擴增得到的1 930例結節隨機分為10份,9份用于訓練模型,1份用于驗證模型,得到每次AI模型的分類結果,進行10次驗證后取其平均值作為輸出結果。訓練得到AI模型:(1)US-AI模型:為提取甲狀腺結節二維灰階特征訓練而得;(2)多模態-AI模型:為提取甲狀腺結節二維灰階、彈性成像及彩色Doppler特征后進行特征融合訓練而得。

圖1 通過自監督任務進行預訓練和參數遷移

圖2 多模態特征融合的分類網絡

1.2.3 模型診斷結果判讀 把圖像導入相對應框架后,模型下方可判定結節性質及概率值。結果顯示為“良性”/ “惡性”,概率值越大,則表示結節為良性/惡性的可能性越大。具體流程及案例見圖3。

圖3 AI診斷系統診斷甲狀腺結節流程及良惡性判斷案例

1.2.4 低年資住院醫師判讀 測試集中所有的病例,由一名具有3年甲狀腺超聲檢查及診斷經驗的住院醫師進行診斷。

1.3 統計學方法

2 結 果

2.1 驗證集中多模態-AI診斷模型與US-AI診斷模型診斷甲狀腺結節良惡性的比較

驗證集中,US-AI模型準確診斷良性結節97個,惡性結節59個,多模態-AI模型準確診斷良性結節105個,惡性結節76個(表1)。多模態-AI模型的AUC為0.938,US-AI模型AUC為0.797,前者診斷效能高于后者,差異具有統計學意義(Z=5.444,P<0.001;圖4)。

表1 US-AI模型與多模態-AI模型驗證結果

圖4 US-AI模型及多模態-AI模型ROC曲線圖

2.2 測試集中多模態-AI模型、US-AI模型與低年資住院醫師診斷甲狀腺結節良惡性的比較

測試集中良性結節53個,惡性結節47個。US-AI模型、多模態-AI模型及低年資住院醫師準確診斷良性結節分別為47個、49個、40個,準確診斷惡性結節分別為33個、40個、40個(表2)。繪制各組ROC曲線圖(圖5),得到各組的AUC。US-AI模型、多模態-AI模型以及低年資住院醫師的AUC分別為0.794、0.888、0.803。多模態-AI模型AUC大于US-AI模型(Z=3.176,P=0.002),大于低年資住院醫師(Z=3.261,P=0.001),差異均有統計學意義。US-AI模型AUC低于低年資住院醫師,差異無統計學意義(Z=0.239,P=0.810)。

表2 US-AI模型、多模態-AI模型及低年資住院醫師測試結果

圖5 各模型及低年資住院醫師診斷效能ROC曲線圖

3 討 論

近年來,AI在乳腺與甲狀腺疾病診斷、胎兒測量、心臟功能測定等多個領域已有較多研究與應用[9-11]。目前甲狀腺AI應用研究主要集中在甲狀腺結節分割與分類[12-13],所應用到的超聲圖像主要是甲狀腺結節二維圖像[5,14],如Sun等[15]的研究,在甲狀腺二維圖像特征的基礎上應用遷移學習的方法獲得AI模型,然后與主治醫師比較,結果顯示,AI診斷的準確性、敏感性和特異性均高于后者,分別為96.4%vs93.1%、83.1%vs67.2%和92.5%vs87.1%。關于聯合甲狀腺結節彈性圖像或其他類型數據的研究較罕見,僅發現國內有研究者應用剪切波數據進行研究[16]。因此,本研究擬以甲狀腺二維灰階、彈性成像及彩色Doppler三種超聲圖像為基礎,利用AI進行深度學習,設計可以智能分類甲狀腺結節的模型,比較各模型在診斷甲狀腺結節中的效能,探討多模態AI在甲狀腺癌診斷中的應用價值。

據報道,運用二維數據得到AI模型診斷甲狀腺結節的準確率一般可達到85%～90%[17-18]。本研究以486個甲狀腺結節為研究對象,運用上述結節不同圖像進行數據集構建及框架訓練,訓練得到模型后進行測試,100個測試結節中,US-AI模型準確診斷良性結節47個,惡性結節33個,共準確診斷結節80個,得出US-AI模型的準確率為80.00%,診斷率低于報道情況,可能因為本研究為小數據量研究,未來加大樣本量診斷率可能會有所提高。AI模型中融入彩色Doppler及彈性兩個模態信息后,AI模型診斷的AUC明顯提高,其中多模態-AI驗證集與測試集AUC分別為0.938、0.888,這反映了甲狀腺結節多模態特征提取與融合可以進一步提高模型的分類能力。Li等[19]使用超過40 000例的二維灰階圖像數據進行訓練,結果顯示其測試集曲線下面積為0.912,與本研究結果接近,說明多模態數據能在一定程度上彌補小樣本量的不足。專家共識表明,實性甲狀腺結節若不具有惡性特征,結節周圍顯示較完整環形血流且彈性硬度較低,此類結節多為良性[20]。因此,臨床工作中恰當運用多普勒超聲與彈性成像超聲有助于甲狀腺結節診斷。多模態-AI模型融合了彩色Doppler及彈性特征后,結果與預期相符,模型診斷效能明顯提高,多模態特征融合具有可行性。除了彈性成像,較新的技術如超微血管成像、超聲造影等亦為臨床工作中診斷甲狀腺結節提供了重要參考信息[21-22]。本研究初步表明多模態特征融合具有可行性,為AI多模態特征融合奠定重要基礎,未來研究可進一步嘗試融合甲狀腺結節超聲造影以及超微血管成像獲得的特征,讓AI更深入、全面獲取結節信息。低年資醫師因經驗不足,診斷主觀性影響較大,因此客觀性診斷、同質性診斷尤為重要。測試集中US-AI模型與低年資醫師的診斷效能相近,并不能很好地給低年資醫師診斷甲狀腺結節提供參考意義。但融入多模態特征后,AI模型診斷效能極大提高,恰當應用AI能輔助低年資住院醫師診斷甲狀腺結節,更能滿足臨床需求。

為了更加全面地利用超聲數據,本研究AI模型設計所采用的圖像數據,除了二維數據外,還有彈性成像、彩色Doppler數據。另外,AI模型設計旨在為臨床服務,我們創新地設計了可視化操作頁面,方便超聲醫師操作。同樣地,本研究亦存在一些不足之處,首先本研究所采用的圖像均為靜態圖像,未將動態超聲圖像納入,這可能會導致病灶的部分特征信息丟失[23]。其次本研究數據來源僅為單中心研究,樣本量亦不夠大,未來多中心大樣本量研究將是研究重點與突破方向。

總之,本研究中訓練得到的AI模型是基于甲狀腺結節不同模態圖像改進得到的,研究結果得出,甲狀腺多模態AI可以更加全面準確診斷甲狀腺癌,可為多模態AI超聲在甲狀腺疾病的診斷和研究奠定重要基礎。

作者聲明：本文全部作者對于研究和撰寫的論文出現的不端行為承擔相應責任;并承諾論文中涉及的原始圖片、數據資料等已按照有關規定保存,可接受核查。

學術不端：本文在初審、返修及出版前均通過中國知網(CNKI)科技期刊學術不端文獻檢測系統的學術不端檢測。

同行評議：經同行專家雙盲外審,達到刊發要求。

利益沖突：所有作者均聲明不存在利益沖突。

文章版權：本文出版前已與全體作者簽署了論文授權書等協議。