基于超聲圖像FPN-SENet-FL深度卷積神經網絡模型鑒別乳腺良、惡性腫瘤及預測乳腺癌分子分型

周曉欣,陳俊諭,盧煥沖,趙志丹,陳紹琦*

(1.汕頭大學醫學院第一附屬醫院超聲科,廣東 汕頭 515041;2.汕頭大學工學院計算機系,廣東 汕頭 515063)

乳腺癌在全球大多數國家的發病率和死亡率均位居女性惡性腫瘤榜首[1]。早期診斷并獲取其分子分型對于治療乳腺癌和判斷預后至關重要[2],而如何在術前無創準確判斷良、惡性乳腺腫瘤并預測乳腺癌分子分型是目前亟需解決的問題。乳腺超聲是常用乳腺癌篩查手段[3]。受惠于良好的圖像自動識別、分割和信息提取能力,深度卷積神經網絡在醫學影像領域的應用已獲得極大成效[4]。本研究基于乳腺超聲圖像訓練深度卷積神經網絡模型,觀察其鑒別良、惡性乳腺腫瘤及預測不同St.Gallen分子分型乳腺癌的能力。

1 資料與方法

1.1 研究對象 回顧性分析汕頭大學醫學院第一附屬醫院2016年1月—2022年4月273例乳腺癌及2021年2月—2022年3月41例乳腺良性腫瘤患者,均為女性,年齡18～86歲,平均(53.5±13.3)歲。納入標準:①經術后病理確診乳腺癌或良性腫瘤;②乳腺癌分子分型[5]免疫組織化學(immunohistochemistry,IHC)資料完整,包括雌激素受體(estrogen receptor,ER)、孕激素受體(progesterone receptor,PR)、人類表皮生長因子2(human epidermal growth factor receptor-2,HER-2)和Ki-67;③術前接受常規乳腺超聲檢查且圖像清晰。排除標準:①乳腺超聲檢查前接受任何干預或治療;②病灶超出探頭單次最大可掃查范圍;③孕婦或哺乳期患者。參照文獻[6]標準將乳腺癌分為 Luminal A型、Luminal B型、HER-2過表達型及三陰性。本研究通過院醫學倫理委員會批準(B-2022-125)。檢查前患者均知情同意。

1.2 構建數據集 采用Mindray Resona 7超聲診斷儀、頻率4.0～14.0 MHz L14-5 WU線陣探頭采集超聲圖像,掃描范圍(最大)54.4 mm。囑患者仰臥、充分暴露雙側乳房及腋窩后掃查雙側乳腺,深度以能包括乳房組織及后方胸肌并顯示胸膜為宜,發現病灶后于其最大徑線切面(縱切面)及與之垂直的最大徑線切面(橫切面)進行觀察,并于超聲工作站中留存顯示病灶最清晰的圖像。

從工作站中以JPG格式導出乳腺腫瘤超聲圖像,構建原始數據集。按7∶3隨機將圖像分組。對前者進行數據擴增,對每幅圖像進行90°、180°逆時針旋轉、水平翻轉及隨機裁剪[7],使數據擴大5倍作為訓練集;以后者為驗證集。見圖1。

圖1 數據擴增示例圖患者68歲,左側乳腺病灶BI-RADS 4C類,術后病理診斷為Luminal A型乳腺癌 A.術前二維聲像圖; B.90°逆時針旋轉圖; C.180°逆時針旋轉圖; D.水平翻轉圖; E.隨機裁剪圖

1.3 構建和驗證模型 以ResNet為主體模型,結合特征金字塔網絡(feature pyramid network,FPN)和特征融合,將ResNet50中每個CONV BLOCK對應階段的末個殘差塊分別記為C2、C3、C4及C5,以1×1卷積和上采樣使以上層特征圖構建的新特征圖和原始下層特征圖尺度相同。將新特征圖與原始下層特征圖中的每個對應元素相加,實現高層特征與低層特征融合;再將融合后每層特征圖均輸出為一個新特征圖M2、M3、M4及M5并以3×3卷積進行平滑處理,得到融合得更加充分的特征圖P2、P3、P4及P5;加以拼接后得到最終預測特征圖F。

在C2到C5過程中加入通道注意力機制之SE模塊(squeeze-and-excitation networks,SENet)。以上一階段輸出作為輸入特征圖,先行H×W壓縮,得到1×1×C特征矩陣,再經Excitation[8-9]操作以乘法將輸出權重逐通道加權于輸入特征,以在通道維度上對原始特征進行重錨定。FPN-SENet 深度卷積神經網絡結構見圖2。

圖2 FPN-SENet 深度卷積神經網絡結構示意圖

最后將Focal Loss作為損失函數[10]用于模型以調整訓練參數,構建FPN-SENet-FL 深度卷積神經網絡模型,使之適應二分類任務(鑒別乳腺良、惡性腫瘤與)和五分類任務(預測乳腺良性腫瘤與4種不同分子分型乳腺癌)。開展3次模型驗證,包括以訓練集構建分類預測模型,并在驗證集中基于混淆矩陣、受試者工作特征(receiver operating characteristic,ROC)曲線及其曲線下面積(area under the curve,AUC)評估其平均診斷效能,并計算其完成不同分類任務的準確率、精確率、召回率及F1分數。混淆矩陣以列代表預測類別、以行代表實際病理結果;繪制ROC曲線時,對目標病理結果賦值為1、其他賦值為0。

1.4 統計學分析 采用SPSS 27.0統計分析軟件。以±s描述正態分布計量資料,集間行方差分析;以中位數(上下四分位數)描述偏態分布計量資料,集間行Kruskal-WallisH檢驗。以例(%)描述計數資料,組間行χ2檢驗或Fisher精確概率法。P<0.05為差異有統計學意義。

2 結果

2.1 基本資料 273例乳腺癌中,Luminal A型69例、Luminal B型83例、HER-2過表達型56例、三陰性65例;針對各分型分別有112、120、118及130幅超聲圖像符合數據庫要求,以之與41例良性乳腺腫瘤的113幅超聲圖像共同構成原始數據集。隨機進行的3次構建和檢驗分類預測模型實驗中,患者年齡差異無統計學意義(P>0.05);乳腺癌各分子分型間,僅訓練集三陰性乳腺癌占比差異有統計學意義(P<0.05),見表1。

表1 3次乳腺腫瘤分類預測隨機實驗病理分類構成結果

2.2 分類結果

2.2.1 二分類 二分類任務模型的混淆矩陣以及ROC曲線見圖3,其準確率、精確率、召回率及F1分數分別為94.71%、91.32%、91.30%及91.28%。其中,混淆矩陣顯示預測結果大部分落在主對角線上,僅2幅

圖3 二分類任務模型預測結果的混淆矩陣(A)及ROC曲線(B)

良性、7幅惡性乳腺腫瘤圖像被錯誤分類。以二分類預測模型鑒別乳腺良、惡性腫瘤的AUC為0.976。

2.2.2 五分類 五分類任務模型的混淆矩陣及ROC曲線見圖4。混淆矩陣顯示,大部分預測結果落在主對角線上,模型預測準確率、精確率、召回率及F1分數分別為71.78%、72.48%、72.11%及0.721。該模型識別良性腫瘤效果最好,混淆矩陣顯示僅4幅圖像被錯誤分類,其分類AUC為0.976;在預測乳腺癌分型方面,模型預測Luminal B型的AUC為0.944,效果相對較好。

圖4 五分類任務模型預測結果的混淆矩陣(A)及ROC曲線(B)

3 討論

早期判斷乳腺癌分子分型可指導臨床進行精準治療[11]。乳腺癌部分超聲特征與其分子分型相關[12-16]。影像組學研究需人工勾勒病灶[17]。利用深度卷積神經網絡能自動識別、分割圖像,提取信息并分析肉眼難以識別的紋理特征[18],有助于彌補不同年資醫師之間水平的差異并進行診斷[19-20],現已廣泛用于分析乳腺癌。

在基于超聲圖像進行的乳腺腫瘤良惡性二分類研究中,FUJIOKA等[21]所用GoogleNet Inception v2卷積神經網絡模型的二分類準確率達92.5%、AUC達0.913;MA等[22]以Fus2Net模型分類乳腺良、惡性腫瘤的準確率為92%、AUC達0.97。目前大多數相關預測乳腺癌分子分型的深度卷積神經網絡模型系針對四分類[5,23]及兩分類任務[24-26],均無法同時鑒別良、惡性腫瘤及區分乳腺癌分子分型,使其臨床應用受限。

本研究以ResNet50網絡結構為主干,結合FPN和特征融合,以同時利用圖像語義特征及幾何信息;并添加了通道注意力機制SENet,以顯式構建卷積特征通道之間的相互依賴性,使其專注于重要特征;以Focal Loss作為損失函數構建FPN-SENet-FL深度卷積神經網絡模型,以有效解決樣本不均衡、提高模型分類準確率。所獲模型在二分類任務中的準確率為94.71%、AUC為0.976,且混淆矩陣預測結果大多數落在主對角線上,表明其模型能基于超聲圖像準確鑒別乳腺良、惡性腫瘤;在五分類任務的準確率為71.78%,AUC為0.860～0.976,尤以鑒別乳腺良、惡性腫瘤的AUC及混淆矩陣預測準確率最高,表明其診斷乳腺良性腫瘤的能力最佳,其次為Luminal B型乳腺癌,但準確率未達80%,可能與樣本量小及圖像數量欠均衡有關。

綜上,FPN-SENet-FL深度卷積神經網絡模型可輔助超聲鑒別乳腺良、惡性腫瘤,且預測Luminal B型乳腺癌效能較佳。但本研究為單中心、回顧性分析,樣本量較小,且未設置外部驗證,有待后續進一步觀察。

利益沖突:全體作者聲明無利益沖突。

作者貢獻:周曉欣研究實施、統計分析、撰寫文章;陳俊諭圖像處理;盧煥沖統計分析;趙志丹指導;陳紹琦指導、經費支持、審閱文章。