融合自注意力的乳腺鉬靶圖像特征引導分割算法*

申文靜,叢金玉,班楷第,王蘋蘋,劉坤孟,司興勇,魏本征△

(1.山東中醫藥大學 醫學人工智能研究中心,青島266112;2.山東中醫藥大學 青島中醫藥科學院,青島 266112)

0 引言

乳腺癌是女性最常見的惡性腫瘤之一[1]。據國際衛生組織癌癥研究機構最新發布的統計數據,全球女性乳腺癌新發病例數高達226萬,并且仍以3%～4%的速度逐年上升[2]。隨著醫學水平的進步,乳腺癌早期患者的生存率顯著提高,但對于晚期乳腺癌治療,目前臨床缺乏有效方法,五年生存率低。因此,乳腺癌的早篩、早診和早治對延長患者生存時間,提高患者生活質量具有重要意義[3]。

腫塊和鈣化是早期乳腺癌檢測中兩個最重要的特征表現,常見的診斷方法有超聲、核磁共振及鉬靶檢查等[4]。其中,鉬靶可顯示腫塊的大小和周圍病變情況、形態等信息[5]。不同于CT等成像設備,鉬靶對鈣化的敏感度較高[6],可識別微小鈣化區域[7]。目前,臨床上主要依靠放射科醫生對乳腺鉬靶圖像中的腫塊和鈣化點進行分割(見圖1),耗時費力且分割精度受醫生經驗影響,易出現漏診、誤診等現象[8-9]。隨著人工智能的發展,基于深度學習的乳腺腫塊和鈣化全自動分割應用廣泛。該方法可幫助醫生快速確定病變范圍,提高診斷效率,為臨床檢測提供準確可靠的解決方案,具有重要的現實意義。

注:紅色標記部分表示病灶區域

U形的卷積神經網絡(convolutional neural network,CNN)可提高特征信息的利用率,在醫學圖像分割中表現出較好的性能[10]。此外,融合注意力機制的模型可確定視覺探索區域,并發現特定的放射異常,能有效捕捉乳腺癌分割和定位的關鍵線索,增強對病灶區域及邊緣細節信息的關注,在癌癥病灶分割中取得了顯著成績。

基于此,Chen等[11]引入混合自適應注意力模塊取代傳統的卷積運算,使其在不同感受野下捕捉更多的特征,有效提高了特征利用率。Umer等[12]設計了雙解碼注意力機制用于實現乳腺癌病變區域的自動分割。Lou等[13]通過自適應地減少編碼器和解碼器特征之間的語義間隙,利用語義交互增強上下文關系,改進U形CNN,進一步提高了分割性能。Farooq等[14]提出基于殘差注意力的自集成模型用于乳腺腫瘤檢測,有效克服了乳腺腫瘤低視覺對比度、邊界不清及乳腺病變形狀和大小多樣性等問題。Zhong等[15]提出將雙邊跳躍連接和全尺度注意力機制引入U-Net網絡,通過融合多尺度特征,有效提高了腫瘤分割精度。Ru等[16]提出一種注意力引導神經常微分方程網絡,該網絡使用常微分方程塊組成編碼器-解碼器網絡,使用注意力模塊生成更精細的特征信息,提高了乳腺腫瘤的分割性能。Yang等[17]將CNN和Swin Transformer連接作為特征提取主干,構建金字塔結構網絡,引入交互式通道注意力模塊,用于強調重要的特征區域;補充特征融合模塊用于在特征融合過程中補充特征,有效提高了算法分割性能。褚張晴晴等[18]提出了一種改進的U-Net模型,通過在跳躍連接中設計特征融合模塊以融合不同層次的特征信息,并將改進的三維坐標注意力引入編碼器網絡以獲得腫瘤的精確位置。Fu等[19]提出了基于注意力的主動學習框架用于乳腺癌圖像分割。Iqbal等[20]設計了U形金字塔擴張融合網絡,取得了較為準確的分割效果。

盡管將各種注意力機制引入到U型網絡中,使腫瘤分割精度得到了有效提升。但當前深度學習方法無法同時檢測乳腺腫塊和鈣化,且現有模型仍存在特征利用不充分、細節信息丟失等問題,導致分割精度不理想。為此,本研究提出了一種融合自注意力的乳腺癌鉬靶圖像特征引導分割算法,以充分提取和利用圖像特征,實現乳腺癌病變區域的精確分割。

1 算法設計

1.1 融合自注意力的乳腺癌鉬靶圖像特征引導分割網絡

本研究算法框架采用由編碼器和解碼器組成的U型網絡作為骨干網絡,見圖2。其中,編碼器通過卷積層提取高級語義特征信息,解碼器利用跳躍連接,引入來自編碼器的高分辨率特征圖,恢復圖像丟失的細節信息。

圖2 算法框架圖

特征引導注意網絡(feature guided attention network,FGA-Net)以腫塊和鈣化兩類乳腺癌鉬靶圖像作為輸入,網絡輸入圖像大小為512×512。為獲取豐富的特征信息,骨干網絡卷積層均由兩個3*3卷積層的重復應用組成,每個卷積層后為批歸一化處理和ReLU激活函數層。特征提取模塊共由4個編碼塊組成,在每個編碼塊后,通過步長為2的最大池化對特征圖進行下采樣,增加輸出通道數量,擴大感受野,獲得高分辨率特征圖。解碼部分有4個解碼塊,每個解碼塊由卷積序列和特征引導注意模塊組成,用于對來自特征提取模塊的相應特征圖和解碼塊的輸出特征圖的總和進行上采樣操作,最后使用1*1卷積進行降維,還原到圖像輸入時的大小。

1.2 特征引導注意模塊

為增強通道間的依賴關系,提高分割精度。本研究在解碼塊中加入了特征引導注意模塊,該模塊由自注意力機制和特征引導模塊組成。自注意力機制可更多地關注到輸入中的關鍵信息及不同通道間的相關性,能夠充分利用全局信息獲得更好的模型訓練結果,增強對病灶區域邊緣信息的關注度,使邊界分割更加清晰。此外,采用特征引導模塊能夠使網絡關注圖像中腫塊和鈣化區域特征信息的不同,有利于進一步提升分割精度。

首先,特征引導注意模塊將編碼部分的輸出作為輸入x,通過Attention操作,篩選出重要特征信息。權重占比越大,說明特征信息越重要,Value是權重對應的信息。對于每個向量x′分別與需要學習的權重矩陣Wq、Wk和Wv相乘,得到Q、K和V;通過Q和K點乘的方式,計算每兩個輸入向量的相關性,得到A;接著對A進行Softmax操作得到A′,即各樣本與各信息間相關或相似程度的分布;利用A′和V點乘計算每個輸入向量x′對應的Attention層的輸出向量;最終輸出信息的加權和Att(Q,K,V)。Attention的計算如下:

(1)

然后,通過一個卷積層操作(大小為3*3),再依次通過全局平均池化(GAP)層、全連接層(FC)、Sigmoid激活層,與另一組直接來自3*3卷積的輸出特征進行點乘操作,用于將前面提取到的信息進行整合。最終,得到輸出特征圖y。

1.3 損失函數

為計算網絡預測結果與真實值的差異,本研究使用交叉熵損失函數計算損失:

loss(x,class)=-x[class]+log (∑jexp(x[j]))

(2)

其中,x表示樣本,class表示類別信息,該分割網絡目的是將病變區域與背景進行區分,因此,設置為二分類。

2 實驗

本研究在深度學習框架Pytorch中進行實驗,并在NVIDIA GeForce RTX 2070上運行。實驗初始學習率設置為0.000 1,迭代次數設置為40。實驗圖像在輸入模型前采用水平翻轉、垂直翻轉、鏡像和隨機旋轉等數據增強方法,以在一定程度上避免過擬合,提高模型的泛化能力。

2.1 數據集

本研究分別在INBreast1和DDSM乳腺鉬靶圖像數據庫上對FGA-Net進行評估。由于公開的INBreast[21]數據庫中標注數據太少,因此,加入了來自山東中醫藥大學第二附屬醫院的部分自有數據集,組成本研究所使用的INBreast1數據庫。該數據庫包含151例腫塊病例和85例鈣化病例,本研究分別從腫塊病例和鈣化病例中選擇了529張和324張標簽較為準確的乳房鉬靶圖像進行實驗。由于未收集到來自DDSM公開數據庫的鈣化病例,本研究僅使用從DDSM數據庫獲取的826例腫塊病例,共3 103張乳房鉬靶圖像進行實驗。實驗中將不同數據集均按8∶1∶1的比例劃分為訓練集、驗證集和測試集,分別用于模型的訓練、驗證與測試。

2.2 評價指標

為有效評估算法性能,本研究使用為準確率(Accuracy),交并比(IoU)和Dice系數作為評價指標,計算如下:

(3)

(4)

(5)

其中,TP表示正確預測為病灶的像素數,FP表示錯誤預測為病灶的像素數,FN表示錯誤預測為周圍組織的像素數,TN表示正確預測為周圍組織的像素數。Dice系數越高,則網絡預測結果的準確率越高。

2.3 結果與分析

本研究基于DDSM和INBreast1數據庫進行消融實驗,并與目前性能較好的幾種典型分割網絡進行對比,驗證該網絡的性能。

2.3.1對比實驗 為驗證本研究所提出的網絡的有效性,本研究與U-Net及其3種經典的、性能較好的改進算法進行了比較。

基于INBreast1對比實驗結果見表1、2。實驗結果表明,本研究模型的腫塊分割的Acc、mIoU和mDice分別為0.998、0.946和0.971,在完成35輪訓練后,模型已趨于穩定;鈣化分割的Acc、mIoU和mDice分別為0.996、0.817和0.888,在完成15輪訓練后,模型已趨于穩定。訓練集與驗證集loss值變化隨訓練輪數變化見圖3、4。與U-Net基礎網絡相比,本研究模型在腫塊分割中Acc、mIoU和mDice分別提高了0.7%、10.4%和10.2%;在鈣化分割中Acc、mIoU和mDice分別提高了0.2%、15%和13.8%,分割效果均有顯著提升。相較于U-Net+Attention、Res-UNet和Swin-UNet網絡,本研究模型在腫塊分割中Acc分別提高了0.7%、0.5%和1.6%;mIoU分別提高了18.6%、8.3%和12.2%;mDice分別提高了12.7%、5.9%和6.5%。在鈣化分割中Acc分別提高了0.1%、0.7%和0.5%;mIoU分別提高了6.7%、4.2%和6.4%;mDice分別提高了5.5%、3.2%和7.4%。表明FGA-Net可有效分割乳腺癌病變區域。

表1 INBreast1數據庫腫塊分割對比實驗結果

表2 INBreast1數據庫鈣化分割對比實驗結果

圖3 INBreast1腫塊數據訓練過程中訓練集和驗證集loss變化

圖4 INBreast1鈣化數據訓練過程中訓練集和驗證集loss變化

基于DDSM數據集的實驗結果見表3。本研究模型的腫塊分割的Acc、mIoU和mDice分別為0.999、0.848和0.911,在完成15輪訓練后,模型已趨于穩定。訓練集與驗證集損失值變化隨訓練輪數變化見圖5。與U-Net基礎網絡相比,本研究模型在腫塊分割中Acc、mIoU和mDice分別提高了0.9%、10.3%和10.3%,分割效果顯著提高。相較U-Net+Attention、Res-Unet和Swin-Unet網絡,本研究模型在腫塊分割中Acc分別提高了2.7%、0.8%和0.4%;mIoU分別提高了23%、4.2%和9.6%;mDice分別提高了21%、2.9%和7.9%。說明FGA-Net可更好地用于整個乳腺鉬靶圖像的病變分割,實現更高的分割精度。

表3 DDSM數據庫腫塊分割對比實驗結果

圖5 DDSM腫塊數據訓練過程中訓練集和驗證集loss變化

由表1、2、3可知,相比于U-Net、U-Net+Attention和Res-Unet模型,本研究模型增加了計算復雜度,但分割結果有明顯提升;相較于Swin-Unet模型,本研究模型參數更少且分割效果更好。表明FGA-Net雖然在診斷效率上不具備優勢,但在分割精度上相比經典網絡模型得到了顯著提升。

為更直觀地觀察網絡分割效果的優越性,本研究對不同算法的分割結果進行了可視化處理,見圖6。由于圖像中鈣化區域較小,不易觀察,圖中鈣化分割結果使用乳腺鉬靶圖像為背景進行表示,并將預測區域用紅色標記,人工標記區域用綠色標記。由圖6可知,本研究網絡分割腫塊時可避免將圖像中的鈣化誤判為腫塊,且能夠使腫塊邊緣更加平滑;在分割鈣化時,能夠較準確地識別鈣化和周圍組織,不受纖維腺組織的互相重疊和遮擋的影響。由此可見,本研究算法在腫塊和鈣化分割中均表現出了優良性能,分割精度得到了有效提升,整體分割效果優于其他經典分割模型。

注:紅色表示預測區域,綠色表示人工標記區域

2.3.2消融實驗 為驗證各模塊的有效性,消融實驗分別在DDSM和INBreast1數據集上進行,各包括4組實驗。A組實驗用于驗證基礎網絡對于乳腺腫塊和鈣化的分割效果;B組實驗用于驗證向基礎網絡中添加自注意力機制后的分割效果;C組實驗用于驗證向基礎網絡中加入特征引導模塊后的分割效果;D組實驗用于驗證同時增加自注意力模塊和特征引導模塊(即本研究提出的特征引導注意網絡)后網絡所達到的分割效果。

消融實驗結果見表4、5、6。在表4中,對比A組和B組的分割結果發現,自注意力模塊的引入,提升了模型的分割效果,Acc、mIoU和mDice分別提高了0.3%、6.3%和4%。C組在A組的基礎上添加特征引導模塊。對比A組和C組的分割結果發現,添加特征引導模塊后,分割效果也具有一定提升,觀察到Acc、mIoU和mDice分別提高了0.2%、1.1%和1.3%。在表5中,與A組相比,加入自注意力的B組Acc雖降低了0.2%,但mIoU和mDice卻有明顯提升,分別提高了2.1%和0.8%;加入特征引導模塊的C組Acc也存在小幅降低,但mIoU和mDice仍然有一定的提升,分別提高了1.5%和0.2%。在表6中,與A組相比,加入自注意力的B組Acc、mIoU和mDice均有上升,分別上升了0.3%、3.7%和2.7%;加入特征引導模塊的C組僅Acc降低了0.3%,mIoU和mDice分別提高了2.1%和1.2%。通過對比發現,添加特征引導模塊提升的分割效果低于添加自注意力。對比A、B、C和D四組實驗結果發現,本模型在乳腺腫塊和鈣化類型上取得了較好的分割效果。由表4、5、6可知,相較于骨干網絡,本研究模型由Acc分別提高了0.6%、0.2%和0.5%;mIoU分別提高了8.1%、3.3%和5.3%;mDice分別提高了4.9%、2.0%和5.5%。說明自注意力模塊和特征引導模塊均對于乳腺腫塊和鈣化分割具有有效性,兩者的組合模塊可進一步提升乳腺腫瘤的分割精度。

表4 INBreast1數據庫腫塊分割消融實驗結果

表5 INBreast1數據庫鈣化分割消融實驗結果

表6 DDSM數據庫腫塊分割消融實驗結果

此外,由表4、5、6可知,D組模型的參數大小為62.71 M,遠高于A組和B組模型,略高于C組模型,表明本研究模型產生的參數量較高,訓練速度較慢,但分割結果明顯高于其他三組。綜上所述,FGA-Net雖增加了計算負擔,但在分割精度上相比其他三組模型得到了有效改進。

3 結論

本研究提出了一種融合自注意力的乳腺癌鉬靶圖像特征引導分割算法,主要包含提取和學習特征信息的編碼器網絡和用于關注腫瘤區域和恢復邊緣細節特征的解碼器網絡。實驗結果表明,該算法可有效提高乳腺癌腫瘤的分割效果,對乳腺癌患者的早期檢測和治療有重要意義。但本研究模型也存在不足,相比其他模型,增加了計算負擔,在一定程度上降低了診斷效率。如何在追求高分割精度的同時,遵循輕量型設計是后續的研究重點。