基于改進(jìn)TransU-Net的乳腺腫瘤分割算法研究

摘要：針對(duì)超聲乳腺腫瘤圖像中存在的高散斑噪聲較多、腫瘤邊緣模糊以及形狀復(fù)雜多樣等問(wèn)題，文章在TransU-Net的基礎(chǔ)上進(jìn)行改進(jìn)，提出了基于TransU-Net的多路徑特征融合網(wǎng)絡(luò)（MFF-Net）。文章分析了MFF-Net的整體結(jié)構(gòu)、多路徑特征融合提取模塊以及深監(jiān)督機(jī)制，通過(guò)實(shí)驗(yàn)驗(yàn)證了MSF-Net在處理邊緣模糊和形狀復(fù)雜多樣的乳腺超聲圖像方面的有效性。結(jié)果顯示，MSF-Net在多個(gè)評(píng)價(jià)指標(biāo)上優(yōu)于現(xiàn)有的主流方法。

關(guān)鍵詞：乳腺超聲圖像分割；深度學(xué)習(xí)；多路徑融合；深監(jiān)督

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)志碼：A

0 引言

早期診斷和治療乳腺癌能顯著提升患者的生存率^［1］。近年來(lái)，由于超聲成像具有非侵入式、無(wú)輻射性、準(zhǔn)確率高、低成本等^［2］優(yōu)勢(shì)，逐漸成了一種篩查乳腺腫瘤的主流方法。傳統(tǒng)的醫(yī)學(xué)圖像分割方向有U-Net、U-Net++，但會(huì)受到背景噪聲的干擾，不能有效提取多尺度特征。本文提出了基于TransU-Net的多路徑特征融合網(wǎng)絡(luò)（Multi-path Feature Fusion Network，MFF-Net），通過(guò)多路徑特征融合提取模塊提取不同尺度和類型的特征，通過(guò)深監(jiān)督策略實(shí)現(xiàn)了更有效的梯度反向傳播，確保了網(wǎng)絡(luò)能夠從粗糙到細(xì)致逐步精確分割目標(biāo)區(qū)域。實(shí)驗(yàn)表明，MFFNet在BUSI數(shù)據(jù)集上展現(xiàn)出與金標(biāo)準(zhǔn)最相似的結(jié)果，證明本章提出算法的有效性。

1 基于TransU-Net的多路徑特征融合網(wǎng)絡(luò)

本文提出了基于TransU-Net的多路徑特征融合網(wǎng)絡(luò)。網(wǎng)絡(luò)的整體架構(gòu)如圖1所示。網(wǎng)絡(luò)沿用了TransU-Net的設(shè)計(jì)，對(duì)TransU-Net運(yùn)用了遷移學(xué)習(xí)的思想。該網(wǎng)絡(luò)在解碼器部分引入了多路徑特征融合提取模塊（Multi-Path Feature Fusion Extraction Model，MPFEM）來(lái)替換傳統(tǒng)的3×3卷積和ReLU激活單元，逐層上采樣，最終生成分割圖。在每次上采樣之后，這些特征圖會(huì)通過(guò)上采樣插值方法被上采樣到與輸入圖像相匹配的尺寸，形成側(cè)輸出，每個(gè)側(cè)輸出會(huì)與真實(shí)的分割掩碼相比較，計(jì)算損失。這些損失匯總形成網(wǎng)絡(luò)的總損失，幫助網(wǎng)絡(luò)在各個(gè)層級(jí)學(xué)習(xí)。

1.1 多路徑特征融合提取模塊

MPFEM的結(jié)構(gòu)如圖2所示，從上到下的路徑依次是Path A、Path B和Path C，最終將這些特征圖進(jìn)行融合以產(chǎn)生輸出特征圖。首先Path A通過(guò)一個(gè)1×1的卷積層產(chǎn)生特征圖feaa1，然后使用3×1和1×3卷積層串聯(lián)，產(chǎn)生3×3的感受野，緊接著通過(guò)批量歸一化+ReLU（BR）隨后生成特征圖feaa2。將feaa1和feaa2進(jìn)行點(diǎn)乘，最后使用殘差結(jié)構(gòu)來(lái)保留細(xì)節(jié)特征，生成feaa。

Path B路徑引入分組卷積和空洞卷積，將二者結(jié)合，將參數(shù)設(shè)置為：3×3卷積核、步長(zhǎng)為1、填充為2、膨脹率為2，分組數(shù)等于輸入通道數(shù)?？斩淳矸e擴(kuò)大了卷積核的有效感受野，最終提取5×5的感受野信息。而分組卷積將輸入特征圖分成若干組，有效地提升運(yùn)行速度，隨后經(jīng)過(guò)逐點(diǎn)卷積，卷積核參數(shù)為：1×1尺寸的卷積核、步長(zhǎng)為1、無(wú)填充，最終生成特征圖feab。

Path C路徑同樣采用深度可分離卷積的變體，使用3×3的卷積核、步長(zhǎng)為1、填充為4、膨脹率為4，通過(guò)空洞方式將感受野增至7×7，生成特征圖feac。最終該網(wǎng)絡(luò)將Path A、B、C的輸出特征圖進(jìn)行融合，用1×1卷積降低通道維度。

1.2 深監(jiān)督機(jī)制與損失函數(shù)

側(cè)輸出用于在訓(xùn)練期間提供附加的損失信號(hào)，從而使得網(wǎng)絡(luò)能夠在不同的解析度上獲得更精細(xì)的梯度信息。網(wǎng)絡(luò)通過(guò)在多個(gè)解碼階段引入直接的損失信號(hào)，使深監(jiān)督機(jī)制可以有效加速訓(xùn)練過(guò)程中的收斂速度，有助于提高模型對(duì)不同分辨率的泛化能力。損失函數(shù)由2部分組成，加權(quán)交并比損失和二元交叉熵?fù)p失，定義為：

其中，^w_iou表示加權(quán)IoU損失，^w_BCE表示全局限制和局部（像素級(jí)）限制的二元交叉熵?fù)p失。筆者對(duì)5個(gè)側(cè)輸出（即out₁-out₅）采用深度監(jiān)督， 每個(gè)out_i都被上采樣到與標(biāo)準(zhǔn)分割掩碼G相同的大小，與輸入圖像大小也相同。因此，MSF-Net的總損失函數(shù)公式為：

其中，out_i表示第i階段上采樣獲得的特征圖（i= 1，…， 5），G是ground-truth圖。

2 實(shí)驗(yàn)內(nèi)容

2.1 實(shí)驗(yàn)數(shù)據(jù)集

為了評(píng)估所提出方法的實(shí)用性和效果，本文在乳腺超聲數(shù)據(jù)集BUSI上進(jìn)行了實(shí)驗(yàn)。該數(shù)據(jù)集有780張影像，正常的有133張，非正常的有647張，排除了133張正常影像的使用后，將所有圖像調(diào)整至224×224的尺寸，進(jìn)行隨機(jī)平移、隨機(jī)縮放等數(shù)據(jù)擴(kuò)增，設(shè)置隨機(jī)概率為0.4，最終按8∶1∶1的比例隨機(jī)劃分成訓(xùn)練集519張，驗(yàn)證集64張，測(cè)試集64張。

2.2 實(shí)驗(yàn)環(huán)境

本文提出的方法是基于PyTorch實(shí)現(xiàn)的，硬件設(shè)備的顯卡型號(hào)為NVIDIA GeForce RTX-3090、訓(xùn)練周期被設(shè)定為500、batchsize為6、設(shè)置了梯度裁剪邊界clip為0.5、學(xué)習(xí)率初始化為1e-4、采用余弦退火策略進(jìn)行調(diào)整、T_max為40、使用Adam優(yōu)化器。本文所有算法均在同一實(shí)驗(yàn)環(huán)境下進(jìn)行了同樣的參數(shù)設(shè)置。

2.3 評(píng)價(jià)指標(biāo)

本文采用常用的5個(gè)醫(yī)學(xué)圖像分割評(píng)價(jià)指標(biāo)對(duì)所提出方法的性能進(jìn)行了評(píng)價(jià)，它們分別為：Dice、IoU、Recall、Precision、Accuracy，其數(shù)值越大，效果就越好。

2.4 對(duì)比實(shí)驗(yàn)

本文在BUSI數(shù)據(jù)集上進(jìn)行了廣泛的對(duì)比實(shí)驗(yàn)，以驗(yàn)證所提出的MSF-Net的有效性。筆者選取3個(gè)在醫(yī)學(xué)圖像分割方面具有代表性的算法進(jìn)行對(duì)比實(shí)驗(yàn)，分別為U-Net、TransU-Net^［3］、UCTrans-Net。表1展示了不同算法在BUSI上的評(píng)價(jià)指標(biāo)結(jié)果，最佳性能指標(biāo)加粗顯示。對(duì)于Dice、Recall、Precision、Accuracy，MSF-Net都表現(xiàn)了最好的水平，分別為0.8658、0.8989、0.8909、0.8909、0.8824，但是IoU得分僅次于U-Net，可能由于圖像的結(jié)構(gòu)相對(duì)簡(jiǎn)單或者分割目標(biāo)與背景對(duì)比明顯時(shí)，U-Net對(duì)特定類型的圖像或特征可能有更好的適應(yīng)性。

2.5 消融實(shí)驗(yàn)

為了評(píng)估MSF-Net中每個(gè)模塊設(shè)計(jì)的貢獻(xiàn)和有效性，筆者設(shè)計(jì)了2個(gè)消融實(shí)驗(yàn)。筆者首先將TransU-Net設(shè)為Baseline，將MFF-Net中的多路徑特征融合提取模塊替換為傳統(tǒng)3×3卷積層和ReLU激活函數(shù)，命名為Without-MPFEM。筆者去除了MFF-Net的深監(jiān)督機(jī)制，模型僅產(chǎn)生單一的最終輸出，命名為Without-DPS。

表2展示了消融實(shí)驗(yàn)在BUSI數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)結(jié)果。其中，Without-MPFEM相比于Baseline性能有所提升，說(shuō)明即使沒(méi)有多路徑特征融合，其他模型組件仍然對(duì)性能有積極貢獻(xiàn)。除了Recall，MFF-Net的所有指標(biāo)均為最佳，這證明了MPFEM和DPS的結(jié)合對(duì)模型的重要性。MPFEM允許模型有效捕捉多尺度特征，而DPS提供了必要的訓(xùn)練信號(hào)，使模型能夠在多尺度上進(jìn)行優(yōu)化。

3 結(jié)語(yǔ)

本文所提出的網(wǎng)絡(luò)利用多路徑特征融合提取模塊有效地集成了來(lái)自不同層次的特征信息，利用深監(jiān)督策略實(shí)現(xiàn)了更有效的梯度反向傳播。該網(wǎng)絡(luò)不僅提高了細(xì)節(jié)恢復(fù)能力和分割的準(zhǔn)確性，實(shí)現(xiàn)了快速且穩(wěn)定的訓(xùn)練過(guò)程。實(shí)驗(yàn)證明了本文提出的方法相較于其他主流方法顯著提升了腫瘤的分割效果，為未來(lái)在該領(lǐng)域的研究提供了新的視角和方法。

參考文獻(xiàn)

［1］SIEGEL R L，MILLER K D，F(xiàn)UCHS H E，et al.Cancer statistics，2021［J］.CA：A Cancer Journal for Clinicians，2021（1）：7-33.

［2］郭章留.乳腺癌影像學(xué)檢查的有關(guān)進(jìn)展［J］.臨床放射學(xué)雜志，2002（9）：738-740.

［3］WANG B，WANG F，DONG P，et al.Multiscale transunet++：dense hybrid u-net with transformer for medical image segmentation［J］.Signal，Image and Video Processing，2022（6）：1607-1614.

（編輯 王永超）

Research on breast tumor segmentation algorithm based on improved TransU-Net

Zhu" Shengtao， He" Zemin^*， Chen" Chaofeng

（Xijing University， Xi’an 710123， China）Abstract： Aiming at the problems of high scattering noise， blurred tumor edges and complex and diverse shapes in ultrasound breast tumor images， this paper proposes a TransU-Net-based multipath feature fusion network （MFF-Net） by improving on the basis of TransU-Net.In this paper， we analyze the overall structure of MFF-Net， the multipath feature fusion extraction module and the deep supervision mechanism， and experimentally verified the effectiveness of MSF-Net in processing breast ultrasound images with blurred edges and complex and diverse shapes. The results show that MSF-Net outperforms existing mainstream methods in several evaluation indexes.

Key words：breast ultrasound image segmentation; deep learning; multipath fusion; deep supervision