基于改進U-Net模型和CBAM的腦腫瘤MRI圖像分割

張曉倩，羅 建，楊 梅，金芊芊，朱 熹

（西華師范大學電子信息工程學院，南充 637009）

0 引言

社會在進步，計算機技術(shù)也在發(fā)展，現(xiàn)已經(jīng)能為大腦研究提供更豐富的腦組織圖像和有效信息。磁共振成像MRI也成為腫瘤分割的一個常用手段。它具有多參數(shù)成像，腫瘤位置更加敏感，腦組織成像更清晰等特征。雖然MRI能很好地顯示腦組織結(jié)構(gòu)和病變區(qū)域，但MRI圖像存在偽影、偏場效應(yīng)、灰度偏移場等問題。由于人工篩選MRI圖像來預(yù)判早期腦腫瘤的方法非常耗時，所以引入深度學習技術(shù)是非常有必要的。

目前常用方法分為兩大類，即傳統(tǒng)和深度學習的圖像方法。

閾值分割和區(qū)域生長法在傳統(tǒng)方法中占很大比重，雖然它在腦腫瘤的治療中取得了一定成果，但其圖像處理算法的整體效果不是很好。這類算法常依賴于人為操作，因此存在一定的限制，需要根據(jù)實驗的差異來設(shè)置約束值。實驗得到的結(jié)果往往不是最精確的，還需要對其進行優(yōu)化，這種情況就會導(dǎo)致實驗的魯棒性差，腦腫瘤分割效率低。

近年來，關(guān)于腫瘤分割的深度學習方法有很多。Zhang等采用兩次分割MR圖像的方法，先采用FCN模型粗分割訓練，來檢測腫瘤的整體區(qū)域，然后再用FCN模型進行二次精確分割，獲得腦腫瘤的內(nèi)部結(jié)構(gòu)。但這會導(dǎo)致腦腫瘤圖像局部信息缺失，分割精度也偏低。Ronneberger等提出的對稱網(wǎng)絡(luò)U-Net，對醫(yī)學圖像分割適應(yīng)能力較好，成為醫(yī)學圖像的常用網(wǎng)絡(luò)模型，本文模型基于此進行改進。Vittikop等在U-Net網(wǎng)絡(luò)基礎(chǔ)上加入了跳躍連接，將深淺層特征信息進行融合，這使得腦腫瘤圖像能很好地彌補缺失的淺層信息，取得了較好的效果。

由于跳躍連接在U-Net模型中能夠提高分割準確率，本文基于U-Net模型的同時保留跳躍連接來融合特征信息，并對模型進行了改進。首先，將深度殘差塊替換U-Net結(jié)構(gòu)中的卷積塊，彌補丟失的特征信息，避免梯度消失等問題；其次，利用Dy-ReLU替換深度殘差模塊中的ReLU激活函數(shù)，提高網(wǎng)絡(luò)模型的非線性表達能力，解決梯度退化的問題；但U-Net中通過用跳躍連接來進行簡單的圖像拼接，容易丟失上下文特征信息，影響分割的準確性，對此，本文引入CBAM注意力機制，從空間和通道兩方面來提取需加以關(guān)注的某些特征，提高分割的準確性。

1 本文方法介紹

1.1 網(wǎng)絡(luò)模型

由于深度殘差塊在深度學習圖像處理中可以避免梯度消失的問題，同時對淺層網(wǎng)絡(luò)的分割效果有所提升，所以本文基于深度殘差塊進行改進并替換掉U-Net基礎(chǔ)網(wǎng)絡(luò)中的卷積塊。并將CBAM機制引入U-Net，使關(guān)鍵信息在空間和通道上都聚焦，提高腦腫瘤分割的效果。

圖1所示為本文的網(wǎng)絡(luò)結(jié)構(gòu)，由多部分組成，包括橋接、跳躍連接、編碼、分類器和解碼。其中編碼和解碼區(qū)域由四個改進的殘差塊組成，橋接區(qū)域由一個改進的殘差塊組成。一個改進的深度殘差塊由批標準化BN、動態(tài)激活函數(shù)Dy-ReLU、3×3的卷積層和恒等映射部分組成，這部分內(nèi)容將在后面詳細介紹。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

編碼區(qū)域主要由改進的深度殘差塊和下采樣組成，下采樣主要采用全局最大池化，其中一共進行了四次操作，每經(jīng)過一次深度殘差塊，就將進行一次全局最大池化。經(jīng)過深度殘差塊和下采樣操作的時候，當圖尺寸減小，其相應(yīng)的通道數(shù)將增加。

橋接在網(wǎng)絡(luò)模型中起著必不可少的作用，主要是用于連接編碼和解碼部分。解碼區(qū)域主要由改進的深度殘差塊和上采樣組成，其中一共進行了四次操作。上采樣后通道數(shù)將會減少一半，圖像尺寸擴大一倍。最后獲得與輸入的特征圖像大小近似的圖。分類器采用常用的方法，由1×1卷積和Sigmoid搭配而成。1×1卷積主要是用于降低計算量。最后通過Sigmoid對特征圖進行映射來顯示像素的類別。

跳躍連接實現(xiàn)特征映射的融合的方法是將編碼的深、淺層特征級聯(lián)。但由于編碼區(qū)域提取到的特征信息效果很差，帶來了大量的冗余特征信息。

針對編碼區(qū)域提取了大部分的冗余信息，本文在深淺層特征融合之前，引入CBAM機制，從通道和空間兩個方面都抑制冗余區(qū)域，提高特征提取的效率。

1.2 Dy-ReLU激活函數(shù)

激活函數(shù)通過引入非線性因素，使得模型具有非線性映射的能力。ReLU激活函數(shù)在分割中使用得非常頻繁，然而它不會根據(jù)實驗數(shù)據(jù)變化而變化，無區(qū)別對待所有的輸入樣本。但動態(tài)的激活函數(shù)則可以解決這個問題，本文通過引入動態(tài)校正單元Dynamic Rectified Linear Unit，Dy-ReLU來提高網(wǎng)絡(luò)模型的非線性表達能力。對于輸入的全局上下文信息，它通過輔助函數(shù)對其進行編碼，對后續(xù)的分段線性激活函數(shù)具有指導(dǎo)性作用。

圖2 Dy-ReLU示意圖

()可以看作是由類似SE模塊的超函數(shù)實現(xiàn)，主要是基于注意力機制來獲取關(guān)于特征信息之間的重要性，隨后通過重要度對有用信息和無用信息進行針對性的提取，最后將超參數(shù)映射到特征通道中。

先后經(jīng)過全局池化層和全連接層，其中全連接層經(jīng)過了兩次，隨后使用ReLU函數(shù)引入更多的非線性因素，讓信道間的復(fù)雜情況擬合得更好。最后采用Sigmoid標準化輸出。當SE模塊中的計算完成后，最后的輸出為：

1.3 深度殘差模塊

在深度學習圖像處理中，傳統(tǒng)觀念認為網(wǎng)絡(luò)進行更深層次的設(shè)計，效果會更好。但這也隨之帶來梯度消失的問題，而且淺層網(wǎng)絡(luò)對分割效果的提升也不夠明顯?；谝陨蠁栴}，He等提出一種殘差網(wǎng)絡(luò)。

圖3 改進的殘差塊

殘差公式如下：

如圖4（a）所示是原始的殘差塊，通常在網(wǎng)絡(luò)層數(shù)較大時，提取的特征信息較好。本文結(jié)構(gòu)如圖4（b）所示，是在殘差塊的基礎(chǔ)上，用Dy-ReLU替換ReLU激活函數(shù)。為了解決訓練中梯度退化的問題，采用恒等映射單元，將輸入部分傳遞到后面的網(wǎng)絡(luò)層，以促進特征信息的傳播，很大程度上可以解決淺層特征在訓練中丟失的問題。

圖4 原始的與改進的殘差模塊

1.4 注意力CBAM模塊

Woo等首次提出了CBAM雙重注意力機制，它是在空間和通道都關(guān)注某些特征的注意力模塊，雙管齊下，在提取特征時著重關(guān)注一些特征層和空間區(qū)域，增強了特征圖中有用的特征，在圖像分割中取得更好的效果。

圖5 CBAM機制示意圖

式中代表輸入；常用于表示sigmoid激活函數(shù)。

空間注意力機制主要從空間層面探討特征圖的關(guān)系來突出空間信息的重要性，其與通道注意力機制相輔相成。CBAM機制采用的卷積核大小為7×7，經(jīng)過空間注意力模塊后，得到最終的特征圖。計算過程如下：

其中，7×7卷積核用表示。

2 實驗及結(jié)果分析

2.1 數(shù)據(jù)集

實驗使用的是MICCAI提供的公開腦腫瘤數(shù)據(jù) 集BraTS2019和BraTS2020，BraTS2019包括335例患者，這部分數(shù)據(jù)用于訓練。將BraTS2020相對于2019新增的數(shù)據(jù)用于測試，包括高級別膠質(zhì)瘤34例。如圖6所示，每個患者的MR圖像都有4種模態(tài)T1，T1ce，F(xiàn)lair和T2和真實分割標簽。每一個數(shù)據(jù)都包含四個方面：非增強腫瘤和壞死腫瘤、水腫區(qū)域、增強腫瘤及背景，分割中通常將這些不同的區(qū)域分為三個部分：①整體腫瘤，去除背景的所有部分；②腫瘤核心，由壞死、非增強和增強腫瘤部分構(gòu)成；③增強腫瘤，主要由增強腫瘤部分組成。

圖6 腦腫瘤四種模態(tài)

本文采用Z-score方法對數(shù)據(jù)進行標準化操作，先計算均值和標準差，再對所有圖像采取單位標準化和零均值操作，最后對圖像隨機切割為160×160的大小。

2.2 損失函數(shù)

由于混合損失函數(shù)在醫(yī)學圖像中使用效果較好，本文的損失函數(shù)由Dice相似系數(shù)和交叉熵損失組合而成。交叉熵公式如下：

式中，、分別是真實標簽與預(yù)測圖中像素集合，g代表真實類別，g指第個預(yù)測圖與第個真實標簽的類別，p代表預(yù)測值，指第個預(yù)測圖與第個真實標簽中的預(yù)測值。在訓練的時候，交叉熵通常用于優(yōu)化，盡管可有效解決梯度消失的問題，但對于類不平衡的圖像，它往往有所偏重，尤其對類別數(shù)較多的樣本會偏向更多，這將使得網(wǎng)絡(luò)的優(yōu)化不夠好。

對、分別進行計算，其中光滑算子用表示，主要用于避免分母為0的情況。Dice常用于學習網(wǎng)絡(luò)參數(shù)，使預(yù)測值更接近真實值?；旌蠐p失函數(shù)的公式如下：

2.3 評價指標

Dice系數(shù)、HD距離和查準率常用作圖像分割的評價指標，本文也采取相同的策略，公式如下：

公式中，指預(yù)測為正確的正樣本個數(shù)，指預(yù)測為正確實際是錯誤的負樣本個數(shù)，指預(yù)測為錯誤實際是正確的正樣本個數(shù)。Dice系數(shù)是用于衡量相似性的，用于計算預(yù)測值與真實值的相似度；查準率是指正確預(yù)測總數(shù)占被預(yù)測總數(shù)的比例；表示預(yù)測值，代表真實值，d與d分別表示預(yù)測值與真實值的HD距離，HD表示預(yù)測與真實值的不匹配的最大程度，是d和d中的最大值，這表明值越小，分割越準確。

2.4 參數(shù)設(shè)置及訓練

硬件環(huán)境：使用AMD EPYC 7302 CPU，內(nèi)存大小為64 G，使用NVIDIA GeForce RTX3090 GPU，顯卡24 G。軟件環(huán)境：Pytorch深度學習框架，CUDNN8.0，CUDA11.0，Ubuntu 18.04.5 LTS，Python3.8。在訓練時同時輸入預(yù)處理后的圖像和真實標簽。25%、75%的數(shù)據(jù)集分別作為驗證集和訓練集，BraTS2020中新增部分用于測試集。訓練過程中，學習率初始值為0.0003，動量0.9，迭代批量為32，訓練迭代期為10000。用衰減系數(shù)為0.0001的Adma優(yōu)化器優(yōu)化。將早停法的值設(shè)置為20來防止過擬合。

圖7所示為模型訓練過程中損失函數(shù)變化的曲線圖。連續(xù)實線是訓練的損失，虛線是驗證的損失。由圖7可以看出，隨著迭代次數(shù)的增加，網(wǎng)絡(luò)的準確率在不斷地提高，損失在不斷地減少。當值趨近260時，網(wǎng)絡(luò)趨于穩(wěn)定。

圖7 訓練損失圖

2.5 測試結(jié)果

本文選擇FCN和U-Net兩種常用的基礎(chǔ)網(wǎng)絡(luò)進行實驗對比。表1展示了三種模型的分割結(jié)果。從表1可以看出FCN的結(jié)果很不理想，主要原因是特征信息都沒有得到充分利用。U-Net可以看作是基于FCN改進的，融合跳躍連接來提取更多的信息，但由于獲取的淺層信息較差，存在冗余，對分割效果產(chǎn)生了很大的影響。本文以U-Net為基礎(chǔ)進行改進，改進后的模型在分割中效果較好，DSC較原U-Net模型有小幅提升，查準率在整體、核心和腫瘤增強區(qū)域依次提升2.59%、0.37%、2.52%，HD在各區(qū)域也有小幅提升，得到了不錯的分割結(jié)果。

表1 模型對比結(jié)果

腦腫瘤MR圖像分割結(jié)果如圖8所示。從左到右依次為FCN、U-Net、真實標簽和本文方法的分割結(jié)果。從圖8可以看出，F(xiàn)CN分割效果較差，只能大概定位腦腫瘤的位置，內(nèi)部分割不夠精細。U-Net分割的輪廓清晰，但邊緣還是不夠細化，分割不是很準確。可以看出本文能夠得到與真實標簽更加相進的分割結(jié)果，效果明顯得到改善，性能良好。

圖8 對比實驗分割結(jié)果圖

3 結(jié)語

利用深度學習技術(shù)來分割腦腫瘤圖像的方法是很重要的。本文采用改進U-Net模型的方法提高腫瘤的分割結(jié)果。利用改進的深度殘差塊獲取特征信息，在跳轉(zhuǎn)連接中引入CBAM注意機制，同時結(jié)合混合損失函數(shù)對數(shù)據(jù)進行優(yōu)化，很大程度上解決了類不平衡的問題。實驗結(jié)果顯示，本文的方法能較大提升分割的精確度，分割結(jié)果也趨近于真實標簽，但有一定的局限性。由于本實驗使用的是三維數(shù)據(jù)，采用三維數(shù)據(jù)切片后的數(shù)據(jù)進行分割會丟失一些圖像信息，影響分割精度。因此，下一步研究的重點是采用三維數(shù)據(jù)進行圖像分割，來彌補圖像丟失的不足。