基于注意力機制的多尺度融合肝臟器官分割

吳宇杭

（四川大學計算機學院，成都610065）

0 引言

肝臟作為人體腹部最大的器官，也是人體腫瘤多發(fā)部位之一。肝臟病變是人體中的常見病變，尤其是在我國肝臟腫瘤發(fā)病率正呈現(xiàn)逐年上升的趨勢，且在早期癥狀并不明顯，超過30%的患者發(fā)現(xiàn)時已是晚期，錯過了治療的最佳時機[1]。肝臟病變的臨床表現(xiàn)為肝臟外形、大小和輪廓的變化，因此，快速的篩查和定位是診斷和治療的關(guān)鍵[2]。當前醫(yī)院主要通過磁共振成像和CT斷層掃描等醫(yī)學影像檢查的方式對肝臟進行篩查，醫(yī)生需要手動分割出肝臟以及病灶區(qū)域，為制定診療方案提供可靠的形態(tài)學參考。由于醫(yī)院影像科醫(yī)生資源分布不均以及大量病例圖像的產(chǎn)生，且手動標注病灶需要耗費大量的時間，極大地增加了醫(yī)生的負荷以及病人的等待時間。

伴隨著人工智能技術(shù)的不斷進步，出現(xiàn)了許多基于深度學習的醫(yī)學圖像自動分割技術(shù)，其對肝臟器官的分割精度也逐漸超越了專業(yè)醫(yī)生和傳統(tǒng)分割方法。文獻[3]提出了一種全卷積神經(jīng)網(wǎng)絡（Fully Convolution?al Networks，F(xiàn)CN），網(wǎng)絡所有層均為卷積層，能夠從像素級別對圖像進行分類，進而解決了語義級別的圖像分割問題。由于FCN在端到端分割中的優(yōu)異表現(xiàn)，許多學者在其基礎(chǔ)上進行了大量改進。文獻[4]在FCN基礎(chǔ)上提出了一種基于編碼器-解碼器結(jié)構(gòu)的網(wǎng)絡模型，編碼階段通過下采樣方式逐級捕捉圖像特征信息，解碼階段通過上采樣逐級恢復每個像素的定位并對像素進行分類。其中文獻[5]提出一種循環(huán)式殘差卷積網(wǎng)絡，利用反卷積塊代替卷積塊，同時殘差結(jié)構(gòu)能夠幫助訓練更深的網(wǎng)絡，循環(huán)式卷積層使網(wǎng)絡能夠提取更多的特征。文獻[6]提出了一種將卷積塊密集嵌套連接的網(wǎng)絡，由此代替長連接的方式將編碼器和解碼器連接起來。文獻[7]在解碼器階段應用了轉(zhuǎn)置卷積，相比雙線性插值提升了網(wǎng)絡的表達能力，且能夠?qū)⑸弦粚蛹壍妮敵龊驮驾斎雸D像以級聯(lián)的方式作為下一層的輸入，以此實現(xiàn)分割結(jié)果以及網(wǎng)絡中間層特征的循環(huán)迭代。

在語義分割模型中特征融合階段通常采用池化操作，包括最大池化（max pooling）[8]和平均池化（average pooling）[9]。池化方法通過特征壓縮的方式增大網(wǎng)絡感受野，使卷積層能夠提取更多的信息，但是在壓縮特征的同時也會丟失圖像部分信息，容易忽略不同類之間的上下文依賴關(guān)系。而近年來提出的注意力機制（at?tention mechanism）能夠有效地聚合上下文特征，確定相同類上下文之間的相關(guān)性和不同類之間的差異性[10]。

另外，文獻[3-4]在特征提取階段為了減少特征損失采用了跳躍連接（skip connection），將具有豐富全局特征的上采樣預測特征圖與含有更多局部細節(jié)的淺層語義信息融合起來，從而獲得更精確的預測結(jié)果。但是跳躍連接仍然無法很有效地利用底層空間信息，不能融合任意尺度的特征。文獻[11]提出了一種空洞空間金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）結(jié)構(gòu)，用不同采樣率的空洞卷積代替不同的尺度來提取多尺度的特征。

本文受文獻[10-11]啟發(fā)，通過深度卷積神經(jīng)網(wǎng)絡，在編碼器-解碼器結(jié)構(gòu)上提出了一種基于注意力機制的多尺度融合分割模型，實現(xiàn)對腹部肝臟器官的分割。在編碼器特征提取階段逐級進行下采樣，最后利用帶有空洞卷積的空間金字塔結(jié)構(gòu)來提取不同尺度的特征，使網(wǎng)絡能夠獲取更加豐富的空間信息，具有更強的魯棒性。在解碼器階段逐級進行多尺度特征融合，利用注意力機制幫助網(wǎng)絡更好地提取醫(yī)學圖像中肝臟器官等顯著特征，進而提高模型預測的精確度。本文在CHAOS腹部肝臟器官分割數(shù)據(jù)集上對模型進行驗證，實驗結(jié)果表明，模型能夠更好地利用特征間的上下文依賴關(guān)系以及底層的空間信息，在肝臟器官分割上有較好的效果。

1 相關(guān)工作

1.1 編碼器-解碼器

編碼器-解碼器[12]結(jié)構(gòu)是深度學習領(lǐng)域常用的一種模型架構(gòu)，在編碼階段由一個編碼器來接收輸入向量并壓縮為固定的維度，產(chǎn)生有語義信息的特征向量；解碼階段將編碼器處理完的低分辨率特征向量逐步映射為與原始輸入相同的維度。在語義分割領(lǐng)域，解碼器最終伴隨著對像素的分類，因此能夠通過模型重構(gòu)得到預測的語義分割結(jié)果。

1.2 注意力機制

在CNN網(wǎng)絡架構(gòu)中，為了獲得足夠大的感受野，網(wǎng)絡會逐步進行下采樣來提取特征，而在特征壓縮過程中不可避免的會損失部分信息。近年來提出的注意力機制可以幫助網(wǎng)絡有效地抑制不相關(guān)區(qū)域的特征響應，強化網(wǎng)絡學習相關(guān)任務的特征，并且在不需要大量額外參數(shù)的同時提高模型性能。注意力機制的動力學方程[13]可表述如下：

圖1 編碼器-解碼器結(jié)構(gòu)

1.3 空洞卷積

空洞卷積（atrous convolution）[14]通過在傳統(tǒng)卷積核的每行每列中加入空洞來增加感受野，卷積神經(jīng)網(wǎng)絡計算感受野的方式如下：

f表示該層網(wǎng)絡的感受野，m為上層網(wǎng)絡的感受野，s tride為卷積層或池化層的步長，k size為卷積核的大小。

空洞卷積可以幫助網(wǎng)絡擴大感受野，并且提取多尺度的上下文信息。它通過設(shè)置不同的采樣率（dila?tion rate）來獲取不同尺度的感受野，在不壓縮特征圖維度的前提下獲得與輸入特征相同的尺度，能夠有效地保存底層特征信息。其計算方式為：

其中H、W、C分別為卷積核的高度（height）、寬度（width）和通道數(shù)（channel），而h、w、c分別是卷積核bl上對應的坐標。z l+1v,u的輸入是第l+1層中坐標（u,v），其結(jié)果為第l層中的輸出al經(jīng)過卷積核bl卷積得到的值。d代表采樣率，當d為1時，即為標準的卷積計算公式。圖2為空洞卷積示意圖。

圖2 空洞卷積示意

1.4 空洞空間金字塔結(jié)構(gòu)

ASPP即為帶有空洞卷積的空間金字塔結(jié)構(gòu)[15]，其原理是使用不同采樣率的空洞卷積來處理同一個特征圖，接著將處理的結(jié)果拼接為擴大了通道數(shù)的特征，最后經(jīng)過一個1×1的卷積層來降低特征圖的通道數(shù)。

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡[16]由卷積層和全連接層組成，卷積層對輸入特征的尺寸沒有特定要求，而全連接層則需要輸入固定尺寸的特征，因此來自不同應用場景大小不同的圖像必須切割成固定尺寸才能使用，這既導致了圖像形狀的改變也造成了大量局部信息的丟失。

而ASPP的出現(xiàn)正是解決了這個問題，使網(wǎng)絡能夠輸入不同尺寸的圖片而無須切割，它還能在不同尺度進行特征提取，并且融合這些多尺度的特征，幫助網(wǎng)絡提取更加豐富的特征，從而獲得更好的分割效果。

2 基于注意力機制的多尺度融合分割網(wǎng)絡

圖3 基于注意力機制的多尺度融合分割網(wǎng)絡

本文提出的網(wǎng)絡主體由編碼器和解碼器部分組成。編碼階段將輸入圖像以2倍率逐級進行特征壓縮，一共進行四次下采樣，分別對應四個下采樣基礎(chǔ)塊，最后一層的輸出經(jīng)由ASPP模塊處理之后再進行上采樣操作；解碼階段相對應的逐級進行四次上采樣，每一層都通過跳躍方式與編碼器的對應層進行連接。在每次上采樣特征與跳躍連接的下采樣特征融合之前，網(wǎng)絡首先將跳躍連接傳輸?shù)奶卣髋c上采樣中上一層的特征輸入到注意力模塊進一步處理。同時，注意力模塊還能過濾正向傳播和反向傳播中神經(jīng)元的梯度信息，降低背景區(qū)域產(chǎn)生的梯度在向后傳播時的權(quán)重。

在解碼器結(jié)構(gòu)中加入注意力機制將有效利用通過跳躍連接獲得的下采樣特征，經(jīng)過注意力模塊處理后，將消除這些從粗尺度提取的特征中不相關(guān)和有噪聲的特征響應，即抑制不相關(guān)的背景信息，更多的關(guān)注網(wǎng)絡需要的前景特征。

網(wǎng)絡基礎(chǔ)塊由一個窗口大小為2的二維最大池化層，外加兩組相同的步長為1的3×3卷積層、ReLU激活函數(shù)層和二維的批歸一化層組成。池化層用來降低圖像的分辨率，批歸一化層使每一批特征圖滿足均值為0，方差為1的規(guī)律分布。

2.1 注意力模塊

在注意力模塊中，首先將跳躍連接傳遞的下采樣輸出特征xl，與上采樣特征g轉(zhuǎn)換成相同的尺寸，兩者拼接之后由激活函數(shù)ReLU處理，再接一層sigmoid函數(shù)進行歸一化處理得到注意力系數(shù)α，α取值在0～1之間，當α趨近于1時表示網(wǎng)絡的注意力更集中在目標區(qū)域上，趨近于0時表示抑制不相關(guān)區(qū)域的特征響應。最后將初始的特征圖xl與注意力系數(shù)計算向量乘積得到，乘積將會使目標區(qū)域的值變大，使背景區(qū)域的值變小，最終體現(xiàn)了將注意力集中在目標區(qū)域上的理念。

圖4 網(wǎng)絡基礎(chǔ)模塊示意

圖5 注意力模塊示意

2.2 空洞空間金字塔結(jié)構(gòu)

ASPP模塊中首先將原始特征使用一個二維自適應平均池化層對特征圖進行下采樣降維，再用一個1×1的二維卷積層、一個雙線性插值上采樣層進行處理，接著使用4層采樣率分別為(1,6,12,18)的空洞卷積，最后將上采樣處理完的原始特征圖和4層空洞卷積處理的特征進行融合，融合的結(jié)果使用一個1×1的卷積層進行處理。這便是加入空洞卷積的空間金字塔結(jié)構(gòu)原理。

網(wǎng)絡將下采樣最后一層的特征輸入ASPP進行處理，將處理的結(jié)果結(jié)合上一層的下采樣跳躍連接的輸出，作為最近一層注意力模塊的輸入。網(wǎng)絡中ASPP的計算方式為：

其中H k,d(x)表示一個空洞卷積，函數(shù)y表示特征融合。

圖6 ASPP結(jié)構(gòu)示意

3 實驗與結(jié)果

3.1 數(shù)據(jù)集

本文使用CHAOS（Combined Healthy Abdominal Organ Segmentation）[17]腹部器官分割數(shù)據(jù)集，其中包含的CT數(shù)據(jù)由一系列大小為512×512的16位DICOM圖像組成，實驗使用其中的肝臟CT數(shù)據(jù)作為訓練數(shù)據(jù)集，對腹部肝臟器官進行分割預測。CT數(shù)據(jù)中包含了20例病人的CT圖像，本文使用其中的90%共18例2784張圖像作為訓練集，剩余的10%數(shù)據(jù)作為測試集。

3.2 評價指標

本文采用分割任務中常用的Dice相似系數(shù)（Dice Similarity Coefficient，DSC）作為實驗的評價指標，用來計算模型預測的分割結(jié)果和標簽的相似度，其計算方式如下：

其中Gt表示數(shù)據(jù)集標簽中肝臟區(qū)域像素構(gòu)成的集合，Pred為分割模型預測得到的肝臟區(qū)域像素集合。DSC取值范圍為[0,1]，其值越大表示模型預測的結(jié)果與標簽的結(jié)果越接近。

3.3 損失函數(shù)

本文數(shù)據(jù)標簽包含肝臟前景和背景兩類標簽，采用僅適用于二分類任務的BCELoss（Binary Cross Entropy Loss）二分類交叉熵損失函數(shù)[18]進行模型訓練，其函數(shù)定義如下：

其中xi和yi分別是原始目標參數(shù)和預測目標參數(shù)，取值在0到1之間，因此在進行損失計算時需要在該層前使用Sigmoid函數(shù)進行處理。

3.4 模型訓練

為了避免模型過擬合，實驗在數(shù)據(jù)預處理階段使用數(shù)據(jù)增強對訓練集數(shù)據(jù)進行處理，包括隨機水平翻轉(zhuǎn)、隨機尺度縮放、隨機裁剪和高斯濾波等。

實驗在Ubuntu 18.04基礎(chǔ)上使用PyTorch深度學習框架和Python編程語言實現(xiàn)網(wǎng)絡構(gòu)建，硬件平臺為型號NVIDIA Tesla-K20M的GPU和Intel Core i5-8600k的CPU。模型在訓練時使用隨機梯度下降優(yōu)化器對樣本的權(quán)重和梯度進行更新，共進行了60個批次循環(huán)訓練，每個批次大小設(shè)置為5，初始學習率為0.001。在每個循環(huán)結(jié)束時對訓練結(jié)果進行評估，最終保存評估結(jié)果最好的權(quán)重為模型訓練最終的結(jié)果。

3.5 實驗結(jié)果

實驗在CHAOS數(shù)據(jù)集基礎(chǔ)上使用Dice相似系數(shù)評價指標對模型效果進行驗證，并在UNet、UNet++以及nnUNet分割模型上使用相同的評價指標和數(shù)據(jù)集進行對比實驗。實驗結(jié)果見表1。由表1可知，本文提出的基于注意力機制的多尺度融合分割模型對肝臟器官的分割表現(xiàn)均好于對比模型，能夠較好地滿足對腹部肝臟器官的分割要求。

表1 實驗指標

如圖7所示，最左列是實驗數(shù)據(jù)集中原始腹部器官圖像，中間為肝臟器官的人工標注標簽，最右側(cè)為本文所提出的分割模型所預測的結(jié)果。

圖7 模型分割結(jié)果示例

4 結(jié)語

肝臟作為腹部最大的器官也是人體中的重要器官，對其進行精確分割在手術(shù)治療中具有重要意義。本文結(jié)合注意力機制和多尺度融合提出了一種肝臟器官自動分割模型，在CHAOS數(shù)據(jù)集上測試的肝臟分割準確率Dice系數(shù)達到96.31%，能夠在腹部CT圖像中較為準確地分割出肝臟器官輪廓，有效減輕醫(yī)生負擔，并在一定程度上為醫(yī)生手術(shù)治療方案提供形態(tài)學參考。本文未來的工作將繼續(xù)提高模型在小目標上的分割精度，以增強模型分割的泛化性和魯棒性。