基于注意力增強U-Net的腦卒中病灶分割

王一諾，張俊然，劉 彥，李家琛

(四川大學 電氣工程學院，四川 成都 610065)

0 引 言

腦卒中是常見的腦部疾病，我國總體卒中終身發病風險已高達39.9%[1]，其中急性缺血性腦卒中約占卒中總數的70%[2]。在缺血性卒中急救過程中，醫生主導的閱片診斷環節關系著能否在4.5小時“黃金時間窗”內盡快恢復缺血腦區供血，降低致死致殘率[3]，但該過程易受醫生經驗等主觀因素制約。利用計算機輔助診斷技術，可以準確分割影像中的缺血病灶，節約醫生手動勾畫的時間和精力，減少不同醫生個體的主觀影響。

區別于傳統機器學習方法依靠人工設計特征，基于卷積神經網絡(CNN)的分割模型可以更好地適應分割任務，自主學習特征，逐漸成為醫學圖像分割領域的主流方法。U-Net[4]是經典的2D分割網絡，但是在對圖像特征的關注上仍有不足。有學者提出了3D CNN方法實現缺血卒中病灶的分割，但網絡級聯[5]或增加網絡深度[6]的方法會大量增加分割時間，不利于臨床急救的開展，同時對GPU等硬件條件有更高要求。Wang等[7]利用CTP影像合成病灶特征更明顯的偽DWI影像再進行分割，將3部分網絡聯合進行端到端訓練，雖然適應了特定的分割任務，但也存在可移植性較差、單個網絡調試困難等問題。已有研究表明注意力機制可以使CNN關注圖像中對當前任務更關鍵的通道、空間等特征，從而提升網絡性能，但大多是在物體識別的背景下提出的[8-10]，或只涉及增強分割網絡空間注意力的討論[11]。

基于上述問題，本文提出了基于注意力增強U-Net的缺血性腦卒中病灶分割方法，主要創新點如下：

(1)為了適應病灶分割任務，提出了通道和空間注意力CSA(channel and spatial attention)模塊，利用一維卷積和膨脹卷積，分別獲得高效的通道間依賴關系和感受野更廣的空間注意力，通過實驗論證了CSA結構的合理性。

(2)為了增強U-Net對缺血性腦卒中影像中特征通道和空間信息的關注，將CSA模塊與U-Net相結合，改善了U-Net的分割性能，并與其它U型網絡的分割結果進行了對比，論證了本文模型的優越性。

1 基于注意力增強U-Net的缺血病灶分割

本文采用ISLES(ischemic stroke lesion segmentation)2018[12]數據集中的多模態腦影像作為實現缺血性腦卒中病灶分割的數據源，算法的主要流程包括數據處理、基于注意力增強U-Net的圖像分割兩部分，如圖1所示。

圖1 本文算法流程

1.1 實驗數據介紹

ISLES 2018數據集提供了94例訓練集和63例測試集影像數據，僅公開了訓練集病灶標簽。本文提出的算法在訓練集的CT(computed tomography)和CTP(computed tomography perfusion)影像的4個灌注模態：腦血流量(cerebral blood flow，CBF)、腦血容量(cerebral blood volume，CBV)、平均通過時間(mean transit time，MTT)、達峰時間(time maximum，Tmax)，及對應的病灶標簽上進行驗證，使用的各模態影像如圖2所示。在每例數據中，水平面的2D圖像大小均為256×256像素，根據病例不同像素間隔在1 mm左右不等，同時每個病例包含2至22張2D圖像。

圖2 患者的5個模態影像以及病灶標簽(水平面)

1.2 數據處理

本文使用的影像數據特點可能對網絡的訓練過程產生不利影響：①原始CT圖像中具有高強度的顱骨區域；②像素數值范圍較廣，可能導致分割網絡訓練不易收斂；③缺血病灶區域僅占大腦組織區域的7%，類不平衡情況較為嚴重。同時，從對稱的大腦半球影像中可以學習更多區分病灶和健康組織特征[13,14]。綜合以上因素，對原始數據進行以下處理。

(1)顱骨剝離：4個灌注模態的圖像中有效數據區域不包含顱骨，利用此特點生成掩模對原始CT圖像進行顱骨剝離。

(2)對稱模態增強：將各模態圖像分別沿人體解剖學的矢狀軸翻轉(水平翻轉)，采用剛性配準擬合翻轉前后的圖像。

(3)圖像歸一化：使用Z-score標準化方法對圖像進行歸一化處理，用以下公式表示

(1)

其中，IMOD和I′MOD分別表示歸一化前后的圖像，MOD表示各個影像模態，μ、λ分別為IMOD的像素均值和標準差，歸一化后的圖像滿足均值為0方差為1的正態分布。

(4)圖像塊采樣：分別以病灶組織和健康組織的像素為中心提取64×64大小的圖像塊。

(5)數據增廣：采用表1所示的數據增廣方式，使以病灶組織為中心提取的圖像塊達到與以健康組織像素為中心的圖像塊相同的數量N。其中彈性形變參數α和γ分別是控制變形強度的比例因子和彈性系數。實驗中設定N=1000，進行數據增廣后病灶區域的占比提升到了17%，類不平衡情況得到了改善。

表1 本文采用的數據增廣方法和對應參數

1.3 基于注意力增強U-Net的分割網絡

大部分CNN存在共有的問題[15]：構成CNN的卷積層在不同的空間位置使用共享的權值，可能導致CNN缺乏空間意識，進而在處理不同位置、形狀、大小的目標時表現不佳；此外，大量特征通道中可能存在通道冗余的情況。U-Net這一經典的語義分割網絡同樣具有上述問題。

為了使U-Net適應不同位置、形狀、大小的缺血病灶的分割任務，增強分割網絡對通道和空間信息的關注，在U-Net的長連接添加通道和空間注意力機制，使其具有處理空間和通道信息的特定結構，更加關注特征信息豐富的通道，同時在空間維度對目標區域給予更多關注，使網絡分割性能得到改善。本文提出的分割模型如圖3所示。

1.3.1 通道和空間注意力機制CSA

為適應缺血病灶的分割任務，本文提出了通道和空間注意力模塊CSA，結構如圖4所示，使特征圖在通道和空間維度依次獲得注意力增強。其中應用到了使用快速一維卷積獲得高效的通道關系和膨脹卷積獲取更大的空間感受野的思想，同時對通道注意力增強模塊CA和空間注意力增強模塊SA都添加了殘差連接的結構。

圖4 本文提出CSA模塊結構

假設輸入特征圖為F，通道注意力機制CA形成的加權輸出特征圖為F1，空間注意力機制SA形成的加權輸出特征圖為F2，則此注意力增強的過程公式為

F1=MC(F)?F+F

(2)

F2=MS(F1)?F1+F1

(3)

式中：MC(F)為特征圖F經過通道注意力增強后的輸出權值，MS(F1)是特征圖F1經過空間注意力增強后的輸出權值，?表示特征圖加權乘法。

(1)通道注意力模塊

通道注意力模塊CA可以增強分割網絡對信息豐富的特征通道的關注，抑制冗余通道的表達，在ECA(efficient channel attention)的基礎上添加了殘差連接，由全局平均池化層、一維卷積層和權重計算層組成。其原理是首先對特征圖的信息通過平均池化的方式在空間維度上進行壓縮，然后通過一維快速卷積，利用相鄰通道的信息對每個通道的注意力權重進行預測。其中不涉及SE(squeeze-and-excitation)和CBAM(convolutional block attention module)中通道注意力機制廣泛使用的通道降維方法，避免了降維給通道注意力預測帶來的負面影響和獲得低效的通道間依賴關系。殘差連接可以使特征映射對輸出的變化更加敏感，防止網絡發生退化[16]。

將平均池化和卷積過程、sigmoid歸一化分別用Favg.pool、Fconv(X;inch,ouch,k,d)、 σ的形式進行表示，X、inch、ouch、k、d分別表示輸入特征圖、輸入通道數量、輸出通道數量、卷積核大小、膨脹率，其中膨脹率d在普通卷積層中默認為1。則通道注意力機制輸出權重MC(F)的計算公式為

MC(F)=σ(Fconv(Favg.pool(F);1,1,k,1))

(4)

一維卷積層的卷積核大小k和通道數C滿足指數映射，因此可以自適應地計算卷積核大小k，即

(5)

其中， |t|odd為取計算結果最接近的奇數。

(2)空間注意力模塊

空間注意力模塊SA可以增強分割網絡對前景像素的關注，抑制分割不相關區域特征的表達，由膨脹卷積層、全連接層和權重計算層組成，同樣添加了殘差連接。其原理是首先以卷積核大小為3膨脹率為d的膨脹卷積層學習特征，同時對特征通道進行降維，并使用ReLU函數激活，最后通過全連接層對通道維度進行恢復，獲得分布式特征在特征空間中的映射，最終通過權重計算層得到特征圖進行空間注意力增強的權重。這樣的設計與SE模塊的擠壓激勵原理對比，以膨脹卷積層代替原有的全局平均池化層對特征圖的壓縮操作，在不改變卷積層的參數總量和輸出特征圖大小的基礎上，增大了卷積核對空間層面特征信息的感受野[17]，獲得了更多可利用的上下文信息，大小為3的卷積核在不同膨脹率下的感受野原理如圖5所示，從左到右膨脹率d依次為1，2，3。

圖5 不同膨脹率下的感受野

空間注意力機制輸出權重MS(F1) 的計算公式為

(6)

其中，C為特征圖的通道數，r為通道壓縮率，d為膨脹率。考慮到性能和計算成本，在實驗中參數選擇為r=4和d=3。

1.3.2 注意力增強的U-Net網絡

在醫學圖像分割的深度學習方法研究中，U-Net的出現一定程度上改善了利用有限樣本訓練模型完成分割的問題。U-Net具有對稱的編碼器和解碼器結構，在編碼器部分，對特征圖進行4次下采樣得到高級特征圖，再通過解碼器部分進行對應的4次上采樣，最終將得到的特征圖恢復到原圖片的分辨率，獲得更精細的分割細節信息。此外，U-Net的另一個顯著特征，在編碼器每層次最終獲得的特征圖，會通過長連接傳遞到解碼器部分，這樣的結構可以將每層次獲得的不同尺度的低級特征和高級特征融合，從而將低級特征作為高級特征的補充信息，用以修正并獲得最終的分割結果，同時也避免了直接對高級特征圖進行監督和損失函數的計算，提高了分割精度。

在本文的研究中發現其分割結果與病灶標簽相比，得到的病灶位置、大小和形狀都有一定的差距，產生了較多的誤分割和漏分割，仍存在一定的改進空間。將U-Net與本文提出的CSA模塊結合，在不會過多增加原有分割網絡體積的基礎上，使其對圖像中的病灶區域和信息豐富的特征通道給予更多關注，抑制冗余通道和分割不相關區域特征的表達。如圖3所示，將CSA模塊作為處理通道和空間關注信息的結構，添加在U-Net的長連接， 以加強模型對不同尺度的低水平特征圖中病灶的通道和空間關注度[18]，從而加強對病灶區域特征的學習能力，能夠對其進行更準確的定位，適應不同大小和形狀病灶的分割任務，提高病灶分割精度。

2 實驗結果與分析

本文實驗在Ubuntu 16.04的Linux設備上運行，深度學習框架基于PyTorch，硬件配置為Intel?CoreTMi7-9700 @3.00 GHz CPU，內存為16 GB，顯卡為NVIDIA GeForce GTX 2060。

2.1 評價指標

為了量化評估本文實驗涉及到的網絡模型的分割結果準確性和離散性，選擇Dice系數、靈敏度(Sensitivity)、陽性預測率(PPV)、Hausdorff距離(HD)作為評價指標

(7)

(8)

(9)

(10)

公式中做出以下定義：正確分割的病灶區域為真陽性(true positive，TP)，錯分為病灶的區域為假陽性(false positive，FP)，正確分割的非病灶區域為真陰性(true nega-tive，TN)，錯分為非病灶的區域為假陰性(false negative，FN)，A和B分別表示病灶標簽與分割結果中病灶邊緣的點。Dice系數、靈敏度、陽性預測率都是可以從像素層面衡量分割結果中正確分割、誤分割以及欠分割程度的綜合性指標，但是對于分割結果中的離群值無法表征，因此引入了Hausdorff距離，用于評價病灶標簽和分割結果邊緣的差異性。

此外，為了對分割結果中病灶位置的準確性進行評價，本文引入了質心距離(centroid distance，CD)的概念。即以病灶標簽f的質心(x1,y1)和分割結果g的質心(x2,y2)之間的距離評估分割模型對病灶位置預測的能力，用以下公式表示

(11)

2.2 實驗結果與分析

本文使用1.1節介紹的數據集進行實驗，將306組包含病灶的多模態圖像按照4:1的比例分為訓練集和測試集。采用自適應優化器Adadelta，訓練批大小為32，損失函數使用交叉熵與廣義Dice損失函數之和，采用dropout機制和早停法監督訓練防止過擬合。實驗結果表明，本文提出的CSA模塊可以提升U-Net對缺血性腦卒中病灶的分割性能，能夠更好地定位病灶。

2.2.1 消融實驗

為了論證CSA模塊結構對U-Net分割性能的提升，以U-Net為基礎網絡，進行了5項對比實驗：①不添加注意力機制；②添加無殘差連接的NCSA模塊；③添加交換CA和SA級聯順序的SCA模塊；④添加文獻[19]提出的并聯結構改進的PCSA模塊；⑤添加CSA模塊。對CSA模塊的結構調整如圖6所示。

圖6 對于CSA模塊的結構調整

分割結果評估見表2，在靈敏度和陽性預測率較為穩定的情況下，添加CSA后U-Net的Dice系數、Hausdorff距離、質心距離最優，在病灶分割精度和分割結果的離散性、病灶定位的準確性上表明CSA優于其它3種結構，驗證了本文提出的CSA模塊在結構上的合理性。

表2 調整CSA結構的分割結果評估(均值±標準差)

2.2.2 分割性能對比

為了進一步評估本文模型性能，選擇了ISLES 2018挑戰中前兩名所提出的分割網絡部分SL-Net[7]和不對稱U型殘差全卷積神經網絡[20]，以及同樣在長連接處添加注意力機制CBAM的U-Net網絡結構，將上述網絡在相同實驗條件下的分割性能進行比較，評估結果見表3。同時將病灶標簽、U-Net、上述網絡模型，共6組結果對比繪制，使用不同顏色表示過分割、欠分割、正確分割區域，如圖7所示。

根據表3的實驗結果可以得出：在與不同的U型網絡的分割結果對比中，本文模型擁有最佳的Dice系數和質心距離，在分割精度和對病灶的準確定位上具有一定的優勢。結合圖7進行分析：在第一行分割結果中，本文模型較好地分割出了缺血病灶，不存在離散的假陽性區域；所有模型在第二行分割結果中普遍存在較大范圍的過分割情況，本文分割模型對此進行了有效改善；第三行分割結果中，除本文模型之外，其它模型的欠分割情況較為嚴重，在臨床應用中，不能被檢測出來的病灶對病人的影響是不可預估的。雖然本文模型的各項評估參數并不全是最優，但是在正確分割、過分割和欠分割的綜合性能，以及對病灶的準確定位方面，本文模型表現最佳。關于進一步減少假陽性分布的問題，后續研究中可以采取更合適的閾值處理預測結果，或根據CTP影像各模態反映大腦血液動力學變化的特點添加病灶區域的約束進行改善。

表3 不同U型網絡的分割結果評估(均值±標準差)

圖7 不同U型網絡的分割結果對比

在不對稱U型殘差FCN的分割結果指標中Hausdorff距離最優，這一優勢原作者在文中也提及，但從圖7的結果來看，該模型的欠分割情況較為嚴重；SL-Net是文獻[7]中聯合訓練網絡的分割網絡，在U-Net的編碼器各層應用了通道注意力機制SE，相比于U-Net分割性能獲得了一定改善，但整體結果不及本文模型；CBAM-U-Net作為同樣使特征圖在通道和空間維度依次獲得注意力增強的對比實驗，在正確分割、分割結果的離散性和病灶定位的準確性的綜合評價上不及本文模型，表明本文提出的通道和空間注意力機制CSA更適合于缺血病灶的分割任務。

以單張圖像的分割時間作為衡量本文算法時間效率的指標，本文模型與上述U型網絡參數量與單張圖像平均分割時間對比見表4。可以看出，本文模型對256×256大小圖像的分割平均用時為0.73 s，相比于U-Net僅增加不到0.1 s，模型參數量增加不到3%，在可接受范圍內獲得了分割精度的有效改善；同時與其它3種分割網絡對比，本文模型的單張圖像分割時間相對最優。

表4 不同U型網絡的參數量和單張圖像平均分割時間/s

3 結束語

本文結合了一維快速卷積獲得高效通道注意力和膨脹卷積擴大感受野的原理，提出了通道和空間注意力模塊CSA，并將其與醫學圖像分割經典網絡U-Net相結合，利用注意力機制使U-Net對各級提取到的低水平特征在通道和空間層面加以關注和利用，再與高水平特征進行融合，使分割網絡對病灶區域與非病灶區域、區域邊界的特征、特征通道信息進行關注進而充分學習。實驗結果表明，本文模型在沒有過多增加U-Net網絡結構復雜性的基礎上，提高了對多模態缺血性腦卒中病灶的分割精度，并且對于準確分割、誤分割和過分割的綜合性能較好，對病灶的定位較為準確，可以為臨床醫生對于缺血性腦卒中患者的診斷、治療方案的制定、預后等提供客觀高效的決策支持，同時本文實驗方法為研究缺血性腦卒中病灶區域的快速量化評估提供了一種思路。關于通道和空間注意力機制CSA在目標檢測、目標跟蹤等其它CNN機器視覺領域的作用，未來可以進一步探究。