基于注意力機制的兩階段縱膈淋巴結自動分割算法

徐少偉，秦品樂，曾建朝*，趙致楷，高 媛

（1.山西省醫學影像人工智能工程技術研究中心（中北大學），太原 030051；2.中北大學大數據學院，太原 030051；3.山西醫科大學第一醫院，太原 030001）

（*通信作者電子郵箱zjc@nuc.edu.cn）

0 引言

縱膈是左右縱膈胸膜及其間所夾的器官和組織的總稱，其中遍布縱膈淋巴結，而淋巴結轉移是肺癌由原發灶向遠處轉移的重要轉移途徑。肺癌淋巴結的轉移規律一般遵循肺內淋巴結、肺門淋巴結、縱膈淋巴結的順序［1］，因此縱膈區的淋巴結狀況對于肺癌患者精確的臨床分期、治療選擇和改善預后有著重要的參考和影響作用。國際肺癌協會（International Association for the Study of Lung Cancer，IASLC）根據縱膈解剖學結構將縱膈分為14 個區域［2］，在肺癌檢查中對每一個分區都應進行淋巴結采集，其中兩側肺癌主要對2、4至9等分區進行采樣。因此準確檢測縱膈區淋巴結并標注其對應分區對于醫生診斷具有重要意義［3-4］。

計算機斷層掃描（Computed Tomography，CT）影像具有密度分辨力高、橫斷層影像較清晰、敏感性高等特點，對縱膈淋巴結檢查具有重要價值。根據醫學先驗，縱膈淋巴結主要存在于器官間隙，一般認為正常淋巴結直徑在1 cm 以內，而直徑大于1.5 cm 的淋巴結具有臨床價值。在CT 斷層中，縱膈淋巴結因形態為橢圓形，易與血管斷面、左肺動脈層面主升動脈心包上隱窩、左右心耳、胸腺、胸內甲狀腺等混淆；而且腫大縱膈淋巴結間尺寸差異大，小淋巴結識別困難。因此醫生要辨別淋巴結及定位其所在分區非常困難，并且截至目前，CT圖像縱膈淋巴結分割算法中評價指標Dice score 最高僅為52.3%［5］。目前醫學CT分割算法主要是基于全卷積網絡及其改進網絡U-Net的，但是對于像CT序列這樣的三維圖像來說，使用三維卷積的U-Net（3D U Network，3D U-Net）分割精度會更高。深度學習分割縱膈淋巴結目前主要有兩種方式：一種是集成不同二維分割網絡分割［6］結果；另一種是加入縱膈器官信息的單階段三維分割［5］。

醫學圖像淋巴結、結節等小目標以及淋巴結與周圍軟組織差異小對最終分割精度影響大，針對以上問題有以下幾種解決方案：第一種思路是文獻［6］提出的集成兩種不同的分割網絡如二維U 形網絡（2D U Network，2D UNet）［7］和Mask-RCNN（Mask Region Convolutional Neural Network）［8］的結果。但由于僅集成了兩種網絡結果，并未針對不同尺度淋巴結進行處理，導致小淋巴分割精度低；而且該方法僅利用了序列圖像的二維特征，所以最終分割精度和效率都不高。第二種思路是秦品樂等［9］提出的采用多階段二維三維結合的思路，即對二維單張圖像提取間隙后再分割來獲得疑似淋巴結，并將疑似淋巴結層間合并為體積塊后再輸入三維卷積分類網絡。該方法由于共采用了兩次二維單張圖像分割，血管、淋巴結單張圖像差別小，假陽性高，易引入累計誤差，之后再加入三維分類網絡導致整體耗時長、效率低。第三種思路是文獻［5］提出的通過非深度學習方法分割部分縱膈器官后，將分割淋巴結擴展為多分類任務，再向3D U-Net［10］中輸入縱膈器官和淋巴結標注，能在一定程度上減少負樣本，提高小淋巴結分割精度。第四種思路如文獻［11］中通過第一步粗分割得到目標感興趣區域塊后輸入細分割網絡，粗分割和細分割網絡都以3D U-Net為骨架，其中細分割網絡加入多種二維編碼器對特征進行集成。相較其他三種思路，第四種思路精度更高，基于三維卷積更適合于序列圖像任務，因此本文也采用這種思路。通過分析和醫學先驗發現，感興趣區域可以通過以縱膈器官為掩碼獲得，能有效減少背景干擾，提升小淋巴結識別效率，增加縱膈淋巴結與周圍組織差異，加速網絡訓練過程。因此，本文將第四種思路與第二種思路結合：在第一階段分割縱膈器官、縱膈淋巴結，在保留淋巴結的基礎上以縱膈器官為掩膜去除縱膈內外干擾器官組織，能有效改善縱膈淋巴結分割效果。

在第一階段的基礎上，由于去掉器官后仍留有部分縱膈組織和肺部腫瘤，兩者都和淋巴結特征相似，因此如何只關注縱膈淋巴結，忽略周圍軟組織、肺腫瘤的干擾是另一個關鍵問題。目前很多算法都引入了自注意力機制，通過計算特征圖、通道間信息來獲取對應權值以引導神經網絡關注目標區域，獲取整體位置依賴。Hu 等［12］發現不同特征圖對關鍵信息的貢獻不同，因此可以通過學習的方式來自動獲取到每個特征通道的重要程度，然后依據重要程度去提升有用的特征并抑制對當前任務用處不大的特征，類似于通道注意力［13］。Jaderberg等［14］發現神經網絡池化下采樣操作直接將信息合并會導致關鍵信息無法識別，提出了空間轉換模塊結構，用于指導網絡學習目標的空間特性，類似于空間注意力機制。Wang等［15］引入一種Non-Local塊，輸出層的每個位置與整個特征圖的依賴都計算一遍，獲取全局信息，增強相似特征，是一種自注意力機制。由此，注意力機制已經證明可以很好地提取關鍵特征。本文引入全局聚合模塊和混合位置、通道注意力模塊并擴展到三維后，計算任意兩個位置、深度、通道之間的依賴。本文算法在縱隔淋巴結數據集中的Dice score 達到了0.701 1，優于文獻［6］中加入縱膈器官標簽的單階段分割算法和文獻［5］中加入縱膈器官標簽的并行二維分割算法。

針對縱膈淋巴結分割中縱膈淋巴結尺寸差異大、正負樣本不平衡、與周圍軟組織及肺腫瘤特征差異不明顯的問題，通過醫學先驗和深度學習結合，根據淋巴結只存在于組織間隙的特點，本文設計了兩階段算法模型，并引入注意力機制增強淋巴結特征，減少軟組織、肺腫瘤干擾。

本文主要工作如下：

1）設計了一種新穎的多階段分割結構，通過醫學先驗去掉干擾器官等負樣本，增強淋巴結信息，能有效提升訓練精度同時減少訓練時間，最后可以根據縱膈器官和縱膈淋巴結定位所在分區；

2）改造原始3D 分割網絡，針對縱膈淋巴結可能與軟組織、肺腫瘤混淆的問題，引入了全局聚合模塊，獲取全局、局部以及深度特征；

3）針對縱膈淋巴結尺寸差異大、軟組織和肺腫瘤干擾分割等問題，改造原始編解碼塊短接，加入雙注意力模塊，將通道注意力替換為自適應感受野模塊并擴展注意力機制到三維，增強縱膈淋巴結空間形態特征，大大增強了網絡對目標的分割能力。

1 相關工作

目前基于深度學習的三維醫學影像分割算法按階段分為單階段和多階段兩類，按維度分為二維與三維兩類。單階段例如U-Net、3D U-Net、U-Net++［16］、Non Local U-Net［17］，這類方法一般修改現有網絡結構，加入注意力機制［18-19］或殘差塊［20］提升網絡結果；第二類是多階段方法，主要有Mask-RCNN、文獻［11］中的級聯算法和文獻［9］中的級聯算法等。

多階段分割網絡通過對目標的候選區域進行粗分割、篩選，然后再進行精細分割。多階段中粗分割可能會引入累計誤差，通常采用修改損失函數、增大候選區域等方法以獲得更高召回率，降低累計誤差。

深度學習視覺任務中注意力模擬大腦只關注感興趣區域并忽略其他背景干擾，與多階段算法人為干預提取感興趣區域是類似的想法。注意力機制將可用計算資源偏向更有用的特征信息［13］。

綜上所述，本文方法結合了目前深度學習中縱膈淋巴結分割任務中文獻［5-6］單階段加入器官標簽和多階段分割任務中文獻［9］和文獻［11］的思想，設計了雙階段分割算法。針對縱膈淋巴結正負樣本不平衡和尺寸差異問題，本文與文獻［5-6］中方法相同，在階段一中加入器官標簽，同時分割淋巴結和器官；得到分割結果后經過數字圖像處理，根據醫學先驗去掉原圖的器官等干擾因素來提高階段二網絡分割精度并降低訓練難度。針對縱膈淋巴結尺寸差異、軟組織和肺腫瘤特征相似等問題，階段二與文獻［5-6，9，11］中方法的不同在于，針對縱膈淋巴結尺寸差異、軟組織和肺腫瘤特征相似等問題，階段二提出基于注意力機制的分割網絡，引入并修改了全局聚合模塊和雙注意力模塊來解決以上問題，進一步提升了最終分割精度。

2 基于注意力機制的兩階段分割算法

本文算法總體框架如圖1 所示：第一個階段采用3D U-Net 分割縱膈器官、淋巴結；第二個階段將原圖去掉縱膈器官后輸入到注意力分割網絡中進行精細分割。

圖1 本文算法總體框架Fig.1 Overall framework of the proposed algorithm

2.1 獲取縱膈淋巴結

根據醫學先驗，縱膈淋巴結存在于縱膈器官間隙間軟組織中，縱膈處器官分別為食管、肺干、主動脈弓、升動脈弓、降動脈弓、奇靜脈、心臟、靜脈腔、頭壁靜脈、脊柱、肺靜脈、鎖骨下和頸動脈、肺、氣道。其中心臟、肺部、脊柱、降動脈等器官尺寸較大或位置固定，特征明顯，分割精度高。階段一中，分割以上器官加縱膈淋巴結，其中器官分割平均Dice score 為0.869 0。得到分割結果后對整體器官做閉操作、填補空洞，得到整體胸腔內部，排除胸腔外軟組織干擾，并且同時將脊柱排除，如圖2（b）所示。之后在原圖基礎上保留淋巴結粗分割，以各器官為掩膜，去除器官后進行開操作以去掉毛細血管、過小結節等，如圖2（d）所示。第一階段處理后理想情況應包含全部淋巴結，但實際情況下經過第一個階段處理后總體召回率為0.910 2，其中部分病例數據Dice score 和準確率可達0.50 以上，因此權衡引入的累計誤差和階段二中分割性能提升，認為可以接受第一階段處理導致的累計誤差。

在階段一獲取到縱膈組織間隙，原圖包含縱膈淋巴結、血管、肺泡、其他結節和軟組織。縱膈淋巴結單張圖像與血管差別較小，采用三維卷積獲取層間上下文信息可以在序列圖中將兩者區分開。縱膈淋巴結尺寸差異大，通過去除縱膈器官加滑動窗口的形式減少反例、背景，縮小輸入尺寸。經過以上處理后輸入引入注意力機制的分割網絡中。

圖2 縱膈間隙提取過程Fig.2 Extraction process of mediastinal space extraction

2.2 基于注意力機制的分割網絡

本文提出的基于注意力的分割網絡模型整體結構如圖3所示，網絡結構和3D U-Net 相同，采用編碼器、解碼器結構。主干網絡采用標準3D U-Net 編、解碼塊，只在編碼、解碼塊中下、上采樣階段加入全局聚合模塊，在編、解碼短接中加入雙注意力模塊。模型在第二到第四個編解碼塊中加入全局聚合（下、上采樣）模塊，特征塊同時進入編碼塊和全局聚合模塊中，最后通過元素求和的方式累加，解碼塊同理。模型在第三到第五個特征圖concate 操作前通過雙注意力模塊。基于注意力的分割網絡主要包含兩部分結構：全局聚合模塊（Global Aggregation Block，GAB）和雙注意力模塊（Dual Attention Block，DAB），其中雙注意力模塊包含位置注意力模塊（Position Attention Module，PAM）、通道注意力模塊（Channel Attention Module，CAM）。與普通卷積局部操作不同，GAB 主要通過計算全局位置間依賴，增強相似特征，增大感受野，減少在下、上采樣中最大池化、反卷積丟失的信息。混合模塊主要通過自注意力來捕獲特征圖的任意兩個位置的空間依賴性（這一點與GAB 相似），然后通過不同卷積層得到不同感受野下目標特征后獲取通道信息，經過瓶頸層后對相應特征塊進行通道增強。

圖3 網絡模型總體結構Fig.3 Overall structure of network model

2.3 全局聚合模塊

由于醫學圖像成像質量差，縱膈結構復雜，容易導致縱膈淋巴結與淋巴結周圍軟組織特征相似度高，影響網絡判斷，因此需要設計模型能夠較好地獲取區分淋巴結與軟組織。卷積操作只能獲得淋巴結局部特征，縱膈淋巴結的三維特征明顯，因此希望能夠獲得全局包括深度特征、增加縱膈淋巴結和周圍軟組織間特征差別。Wang 等［17］提出的非局部注意力模塊Non Local能夠很好地解決這個問題，本文也引入Non Local后擴展到三維，以獲取全局以及深度間依賴關系。如圖4 所示全局聚合模塊主要分為三個部分：query(Q)、key(K)、value(V)，即Q(B×DQ×HQ×WQ×CK)，K(B×D×H×W×CK)，V(B×D×W×N×CV)，其中：

式中：Unfold(?)為將D×H×W×C中深度、長寬拉為一維，變成(D×H×W) ×C；QueryTransformsCk(?)為可以改變輸入特征圖深度、長寬的任意操作，如降采樣則一般采用卷積核為3× 3× 3、步幅為2 的3D 卷積；Conv_1Cx為采用1× 1× 1 卷積核將通道變為Cx的3D卷積。

圖4 全局聚合模塊Fig.4 Global aggregation block

在得到Q、K、V三個向量后，再進行如下計算：

其中：A為空間依賴權重，A與特征塊V進行矩陣相乘得到O。O為增強后的特征，維度為(DQ×HQ×WQ)×CV，經 過dropout、Fold(?)還原后，使用卷積核為1× 1× 1改變O通道維度。最終編解碼塊特征圖與O逐像素相加。

全局聚合模塊可以減少最大池化造成的信息丟失，并且可以通過計算三維特征塊每個位置間依賴關系，增強縱膈淋巴結三維特征，較原有網絡能大幅提升縱膈淋巴結分割精度。

2.4 雙注意力模塊

縱膈淋巴結分散在縱膈器官間隙間的14 個分區中，為了將縱膈淋巴結分割和解析到與語義類別相關的不同圖像區域，以及進一步區分軟組織、淋巴結特征，引入自然圖像處理中用于場景分割的位置、通道注意力模塊。與場景分割問題相似，同樣需要區分一些易混淆的類別，例如自然圖像中“田地”和“草地”的區域通常難以劃分。本文將雙注意力分割網絡（Dual Attention Network，DANet）［21］中兩種注意力模塊卷積、變換擴展為三維，將通道注意力改為自適應感受野后嵌入到編解碼器同層連接中，在同層連接中，需要捕獲任意兩個位置間的空間依賴性，這樣具有相似特征的兩個位置都可以貢獻出改進。與GAB 相比，同層連接中不需要對特征圖尺寸進行變化，沒有上下采樣操作導致信息丟失，采用位置注意力模塊與通道注意力模塊更優。

其中，位置注意力模塊實現原理類似全局聚合模塊，局部特征A(B×D×H×W×C)經過三個卷積層，得到特征圖A1(B×D×H×W×C)、A2(B×D×H×W×C) 和A3(B×D×H×W×C)。如圖5（a）所示，分別經過Unfold(?)函數后，有

得到空間注意力權重S(D×H×W)2，它表示三維特征塊中任意兩個位置之間的依賴，兩個位置越相似，相關性就越高。擴展到三維，可以加入深度的依賴信息，加強縱隔淋巴結蠶豆狀特征。

最后計算得到最終結果E1：

其中超參數α初始為0，并在之后學習分配更多權重。位置注意力模塊計算了所有位置間依賴權重，依賴權重與原始特征之間加權和可以得到增強特征。

圖5 三維雙注意力機制示意圖Fig.5 Schematic diagram of 3D dual attention mechanism

文獻［21］中通道注意力簡單地將原始圖像變為一維，忽略了縱膈淋巴結尺寸差異。本文為了能夠得到不同尺度目標特征，修改文獻［21］中通道注意力為自適應感受野［22］，并擴展到三維，為了減少計算和顯存，調整原結構中固定5× 5× 5卷積為級聯3× 3× 3卷積和空洞卷積。由于文獻［23］認為在淺層中級聯卷積效果不佳，因此在淺層中替換為空洞卷積。由于空洞卷積容易引起網格效應，首先利用空洞率為2 的空洞卷積操作增大感受野，再級聯空洞率為1 的標準卷積消除網格效應［13］。如圖5（b）所示，自適應感受野模塊計算分為分支、融合、選擇三個階段。

1）分支階段：修改原有感受野的卷積，對于給定的特征圖X采用3× 3× 3 卷積和級聯3× 3× 3 卷積或空洞卷積兩種不同感受野的卷積核構建兩條不同感受野下的特征塊和

2）融合、選擇階段：與文獻［22］中方法相似，融合階段首先通過逐元素求和操作獲得融合特征U，通過全局自適應池化獲得道信息S。引入文獻［12］中的思想構建瓶頸層，對全局通道信息S進行降維操作，得到緊湊特征Z(d)。對緊湊特征Z進行升維操作、分離，得到a(c)、b(c)。緊湊特征Z的通道d由輸入特征的通道數C、降維比例r及下界L決定，r、L默認為4，d=C/r且最小不低于L。

3）選擇階段：通過通道注意力權重a(c)、b(c)分別對兩種不同感受野特征進行通道加權后逐元素求和，得到最終的融合特征E2。

通過加入自適應感受野模塊，全自適應感受野網絡比原分割網絡擁有更豐富的不同尺度目標的語義特征，極大地提升了提取縱膈間隙、分割淋巴結的精度。

最后將通道注意力和位置注意力做逐像素加得到最終雙注意力O=E1+E2，最后與解碼器模塊特征圖進行concate。

3 損失函數

縱膈淋巴結分割任務為像素級進行分類任務，針對小目標前背景不平衡和醫學分割等問題，本文損失函數定義為交叉熵損失、Dice 損失、Focal 損失［24］總和。總損失函數Ltotal定義為：

其中：LCE為交叉熵損失函數；LDice為Dice 損失；LFocal為Focal損失。

交叉熵損失定義為：

Dice損失函數定義為：

其中：p∈[0，1]n表示具有n個網絡輸出的預測值組成的一維向量，n為預測的像素數量；y∈{0，1}n表示二值真值標簽向量，正類為1，負類為0。這里Dice不取正數，按原Dice計算。

Focal損失函數定義為：

4 實驗與結果分析

4.1 實驗數據集

實驗數據集來源于公開縱膈數據集［7］與山西省腫瘤醫院CT 放射科提供的縱膈區域CT 序列圖像，圖像分辨率為512×512像素，山西省腫瘤醫院提供的數據集層厚為0.625 mm，由山西省腫瘤醫院4 位經驗豐富專家進行手工標注。放射科醫師對照公開數據集標注的縱膈組織器官、淋巴結尺寸進行標注并多次校對。最終提取可用公開數據集和多位專家共同標注的淋巴結，獲得60 例，共計2 800 張圖像，其中包含1 310 張縱膈淋巴結圖像。

4.2 模型訓練方法和評價指標

實驗數據隨機抽取80%用于模型訓練，剩余20%作為測試數據。數據預處理階段采集訓練集中標注的前景體素，基于值的0.5%～99.5%進行強度值裁切，收集訓練數據間距，對訓練數據采用三階樣條插值重采樣。第二階段滑動窗口大小設置為80 × 160 × 160，數據增強采用Batch Generators框架針對三維塊進行隨機鏡像翻轉、隨機角度旋轉、隨機裁剪、彈性形變、隨機縮放、伽馬增強等方式增廣。

本文模型采用Adam 作為隨機梯度下降優化器，初始學習率為3× 10-4，學習率衰減為3× 10-5，每當訓練損失的移動平均值在20個epoch內沒有改善時，學習率降低0.2。訓練使用一臺NVIDIA P100 GPU 服務器，每個epoch 訓練時間為637.78s，總計約70個epoch。

訓練完成后本文選用查準率P（Precision），查全率R（Recall）和Dice score 共同評估本文模型和其他模型的性能。同時針對不同提取感興趣區域方法、引入的注意力模塊以及修改后的注意力模塊結構進行了對比實驗，驗證本文方法合理性。其中Dice score計算公式如下：

其中：X表示為標簽值；Y表示為預測的分割結果。

4.3 對比實驗

首先，將本文提出的算法和其他常用的醫學影像分割算法、縱膈淋巴結分割算法進行性能對比實驗。數據集統一采用縱膈淋巴結數據集，基線方法采用標準3D U-Net方法，損失函數全部采用本文定義的損失，不同方法對比結果如表1 所示。相較其他算法，本文算法在各個評估指標上均有明顯提升，并且各個性能指標均高于0.7，在縱膈淋巴結分割領域，本文算法達到了最高水平。不同檢測算法的損失對比如圖6所示。

表1 不同方法實驗結果對比Tab.1 Comparison of experimental results of different methods

圖6 不同檢測算法的損失對比Fig.6 Comparison of loss in different detection algorithms

4.4 消融實驗

為了驗證注意力模塊結構設計的合理性，本文設計了六種不同結構：第一種是直接使用3D U-Net，不加取間隙、無注意力模塊；第二種取間隙后采用無注意力模塊的3D U-Net；第三種只在編碼、解碼器上下采樣塊中加入全局聚合模塊，去掉雙注意力模塊；第四種是僅在編解碼短接中加入文獻［21］中的位置、通道注意力模塊；第五種是僅在編解碼器短接中加入本文提出的雙注意力模塊；第六種為本文方法，加入全局聚合模塊和本文提出的位置、通道注意力混合模塊。根據表2 所示的結果可以看出，本文設計的基于注意力機制的分割網絡可以更好地提升網絡的性能。

表2 注意力模塊實驗結果對比Tab.2 Comparison of experimental results of attention modules

4.5 測試結果展示

不同方法分割結果的可視化如圖7 所示，比較的方法分別為標簽、基線方法、2D U-Net+Mask RCNN［5］方法、3D U-Net 加入組織標簽（Structures）［6］方法和本文方法。其中第一行為不同方法對小目標和肺腫瘤等區分能力比較；第二行為不同方法對較大目標分割能力比較；第三行為不同方法對中等偏小較易分割淋巴結的分割能力比較。綜上基本涵蓋了縱膈淋巴結分割中的不同情況，可以看出本文方法分割效果更好，并且有效地解決了縱膈淋巴結與軟組織、肺腫瘤難以區分的問題。

圖7 分割結果對比Fig.7 Comparison of segmentation results

5 結語

本文針對目前深度學習分割縱膈淋巴結精度差、縱膈淋巴結分割難等問題提出了一個三維雙階段淋巴結分割算法，并設計了基于注意力機制的分割網絡，主要用于縱膈淋巴結分割，并根據縱膈器官和淋巴結進行分區定位。首先，進行縱膈淋巴結粗分割與干擾器官去除操作，用于解決正負樣本不均衡、縱膈淋巴結尺寸差異大問題；然后，引入了全局聚合模塊、雙注意力模塊計算三維塊整體信息和不同感受野下的特征信息，增強淋巴結特征，減少軟組織、肺腫瘤干擾；最后，可以進一步結合縱膈器官、淋巴結來得到縱膈淋巴結分區。本文算法在縱膈淋巴結數據集分割上實現了0.726 9 的召回率和0.701 1 的Dice score，并且本文算法靈活簡單，同樣適用于其他淋巴結分割任務中。目前只使用了標準3D U-Net作為骨架，使用V-Net 等性能更優的分割網絡作為主干將會更好地提升模型性能。因為受到顯存限制，無法將全局聚合模塊和雙注意力模塊用于第一、二層特征圖，之后將針對兩個模塊作進一步改進，嘗試加入搜索窗。