基于多尺度綜合注意力的左心室圖像分割方法研究

李孟歆，韓 煜，李松昂，賈欣潤，李易營

（沈陽建筑大學電氣與控制工程學院，沈陽 110168）

0 引言

根據《中國心血管健康與疾病報告2020》［1］發布報告指出，中國心血管疾病發病率呈上升趨勢。全世界每年死于心腦血管疾病的人數占全球死亡人數的30%，對于心血管疾病的提前診斷和及時治療是亟待解決的重大問題。其中左心室是全身循環泵體，起到泵血的作用，工作量遠遠大于右心室。心血管疾病對左心室的生理形態影響很大，嚴重時甚至威脅生命，所以左心室的早期檢查，判斷生理輪廓是否正常，是評估心臟狀況的重要環節。有多種醫學攝影方法用于治療心臟病，其中磁共振（MRI）方法應用更為廣泛。它可以獲得關于心臟結構、心肌運動和組織特征的清晰信息，向醫生提供重要的補充診斷資料，并與左心室功能的評估具有臨床相關性，可以有效地輔助醫生進行病灶判斷。但由于手動分割一幅MRI 圖像耗時較長，并且依賴醫生的專業能力，所以近年來左心室MRI圖像的自動分割成為了研究熱點。

國內外科學家提出了多種心室分割方法，基本包括兩種類型，即傳統的分割方法和基于深度學習的分割方法。然而，在深度學習發展過程中，將深度學習與醫學圖像分割相結合是人們正在研究的新課題，實現左心室的全自動分割，與傳統方法進行比較，提升效果更為顯著。Tran［2］使用15 層FCN 對左心室和右心室進行分割。Poudel 等［3］在尖端使用遞歸全卷積網絡（RFCN）來分析重疊心臟MRI 圖像的分割，獲得的結果顯著改善。Ronneberger 等［4］首次提出U-Net，可以有效解決醫學領域專業圖像樣本少的問題，通過對原始數據進行增強，使網絡的圖像特征提取能力得到提升，利用編碼和解碼的結構，通過對上下文信息的分析實現對目標特征準確定位，在基于神經元結構的U-Net分割網絡中取得了不錯的成果。Lieman-Sifry 等［5］研究改進E-Net 架構，提出了Fast Ventricle 架構用于心室分割，大大提升了運行速度并保證了結果的準確性。Vigneault 等［6］在U-Net 的基礎上提出了Ω-Net（Omega-Net），強化了特征的位置信息和語義分割。Khened 等［7］提出了一種新型長短連接的上采樣結構，針對FCN 的梯度爆炸問題進行了改善，結合Inception 模型和DenseNet 提出了一種全卷積多尺度殘差網絡，在心臟分割競賽中表現突出。在深度學習領域的醫學圖像分割研究方法層出不窮，并且都取得了不錯的成果［8-11］。

本文以生成對抗網絡為框架基礎，結合多尺度綜合注意力模塊（multi-scale integrated attention module）構成改進的生成對抗網絡MCA GAN，分割網絡由編碼—解碼模塊構成，用結合多尺度綜合注意力網絡的全卷積神經網絡替代原有的編碼模塊，針對網絡捕獲特征信息不足、淺層信息丟失的問題，構建新的分割網絡，并通過多尺度鑒別器鑒別網絡監督生成圖像與標注圖像之間的特征關系，通過不斷地迭代，更好地學習圖像的特征信息，提高分割精度。

1 本文網絡結構及算法原理

1.1 生成對抗網絡

GAN 主要由生成器G（generator）和鑒別器D（discriminator）兩個網絡構成，通過不斷迭代的對抗式學習來獲得更為精確的結果，其網絡結構如圖1所示。

圖1 生成對抗網絡結構

圖1中，G將隨機噪聲z作為輸入來生成圖像G(z)，然后將真實圖像x與G(z)輸入到D中，D將x和G(z)做二分類，鑒別輸入的圖像是原始圖像還是生成圖像，D的輸出結果表示輸入x為原始圖像的概率，1 表示當前的輸入為原始圖像；0 表示當前的輸入為生成圖像。G繼續訓練學習使得生成圖像接近原始圖像，并嘗試使D認為這是原始圖像；D通過不斷學習提高原始圖像和生成圖像的分類準確率。一個網絡在不斷優化生成數據，另一個網絡在不斷優化分類準確率；通過迭代學習，兩個網絡達到一個均衡點，稱為納什均衡點。

生成器（G）和判別器（D）的定義如下:

其中：z是隨機噪聲，x是原始圖像，Pdata是真實數據分布，Pz是均勻噪聲分布，G(z)是生成圖，D(x)表示真實圖像鑒別結果，D(G(z)) 表示生成圖像鑒別結果，E表示期望。

1.2 MCA GAN

在圖像的特征捕捉和表征方面，GAN 有著相較于其他模型更為優秀的學習能力，提出一種改進的生成對抗網絡，即MCA GAN，來對目標任務進行分割。網絡結構如圖2所示。

圖2 MCA GAN網絡結構

1.3 基于多尺度綜合注意力的分割網絡

在分割網絡中引入多尺度注意力卷積神經網絡，如圖3所示。主要由以下三個模塊構成：①雙路徑因式分解多尺度融合模塊［12］（dual Path factor decomposition multi-scale Fusion block，DPF），該模塊用來捕捉更多的細節特征信息，使更多的淺層、深層信息得到保留；②通道和空間融合自注意力模塊（spatial and channel self-attention modules，SCA）［13］來增強特征圖上的待分割區域，并對分割內容無關的部分進行弱化；③多尺度注意力模塊（multi-scale attention module，MSA）［14］來凸顯圖像最重要的特征信息，并得到分割結果。

其結構如圖3所示。

圖3 MCA-Net網絡結構

DPF 模塊嵌入在編碼模塊與解碼模塊中的跳躍連接處，通過跳轉鏈接突出更多相關的特征信息，增強特征表達能力，最終捕獲更詳細的特征。如圖4所示。

圖4 DPF結構

該模塊包含兩種機制，一維因式分解卷積和多尺度空洞卷積。在特征提取中，一維因式分解卷積與二維卷積相比，可以有效保留規則二維卷積核的空間信息，減少計算量，保證了特征信息精度，再通過學習不同尺寸的特征圖之間的特點來得到更相近的特征信息；多尺度空洞卷積可以結合不同圖像相關特征信息，擴大感受野，使網絡對細節特征的學習能力進一步提升。

令輸入特征圖的淺層特征和深層特征分別為Fl和Fh，深層特征Fh經過轉置卷積后尺寸得到進一步擴張，保持與淺層特征Fl相同的尺寸。輸出公式如式（2）所示：

式中：r為空洞卷積擴張率。

在編碼模塊與解碼模塊底部之間引入SCA，并在SCA 中加入密集空洞卷積塊（dense atrous convolution module，DAC）［15］，可以在擴大感受野的情況下不損失信息。通過不同大小的感受野，捕獲不同尺度上的局部和全局信息，以獲得更深層的特征圖空間位置信息。

SCA 結構如圖5所示，該模塊由空間注意力模塊、通道注意力模塊以及DAC等三部分組成。SCA 充分利用CNN 的特點，產生了關注圖像特征：空間性、渠道智能性和多層次性。SCA 的主要作用是保留了更多特征圖像的細節特征信息，通過獲取更深層的特征圖像空間通道位置信息，對局部和全局信息進行特征融合。在空間與通道注意力模塊下，聚合正在學習的特征的上下文信息，同時對特征圖進行重塑，得到不同維度的權重。將其在原始通道進行加權聚合，突出最相關位置的特征信息。DAC 模塊的每個分支級聯一個或多個不同空洞率的卷積，不同的感受野用于提取圖像中不同尺度的特征。其結構如圖6所示。

圖5 SCA結構

圖6 DAC結構

在解碼模塊末端引入MSA，捕捉各個不同尺度特征圖像的權重來確定其特征，結構如圖7所示。

如圖7 所示，MSA 中的雙線性插值算法將解碼器獲得的不同尺度特征圖上采樣到與原始圖像相同的尺寸，再通過1×1 卷積將這些特征圖壓縮成4 個通道，組合在一起作為MSA 的輸入。壓縮后的圖像經過平均池化（Pavg）和最大池化（Pmax）與多層感知器（MLP）組合而成的模塊，獲取關于特征圖像每個尺度最相關的系數γ，該系數為與特征通道信息最接近的權重，即尺度注意力系數［13］，針對分割目標不同尺度的特征信息自發地調整更為相近的注意力系數，再與輸入相乘再相加得到輸出結果。表達式如式（3）所示：

圖7 MSA結構

式中，F為拼接得到的特征圖，γ為尺度注意力系數。

1.4 基于多尺度的鑒別網絡

鑒別器的目的是監督生成網絡的結果在真實圖像上的概率分布，為了獲取更多的特征信息，通過保留更多的深層與淺層特征信息來將更多維度的特征信息結合在一起。在醫學圖像的研究中，大部分GAN 鑒別器采用全卷積神經網絡，給出一個real/false。通過使用多尺度鑒別網絡，可以獲得更多的多尺度信息對分割網絡進行反饋，使圖像的形狀特征和邊緣輪廓等信息得到更好的學習，提升網絡的分割精度，優化分割結果。

將L1 均方誤差損失函數和生成對抗網絡的目標函數相結合，能對分割結果有更好的提升，結合后的損失函數如下：

其中：F(Xi)為生成圖像；Yi為原始圖像。組后的目標函數為L1 均方誤差損失函數與GAN 目標函數之和：

結構如圖8所示。

圖8 多尺度鑒別網絡

2 實驗及結果分析

實驗在Windows 64 位操作系統計算機上完成， GPU 配置：Nvidia GeForce RTX3060 8 GB，CPU 配置：Intel i7-11800H CPU，RAM：8 GB，使用基于Python 3.6的PyTorch框架來實現。由于使用梯度下優化算法，學習效率設置為0.002。

2.1 數據處理

實驗使用ACDC（automated cardiac diagnosis challenge）2017、MICCAI（medical image computing and computer-assisted intervention）2009 和MICCAI2013 作為數據集，使用MCA GAN 分割模型進行實驗。因為數據集不同，所以圖像尺寸不同，為了更好地進行訓練，對圖像進行統一的裁剪，在心臟MRI 圖像中，心臟輪廓一般位于圖像中心位置，所以選取中心點256 ×256 × 1 尺寸區域作為輸入圖像的尺寸大小，即統一輸入圖像尺寸又保留了完整的心臟輪廓。處理后的訓練集和測試集數量及尺寸如表1所示。

表1 實驗數據集和訓練集數量

2.2 分割結果評估

針對分割結果與標簽圖像的相似性系數、交并面積比例以及像素分布，將下述三種評價指標作為分割精準度的衡量標準。

Dice 表示分割結果和目標區域之間的最大相似度，指標的范圍是［0-1］（0～100%），Dice值越高，表示分割結果與專家手動標記圖像相似性越高，準確度越高。Dice定義如式（4）所示。

Jaccard 表示專家手動標記圖像與分割結果的交集面積與并集面積的比例大小，指標的范圍是［0-1］（0～100%），0 表示分割結果與目標區域沒有重疊部分；1表示分割結果與目標區域完全重疊。Jaccard定義如式（5）所示。

Sensitivity表示所有正樣本劃分正確的比例，系數越高表示準確率越高。Sensitivity 表達式如式（6）所示。

其中：Y為專家手動標記心肌和背景的像素集；X為文中方法分割結果的心肌和背景像素集。

通過計算模型在上述三個數據集的測試集上分割結果的Dice系數、Jaccard 系數、Sensitivity系數來評估分割結果，結果見表2。

表2 三個數據集左心室內外膜分割結果

為了驗證MAC GAN 模型分割左心室MRI心肌內外膜的性能及其準確性，在三個不同的數據集上對MAC GAN 進行訓練，并分別從MICCAI2009、MICCAI2013 和ACDC2017 數據集的測試集分割結果中隨機抽取三幅分割結果進行比較，如圖9 所示。其中從左到右依次是MICCAI2009、MICCAI2013、ACDC2017 的模型分割結果和標注標簽。

圖9 MAC GAN 在三個數據集上的左心室內外膜分割結果

對比三個數據集的分割結果可以看出，MAC GAN 對左心室MRI 心肌內外膜的分割效果依然很好，總體上來說對感興趣區域的捕捉、邊緣分割的精準度仍有著非常不錯的表現。

2.3 對比分析

為了對比分析MCA GAN模型與其他模型分割表現的差異，將MCA GAN與圖像分割神經網絡模型FCN和DCGAN在分割效果上進行比較分析。

2.3.1 模型分割結果評估

為了評估MCA GAN 模型與FCN 和DCGAN的分割表現，比較三個模型分別在三個不同數據集上的分割質量，結果見表3～表5。

表3 三個模型在MICCAI2009數據集上左心室內外膜分割結果

表4 三個模型在MICCAI2013數據集上左心室內外膜分割結果

表5 三個模型在ACDC2017數據集上左心室內外膜分割結果

從表3～表5 中的數據結果可以看出，MAC GAN 在各項指標中均取得不錯的結果，通過保留淺層信息和深層信息分割效果得到了明顯提升，相較于其他方法有著更為優秀的分割能力。

2.3.2 表現對比分析

為了更加清晰地比較三個模型在MICCAI-2009、MICCAI2013 和ACDC2017 數據集上的分割表現，分別隨機抽取FCN、DCGAN 和MAC GAN 模型在上述三個數據集上的心肌內外膜分割結果進行對比，不同模型的分割效果如圖10所示。其中從左到右依次是FCN、DCGAN 和MCA GAN 的模型分割結果和標注標簽?？梢钥闯鯩AC GAN分割模型有著更好的分割表現。

圖10 不同模型在三個數據集上的內外膜分割結果對比

3 結語

本文提出一種基于生成對抗網絡結構的分割模型MAC GAN，為了解決醫學圖像分割接收區域弱，感受野小及特征丟失等問題，將多尺度綜合注意力的網絡框架加入到目標域的分割網絡中，用來實現左心室心肌內外膜的分割。利用綜合多尺度注意力網絡結構捕捉每層卷積中的圖像特征，保留更多的淺層信息，通過上采樣將圖片還原成原始輸入尺寸，并再次捕捉每層的深層信息，進行拼接最終獲取分割結果；再通過鑒別網絡對生成圖像多個尺度的特征信息與真實圖像進行多次迭代對比，通過多次的對抗學習提高分割精度。在MICCAI2009、MICCAI2017和ACDC2017數據集上對MAC GAN進行了實驗對比分析。通過Dice、Jaccard、Sensitivity 三項評估指標可以得出結論，該分割模型不論在大數據集還是小數據集上均有優秀的分割能力，對于不同數據集仍能保持高精準度的分割結果。與此同時，相較于FCN 和DCGAN 分割模型，MCA GAN 在三個數據集上的各項評價指標也有著更好的表現，在左心室MRI心肌內外膜的Dice系數提高了1.44%和3.18%，Jaccard系數提升了2.12%和3.35%，Sensitivity 系數提升了1.18%和1.80%，優于其他模型。