基于編碼解碼結構的微血管減壓圖像實時語義分割

白瑞峰，江 山 ，孫海江，劉心睿,3

（1. 中國科學院 長春光學精密機械與物理研究所, 吉林 長春 130033；2. 中國科學院大學, 北京 100049；3. 吉林大學第一醫院 神經腫瘤外科, 吉林 長春 130021）

1 引 言

三叉神經痛和面肌痙攣是最常見的腦神經疾病，三叉神經痛主要表現為三叉神經分布區出現短暫的、類似電擊的疼痛，輕微的觸碰即可誘發[1]，面肌痙攣表現為單側面部肌肉無痛性和反復性不自主抽搐[2]，嚴重影響患者的生活質量。微血管減壓術(Microvascular Decompression，MVD)因手術創傷小，療效顯著，成為目前治療三叉神經痛和面肌痙攣最常用的手術方式。

一般腦血管圖像的獲取途徑有電子計算機斷層掃描血管造影(CTA)、數字減影血管造影(DSA)、磁共振血管造影(MRA)等。其中，CTA 方案最為常見，NAZIR 等人[3]通過殘差映射解決網絡收斂問題，提出了一種高效的從CTA 圖像中自動分割腦血管的融合網絡，但CTA 的局限性在于小血管成像不夠清晰，使得診斷準確率較低[4]。DSA是診斷的“金標準”，為提高DSA 中較小血管的分割準確性，PATEL 等人[5]提出了一種通過使用多分辨率輸入來增強架構視野的專用卷積神經網絡DeepMedic，但是DSA 是有創檢查且存在放射性暴露等問題，且費用較為昂貴，不適合初期篩查，臨床應用的局限性較大[6]。MRA 易受血管走向、血管壁鈣化等的影響，且血管細小時成像效果較差[7]，為改善小血管的分割效果，通過引入反向邊緣注意網絡關注缺失的腦血管邊緣特征和細節信息[8]，或通過集成 3D U-Net、多尺度方法以及深度監督方法鑒別腦部時間飛躍磁共振血管成像（TOF-MRA）中的小血管，引導網絡中間層更好地生成判別性特征，有效地避免了梯度爆炸和梯度消失的問題，提高了模型的收斂性，從而實現對腦血管的分割[9-10]。與傳統CTA、DSA、MRA 等獲取腦血管圖像的方法相比，通過內窺鏡獲取真彩微血管減壓(MVD)圖像更簡單方便，而且對真彩MVD 圖像的處理具有更大的發展前景。

由于腦血管自身結構的復雜性，早期腦血管分割算法主要基于強度模式識別，腦血管的分割方法主要有非局部均值分割方法[11]、閾值分割方法[12]、區域增長分割方法[13]和水平集方法[14-15]。隨著卷積神經網絡在不同領域的廣泛應用[16]和持續優化[17]，卷積神經網絡對醫學圖像的分割也呈現出了井噴式的發展，性能顯著優于傳統分割方法。大多數先進的語義分割網絡是基于全卷積神經網絡（FCN）[18]和U-Net[19]網絡的，其中，ZHANG M 等人[20]提出了一種基于U-Net 的深度學習方法，結合預處理方法，在DSA 圖像中跟蹤和分割腦血管。XIA L K 等人[21]將Inception-ResNet 和維度擴展的U-Net++相結合，實現了最大化多尺度特征的提取，對于MRA 分割性能優異。MENG C 等人[22]設計了編碼器-解碼器架構，通過定義一個多尺度模塊來分割不同直徑的腦血管。

本文引入了真彩色MVD 圖像，MVD 圖像中腦血管的分割面臨著腦血管類內過于相似、腦血管邊界與其他腦組織邊界不夠明顯的問題，使得腦血管分割困難，腦神經亦是如此。針對上述問題，本文提出了一種新穎的基于深度學習的實時語義分割網絡，稱為U-MVDNet，該網絡具有更加高效的編碼結構和更加精細的解碼結構。為訓練和評估所提出的U-MVDNet 網絡效果，與吉林大學第一醫院積極展開合作，構建了一個包含3 087張MVD 圖像的數據集。這些圖像具有標準的Ground truth 注釋，為實時推斷術中腦血管、腦神經的位置提供指導。借助于實時準確分割的幫助，醫生可以快速確定腦血管和腦神經的最佳位置，節省了大量時間，減輕術者的工作量，有效輔助醫生進行快速診斷，達到專業醫生甚至超越專業醫生的水平。對本文方法與其他幾種先進的實時語義分割方法進行比較。實驗結果表明，本文所提出的方法取得了良好的性能。

2 U-MVDNet 架構構建

本章首先對網絡架構進行整體描述。然后，詳細介紹輕型深度瓶頸模塊(LABM)和特征融合模塊(FFM)，并闡述這兩個模塊的有效性。

2.1 網絡架構

基于輕型非對稱瓶頸模塊和特征融合模塊設計了U-MVDNet 體系結構，如圖1 所示，其中“C”表示級聯操作。為了得到推理速度較快、mIoU 較高和輕量級的網絡模型，分析U-MVDNet 模型的最優設計。U-MVDNet 的架構細節如表1 所示。

圖1 U-MVDNet 架構Fig. 1 Architecture of U-MVDNet

表1 U-MVDNet 架構細節Tab.1 Architecture details of proposed U-MVDNet

在U-MVDNet 網絡模型中編碼器由 3×3卷積層和輕型深度瓶頸塊(LAB block)構成。其中，步長為2 的 3×3卷積層構成了下采樣塊。下采樣操作縮小了特征圖，擴大了感受野，能提取到更多的上下文信息。LAB block 中包含幾個連續的LABM，便于稠密特征的提取。第一個、第二個和第 三個LAB block 分別 由n個 、m個 和l個LABM 組成。為了加強空間關系和特征傳播，引入了模塊拼接方法，實現高級特征與低級特征間的融合。在LABM 中引入擴張卷積，獲取到較大感受野和更復雜的特征，LAB block1、LAB block2和LAB block3 的擴張率分別為2、4 和8，擴張率的選擇符合本文特定的微血管數據集，并且需獲得適應于該數據集的感受野。

對于解碼器，本文使用3 個FFM 來聚合低級特征和高級特征，逐步恢復分辨率。最后，采用1×1卷積層和2 倍上采樣完成分割。相較于大多數語義分段模型中使用的解碼器結構來說，一般通過4 倍或8 倍上采樣得到分割預測圖，本文采用的2 倍上采樣，可以保留更多的特征信息，使邊界信息更加完整，語義信息更加清晰。

本文模型屬于端到端的深度學習體系結構，而且不依賴于任何主干，U-MVDNet 的內存消耗極低，參數量不足66 萬。

2.2 輕型非對稱瓶頸模塊(LABM)

對于實時語義分割來說，在保證精度的前提下提升網絡速度，就不可避免地要利用小的輸入圖像或輕量級的基礎模型，本文通過對ResNet[23]中瓶頸模塊(見圖2(a))的觀察，設計了輕型非對稱瓶頸模塊(LABM)(見圖2(b))，LABM 兼具了瓶頸模塊和因式卷積的優點。圖2 中的“w”表示輸入通道數，“DConv”表示深度擴張卷積。

圖2 （a）ResNet 瓶頸設計及（b）輕型非對稱瓶頸模塊Fig. 2 (a) ResNet bottleneck design and (b) LABM

圖2(b)所示的瓶頸模塊由1×1卷 積層、3×1深度卷積層、1×3深 度卷積層和最終1×1點卷積層組成，并在輸入通道數與輸出通道數相同時利用了殘差連接。通道數在通過第一次1×1卷積層時減少為原來的1/4，之后通過3×1和1×3深度卷積層時通道數保持不變，最后由1×1點卷積層恢復到原始通道數。與標準卷積相比，深度卷積減少了大量的計算成本，并與點卷積的組合非常有效。

在每個LABM 的開頭使用了1×1卷積層，通道數減少了 3/4，與ResNet 網絡模型中的數千個通道相比，本文模型中的最大通道數只有128 個，有效保存了大量的空間信息，減少了網絡模型的運行時間和內存需求，提高了推理速度。

為進一步減少參數量，將卷積分解應用于深度卷積，得到更加輕量級的結構。ALVAREZ J 等人[24]提出了標準卷積層可以用1D 濾波器進行分解。設W∈RC×dh×dv×U表示典型2D 卷積層的權重，C表示輸入特征圖的數量，U表示輸出特征圖的數量，dh×dv表示每個特征圖的內核大小(通常dh=dv≡d)。設b∈RU，表示每個濾波器的偏置項的向量。分解層的第i個輸出屬于下式輸入的函數，本文中為：

2.3 特征融合模塊(FFM)

語義分割模型通常是由一個基于前端的編碼器和一個基于后端的解碼器網絡組成的綜合體。編碼器由多個卷積層組成，用來獲取圖像的總體特征和局部特征，其中的卷積層和池化層會逐漸縮減輸入數據的空間維度，從而降低特征維度。解碼器則是由多個反卷積或上池化組成，逐步恢復目標的細節和空間維度，將編碼器學習到的低分辨率特征從語義上映射到高分辨率的像素空間，進行像素分類。通常，采用雙線性上采樣或者幾個簡單的卷積構成的解碼器忽略了低層次信息，導致分割精度低。

高級特征包含語義信息，低級特征包含豐富的空間細節。由于語義層次和空間細節的差異，簡單的低級特征和高級特征難以有效的融合。因此，可以在低級特征中引入語義信息，在高級特征中引入空間細節，實現增強特征融合。本文編碼器由LAB block 和下采樣模塊構成，通過該編碼器得到了充分的語義信息，但是由于下采樣操作導致大量空間位置信息丟失，為保證邊界分割的質量，選擇將包含豐富空間信息的低級特征嵌入到高級特征。

FFM 結構采用了U 型結構，如圖3 所示，用來融合具有空間信息的低級特征和語義信息的高級特征。低級特征首先經過了1×1卷積層，并利用批量歸一化處理來平衡特征尺度，然后由通道平均池化壓縮低級特征和sigmoid 激活函數來生成單通道注意力圖，緊接著將其與3×3卷積后的高級特征相乘。這里需要注意的是，對于U-MVDNet中初始FFM 的高級特征并不進行上采樣處理，而是直接與單通道注意力圖相乘，而對后續的2 個FFM 需要對高級特征進行上采樣后，再與單通道注意圖相乘。最后，通過元素加法對高級特征與相乘后得到的加權特征進行融合。簡而言之，FL∈RCL×HL×WL和FH∈RCH×HH×WH分別是FFM 中輸入的低級和高級特征。FFM 的計算如下：

圖3 特征融合模塊流程圖Fig. 3 Flow chart of feature fusion module

其中，σ 表示sigmoid 函數，A vgPool表示平均池化操作，BN表示批量歸一化的處理，f1×1表 示1×1卷積層，f3×3表示 3×3 卷積層， ?表示逐元素相乘，+表示逐元素相加，F∈RCL×HL×WL表示最終的輸出特征圖。

低級特征生成的空間注意力圖反映了每個像素的重要性，包含豐富的空間信息，可指導特征學習，利用空間細節來細化邊界。FFM 模塊提取了空間注意力圖，并將其嵌入到高級特征中，之后與包含豐富語義信息的高級特征進行有效融合。

3 實驗與分析

在本章中，將在吉林大學第一醫院提供的MVD 數據集和ISIC 2016[26]+ PH2[27]皮膚鏡圖像數據集上評估所提出的網絡。首先，介紹MVD數據集和ISIC 2016 + PH2 數據集，以及訓練實施方案；然后，在MVD 驗證集上進行消融實驗，以證明所提出方法的有效性；之后，在MVD 測試集上分別與其他實時語義分割網絡進行對比，以驗證提出網絡的分割效果，同時在ISIC 2016 + PH2測試集上驗證提出網絡的泛化能力；最后，在嵌入式終端下完成對比，并報告了MVD 測試集下的分割精度和速度結果。

3.1 數據集

3.1.1 MVD 數據集

在醫學領域，醫學圖像普遍具有語義簡單、數據量少和難以獲取的特點，而且，針對基于深度學習的醫學圖像的分割需要醫生進行專業的標注。本項研究涉及60 例患者，其中，男23 例，女37 例，年齡為40～70 歲。微血管減壓數據是由ZEISS 生產的OPMI@ VARIO 700 型號手術顯微鏡采集得到。選擇在釋放腦脊液到縫合硬膜這段時間內獲取的3 087 張MVD 圖像，并由專家們手動標注。然后參考PASVOL VOC 2012 數據集格式，得到用于語義分割網絡訓練的MVD 數據集。該數據集有9 個類別(當添加背景時，包含10 個類別)。類別名稱及其相應顏色見表2（彩色版見期刊電子版）。

表2 醫學術語縮寫及對應顏色Tab.2 Abbreviations of medical terms and corresponding color

MVD 數據集屬于微血管減壓術術中場景數據集，包含了3 087 張精細注釋的MVD 圖像。實驗隨機選取1806 張用于訓練，973 張用于驗證，308 張用于測試，圖像的分辨率為7 68×576。

3.1.2 ISIC 2016 + PH2 數據集

ISIC 2016 + PH2 數據集包含了兩個來自不同中心的樣本，用于評估皮膚病灶分割的準確性。其中，ISIC 2016 包含了900 個訓練樣本和379 個驗證樣本。PH2 數據集包含200 個樣本。本文將ISIC 2016 數據集用于網絡模型的訓練和驗證，PH2 數據集上完成網絡模型測試。

3.2 實驗設置

訓練方案實施：選用單NVIDIA GTX 2080Ti，并在CUDA 10.1、cuDNN 7.6 和Pytorch1.7 下完成網絡訓練，訓練參數如表3 所示。訓練中采用了隨機水平翻轉、隨機高斯模糊、隨機裁剪和標準化策略來增廣數據，且對提出的網絡未進行任何預訓練。在數據集上進行了100 輪的訓練，最后使用相應的評估指標來評估分割精度。

表3 訓練參數Tab.3 Training parameters

3.3 消融實驗

本節設計了一系列消融實驗來證明本文提出網絡U-MVDNet 的有效性，且消融實驗都是在單NVIDIA GTX 2080Ti 下完成的。這些消融研究基于MVD 數據集中的訓練集進行訓練，在MVD驗證集上完成評估，觀察該網絡中各成分的影響。

擴張率消融實驗：設計了具有3 種不同擴張率的LAB block，分別為LAB block1、LAB block2和LAB block3，這3 個LAB block 構成本文的編碼器。選取合適的感受野可以學習到更好的多尺度特征，當感受野過大時，會導致小目標的丟失。本文對3 個LAB block 分別設置了不同的擴張率進行比較，擴張率分別為2、4、8 和4、8、16。如表4 所示，針對MVD 圖像，擴張率選擇為2，4，8 時更有效。

表4 不同擴張率組合的LABM 編碼器結果Tab.4 Results of LABM encoder with different combinations of dilation rates

級聯消融實驗：在LAB block 中，將LAB block 的輸入特征與輸出特征進行級聯操作。如表5 所示，其中，“Params”表示參數量，“FLOPs”指的是計算量。在n=2，m=2，l=4時，LAB block中加入級聯操作后準確度提高了0.73 %，準確度達到73.08%，效果更優。級聯操作應用于編碼器，有效增加了信息流。

表5 不同設置下的LABM 編碼器結果Tab.5 Results of LABM encoder with different settings

編碼器深度消融實驗：對LAB block1、LAB block 2 和LAB block 3 分別使用不同數量的LABM來改變編碼器的深度。由表6 可以看出，m和l的值對精確度的影響比n更 大，m和l分別疊加4 個LABM 時可以獲得精細的分割結果。當n，m和l都提高到4 時，FLOPs 明顯變大，但分割精度降低了。因此，在分割精度和計算復雜度之間做權衡，最終選擇n為 2，m為4，l為4。

表6 輸入尺寸為512×512 時，不同深度的編碼器結果Tab.6 Results of encoder with different depths whenthe input size is 512×512

解碼器消融實驗：在U-MVDNet 中，通過LAB block 來提取特征，選擇使用FFM 來融合特征。從表7 可以看出，沿通道平均池化操作能夠提高準確性，確保有效的獲取空間細節。這表明通過FFM 將空間細節嵌入到高級特征中可以有效提高精度，得到更好的像素級預測。

表7 不同構成要素的FFM 解碼器結果Tab.7 Results of FFM decoder with different components

mIoU 性能消融實驗：為了探索擴張卷積對mIoU 性能的影響，設計了2 個對比實驗。在第一個實驗中，去除了U-MVDNet 中的所有擴張卷積，在另一個實驗中，將U-MVDNet 開頭的3×3標準卷積，設置為擴張率為2 的擴張卷積。如表8所示，當移除所有的擴張卷積時，mIoU 有明顯的降低(范圍從77.34%到75.61%)。當用擴張率為2 的擴張卷積替換標準卷積時，mIoU 也出現了下降，從77.34%降到76.81%。實驗結果證明，擴張卷積對mIoU 性能有顯著影響。

表8 U-MVDNet 的擴張率對mIoU 的影響Tab.8 Effect of dilation of U-MVDNet on mIoU

3.4 實驗對比

為驗證U-MVDNet 的分割性能，分別在MVD數據集和ISIC 2016[26]+ PH2[27]數據集上進行實驗。

3.4.1 MVD 數據集測試實驗

本文結合LAB block 和FFM 搭建了完整的網絡，并在MVD 數據集上進行實驗。首先，使所有網絡在MVD 訓練集、批量尺寸為8、交叉熵損失函數和小批量SGD 下完成100 輪的訓練。然后，在單NVIDIA GTX 2080Ti 下進行測試，評估768×576分辨率下的推理速度，并與CGNet[28]、EDANet[29]和ContextNet[30]進行比較，這3 種網絡都屬于實時語義分割網絡，能夠以小的參數量得到準確的分割結果。

從表9 可以看出，U-MVDNet 擁有約66 萬個參數，參數量最小，接近于EDANet[29]，分割精度相較于EDANet[29]提高了1.78 %。除此之外，ContextNet[30]是最快的實時網絡之一，比本文網絡稍快，然而，該網絡的分割精確度為75.81%，比U-MVDNet 減少了0.48 %，而且參數比U-MVDNet 多出22 萬個。通過不同分割網絡的比較可以發現，U-MVDNet 在保證精度的前提下仍具有較快的推理速度，并在參數量和準確率上明顯優于其他實時語義分割方法。同時，為了便于觀察，本文截取了所有網絡100 輪的訓練和驗證損失，如圖4（彩圖見期刊電子版）所示，MVD 驗證集上的可視化結果如圖5（彩圖見期刊電子版）所示，從訓練和驗證損失曲線可以看出，U-MVDNet 相比于其他網絡，損失衰減的更快更平穩。

圖4 損失曲線圖Fig. 4 Loss curves

表9 MVD 測試集實驗結果Tab.9 Experimental results on MVD test set

如圖5 所示，在第一列中，只有本文所提出的U-MVDNet 可準確定位“aica”的分割邊界，目標輪廓清晰。在第二列和第三列中，CGNet[28]有明顯的多像素混合問題，并且在第二列中CGNet[28]、EDANet[29]、ContextNet[30]沒有準確定位“cn10”的分割邊界，存在明顯的目標輪廓分割缺失。在第三列中，只有U-MVDNet 準確分割出了“aica”。第四列和第五列中，U-MVDNet 對“pica”的分割優于其他網絡，分割更接近真值。綜上所述，本文提出的方法分割性能更高，包含的特征信息更多。

圖5 MVD 驗證集上的可視化對比結果Fig. 5 The visual comparison results of different methods on MVD validate set

3.4.2 U-MVDNet 先進性分析

本文使用ISIC 2016 挑戰賽的數據集和PH2數據集來進一步評估U-MVDNet 的先進性。實驗中，將ISIC 2016 數據集設置為訓練集，PH2 數據集設置為測試集，并在與U-MVDNet 相同的環境下進行實驗。同時，使用Jaccard 系數(JAC)、Dice 系數(DIC)、準確性(ACC) 、特異性(SPE)、靈敏度(SEN)來評估U-MVDNet 對皮膚病灶的分割性能。

在測試集上，U-MVDNet 分別與DeepLabv3[31]和CA-Net[32]進行了比較，結果如表10 所示。UMVDNet 的參數量僅為DeepLabv3 和CA-Net 參數量的1/4 和1 /88，但除了靈敏度之外，其他的評價指標均達到了最優，且具有最快的推理速度。圖6（彩圖見期刊電子版）展示了皮膚病灶分割結果的典型案例。通過觀察可以發現，U-MVDNet的結果更接近于實際情況，能夠突出顯示一些邊界不明確的小區域，具有穩定的分割性能。

表10 ISIC 2016+PH2 測試集實驗結果Tab.10 Experimental results on ISIC 2016 +PH2 test set

圖6 ISIC 2016 + PH2 測試集上的可視化對比Fig. 6 The visual comparison results of different methodson ISIC 2016 + PH2 test set

3.5 嵌入式終端測試

本節將訓練后的模型移植到嵌入式平臺NVIDIA Jetson AGX Xavier 中進行測試。平臺的詳細硬件參數如表11 所示。在嵌入式終端中將本文方法與CGNet[28]、EDANet[29]、ContextNet[30]在不同分辨率的情況下進行對比，并顯示出各網絡最終的分割精度。

表11 兩種不同的硬件環境Tab.11 Two different hardware environments

使用MVD 測試集在嵌入式終端上驗證本文所提出U-MVDNet 性能。從表12 可以看出，當分辨率為 640×480時，本文所提方法在NVIDIA Jeston AGX Xavier 上實現了24.2 frame/s 的處理速度，達到了實時處理速度，并在分割精度上優于其他分割方法。

表12 不同分辨率下的測試結果Tab.12 Test results by different methods with different resolutions

4 討 論

以往的研究中，很少對MVD 中的血管和神經進行實時準確分割。本研究采用了新型的編碼解碼結構，該結構具有分割速度快和分割精度高的特點，可準確快速地完成對MVD 中的血管和神經的分割。與以往的實時語義分割研究相比，編碼器的結構更加簡潔，具有更少的卷積神經網絡層數，但能夠獲得更多的上下文信息，解碼器更有效地融合了高級和低級特征。

MVD 中，術者通常是根據對照組和經驗來判斷血管和神經，但是術中骨窗直徑僅為2.5 cm，手術空間小，在術中會有少量的出血，以及隨時出現的腦脊液，影響術者操作，為術者帶來諸多不便，導致術中可能出現許多不確定性因素，甚至是風險的發生。本文提出的方法實現了腦血管和腦神經的快速準確分割，減輕術者精神壓力，為術者快速決策和判斷提供了依據，有利于術中減少對腦脊液的釋放，避免過度牽拉神經及血管，有效地減少了手術創傷，減少了術后并發癥的發生。

5 結 論

針對MVD 圖像，為提高實時語義分割的速度和準確性，本文提出了U 型輕量級快速語義分割網絡U-MVDNet，該網絡由編碼器和解碼器構成。具體來說，設計了一種新穎的輕型非對稱瓶頸模塊(LABM)來提取上下文信息，基于該模塊設計得到了編碼器。解碼器采用了特征融合模塊(FFM)來聚合不同的特征。消融實驗表明，LAB block 有效提取了上下文特征，FFM 有效地融合了深層上下文特征和淺層空間特征。選取MVD測試集進行測試和對比，結果顯示：U-MVDNet 在單NVIDIA GTX 2080Ti 上以140 frame/s 的速度獲得了76.29%的mIoU，相較于其他對比網絡，U-MVDNet 分割精度最高、參數量最少，并且在嵌入式平臺上能夠實現實時(24 frame/s)語義分割，分割精度也優于其他分割方法。本文所提出方法在一定程度上解決了微血管減壓圖像實時語義分割網絡的參數量大、分割精度低的問題。