基于Swin-UNet血細胞分割方法研究

收稿日期：2023-09-08

DOI：10.19850/j.cnki.2096-4706.2024.05.027

摘" 要：血細胞分割結果是醫生診斷病情的一項重要依據。醫學檢測血細胞方法容易受外界干擾且效率低下，傳統圖像分割模型精確度低，對背景雜亂的血細胞圖像分割效果差。為提高血細胞分割效率與準確性，提出一種基于Swin-UNet改進的血細胞分割算法，首先通過遷移學習引入Swin-UNet在ImageNet上預訓練模型參數作為特征提取前端，提高模型的泛化能力；其次根據Swin-UNet算法改進下采樣模塊歸一化函數，提高模型訓練速度。實驗結果表明，所提方法在精確率、召回率和F1指標上有較大提升，其值分別是97%、98%和97%，相較于傳統的UNet分割方法提高3%。

關鍵詞：血細胞分割；圖像分割；深度學習

中圖分類號：TP391.4" 文獻標識碼：A" 文章編號：2096-4706（2024）05-0124-05

Research on Blood Cell Segmentation Method Based on Swin-UNet

WU Yunxi， YANG Fuzhou， YANG Yao， LIU Chengqian

（Yangtze University， Jingzhou" 434023， China）

Abstract： The result of blood cell segmentation is an important basis for doctors to diagnose patient's condition. Medical blood cell detection methods are susceptible to external interference and have low efficiency. Traditional image segmentation models have low accuracy and poor segmentation performance for blood cell images with cluttered backgrounds. To improve the efficiency and accuracy of blood cell segmentation， an improved blood cell segmentation algorithm based on Swin-UNet is proposed. Firstly， Swin-UNe is introduced through transfer learning to pre train model parameters on ImageNet as the feature extraction front-end， improving the model's generalization ability. Secondly， based on the Swin-UNet algorithm， the normalization function of the down-sampling module is improved to improve the training speed of the model. The experimental results show that the proposed method has significant improvements in accuracy， recall， and F1 index， with values of 97%， 98%， and 97%， respectively， which is 3% higher than the traditional UNet segmentation method.

Keywords： blood cell segmentation; image segmentation; Deep Learning

0" 引" 言

血常規檢查是反映人體健康狀態的一項重要手段，目前檢測血細胞的方法主要是使用全自動血細胞分析儀器和血涂片細胞檢查，其結果是幫助醫生做出診斷結果的一項重要依據。對于現態學[1]，血細胞分析儀器主要運用化學、物理和生物學的技術，識別效率雖然較高，但是細胞形態展現不完整。血涂片工作量大、效率低，同時容易受到外界因素的干擾，對執行檢驗操作的醫師要求高。隨著數字圖像處理技術不斷進步，利用圖像處理技術代替人工進行血細胞分割逐漸成為主流[2]。

早期傳統圖像分割方法主要利用圖像單一特征，例如紋理、灰度、形狀等。常用傳統方法主要包括基于閾值[3]、基于分水嶺[4]、基于模糊理論的分割方法等。基于閾值的分割方法是根據圖像中灰度特征信息計算分割細胞和背景所需要的灰度閾值，并與每個像素灰度值相比較，將所得標簽一一分配。基于分水嶺的分割方法以拓撲理論為基礎，可用來處理因細胞粘連或者圖像灰度值分布不均勻導致細胞分割困難的情況。其優點算法快速高效，缺點則是容易造成圖像的過度分割，在噪聲信息較多的圖像中分割效果較差。目前，針對以上缺點，研究人員根據任務需求對其做出提前去噪、強制標記等改進。基于模糊理論的分割方法研究事物本身模糊性，通過對現實對象分析和數據處理構建數學模型，應用模糊理論是解決細胞分割中的過度分割問題。除以上傳統細胞圖像分割算法，還有基于區域、圖論等。每種方法由于應用場景不同各有優缺點。因此，許多學者將多種細胞分割算法聯合使用，通過新算法顯著提高細胞分割效果。

隨著人工智能迅速發展，深度學習算法在計算機視覺中表現出優越的效果和性能。許多學者將深度學習算法應用到醫學分割問題上。2015年，Ronneberge[5]等人提出具有編碼解碼結構和跳躍連接的U-Net神經網絡，該網絡提高了醫學圖像分割準確率，成為目前醫學圖像分割基礎網絡。2020年，Huang [6]等人提出具有全尺度跳躍連接的UNet3+，此連接將來自不同尺度特征圖的低級語義與高級語義相結合，提高分割精度。Qin等人提出的U2Net [7]作為一個兩層嵌套的U型結構，可以更好提取深層次的語義特征，達到更好的分割效果。2021年，Swin-UNet [8]由慕尼黑工業大學、復旦和華為提出，延用U-Net中U型結構，利用Transformer [9]在特征圖中捕獲長距離特征的優勢，彌補CNN不能把握全局信息的缺點，通過Swin Transformer [10]塊更好地獲取局部和全局的語義特征，所以Swin-UNet在醫學圖像方面有更好的分割效果。

為解決圖像分割領域數據集匱乏的通病并提高對不同大小、背景雜亂細胞圖像分割精度及模型訓練速度。本文首先通過遷移學習引入Swin-UNet在ImageNet上的預訓練權重作為特征提取的前端，提高模型的泛化能力以及分割精度。其次，本文將Swin-UNet作為基礎網絡，更改其中下采樣和上采樣模塊歸一化函數，保證分割精度的同時，加快網絡訓練速度。

1" 遷移學習

遷移學習能夠在機器學習中解決訓練數據不足的問題，增強模型的泛化性。它通過放寬訓練數據和測試數據必須符合同一分布的假設，使訓練數據可以與測試數據分布不同，擴大訓練數據的數量，這對許多訓練數據匱乏的領域有著積極影響。遷移學習可以分為4大類，分別是基于實例、基于映射、基于神經網絡、基于對抗的遷移學習。1）基于實例的遷移學習是指使用特定的權重參數調整策略，通過為選中的實例分配適當的權重，從源域中選擇部分實例作為目標域訓練集的補充。Yao [11]等人提出的TaskTrBoost是一種快速算法，可以促進對新目標域的快速再訓練。

2）基于映射的遷移學習是將實例從源域和目標域映射到一個新數據空間，在這個新數據空間，映射后的所有實例均可以作為神經網絡的訓練集。Long [12]等人提出聯合最大均值差異（JMMD）來衡量聯合分布的關系以適應不同領域的數據分布，從而提升預測效果。3）基于神經網絡的遷移學習是指復用在源域中預訓練的部分網絡，包括網絡結構和連接參數，對于神經網絡而言，預加載其他相似任務上的網絡參數能夠提升模型預測效果。例如Yosinski等人指出網絡結構和可遷移性之間的關系，證明某些模塊可能不會影響域內準確定，但會影響可遷移性。4）基于對抗的深度遷移學習受生成對抗網絡（GAN）啟發，通過對抗找到適用于源域和目標域的可遷移特征。基于對抗的深度遷移學習有著良好的實用性，近些年得到快速發展，文獻[13]中作者提出了一種對抗訓練方法，通過增加幾個標準層和一個簡單的新梯度翻轉層，使其適用于大多數前饋神經網絡。

上述提到的遷移學習算法，都需要在其適用的場景才能發揮最大作用，且4種方法可以交叉結合使用提升效果。隨著深度學習不斷發展，各式各樣的任務出現，結合神經網絡的遷移學習方法將會得到廣泛應用。由于血細胞圖像數據集的匱乏，根據遷移學習各自的特點，本文選擇基于神經網絡的遷移學習，使用Swin-UNet在ImageNet數據集上的預訓練模型參數作為特征提取前端，優化模型參數，提高預測精度。

2" 網絡模型

2.1" 整體網絡架構

本文提出基于Swin-UNet改進的算法實現了血細胞的分割，網絡架構如圖1所示。Swin Transformer作為主體網絡，基于SwinUnet的補丁擴展層，提出效率更高的Down-Sampling模塊、Up-Sampling模塊，使網絡在獲取更多有效信息的基礎上，能更快速地實現精確的細胞分割。

圖1" Swin-UNet網絡架構

2.2" 骨干網絡Swin Transformer

Swin Transformer是網絡中的基礎模塊，與傳統的多頭自注意結構不同的是，Swin Transformer是由滑動窗口構建的。Swin Transformer由歸一化層、多頭自注意力模塊、殘差鏈接和具有GELU非線性的多層感知機構成。如圖2所示，在兩個連續的Swin Transformer模塊中，分別采用不同的多頭自注意力模塊。第一個模塊采用基于窗口的多頭自注意力模塊（W-MAS），第二個模塊采用基于滑動窗口的多頭自注意力模塊（SW-MSA）。

圖2" Swin Transformer Block

圖2中MLP為多層感知機，W-MSA為基于窗口的多頭注意力，SW-MSA為基于滑動窗口的多頭注意力，LN為歸一化層。

W-MSA相較于傳統的MSA，對計算范圍進行限制，從而降低計算復雜度，提高訓練速度。由于窗口互不重疊，導致窗口之間的信息沒有被計算在內，且各個窗口之間沒有信息交流，SW-MSA就完美的解決以上問題。SW-MSA不僅能加強全局信息的提取能力，還能降低計算復雜度。MSA與W-MSA復雜度的計算式見如（1）（2）所示。假設H、W為56，C為96，M為7。帶入式（1）和式（2），可以發現式（1）得到的計算復雜度是式（2）的64倍，從而證明W-MSA可以降低計算復雜度。

Ω（MSA） = 4HWC 2 + 2（HW）2C" " " " " " （1）

Ω（W-MSA） = 4HWC 2 + 2M 2HWC" " " " "（2）

式中，W為圖片的寬度，H為圖片的高度，C為圖片的維度，Ω為復雜度，M為圖像塊數量。

2.3" Down-Sampling模塊

一直以來，Swin-UNet使用補丁擴展層進行下采樣，提取圖像的深層信息。在補丁擴展層中，將圖像的高和寬減半，維度升為原先兩倍，輸入從而被分成四個部分，所以特征分辨率會下采樣兩倍。但是在補丁擴展層中由于使用層歸一化（LN），減緩下采樣的計算的速度。因此，如圖3所示，本文將補丁擴展層中的層歸一化（LN）換成批量歸一化（BN），在保證預測精度的同時，最大程度加速訓練的計算速度。

圖3" Down-Sampling模塊

2.4" Up-Sampling模塊

Swin-UNet解碼器主要由補丁合并層進行上采樣，上采樣將圖像的高和寬縮小至原先尺寸的一半，作為一個完全對稱的網絡結構，解碼器也是每次擴大兩倍進行上采樣。與Down-Sampling模塊相同，本文將補丁合并層中的歸一化函數更改為批量歸一化（BN），從而加快上采樣的計算速度。

3" 實驗過程

3.1" 數據集制作

實驗中用到血細胞數據集由OLYMPUS CX43雙目顯微鏡觀測獲得。該數據包含183張血細胞圖片，訓練集、驗證集、測試集按照約為8：1：1比例進行劃分，即147張圖片作為訓練集，18張圖片作為驗證集，18張圖片作為測試集，如圖4所示。

數據集標注采用標注工具Labelme 3.16.7，標注形式不再是傳統的矩形框形式，而是選擇多邊形的框選方式，以提高細胞邊緣的分割精度。

3.2" 實驗訓練

本文的實驗基于Python 3.8和PyTorch 1.13.1實現的。對于所有訓練案例，使用翻轉和旋轉等數據增強來增加數據多樣性。輸入圖像大小和補丁大小設置為224×224和4。使用具有4 GB內存的NIVIDIA GeForce RTX 3050。在ImageNet上預訓練的權重用于初始化模型參數。訓練期間，學習率設置為0.001，訓練批量設置為4，并且使用動量為0.9、權重衰減為1×10-4的流行SGD優化器進行反向傳播，訓練執行100個輪次。

在損失函數方面，本文采用聯合損失LDice和交叉熵損失LCE進行監督。LDice優點是偏向于正樣本，有較低的FN，但是訓練損失不穩定，容易出現過飽和現象。因此，本文聯合交叉熵損失函數LCE使模型訓練效果較差時，學習速度加快；效果較好時，降低學習速度。聯合損失L表示如下：

L = LCE + LDice" " " " " " " " " " " " " （3）

3.3" 評價指標

本文使用精確率（Pecision， P）、召回率（Recall， R）、F1三個指標對圖像分割效果進行評估。

3.4" 實驗對比

為驗證模型的分割性能，將U-Net、Res-UNet、Swin-UNet通過對比3種評價指標來驗證模型分割效果，如表1所示。實驗結果表明，本文方法實現性能最佳，分割精確率為97%，召回率為98%，相較于傳統的醫學分割網絡U-Net分別提高2%和3%。通過將Swin-UNet上采樣和下采樣歸一化函數更換為批量歸一化，模型精確度不變且訓練速度提高24%，如表2所示。基于層歸一化、批量歸一化的損失函數迭代圖如圖5所示。本文通過更改反向傳播過程優化器，探討不同優化器對模型分割性能的影響，通過表3我們可以看到采用隨機梯度下降（SGD）的模型分割效果更好，出現該問題的原因是Adam考慮歷史梯度的平均值，出現過擬合現象。

表1" 評價標準

Methods P/% R/% F1/%

U-Net 94 94 94

Res-UNet 95 85 90

Swin-UNet 97 98 97

表2" 歸一化函數消融實驗

Normalization P/% R/% F1/% Relative

LayerNorm 97 98 97 45.02

BatchNorm 97 98 97 34.54

（a）LayerNorm

（b）BatchNorm

圖5" 損失函數迭代圖

表3" 優化器消融實驗

Optimizer P/% R/% F1/%

Adam 62 100 75

SGD 97 98 97

在測試集中隨機抽取3張圖片進行預測，各模型的分割可視化結果如圖6所示。

圖6" 分割可視化結果

對比效果可以發現，背景干凈的圖片分割效果沒有太大差別，但針對背景模糊、含有雜質的測試集圖片，傳統分割方法與基于CNN的方法受雜質影響大，Swin-UNet邊緣分割效果最佳。

4" 結" 論

本文提出一種基于改進Swin-UNet的血細胞分割算法，該算法會在提高細胞分割精度的基礎上，加快模型訓練速度。通過對實驗結果進行分析，從評價指標和分割效果兩方面進行比較，基于改進Swin-UNet的算法在數據集、學習率、Batchsize都相同的前提下，分割效果相較于傳統Net精確度提高了3%，訓練速度相較于傳統Swin-UNet提高了24%。我們將在接下來的研究中繼續探討Swin-UNet在細胞分割方面的應用。

參考文獻：

[1] 顏玉松，尹芳潔，王彩玲.融合Xception特征提取和坐標注意力機制的血細胞分割 [J].計算機系統應用，2023，32（1）：275-280.

[2] 袁甜，張海燕.全自動血細胞分析儀與血涂片細胞形態學在血常規檢驗中的聯合應用效果 [J].世界最新醫學信息文摘，2019，19（90）：167-168.

[3] BERGMEIR C，SILVENTE M G，BENíTEZ J M. Segmentation of cervical cell nuclei in high-resolution microscopic images： A new algorithm and a web-based software framework [J].Computer Methods and Programs in Biomedicine，2012，107（3）：497-512.

[4] LI H，SUN G X，SUN H Q，et al. Watershed algorithm based on morphology for dental X-ray images segmentation [C]//2012 IEEE 11th International Conference on Signal Processing.Beijing：IEEE，2012：877-880.

[5] RONNEBERGER O，FISCHER P，BROX T. U-Net： Convolutional Networks for Biomedical Image Segmentation [C]//Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015.Munich：Springer，2015：234-241.

[6] HUANG H M，LIN L F，TONG R F，et aL. UNet 3+： A Full-Scale Connected UNet for Medical Image Segmentation [C]//ICASSP 2020 - 2020 IEEE International Conference on Acoustics，Speech and Signal Processing （ICASSP）.Barcelona：IEEE，2020：1055-1059.

[7] QIN X B，ZHANG Z C，HUANG C Y，et al. U2-Net： Going deeper with nested U-structure for salient object detection [J/OL].Pattern Recognition，2020，106：107404[2023-08-10].https：//doi.org/10.1016/j.patcog.2020.107404.

[8] VASWANI A，SHAZEER N，PARMAR N，et al. Attention is all you need [C]//Proceedings of the 31st International Conference on Neural Information Processing Systems.Red Hook：Curran Associates Inc，2017：6000-6010.

[9] LIU Z，LIN Y T，CAO Y，et al. Swin Transformer： Hierarchical Vision Transformer using Shifted Windows [C]//2021 IEEE/CVF International Conference on Computer Vision （ICCV）.Montreal：IEEE，2021：9992-10002.

[10] OQUAB M，BOTTOU L，LAPTEV I，et al. Learning and Transferring Mid-level Image Representations Using Convolutional Neural Networks [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus：IEEE，2014：1717-1724.

[11] YAO Y，DORETTO G. Boosting for transfer learning with multiple sources [C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Francisco：IEEE，2010：1855-1862.

[12] LONG M S，ZHU H，WANG J M，et al. Deep transfer learning with joint adaptation networks [C]//Proceedings of the 34th International Conference on Machine Learning. Sydney：JMLR.org，2016，70：2208-2217.

[13] GANIN Y，LEMPITSKY V. Unsupervised domain adaptation by backpropagation [C]//Proceedings of the 32nd International Conference on International Conference on Machine Learning.Lille：JMLR.org，2015，37：1180-1189.

作者簡介：鄔云熙（1999—），男，漢族，山東臨沂人，碩士在讀，研究方向：人工智能；楊堯（2001—），男，漢族，湖北潛江人，本科在讀，研究方向：人工智能；劉承前（2002—）男，漢族，山東棗莊人，本科在讀，研究方向：人工智能；通訊作者：楊伏洲（1984—），男，漢族，湖北荊州人，講師，博士，研究方向：人工智能。