基于遷移學習和支持向量機的白細胞分類

張劍飛，郭笑顏，王 波，崔文升

(1.齊齊哈爾大學計算機與控制工程學院，齊齊哈爾 161006；2.大慶師范學院計算機科學與信息技術學院，大慶 163712)

白細胞(white blood cell，WBC)是一種無色、球形、有核的血細胞，通過吞噬病原體來產生抗體，抵御和消滅入侵的病原微生物，對于機體的安全免疫發揮著重要作用[1]。不同群體不同時段血液中WBC的濃度是不同的，成年人正常情況下血液中WBC濃度為109/L。當機體出現急性細菌性感染、中毒、大出血和免疫系統衰弱等現象時，血液中WBC的濃度會出現異常，因此對于血液中WBC濃度的檢測和類別的鑒定有著重要的社會價值和臨床意義[2-3]。

人工鏡檢是WBC分類的黃金標準，但該方法效率低，準確度受檢驗人員主觀經驗和狀態的影響，所以大量的研究人員致力于WBC自動分類研究。20世紀90年代出現了基于物理和化學的脈沖信號計數方法，但由于需要昂貴的醫療器械和專業的操作人員等苛刻條件導致難以系統的應用到WBC分類的研究過程中[4]。張從鵬等[5]利用灰度直方圖波谷閾值分割方法實現了白細胞細胞核和細胞漿的提取，根據細胞的形態、顏色及紋理特征對白細胞進行了分類。Nazlibilek等[6]將RGB(red,green,blue)圖像轉換為灰度圖像，并使用Otsu算法將灰度圖像轉換為二值圖像，將單個圖像應用于基于神經網絡(neural network，NN)的分類器，將WBC分為五類。雖然這些方法經過復雜的步驟都取得了不錯的精度，但是通過紋理和幾何特征來分類是不可靠的，因為同類細胞的形狀，大小和紋理信息有很大的差異。

近些年，深度學習在醫學輔助診斷中的應用已經成為模式識別和人工智能領域研究的熱點問題之一，特別是卷積神經網絡(convolutional neural network，CNN)在圖像分類識別領域表現出巨大的優勢。鐘亞等[7]在LeNet-5的基礎上，設計一個六層的CNN對2萬個樣本組成的數據集進行分類，最終實現95%的敏感性、84%的特異性和89.5%的準確率。由于方法的CNN網絡模型簡單，準確率不高。Qin等[8]提出使用殘差卷積神經網絡WBC顯微圖像進行了集成分類，該方法進行了80 000次迭代的集成訓練，模型在訓練過程中消耗時長約為3 611.5 min，最終測試集平均準確率接近76.84%。馬力等[9]利用矩陣變化平衡數據集，基于遷移學習利用改進用殘差卷積神經網絡對白細胞圖像進行分類，最終準確率達到92%。在WBC分類識別上，仍存在分類識別率低和硬件設備要求過高等問題。

針對WBC需要復雜預處理和分類識別準確率等問題，提出一種基于遷移學習的WBC分類方法：首先，對WBC數據集進行數據增強和歸一化預處理，然后對預選遷移模型進行微調訓練，選擇分類效果最好的模型對數據集進行特征提取，將提取到的特征分別輸入至NN和支持向量機(support vector machine，SVM)中進行訓練，最后對兩者分類器分類結果進行組合和決策。

1 方法

在深度學習中，CNN在圖像分類識別領域中表現突出，被學術界廣泛應用于病理圖像的輔助診斷研究[10-11]。大數據是深度學習的基礎，而在實際中獲取大量有標注的醫學數據是很困難的。遷移學習將舊領域學習過的模型應用在新領域上，可以解決傳統機器學習中因數據不足而泛化能力不足的問題[12]。遷移效果取決于源域和目標域之間的相關性，相關性越高遷移效果越好，否則可能會發生“負遷移”[13]。對VGG-16[14]、ResNet-50[15]和Mobile-Net[16]三種預選遷移模型微調訓練來選擇對WBC分類效果最好的遷移模型用于特征提取。如圖1所示，本文方法共分為數據集預處理、微調訓練和組合分類3個部分。

1.1 數據集預處理

1.1.1 數據增強

WBC原始數據集共347組像素規格為640×480×3的血涂片樣本，其中包括88組嗜酸性粒細胞(Eosinophil)、31組淋巴細胞(Lymphocyte)、21組單核白細胞(Monocyte)、207組嗜中性粒細胞(Neutrophil)。原始數據數量過少且各類別數據分布不平衡，為了提升模型的泛化能力和分類精度，選擇數據增強技術對數據集進行擴增操作[17]。具體的數據增強技術包括隨機左右平移5像素，以閾值為60°進行隨機旋轉，將原始數據的數目擴增了約40倍。將原有的不平衡數據轉化為平衡數據，有效解決由于樣本太少及其類間不平衡導致分類效果不佳的問題。

1.1.2 圖像規格調整

為了對遷移學習模型進行微調訓練，需要將原始數據圖像規格調整為遷移模型能夠輸入的圖像規格，利用Python中Opencv工具包把圖像規格調整為遷移模型的輸入規格224×224×3。

1.1.3 歸一化

數據范圍壓縮作為常見的預處理方法，能提高模型訓練尋優的效率和分類識別的精度，利用歸一化將數據范圍壓縮至-1～1[18]，即

(1)

式(1)中：X表示圖像中每個像素點的像素值。

1.2 微調訓練

由于目標域與源域之間存在差異，因此還需要微調訓練來提高遷移模型在目標域的性能。微調訓練是遷移學習中一項基本操作，對三種預選遷移模型(VGG-16、ResNet-50和Mobile-Net)采用兩種微調訓練方案來選取對于WBC分類效果最好的模型。方案1凍結遷移模型所有卷積特征提取層，只對分類層進行微調訓練操作；方案2微調訓練遷移模型所有卷積特征提取層和分類層。選取準確率最高的遷移模型作為下一步微調訓練基礎。然后對模型全局池化層的類型和不同凍結位置進行討論和分析，選擇表現效果最好的配置。基于前兩步的操作，選擇分類精度最佳的遷移模型對數據集進行特征取操作。

對兩種微調方案，分類層均把原遷移模型中1 000個神經元設置為4個神經元。在遷移模型微調訓練時，使用全局池化層代替原有遷移模型的全連接層。全局池化層包括全局平均池化層和全局最大池化層，將由模型中最后卷積輸出的每張特征圖的平均值或最大值作為輸出[19]。原遷移模型需要將由卷積提取的特征圖進行平鋪操作，會破壞數據的空間特征并且會引入更多的參數來擬合數據，易發生過擬合問題，而全局池化層一方面能保留數據特征的空間特性，另一方面又能有效降低模型擬合參數數量，提升模型泛化能力。

1.3 組合分類

在使用單分類器難以獲得更好的分類識別效果時，利用兩組或者多組分類器進行組合決策往往能獲得更高的識別精度[20-21]。利用已微調訓練完畢的遷移模型對數據集進行特征提取操作，然后將提取到的特征分別輸入至NN和SVM中進行訓練，最后通過對兩者分類器分類結果進行組合和決策，具體的組合規則為

(2)

式(2)中: predict表示組合分類器的分類結果；i表示WBC4類中的第i類;BPi表示NN分類器的輸出概率;SVMi表示SVM分類器的輸出概率;argmax表示概率值最大值的索引。

將NN和SVM對于4類WBC的分類閾值進行相加，將最大概率值輸出作為分類結果。

2 實驗

2.1 數據集預處理

Kaggle(https://www.kaggle.com/paultimothymooney/blood-cells)提供原始347組像素規格為640×480×3的WBC血涂片樣本。該數據集數據數量較少且各類別數據分布不均衡。通過數據增強將原始數據的數目擴增了約40倍，將347組數據擴增為12 444組。同時將像素規格轉變為224×224×3，訓練集和測試集數目各占9 957組和2 487組，經過數據增強后訓練集、測試集的類分布如表1所示。圖2為原始數據和增強數據的四類細胞的血涂片樣本例圖。

表1 數據集分布

圖2 四類細胞的血涂片樣本

2.2 微調訓練

2.2.1 遷移模型選擇

對VGG-16、ResNet-50和Mobile-Net模型進行兩種方案(方案1凍結遷移模型所有卷積特征提取層，只對分類層進行微調訓練操作；方案2微調訓練遷移模型所有卷積特征提取層和分類層)的微調，超參數配置如表2所示。

表2 超參數設置

不同遷移模型訓練集和測試集在方案1和方案2中分類正確率的變化曲線如圖3所示。

圖3 2個方案準確率變化曲線

在方案1中，VGG-16遷移模型的訓練集和測試集具有更好的擬合效果和識別精度，其他遷移模型效果不佳主要由于遷移模型復雜度過大只對源域數據具有更強的抽象能力，而在方案2中，VGG-16訓練集和測試集在30次迭代中具有更快的收斂速度和識別精度，并且具有更強的抗過擬合能力。微調訓練的模型中測試集分類準確率如表3所示。

表3 不同遷移模型中測試集準確率

因此，方案2中VGG-16模型具有最好的性能，接下來優化模型的研究將以VGG-16作為遷移模型展開。

2.2.2 全局池化層選擇

對上一步微調之后的VGG-16模型，用全局最大池化層替換原模型中的全局平均池化層并對方案1和方案2中的VGG-16模型進行了重新微調訓練，超參數配置與表2相同。在30次迭代后，將測試集輸入至兩種微調訓練完畢的遷移模型中進行預測，得到的分類準確率如表4所示。

表4 不同全局池化層測試集評估結果

其中，在方案2中全局平均池化層分類效果高出全局最大池化層大約8%，所以使用全局平均池化層對于該類數據具有更好適用性，接下來將在此結果的基礎上進行深入的研究。

2.2.3 凍結層選擇

接下來對VGG-16模型的凍結位置進行了分析和討論。VGG-16模型作為2014年ImageNet大規模視覺識別挑戰賽(ImageNet Large Scale Visual Recognition Challenge, ILSVRC)的亞軍在邊緣、紋理等低級特征具有良好的提取能力，但由于目標域與源域之間差異，對于高級特的提取能力還需微調操作加以提升，因此對VGG-16模型進行了如圖4所示的凍結操作。

I代表模型輸入；C代表卷積層；P代表最大池化層；A代表全局平均池化層；F代表分類層

以卷積對為基本調節單位，其中卷積對代表兩層或多層連續的卷積層與池化層的組合。分別將VGG-16模型第4、7、11和15設為凍結節點，將這4次凍結操作設為F1、F2、F3和F4。在模型超參數配置方面與表2相同，將訓練集輸入至不同凍結遷移模型中進行微調操作，訓練集和測試集的準確率變化曲線如圖5所示。

圖5 不同凍結層訓練集和測試集準確率變化曲線

其中，每種凍結方式都出現了過擬合問題，相比之下F2具有更好的泛化能力和收斂效果。接著對VGG-16模型在不同凍結操作中所有微調訓練的測試集識別效果進行了統計，如圖6所示。

圖6 測試集在不同凍結操作中上的準確率

其中，F0和F5分別代表上節VGG-16模型的方案2和方案1。經過對比得出F1、F2和F4與F0相比具有更好的識別效果并且F2達到了90.43%的正確識別率，較F0提升了約7%。

2.3 組合分類

2.3.1 NN分類

利用F2微調訓練所獲得的遷移模型分別對訓練集和測試集進行特征提取操作，然后將特征輸入至網絡模型進行訓練、預測和評估。本文用到的NN模型結構包括5層：輸入層、批標準化層、全連接層、棄權層和輸出層。批標準化層將數據按批量進行標準化操作，能有效地提升模型收斂速度和識別精度[22]。使用RELU作為全連接層的激活函數，在輸出層中以SOFTMAX為激活函數同時通過棄權操作提升模型泛化能力。SOFTMAX函數能有效地將分類結果壓縮至0～1并且神經元輸出總和為1。

(3)

(4)

式(4)中：w代表模型中權值的集合；b代表偏置；n代表輸入訓練數據集的數目；a表示模型預測結果；求和在所有訓練輸入x上進行；y代表帶訓練數據集的標簽；C代表損失函數輸出。

網絡模型結構如表5所示。在模型訓練時的超參數配置如表6所示。將訓練集和測試集輸入至NN中進行訓練，經過100次的迭代，訓練集和測試集的準確率變化曲線如圖7所示。

表5 網絡模型結構

表6 超參數設置

圖7 訓練集和測試集準確率變化曲線

使用表6中超參數配置中對模型訓練，在40次迭代后訓練集和測試集曲線趨于收斂，并且測試集達到了92.26%分類準確率，相比于之前的F2結果提升了約1%，因此搭建NN用于WBC分類較直接微調訓練分類具有更高的準確率。

2.3.2 NN與SVM組合分類

為了獲得更高的分類精度，采用NN和SVM組合對微調訓練提取到的特征進行預測和評估。將提取到的特征輸入至SVM中進行分類，使用Sklearn機器學習工具對SVM算法進行實現并對SVM中懲罰系數C的選擇進行了實驗對比。如圖8為不同C在測試集的識別正確率對比。

圖8 不同C的準確率

當C=1時，模型具有更好的識別效果，接下來使用核函數為徑向基函數、C=1的SVM模型與2.3.1節所訓練的NN對測試集進行組合預測，對單一和組合識別精度對比結果如表7所示。

表7 準確率對比

單一決策的NN和SVM在WBC的分類準確率具有明顯的差異，通過將兩者進行組合來對測試集預測，分類精度得到了提升。綜上，通過將NN與SVM進行組合對測試集的進行預測，能有效地提升了原有單一模型決策的泛化能力。

3 結論

基于遷移學習的思想，使用NN和SVM融合的方法對WBC病理圖像分類問題進行了深入的研究。本文方法將WBC分類精度進行了逐步的提升，分類準確率由最初微調訓練的83.26%，隨著遷移模型的優化提升為90.43%，最后通過NN和SVM組合分類器，再次提升為93.52%。通過實驗得出以下結論。

(1)遷移學習方法提高了特征提取強度和模型泛化能力，避免了自搭建模型和高迭代訓練問題。

(2)通過NN和SVM融合提高WBC病理圖像分類精度。

在今后的研究中，將嘗試對更多種類WBC進行分類識別，提升模型訓練效率和識別準確度。綜上所述，本文中提出的基于遷移學習的NN和SVM融合的白細胞分類方法，可以在臨床診斷中幫助醫生提高診斷的效率和準確性，具有一定的臨床意義。