基于改進的殘差神經(jīng)網(wǎng)絡(luò)的白細胞分類

馬 力，帥仁俊+，劉文佳，李文煜

(1.南京工業(yè)大學 計算機科學與技術(shù)學院，江蘇 南京 211816；2.南京醫(yī)科大學附屬醫(yī)院南京鼓樓醫(yī)院 消化內(nèi)科，江蘇 南京 211166)

0 引 言

在臨床醫(yī)學上，人體內(nèi)血液主要由紅細胞、白細胞和血小板組成[1]。其中白細胞在人體免疫系統(tǒng)中發(fā)揮重要作用，與許多疾病密切相關(guān)[2]。根據(jù)白細胞細胞質(zhì)的顆粒信息和形狀信息將白細胞分為5類：中性粒細胞、嗜酸性粒細胞、嗜堿性粒細胞、單核細胞和淋巴細胞[3]。不同種類的白細胞的總數(shù)和比例都對應(yīng)著不同的疾病，同時也是臨床醫(yī)生診斷和治療疾病的重要參考資料，因此需要對白細胞更加快速準確地進行分類。

傳統(tǒng)的白細胞分類方法主要是血液學專家將血細胞染色并在光學顯微鏡下對它們進行識別計數(shù)[4]。這種方法工作量大，效率低，對專業(yè)人員素養(yǎng)要求高，而且分類和計數(shù)的結(jié)果易受人為因素的影響[2]。白細胞分類是一個熱點問題，很多專家學者都進行了這方面的研究。隨著計算機技術(shù)的發(fā)展，通過機器學習建立的分類模型被廣泛用于白細胞分類[5]。目前主要包括K-近鄰(KNN)算法[6]、支持向量機算法(SVM)[7]、隨機森林算法[8]、貝葉斯算法[9]。

近年來隨著計算機性能和人工智能的快速發(fā)展[10]，深度學習技術(shù)得到了廣泛的應(yīng)用，并在圖像處理方面取得了很大的進展[11,12]。深度神經(jīng)網(wǎng)絡(luò)在處理數(shù)百萬圖像數(shù)據(jù)方面顯示出了良好的優(yōu)勢，并且可以更準確地檢測，識別圖像中的對象和區(qū)域[13]。很多專家學者利用神經(jīng)網(wǎng)絡(luò)對白細胞圖像進行特征提取，然后進行識別分類，取得了不錯的效果[14，15]。

通過目前的研究結(jié)果可以發(fā)現(xiàn)，無論是利用機器學習還是深度學習來對白細胞分類，其使用的樣本量很少或者使用自己的數(shù)據(jù)庫，而且利用機器學習建立的模型需要在分類之前對白細胞圖像進行分割預處理，分割算法的質(zhì)量直接影響提取特征的質(zhì)量最終影響分類的效果。為了解決上述問題，本文提出了一種白細胞分類框架。圖1顯示了模型的流程圖。通過遷移學習來提高模型的魯棒性。改進的殘差神經(jīng)網(wǎng)絡(luò)ResNet(residual neural network)架構(gòu)可以提高訓練的速度，加強模型的泛化能力。改進的損失函數(shù)采用硬樣本挖掘戰(zhàn)略,過濾容易分類的樣本，縮小同類別樣本的差距，增大不同類別的差異,從而提高分類器的分類效果。

圖1 模型流程

1 理論和方法

本文提出了一種基于殘差神經(jīng)網(wǎng)絡(luò)的白細胞分類架構(gòu)。圖2顯示了模型的總體框架。該框架由兩個主要部分組成：①采用基于ImageNet數(shù)據(jù)集的遷移學習，進行參數(shù)遷移。②ResNet網(wǎng)絡(luò)通過對網(wǎng)絡(luò)層和分類器損失函數(shù)的改進對圖像提取特征并分類。

圖2 模型的總體框架

1.1 遷移學習

遷移學習的總體思路是利用已有的知識系統(tǒng)，即模型從任務(wù)中學習到的許多有標記的訓練數(shù)據(jù)可以用在另一個具有不同數(shù)據(jù)樣本的新任務(wù)中。通過這種方式，可以降低用大量資源標記數(shù)據(jù)的成本，同時可以顯著提高的學習性能[16]。目前的遷移學習方法主要有實例遷移、特征遷移、共享參數(shù)遷移和關(guān)系知識遷移[17]。本文采用參數(shù)遷移方法進行學習，發(fā)現(xiàn)了源域和目標域模型之間共享的參數(shù)或先驗，從而大大提高了學習效率[18]。

我們使用除了完全連接層外的ResNet體系結(jié)構(gòu)[19]對1000個類別的ImageNet數(shù)據(jù)集[20]的模型參數(shù)進行了預訓練。這樣，有效地調(diào)整了卷積層的預訓練參數(shù)，以初始化網(wǎng)絡(luò)參數(shù)。最后，利用新的全連通層對整個網(wǎng)絡(luò)進行再培訓。通過遷移學習，可以顯著提高模型的精度，增強模型的魯棒性。

1.2 ResNet

本文以34層的ResNet為主要學習網(wǎng)絡(luò)。ResNet是由He等[21]提出的。這些網(wǎng)絡(luò)克服了網(wǎng)絡(luò)深度增加帶來的退化問題。ResNet的主要思想是在網(wǎng)絡(luò)中添加一個直接連接通道，允許保留一定比例的前一層網(wǎng)絡(luò)輸出。ResNet解決了傳統(tǒng)的卷積網(wǎng)絡(luò)或全連通網(wǎng)絡(luò)在傳輸信息時會丟失信息的問題，同時也存在梯度消失或梯度爆炸的問題，導致深度較深的網(wǎng)絡(luò)無法訓練[22]。ResNet的思想與公路網(wǎng)非常相似，可以將原始輸入的信息直接傳遞到后面的層。如圖3所示，這一層神經(jīng)網(wǎng)絡(luò)可以學習之前的網(wǎng)絡(luò)輸出，而不需要學習整個輸出。所以ResNet也被稱為殘差網(wǎng)絡(luò)。

圖3 殘差塊對比

為了減少轉(zhuǎn)換網(wǎng)絡(luò)的計算成本，增強模型的泛化能力，本文運用IBN(instance-batch-normalization)殘差塊設(shè)計了一個結(jié)構(gòu)更為精簡的圖像分類網(wǎng)絡(luò)。在原始的殘差網(wǎng)絡(luò)中每個卷積層后面都會添加一個BN(batch-normalization)層，BN層的使用可以加快網(wǎng)絡(luò)的訓練速度，同時提高網(wǎng)絡(luò)的泛化能力

(1)

其中，x∈N×C×H×W為BN層輸入，γ∈C和β∈C是從數(shù)據(jù)中學習到的映射參數(shù)，u(x)∈C和σ(x)∈C分別為輸入的平均值和標準差

(2)

(3)

Huang等[23]通過實驗驗證，BN層模型可以增強語義特征之間的差異性，保留圖片中的語義信息，IN層(instance-normalization)模型具有更快的訓練速度。IN層的計算公式為

(4)

(5)

(6)

本文將相同通道數(shù)的IN層和BN層添加到殘差塊的低層網(wǎng)絡(luò)中，將IN層添加到殘差塊的高層網(wǎng)絡(luò)中。使用基于IBN殘差塊替換原網(wǎng)絡(luò)的所有基于BN殘差塊，充分利用IN層和BN層的優(yōu)點。

圖3(a)為原始的基于BN層的殘差塊結(jié)構(gòu)，圖3(b)中的IBN層由32通道的IN層和32通道的BN層組成，由于IBN層的通道數(shù)等于原網(wǎng)絡(luò)BN層的通道數(shù)，所以網(wǎng)絡(luò)的計算量沒有增加。在網(wǎng)絡(luò)低層中添加部分BN層可以保留特征的語義信息，在網(wǎng)絡(luò)高層添加IN層加速損失的收斂，能夠提升網(wǎng)絡(luò)圖片分類的能力。

1.3 損失函數(shù)的改進

(7)

其中，fi∈d表示xi從DNN中學習得到的深度特征向量，Wj∈d表示第j類的權(quán)重向量，bj是對應(yīng)的偏置項。所以從概率的角度，softmax損失給出了屬于所有類別的每個樣本的概率分布。雖然softmax損失可以有效地懲罰分類，但它忽略了類內(nèi)和類間的關(guān)系。

為了提高深度學習特征的判別能力，我們定義了一個新的損失函數(shù)來減小類內(nèi)樣本間的差異，擴大類間樣本的差異。我們考慮一個新的三重態(tài)(fi,cyi,fj)，其中fi為錨點，與其它類別的中心cyi相關(guān)聯(lián)，fi表示來自其它類別的樣本，m>0是邊緣距離。我們期望在樣本fi與其類中心cyi之間的距離應(yīng)該小于fi與cyi之間的距離。它們的相對距離關(guān)系表示為

d(fi,cyi)+m

(8)

(9)

圖4 提出的方法說明

(10)

其中，(·)+=max(·,0)表示為鉸鏈函數(shù)。在DNN訓練階段，可以根據(jù)反向傳播(BP)算法更新?lián)p失函數(shù)的梯度。當Lf≤0時，fi的梯度為0，否則fi的梯度計算方法如下所示

(11)

因此，softmax損失側(cè)重于將樣本映射到離散的標簽上，而我們的修改的損失則是使用度量學習來約束所學習的特征，具有更明顯的類內(nèi)和類間區(qū)分能力。因此，可以將這兩個損失組合在一起，以實現(xiàn)更有鑒別力和魯棒性的嵌入。最終損失函數(shù)可表示為

L=Lsoftmax+λLf

(12)

其中，λ是平衡這兩部分的超參數(shù)。

2 實驗和結(jié)果分析

2.1 數(shù)據(jù)及其預處理

我們選擇了BCCD的公共數(shù)據(jù)庫，其中包含12 500張血細胞增強圖像(JPEG)，細胞類型標簽(CSV)包含9957個訓練圖像和2487張測試圖像。我們將這些細胞圖像分為4種類型：嗜酸性粒細胞、淋巴細胞、單核細胞和中性粒細胞。原始訓練圖像中有2497個嗜酸性粒細胞，2483個淋巴細胞，2478個單核細胞，2499個中性粒細胞。測試圖像包括623個嗜酸性粒細胞、623個淋巴細胞、620個單核細胞和624個中性粒細胞。圖5顯示了不同類型的細胞圖像。

圖5 不同種類的細胞圖像

為了提高模型的精度并減少過度擬合，我們使用矩陣變換來增加圖像樣本的數(shù)量。圖6顯示了矩陣變換后的細胞圖像。其它數(shù)據(jù)增強方法，比如比例變換和顏色變換，不使用，因為細胞核的大小和強度是區(qū)分細胞的基本特征。雖然旋轉(zhuǎn)細胞圖像可能會略微降低圖像的質(zhì)量，但通過實驗結(jié)果表明本文提出的框架模型對增強細胞圖像是有意義的。

圖6 矩陣變換后的細胞圖像

2.2 模型訓練

為了訓練分類模型，我們的模型的卷積層的權(quán)值由ImageNet數(shù)據(jù)集上預訓練網(wǎng)絡(luò)的傳輸參數(shù)初始化。并利用隨機初始化器對模型中完全連通層的參數(shù)進行初始化。

在實驗中，改進的ResNet對圖像特征進行提取并分類，所有的訓練數(shù)據(jù)歸一化成224*224*3，然后分為小批次訓練。最小批量大小設(shè)為128。采用隨機梯度下降法作為模型訓練的優(yōu)化策略。初始學習率設(shè)置為0.001，動量設(shè)置為0.9。整個網(wǎng)絡(luò)使用ReLU作為默認的激活函數(shù)。

2.3 實驗環(huán)境

本文的實驗環(huán)境是python3.6。處理器為i7-6800k，內(nèi)存為32 G，顯卡為GTX1080Ti，操作系統(tǒng)為Linux。整個實驗基于開源的深度學習框架pytorch 0.4。

2.4 實驗結(jié)果

為了驗證我們的模型具有更好的分類效果，我們選取了一些現(xiàn)有的模型架構(gòu)對我們的公共數(shù)據(jù)集進行了實驗[19,21,26]。表1 給出了不同類型細胞的分類準確率、查全率和F-值，表2給出了不同模型的分類精度。結(jié)果表明，本文使用的分類模型比卷積神經(jīng)網(wǎng)絡(luò)(CNN)準確率高5%，比卷積神經(jīng)網(wǎng)絡(luò)-對抗神經(jīng)網(wǎng)絡(luò)(CNN-RNN)準確率高2%，總體達到了較好的分類效果，準確率達到92%。

表1 不同類型細胞的分類準確率、查全率和F-值

表2 不同模型的分類精度

3 結(jié)束語

本文提出了一種白細胞圖像分類框架。首先利用矩陣變換擴大可靠的訓練樣本，然后通過改進的ResNet架構(gòu)和改進的損失函數(shù)來對白細胞圖像分類。其中在公共數(shù)據(jù)集上進行的大量實驗結(jié)果表明，結(jié)合不同的神經(jīng)網(wǎng)絡(luò)模型，樣本三倍中心損失是有效的。采用硬樣本挖掘戰(zhàn)略，過濾器易分類樣本和增大類間差異，減小類內(nèi)差異,能顯著提高殘差神經(jīng)網(wǎng)絡(luò)的圖像鑒別分類能力。該模型解決了數(shù)據(jù)樣本不足、數(shù)據(jù)不平衡等問題，可以充分利用圖像特征進行分類，不需要圖像分割。與現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)相比，該方法對WBCs圖像分類的準確率最高。本文的模型也存在一定的缺陷，白細胞總共有5類，本文只對其中的4類進行了識別分類，因此還需要更加完善的數(shù)據(jù)庫系統(tǒng)。在實際臨床中，細胞往往可能不都是在成熟期，不同階段的細胞狀態(tài)，還需要做進一步的模型分析。在未來，我們希望繼續(xù)完善現(xiàn)有的網(wǎng)絡(luò)架構(gòu)，進一步加強，并開發(fā)一個自動分類系統(tǒng)，不僅能識別白細胞，還能識別其它血細胞，從而更好地輔助醫(yī)生診斷。