基于顏色均衡分類(lèi)網(wǎng)絡(luò)的細(xì)胞識(shí)別算法

馮紹瑋，李秋男，張中華，蔡小雨，姜小明

（1.重慶郵電大學(xué)生物信息學(xué)院，重慶 400065；2.重慶郵電大學(xué)重慶市醫(yī)用電子與信息技術(shù)工程研究中心，重慶 400065）

血細(xì)胞的形態(tài)學(xué)檢測(cè)能夠彌補(bǔ)生化檢測(cè)的不足之處，通過(guò)顯微鏡鏡檢，對(duì)檢測(cè)多種血液疾病有著特殊的意義[1-5]。隨著卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，為細(xì)胞自動(dòng)化形態(tài)檢測(cè)提供了新的機(jī)遇。但深度學(xué)習(xí)假定測(cè)試集與訓(xùn)練集的相互獨(dú)立且分布相同，一旦數(shù)據(jù)分布發(fā)生變化，許多模型需要重新訓(xùn)練[6]。而由于細(xì)胞個(gè)體的多樣性、各批次染色試劑效果以及操作人員染色手法的差異，不同血液涂片的顏色與分辨率大相徑庭，普通的神經(jīng)網(wǎng)絡(luò)無(wú)法適應(yīng)各種類(lèi)型的數(shù)據(jù)集。在具有多領(lǐng)域的數(shù)據(jù)集中，深度卷積網(wǎng)絡(luò)的分類(lèi)準(zhǔn)確率明顯降低，無(wú)法滿足臨床檢測(cè)的需要。

通常解決此問(wèn)題的方法是通過(guò)對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，使用圖像處理算法將數(shù)據(jù)集遷移到統(tǒng)一領(lǐng)域。隨著計(jì)算機(jī)視覺(jué)的發(fā)展，許多優(yōu)化方法也可以應(yīng)用到數(shù)字圖像的處理中。但深度學(xué)習(xí)所需的數(shù)據(jù)集規(guī)模較大，傳統(tǒng)的圖像處理算法需要消耗大量的時(shí)間與資源，同時(shí)也無(wú)法滿足實(shí)時(shí)處理的要求[7]。

綜上所述，該文提出一種顏色均衡分類(lèi)網(wǎng)絡(luò)URNET，此網(wǎng)絡(luò)能夠同時(shí)實(shí)現(xiàn)快速地?cái)?shù)據(jù)集顏色均衡化與異常紅細(xì)胞的準(zhǔn)確識(shí)別。

1 顏色均衡分類(lèi)網(wǎng)絡(luò)U-RNET

1.1 總體設(shè)計(jì)

常見(jiàn)的異常紅細(xì)胞形態(tài)有鐮刀形、半月形、淚滴形、球形等[8]，該文選取六類(lèi)異常紅細(xì)胞，分別為球形、橢圓形、水滴形、靶形、裂紅細(xì)胞和棘紅細(xì)胞。文中所提到的算法流程如圖1 所示。首先，使用最優(yōu)傳輸算法對(duì)數(shù)據(jù)集進(jìn)行顏色均衡化處理，通過(guò)處理后的數(shù)據(jù)集訓(xùn)練顏色均衡網(wǎng)絡(luò)U-net，然后將U-net與訓(xùn)練好的分類(lèi)網(wǎng)絡(luò)進(jìn)行拼接，最后使用凍結(jié)層（Frozen）方法對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，從而合成網(wǎng)絡(luò)URNET 實(shí)現(xiàn)結(jié)合顏色均衡的更精確廣泛的異常紅細(xì)胞識(shí)別。

1.2 最優(yōu)傳輸模型

傳統(tǒng)數(shù)學(xué)模型在圖像處理領(lǐng)域有著不可替代的作用，它能對(duì)數(shù)據(jù)本身進(jìn)行處理而不需要額外的標(biāo)簽或參照。最優(yōu)傳輸模型廣泛地應(yīng)用于兩個(gè)樣本域之間的遷移轉(zhuǎn)換中。最優(yōu)傳輸具有悠久的歷史，涉及概率論、偏微分方程和凸幾何等多種理論[9]。

該文中，最優(yōu)傳輸作為數(shù)據(jù)集預(yù)處理方法，解決數(shù)據(jù)集顏色均衡化問(wèn)題。通過(guò)代價(jià)函數(shù)，尋找一種原數(shù)據(jù)集到新數(shù)據(jù)集的最優(yōu)空間映射，使多個(gè)領(lǐng)域內(nèi)的數(shù)據(jù)集能夠幾乎無(wú)損失地遷移到另一個(gè)相同領(lǐng)域中。

1.3 顏色均衡網(wǎng)絡(luò)U-net

顏色均衡網(wǎng)絡(luò)的輸入應(yīng)為原始圖像，輸出則為顏色均衡化后的圖像。網(wǎng)絡(luò)需要實(shí)現(xiàn)將個(gè)體多且個(gè)體邊界小的細(xì)胞圖像盡可能完美地遷移到與標(biāo)簽相同的顏色分布。在醫(yī)學(xué)圖像領(lǐng)域，U-net 可以很好地勝任這項(xiàng)任務(wù)。首先在下采樣過(guò)程中通過(guò)卷積層與池化層提取圖像所需要的信息，然后運(yùn)用轉(zhuǎn)置卷積實(shí)現(xiàn)反編碼，在上采樣過(guò)程中剪裁并融合已獲得的特征，最后通過(guò)激活函數(shù)對(duì)像素分類(lèi)，獲得所需要的遷移圖像。U-net 獨(dú)特的譯碼-解碼結(jié)構(gòu)完整地保留了圖像的低分辨率與高分辨率信息，且能夠?qū)崿F(xiàn)圖像的像素級(jí)分類(lèi)，輸出為每個(gè)像素點(diǎn)的類(lèi)別，不同類(lèi)別的像素顯示不同的顏色，對(duì)于該文所涉及的邊界模糊、梯度復(fù)雜、個(gè)體小、背景大的細(xì)胞圖像，U-net能發(fā)揮十分優(yōu)異的性能。

1.4 圖像分類(lèi)網(wǎng)絡(luò)

常用的圖像分類(lèi)網(wǎng)絡(luò)有AlexNet、VGGNet、ResNet與Inception-net 等。其中，ResNet 獨(dú)特的結(jié)構(gòu)使它的識(shí)別準(zhǔn)確率與識(shí)別速度領(lǐng)先于其他網(wǎng)絡(luò)。在臨床中，需要更迅速、更準(zhǔn)確地對(duì)病理圖像進(jìn)行檢測(cè)，因此該文選用ResNet50 作為圖像分類(lèi)網(wǎng)絡(luò)。

ResNet 引入殘差網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)這種結(jié)構(gòu)可以使神經(jīng)網(wǎng)絡(luò)搭建到更深的層數(shù)。殘差網(wǎng)絡(luò)模仿了高速網(wǎng)絡(luò)中躍層連接的思想，改變了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)依次連接的慣例，后一層的輸入來(lái)自于跳躍多層的神經(jīng)網(wǎng)絡(luò)層的輸出。殘差塊中有兩個(gè)相同輸出通道數(shù)的3×3 卷積層，每個(gè)卷積層后連接一個(gè)BN 層（Batch Normalization）和ReLu 激活函數(shù)。

ResNet50[10-14]沿用了VGG 全3×3 卷積層的設(shè)計(jì)，共分為五個(gè)stage。第一個(gè)階段在輸出通道為64、步幅為2 的7×7 卷積層后依次連接了BN 層、ReLu 激活函數(shù)以及3×3 的最大池化層。在此之后，連接了四個(gè)殘差塊模塊，每個(gè)模塊由若干殘差塊組成。第一個(gè)模塊的通道數(shù)與輸入通道數(shù)相同，之后的每個(gè)模塊在第一個(gè)殘差塊基礎(chǔ)上通道數(shù)加倍，高和寬減半。最后，通過(guò)平均池化層，經(jīng)全連接層展開(kāi)后，由softmax 激勵(lì)函數(shù)輸出最后的分類(lèi)結(jié)果。

1.5 顏色均衡分類(lèi)網(wǎng)絡(luò)U-RNET搭建

首先通過(guò)最優(yōu)傳輸方法將數(shù)據(jù)集遷移到同一顏色分布，遷移后的數(shù)據(jù)集作為標(biāo)簽，原數(shù)據(jù)集作為輸入訓(xùn)練顏色均衡網(wǎng)絡(luò)U-net，保存訓(xùn)練后的權(quán)重。然后將U-net 輸出的圖像作為新的數(shù)據(jù)集，圖像類(lèi)別作為標(biāo)簽，訓(xùn)練圖像分類(lèi)網(wǎng)絡(luò)ResNet50，保存訓(xùn)練后的權(quán)重。最后，級(jí)聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)將權(quán)重按層進(jìn)行搭載，并通過(guò)凍結(jié)層方法對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，最終得到顏色均衡分類(lèi)網(wǎng)絡(luò)U-RNET。U-RNET 搭建過(guò)程如圖2所示。

圖2 U-RNET搭建過(guò)程

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)集

該文數(shù)據(jù)集來(lái)自重慶德方信息技術(shù)有限公司的血液細(xì)胞采樣圖，由9 556 張1 500×1 122 RGB 圖像組成，數(shù)據(jù)集中部分圖像如圖3 所示，每張圖像均使用矩形框?qū)Ω骷?xì)胞進(jìn)行了標(biāo)注和分類(lèi)，細(xì)胞類(lèi)型與矩形框位置信息獨(dú)立存放在xml文件中。

圖3 部分細(xì)胞采樣圖

按xml 文件對(duì)原始圖像進(jìn)行剪裁并關(guān)聯(lián)標(biāo)簽，然后對(duì)這些圖像進(jìn)行篩選并分類(lèi)。根據(jù)文獻(xiàn)[9]中的常見(jiàn)異常紅細(xì)胞類(lèi)型，共選取六類(lèi)異常紅細(xì)胞，分別為球形、橢圓形、水滴形、靶形、棘紅細(xì)胞和裂紅細(xì)胞。各類(lèi)細(xì)胞圖像如圖4 所示。

圖4 六類(lèi)紅細(xì)胞圖像

六類(lèi)細(xì)胞共有11 995 張細(xì)胞圖像。按照已標(biāo)注的數(shù)據(jù)類(lèi)型，將圖像歸類(lèi)為0-5。同時(shí)，按照7∶3 隨機(jī)將數(shù)據(jù)集劃分為互不包含的訓(xùn)練集和測(cè)試集。各類(lèi)細(xì)胞圖數(shù)量如表1 所示。

表1 各類(lèi)細(xì)胞圖數(shù)量

2.2 實(shí)驗(yàn)準(zhǔn)備

與實(shí)驗(yàn)相關(guān)的工作環(huán)境設(shè)置為：深度學(xué)習(xí)平臺(tái)操作系統(tǒng)為Windows 11。Nvidia GeForce GTX 3090顯卡，CPU 為Intel i7-10700，Python 版本3.7.0，深度學(xué)習(xí)框架使用TensorFlow 2.6.0。

深度學(xué)習(xí)優(yōu)化器為Adam；顏色均衡網(wǎng)絡(luò)損失函數(shù)采用均方差（MSE），Loss 函數(shù)采用交叉熵；訓(xùn)練周期為200 次；每批次訓(xùn)練16 張圖片；學(xué)習(xí)率為0.001；采用圖像增強(qiáng)方法擴(kuò)大數(shù)據(jù)集，在訓(xùn)練模型時(shí)：1）統(tǒng)一將圖像調(diào)整為128×128×3；2）對(duì)圖像進(jìn)行隨機(jī)翻轉(zhuǎn)，范圍為-45°～45°[15-16]。

通過(guò)最優(yōu)傳輸方法，將數(shù)據(jù)集中的圖像遷移到同一領(lǐng)域，作為訓(xùn)練領(lǐng)域遷移網(wǎng)絡(luò)的標(biāo)簽。同時(shí)，為了驗(yàn)證該文方法的有效性，對(duì)數(shù)據(jù)集使用直方圖匹配與之進(jìn)行對(duì)比實(shí)驗(yàn)。

2.3 圖像遷移與分類(lèi)結(jié)果

通過(guò)1.5 節(jié)中給出的訓(xùn)練步驟，訓(xùn)練U-net 時(shí)，統(tǒng)計(jì)每一個(gè)訓(xùn)練周期內(nèi)網(wǎng)絡(luò)的損失與準(zhǔn)確率。訓(xùn)練集Loss 隨著網(wǎng)絡(luò)訓(xùn)練的迭代迅速下降，經(jīng)過(guò)200 個(gè)epoch 后，最優(yōu)傳輸測(cè)試集Loss 為1.1×10-4；直方圖匹配測(cè)試集Loss 為5.3×10-4，則模型最后已經(jīng)收斂，很好地?cái)M合數(shù)據(jù)集，在該數(shù)據(jù)集上能夠表現(xiàn)出較高的性能。Loss 曲線如圖5 所示。

圖5 測(cè)試集與訓(xùn)練集Loss曲線

最終各圖像處理結(jié)果如圖6 所示，可以看出最優(yōu)傳輸方法能夠平滑地將圖像遷移到同一顏色分布，遷移后的圖像噪聲并不明顯；使用U-net 進(jìn)行顏色均衡后，結(jié)果與直接用最優(yōu)傳輸遷移相近，但特征與邊緣更加清晰。而直方圖匹配會(huì)帶來(lái)大量噪聲，圖像中會(huì)產(chǎn)生較多的噪點(diǎn)，使用直方圖匹配后的數(shù)據(jù)集訓(xùn)練U-net可以去除一部分噪聲。綜上，最優(yōu)傳輸可以表現(xiàn)出比直方圖匹配更優(yōu)異的性能，神經(jīng)網(wǎng)絡(luò)則能夠提升遷移的速度并做到信號(hào)濾波作用。實(shí)驗(yàn)證明了將最優(yōu)傳輸方法與神經(jīng)網(wǎng)絡(luò)結(jié)合的有效性。

圖6 各圖像對(duì)比結(jié)果

在訓(xùn)練分類(lèi)網(wǎng)絡(luò)時(shí)，隨機(jī)劃分?jǐn)?shù)據(jù)集并進(jìn)行五次交叉實(shí)驗(yàn)。經(jīng)過(guò)200 個(gè)epoch 后，細(xì)胞圖像總體識(shí)別準(zhǔn)確率如表2 所示。

表2 各種方法的識(shí)別準(zhǔn)確率

最終，U-RNET 的總體識(shí)別準(zhǔn)確率要高于其他三種遷移方法，達(dá)到95.5%，準(zhǔn)確率曲線如圖7 所示。除此之外，統(tǒng)計(jì)得出該神經(jīng)網(wǎng)絡(luò)處理一張圖片所需的時(shí)間為41 ms，而最優(yōu)傳輸方法需要2 s，說(shuō)明U-RNET 具有良好的識(shí)別準(zhǔn)確性與實(shí)時(shí)性。由于經(jīng)過(guò)顏色均衡網(wǎng)絡(luò)處理后的圖像噪聲更小，特征更加清晰，也使得被識(shí)別圖像的數(shù)據(jù)分布更能滿足神經(jīng)網(wǎng)絡(luò)的傾向。因此，U-RNET 最終的識(shí)別準(zhǔn)確率高于最優(yōu)傳輸本身，且由于最優(yōu)傳輸處理數(shù)據(jù)集的優(yōu)越性，準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于其他算法。

圖7 測(cè)試集與訓(xùn)練集準(zhǔn)確率曲線

3 結(jié)束語(yǔ)

該文針對(duì)細(xì)胞圖像的特點(diǎn)，提出融合最優(yōu)傳輸方法的U-RNET 細(xì)胞分類(lèi)網(wǎng)絡(luò)。利用最優(yōu)傳輸方法處理數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，能夠充分利用神經(jīng)網(wǎng)絡(luò)自主提取圖像特征，對(duì)多領(lǐng)域的細(xì)胞圖像能夠幾乎無(wú)損失地遷移到同一領(lǐng)域，顯著提高細(xì)胞類(lèi)別的分類(lèi)準(zhǔn)確率。在該文所提供細(xì)胞數(shù)據(jù)集上的實(shí)驗(yàn)表明，該文方法對(duì)六類(lèi)細(xì)胞形態(tài)識(shí)別可以達(dá)到95.5%的識(shí)別準(zhǔn)確率，高于其他傳統(tǒng)方法。且單幅圖像處理時(shí)間僅41 ms，遠(yuǎn)小于傳統(tǒng)數(shù)學(xué)模型遷移方法。實(shí)驗(yàn)表明，該文設(shè)計(jì)的融合最優(yōu)傳輸方法的細(xì)胞識(shí)別分類(lèi)網(wǎng)絡(luò)U-RNET 在提高細(xì)胞圖像識(shí)別率的同時(shí)，加快了目標(biāo)圖像的處理速度。