基于深度學習的白帶顯微圖像細胞識別

侯劍平 王 超 趙萬里 段憶芮

(安圖實驗儀器(鄭州)有限公司 河南 鄭州 450016)

0 引 言

白帶常規檢測(簡稱白帶常規)是判斷女性泌尿生殖系統健康水平的一項重要醫學檢查項目。白帶即女性陰道分泌物，是指由女性生殖道不同部位的不同物質成分所組成的混合物，它是一種帶有粘性的白色液體分泌物，由陰道粘膜滲出物、宮頸管、子宮頸腺體及子宮內膜分泌物混合而成，主要成分有陰道鱗狀上皮細胞、少量宮頸柱狀上皮細胞、白細胞和陰道內寄生的各種細菌等[1]。白帶中的白色念珠菌是一種真菌，是引起念珠菌性陰道炎的條件致病菌[2]。白帶中的滴蟲是一種極微小有鞭毛且呈梨型的原蟲生物，用肉眼無法觀察到，陰道滴蟲存在于女性的陰道會引起滴蟲性陰道炎。白帶中白細胞作為陰道炎癥或細菌感染的直接表現[3]。

顯微鏡鏡檢是白帶常規檢查最常用的方法，目前國內外白帶顯微圖像自動化識別技術還不成熟，采用人工鏡檢進行白帶常規檢測仍然是大部分醫院所采用的方式。但由于白帶顯微圖像的圖像質量參差不齊，人工鏡檢既耗時耗力，而且容易受醫務人員的經驗和主觀性影響，導致不同醫務人員給出的檢驗結果靈敏度和特異性存在不一致的情況。如今，隨著人工智能在醫學領域的相關應用越來越廣泛，醫學顯微圖像的自動化識別和研究也成了熱門的研究方向，但目前主要集中在尿液、血液、糞便的有形成分識別上[4-6]，而對于白帶的有形成分識別方面卻鮮少有人研究。鐘亞等[7]采用圖像分割與卷積神經網絡分類相結合的方法進行白帶顯微圖像中白細胞的自動化檢測，但實際上白帶中的細胞成分(如：白細胞、念珠菌、滴蟲)都是婦科炎癥的重要指標，這些細胞的自動化識別研究具有很好的臨床應用價值和實用意義。

近年來，深度學習在圖像識別上的應用日漸成熟，而目標檢測作為其中一個非常重要的應用方向，有很多基于深度學習的目標檢測算法，如：Faster-RCNN[8]、SSD[9]、YOLO[10-12]等，被應用到很多領域和場景中。其中，YOLO算法是目前識別結果較好的算法之一，其最大的特點是檢測速度快，滿足實時檢測的要求。鄭志強等[13]改進YOLOv3算法用于遙感圖像飛機的識別；彭玉青等[14]改進YOLO算法用于復雜背景下手勢的識別；劉軍等[15]改進YOLOv3-tiny算法用于車輛的識別與跟蹤。但目前還沒有人將目標檢測的算法應用于白帶顯微圖像中的白細胞、念珠菌、滴蟲的識別這一場景。

本文主要研究白帶顯微圖像中白細胞、念珠菌、滴蟲的自動化識別，采用改進的YOLOv3-Tiny模型對細胞進行檢測，然后再對細胞區域使用Resnet50進行準確識別，實現智能化檢測和識別。

1 算法設計

由于本文的檢測識別目標是白細胞、念珠菌、滴蟲三類細胞，各類細胞本身形態相似性高且細胞背景復雜不容易區分，盡管使用YOLOv3-tiny模型對細胞的定位非常有效，但對于細胞識別這種細粒度的圖像分類結果不理想。而對于圖像分類，有很多經典模型可用，如VGG16、Resnet50[16]等。考慮到最終算法是要應用到自動化鏡檢平臺中進行使用，因此對實時性要求較高，因此，本文對細胞分類采用參數較少的Resnet50模型，并使用遷移學習的方法以減少顯微圖像樣本不足帶來的影響。

本文算法共涉及改進的YOLOv3-tiny目標檢測模型和Resnet50分類模型兩個模型，它們分別用于細胞的檢測和識別。本文算法流程如圖1所示。對原始白帶顯微圖像使用改進的YOLOv3-tiny模型進行細胞檢測，找出每個疑似細胞的位置；通過細胞位置將細胞從原始圖像中裁剪出來，獲取細胞圖像；將這些細胞圖像使用Resnet50模型進行分類，以確定細胞類別，以篩選出白細胞、念珠菌、滴蟲這三類細胞；最后將細胞類別對應于相應的細胞位置，得到細胞位置和類別結果。

圖1 本文算法流程

1.1 細胞檢測

1) YOLOv3-tiny算法。

YOLO網絡是一個可以一次性地預測物體的位置和類別的卷積神經網絡，實現了端到端的目標檢測和識別，其最大特點是速度快，檢測速度能夠滿足實時性目標檢測的任務要求，并且已經有YOLOv1、YOLOv2、YOLOv3三個版本。YOLOv3采用多個尺度融合的方式來進行預測。使用類似FPN[17](Feature Pyramid Networks)的融合做法，在多個尺度的特征圖上進行位置和類別預測，提高了目標檢測準確率[18]。YOLOv3-tiny與YOLOv3相比，簡化了特征提取網絡，計算量小，有效地提高了檢測效率，可以在移動端或設備端運行。

YOLOv3-tiny的特征提取網絡采用一個7層卷積層和池化層的網絡提取特征，并且使用了Leaky ReLU作為激活函數。YOLOv3-tiny在兩個尺度上進行預測，分別對圖像進行32倍和16倍的降采樣。每個尺度上輸出的是一個3維張量，包含邊界框、置信度和預測類別。

損失函數用來表征模型的預測值與真實值間的不一致程度，是決定網絡效果的重要參數之一。YOLOv3-tiny算法的損失函數的設計主要從邊界框坐標預測誤差、邊界框的置信度誤差、分類預測誤差這三個方面進行考慮。損失值越小表示模型的魯棒性越好。YOLOv3-tiny損失函數計算公式為：

2) 改進的YOLOv3-tiny算法。

YOLO v3-tiny 在目標檢測領域已經取得不錯的檢測效果，采用多尺度融合的方式進行目標檢測，對目標的尺度變化適應性較好，但是在白帶鏡檢細胞檢測任務中，在整幅顯微圖像中，白細胞、念珠菌、滴蟲等細胞都是非常小的目標。因此，需要對YOLOv3-tiny模型進行改進以適應細胞的檢測任務，提高檢測效率同時保證實時性，模型提取更淺層的兩組多尺度特征對細胞位置進行預測。

以輸入圖像大小為 416×416為例，原始的YOLOv3-tiny模型在兩個尺度上進行預測，有2個特征圖，大小為13×13和26×26，分別對圖像進行32倍、16倍降采樣，但本文研究的顯微圖像中白細胞、念珠菌、滴蟲均為非常小的目標，采用K-means聚類的方法獲取6個不同大小的先驗框：(5,5)、(7,9)、(10,6)、(14,8)、(11,11)、(18,14)。由此可知，原始的YOLOv3-tiny模型的兩個尺度的特征圖并不適用于本文研究的小目標檢測。因此，本文通過改變兩個尺度特征圖的大小，以適應任務的要求。本文改進的YOLOv3-tiny模型在兩個尺度上進行預測，有2個特征圖，大小分別為52×52、104×104，分別對圖像進行8倍、4倍降采樣。網絡模型結構如圖2所示。

圖2 網絡模型結構

1.2 細胞識別

本文采用Resnet50模型進行細胞識別。考慮到本文所使用的圖像是醫學顯微圖像，樣本數量少，且難以大規模補充，因此在訓練網絡的過程中引入遷移學習。本文使用Tensorflow官網提供的ImageNet數據集上預訓練的Resnet50模型。由于本文使用的顯微圖像與ImageNet數據集差異很大，簡單的參數遷移方式并不適用。由于低層次的網絡提取的是樣本的邊緣、紋理、顏色等信息，在進行參數遷移時保留卷積模塊的底層結構和參數，并設置靠近分類層的高層卷積部分為可訓練狀態，包括矩陣權重、偏置項與其他正則項系數。在進行微調模型訓練時并不是從隨機初始值開始，通常經過小幅度的調整即可達到最優，既可以提高模型訓練的效率，又可以提高模型準確率。

以Resnet50為例，將源模型中的最后一層全連接層的1 000個神經元替換為本文實驗的四個細胞類別：白細胞、念珠菌、滴蟲、其他細胞。Resnet50由一個卷積層、四個殘差模塊、全連接層構成，將卷積層和前三個殘差模塊參數凍結，繼承源模型底層特征提取能力，將第四個殘差模塊及全連接層的參數設置為可更新，如圖3所示。

圖3 Resnet50模型

2 實 驗

2.1 實驗運行環境

本文實驗硬件環境如表 1 所示，在此基礎上搭建軟件環境：Ubuntu 16.04、Python、opencv、CUDA等，深度學習框架使用 Keras框架。

表1 實驗硬件環境配置

2.2 實驗數據集及評價指標

實驗所用的樣本圖像來源于安圖生物公司收集的真實白帶顯微圖像，這些樣本圖像均由攜帶500萬像素相機的永新光學特制顯微鏡拍攝，原始圖像大小為2 304×1 750，使用 LabelImg 工具對收集到的圖片進行標注并以 VOC數據的格式來存儲。用于細胞檢測的數據集中共有1 095幅白帶顯微圖像，用于細胞識別的數據集中包含白細胞9 698、念珠菌8 934、滴蟲8 267、其他細胞9 055，均按照4∶1 的比例劃分為訓練集和測試集。白帶顯微圖像示例如圖4所示。各類細胞形態如圖5所示。為了減少模型的訓練時間，在細胞檢測階段，將原始圖像進行降采樣處理，以416×416圖像大小作為輸入進行實驗和結果評估，最終將檢測結果進行上采樣來對應原始圖像大小，以便于下一階段的細胞識別。

(a) 白帶顯微圖像

(a) 白細胞

而對于本文算法實際應用效果的評價，收集319例白帶樣本作為測試集，對每個樣本拍攝20個視野，即得到20幅白帶顯微圖像，對每幅白帶顯微圖像進行檢測得到圖像中白細胞、念珠菌、滴蟲的個數。然后，對于每個白帶樣本，綜合20幅白帶顯微圖像的檢測結果來判定白帶樣本中白細胞、念珠菌以及滴蟲是否為陽性。對于念珠菌和滴蟲，出現個數只要大于等于1，無論個數的多少，均為陽性。對于白細胞，出現個數大于15個，為陽性。采用敏感度、特異性、符合率3個評價指標[19]對白帶樣本中的白細胞、念珠菌、滴蟲的識別結果進行評價。評價指標數學公式分別如下：

TP、FP、FN、TN的詳細說明如表2所示。

表2 混淆矩陣

2.3 細胞檢測實驗結果

本文算法的第一階段是對細胞進行檢測，是單目標檢測任務，為了測試本文提出的改進的YOLOv3-tiny模型性能，與YOLOv3和YOLOv3-tiny模型進行對比。在模型訓練過程中，使用相同的訓練策略，采用小批量隨機梯度下降法，批量大小為64，最大迭代次數為15 000次，動量和權重衰減分別為0.9和0.000 5，初始學習率為0.001，在迭代次數為5 000和10 000次時調整學習率為0.000 1和0.000 01，設置非極大值抑制閾值為0.3，置信度閾值為0.5，并根據模型的平均精度選出最優模型。在相同測試集上，采用精確率和召回率來比較不同模型的測試結果。如表3所示，本文提出的改進的YOLOv3-tiny算法不僅在檢測速度上可以達到與YOLOv3-tiny算法非常接近，而且在精確率和召回率上的結果均高于YOLOv3-tiny算法，而且與檢測精度更高的YOLOv3相比仍有優勢。

表3 細胞檢測結果

2.4 細胞識別實驗結果

本文算法的第二個階段是各類細胞的識別，考慮到第一階段檢測出來的細胞可能會存在誤檢的細胞，因此在細胞識別階段，將細胞分為白細胞、念珠菌、滴蟲、其他細胞四類，通過有效地將細胞進行準確分類，篩選出白細胞、念珠菌、滴蟲，提高細胞識別的準確率。

由于本文使用的顯微圖像與ImageNet數據集的圖像具有很大差異，因此，在使用Resnet50模型時，需要考慮在模型訓練過程中可訓練參數的數量對細胞識別結果的影響。表4是對應于凍結不同層數，即不同數量的可訓練參數所對應的訓練集、驗證集上的識別結果。由表4可知，Resnet50模型在凍結層數為121時，得到最佳的識別結果。

表4 不同凍結層數時Resnet50模型性能

2.5 本文算法的實驗結果

本文首先使用改進的YOLOv3-tiny算法進行細胞的定位檢測，然后使用Resnet50對細胞區域進行識別，實現對白細胞、念珠菌、滴蟲的識別。但實際上，YOLO系列算法本身就是一種多目標檢測算法，可以直接使用該算法對各類細胞進行定位和識別。實驗中采用YOLOv3和YOLOv3-tiny模型對各類細胞進行檢測識別，并與本文的方法得到的結果進行對比。表5展示了YOLOv3、YOLOv3-tiny及本文算法的對比結果。相比于YOLOv3算法和YOLOv3-tiny算法將不同類別的細胞作為多目標進行檢測識別，本文算法采用兩個階段實現細胞的識別，先將細胞進行檢測，然后再對細胞區域進行精確分類，得到了更好的識別效果。同時，從檢測效率方面來看，在相同的硬件條件下，本文算法由于改進了模型結構，調整了多尺度的特征圖輸出，更有利于細胞這類小目標的檢測，在沒有增加過多檢測時間的情況下，有效地提高了識別準確率。圖6是部分實驗結果局部區域圖。圖中，WBC、M、TV分別對應白細胞、念珠菌、滴蟲的識別結果。可以看出，YOLOv3、YOLOv3-tiny算法對于白細胞、念珠菌、滴蟲這三類目標的識別結果均存在漏檢和誤檢，如圖6(a)、(b)所示，YOLOv3、YOLOv3-tiny算法對于白細胞的檢測，在多個目標臨近的情況下，分別存在漏檢和定位不準的情況；YOLOv3、YOLOv3-tiny算法對于念珠菌這類小目標的檢測均存在漏檢；對于滴蟲的檢測，YOLOv3算法存在定位不準的情況，而YOLOv3-tiny算法出現漏檢情況。本文算法相較于YOLOv3算法和YOLOv3-tiny算法，由于改進了模型結構更有利于小目標的檢測，有效地降低了漏檢率，而且增加了分類算法使細胞分類更為準確，有效地降低了誤檢率。

(a) YOLOv3識別結果

2.6 本文算法的實際應用結果

由于本文的算法是用于對白帶樣本的顯微圖像進行識別，以獲得顯微圖像中白細胞、念珠菌、滴蟲的識別結果。在實際應用中，對每個白帶樣本所對應的20幅顯微圖像進行檢測，并根據總的檢測結果來判定白帶中白細胞、念珠菌、滴蟲是否為陽性。采用本文算法對319例白帶樣本進行測試，圖7-圖9分別為白細胞、念珠菌、滴蟲的實驗結果。可以看出，白細胞、念珠菌、滴蟲三類細胞的靈敏度、特異性、符合率均在90%以上，滿足臨床檢驗的使用要求。

圖7 白細胞實驗結果

圖8 念珠菌識別結果

圖9 滴蟲識別結果

3 結 語

白帶常規檢查是陰道疾病檢測的常規檢查項目，并且有著廣泛的應用。絕大多數的陰道感染疾病都可以通過白帶常規檢查被檢出，也可以通過白帶常規檢查了解陰道內的衛生情況，并依據檢查結果對感染病菌的概率或者程度進行科學判斷，對醫護人員的臨床診斷工作大有幫助[3]。白帶中的白細胞、念珠菌、滴蟲是婦科炎癥及陰道疾病的重要指標，因此白細胞、念珠菌、滴蟲的檢測對于臨床檢驗具有非常重要的意義。

本文提出了一種基于改進的YOLOv3-tiny算法和Resnet50相結合的細胞檢測識別算法，通過改進的YOLOv3-tiny算法進行細胞檢測，然后使用Resnet50進行精確識別。將本文算法應用到全自動鏡檢軟件中，可以實現對白帶顯微圖像自動化地檢測白細胞、念珠菌、滴蟲，具有很高的靈敏度和特異性，滿足臨床檢驗的要求。由于本文的算法要應用到鏡檢軟件中進行實時的檢測，因此對檢測效率和實時性要求較高，實驗證明本文算法具有較好的時間性能，滿足實時性的要求。在實際應用中，白帶常規檢查中不只需要對白細胞、念珠菌、滴蟲這幾類細胞進行檢測，也需要對白帶顯微圖像中出現的其他微生物進行檢測，未來會考慮實現對更多類別微生物的檢測。