基于改進CNN的宮頸細胞自動分類算法①

李 偉,孫星星,戶媛姣

(長安大學 信息工程學院,西安 710064)

在人工智能技術日趨成熟的今天,人們將人工智能技術越來越多的應用在各個領域.AI+醫(yī)療是當下最火熱的人工智能應用場景之一,并且AI 在乳腺癌,糖尿病等預防和治療方面,創(chuàng)造了諸多突破和成就.宮頸癌發(fā)病率高,且病變周期長,早期發(fā)現(xiàn)治療效果好[1,2],目前臨床檢測仍為人工篩選,耗時,昂貴且準確率低[3].前期篩查是對癌變進行預防和控制的關鍵途徑[4,5].我國宮頸癌早期普查工作量十分繁重,然而病理醫(yī)生數(shù)量卻嚴重不足.因此,采用AI 技術進行宮頸細胞病理輔助診斷在癌前病變診斷中具有重要意義[6].

2009年,Pan SJ 等[7]提出了一種元啟發(fā)式算法進行宮頸細胞分類,將遺傳算法與KNN 相結合,從宮頸細胞圖像中構建了20 個特征,使用遺傳算法進行最優(yōu)特征子集的選取,使KNN 算法進行分類,并證明了有效性.2014年,Chankong 等[8]提出一種宮頸癌細胞自動分割和分類的方法,利用FCM 聚類技術將單細胞圖像分割為細胞核,細胞質,并進行特征提取,利用人工神經網絡進行分類,并與其他分類器結果進行比較,證明了人工神經網絡的分類效果與其他分類器相比,精度較高.2015年,Kaaviya 等[9]提出了一種新的分類方法對宮頸細胞進行分類.為了提高宮頸細胞分類結果,采用集成方法,集成了3 個分類器的決策,并使用五折交叉驗證進行評估.

2010年,暨南大學的范金坪[10]提出基于矢量量化的C-V 模型進行彩色宮頸圖像分割,利用遺傳算法進行特征選擇,BP 神經網絡算法進行原始特征子集以及最優(yōu)特征子集分類,驗證特征選擇的有效性.2018年,四川大學的繆欣等[11]提出了基于神經網絡集成模型的宮頸細胞分類算法,集成神經網絡相對于單個神經網絡誤識別率明顯下降.2018年,胡卉等[12]提出了基于卷積神經網絡對宮頸細胞進行分類.驗證了卷積神經網絡用于宮頸細胞分類的可行性.

基于以往研究學者對宮頸細胞識別方法的研究,可以總結出傳統(tǒng)的算法都是先經過細胞分割,其次從分割后的圖像中人工提取細胞圖像的特征,然后設計算法進行特征降維等操作,最后選取合適的分類器進行識別[13-15].此類方法通常要求在分割階段有較高的分割準確率,否則會對后續(xù)的特征提取產生影響,其次選擇特征提取需要人工來決定,這就使得研究人員首先具備一定的病理知識,盡管如此,人工選取的特征也不一定具有代表性,這就導致識別效果不好.基于此,本文因此采用深度學習算法中的DCNN 來進行特征提取[16],以及細胞識別分類的研究[17,18].DCNN 將卷積計算同BP 神經網絡相結合的神經網絡,具有特征自動特取以及分類識別的功能[19].卷積的引入使其能夠感知圖像局部細節(jié)[20,21],提取數(shù)據(jù)的局部特征,其權值共享的特性減少了網絡參數(shù)運算量[22],且無需考慮圖像中特征出現(xiàn)的位置,因此,其在圖像識別領域具有顯著的優(yōu)勢[23].基于此,本文將采用深度卷積神經網絡模型進行宮頸細胞圖像識別,以解決特征提取不完善的問題,從而提高宮頸細胞圖像識別的準確率以及效率,實現(xiàn)智能化識別.

1 研究方法

針對宮頸細胞自動分類的研究過程,主要分為圖像集的預處理,模型的選取,模型的訓練以及模型的測試.在圖像集的預處理階段,對圖像進行灰度化,去噪增強等操作[24],接著對處理后的圖強提取ROI 區(qū)域,并根據(jù)神經網絡的輸入要求統(tǒng)一尺寸.

在模型選取階段,本文采用深度卷積神經網絡對宮頸圖像進行分類,卷積神經網絡是一種具有不同功能網絡層的深度學習算法,其分為輸入層,特征提取層,以及分類結果輸出層[25].

輸入層一般是帶有分類標簽的圖像數(shù)據(jù),需要根據(jù)不同網絡的要求來統(tǒng)一尺寸[26].在這一層一般是要對輸入的圖像數(shù)據(jù)進行預處理,使之適應網絡計算要求.常用的預處理分為:去均值,歸一化,PCA 降維.

特征提取層包含卷積層,激勵層,池化層.卷積層采用類似滑動濾波器一樣的滑動窗口對圖像進行特征提取,每個神經元的輸入與前一層的局部接受域相連,并提取該局部的特征,且局部權重共享[27].權值共享減少了網絡參數(shù)運算量,降低了模型的復雜性,且無需考慮圖像中特征出現(xiàn)的位置.激勵層的主要作用是將卷積層的輸出結果做一個非線性的映射,一般采用ReLU 函數(shù)作為激勵層的激活函數(shù),它具有收斂速度快,且梯度計算簡單的特點.池化層處于兩個相連的卷積層中間,用于壓縮傳輸數(shù)據(jù)與參數(shù),減小分類過程中出現(xiàn)過擬合[28].池化的方法一般分為平均池化和最大池化,本文采用最大池化的方法進行壓縮傳輸圖像.池化層在卷積神經網絡中的作用是用來識別經過位移,縮放變換以及其他形式扭曲且不發(fā)生性質變化的圖像[29].

分類結果輸出層即特征映射層,由圖像特征與圖像類別變遷的映射關系,本文采用Sigmoid 函數(shù)作為輸出層的激活函數(shù).Sigmoid 函數(shù)的輸出范圍在(0,1)之間,具有指數(shù)函數(shù)的平滑性,在分類輸出結果中,越接近于1,說明該類的可能性越大.Sigmoid 函數(shù)使得特征映射具有位移不變性[30].

本文選取VGG16 網絡作為基礎模型來進行改進,VGG 卷積神經網絡是2014年被提出的,其在圖像分類以及圖像檢測中表現(xiàn)很好,并在2014年ILSVRC 比賽中取得了很好的成績,其準確率達到了92.3%.在VGG模型中,VGG-16 表現(xiàn)良好,且應用較多,它是一個具有16 層深度的模型,模型結構如圖1所示.

圖1 CNN 模型圖

在模型訓練階段,由于宮頸細胞圖像的數(shù)量較少,為了提高分類準確率,本文采用遷移學習的方法對網絡進行預訓練,采用ImageNet 數(shù)據(jù)集訓練模型,將得到的模型參數(shù)作為宮頸細胞分類模型的初始化參數(shù),由于ImageNet 是一個具有1000 類的數(shù)據(jù)集,而宮頸細胞的分類只有7 類,所以將原始模型的特征映射層Softmax 層進行修改,并對全連接層參數(shù)進行調整,以加快收斂速度,提高準確率.模型如圖2所示.

圖2 網絡訓練過程

在模型測試階段,對于訓練好的模型,將測試集輸入模型,得出分類準確率.

2 實驗過程

2.1 數(shù)據(jù)集介紹

本文采用的宮頸細胞數(shù)據(jù)集為公開的HerLev 圖像集,該圖像集是通過數(shù)碼相機和顯微鏡在赫列夫大學醫(yī)院制作的.圖像分辨率是0.201 μm/像素.Herlev 的數(shù)據(jù)集共包含917 幅圖像,每幅圖像包含一個子宮頸細胞,分為7 類,這7 個類屬于兩大類別:類1～3 為正常,類4～7 為異常類,每一類的數(shù)據(jù)情況如表1所示.其中每個類別的確定由兩名細胞技術人員和一名醫(yī)生共同診斷,這樣以最大限度地提高診斷的準確性,避免個人主觀帶來的誤差.

圖3為宮頸細胞數(shù)據(jù)集中部分細胞的例子,圖3(a)-圖3(g)為正常細胞到異常細胞,可以看出,異常細胞相比較正常細胞細胞核明顯增大,且顏色變深,核質比明顯變大可見,但是相鄰種類的細胞變化較小,比如圖3(e)與圖3(f)外觀相似,這對于CNN 來說,要想分辨兩類,是有相當大的難度.

表1 HerLev 數(shù)據(jù)集介紹

圖3 宮頸細胞圖像

2.2 數(shù)據(jù)預處理

(1)提取ROI 區(qū)域

由于網絡需要統(tǒng)一大小的圖片輸入尺寸,而HerLev 數(shù)據(jù)中的尺寸大小不一,且長寬比差均很大.若依照傳統(tǒng)方法改變圖像尺寸,會導致圖像內部特征改變,從而影響分類效果且分類模型不具有普適性,因此本文采取提取ROI 區(qū)域的方式進行適應網絡尺寸.宮頸細胞不同類別的差距主要來自于細胞核的差異,醫(yī)生在判別細胞異常與否也是通過對細胞核的分析來確定,因此本文從原始圖像中裁剪出固定大小的細胞核區(qū)域作為網絡輸入圖像.具體做法為以細胞核質心為中心,裁剪出128×128 大小的圖像,如圖4所示.

(2)圖像集擴充

由于網絡訓練需要大量的數(shù)據(jù)集,且每一類的樣本量要均衡.宮頸數(shù)據(jù)集共917 張,分為7 類,最少的一類有70 張,最多的一類有198 張.需要擴充數(shù)據(jù)集的量,并且解決不同類別樣本量不均衡的問題.由于宮頸細胞具有旋轉不變性,本文通過平移旋轉的方式對數(shù)據(jù)集進行擴充,將正常細胞數(shù)據(jù)量擴充為之前的20 倍,異常細胞擴充為之前的10 倍,并按照網絡的輸入要求進行邊緣填充.擴充操作如圖5所示.

圖4 ROI 區(qū)域選取

圖5 圖像集擴充

2.3 網絡設計

由于宮頸細胞數(shù)據(jù)量較小,直接訓練網絡花費時間較長且效果不理想,本文采用遷移學習的方法,使用ImageNet 進行網絡預訓練.遷移學習指的是采用現(xiàn)有的或者已有的知識去解釋或者學習另一相關領域的知識,其目標是完成知識在相關領域之間的遷移.遷移學習基本原理如圖6所示.

圖6 遷移學習過程

對于卷積神經網絡而言,一般在如下情況下益采用遷移學習的方法.(1)新的數(shù)據(jù)集較小且與舊數(shù)據(jù)集差距大;(2)新數(shù)據(jù)集較大且與舊數(shù)據(jù)集相似.本文情況符合第一種,即宮頸細胞的數(shù)據(jù)集較小,因此在網絡的訓練過程中,可以先利用其他大型數(shù)據(jù)集對網絡進行預訓練,以獲得網絡的初始化參數(shù).遷移學習使用預訓練深度神經網絡作為學習新任務的起點,由之前的隨機初始化變?yōu)轭A訓練網絡參數(shù)作為初始化,只需要對網絡進行較少的訓練,或者只用微調剩余網絡層,這樣很大程度上降低了網絡訓練的時長.因此,遷移學習不僅增強了網絡對小數(shù)據(jù)集的學習能力,還可以加快網絡的收斂速度.

由于本文使用的預訓練網絡模型為VGG16 模型,所以改進的網絡參數(shù)大部分與VGG16 網絡參數(shù)一致,VGG16 由13 個卷積層,5 個池化層,2 個全連接層以及1 個Softmax 層.本文設計的網絡卷積層同VGG16網絡卷積層相同,卷積層參數(shù)如表2所示.

表2 VGG16 卷積層參數(shù)

由于越靠近最終的Softmax 分類層,網絡的特征跟原始數(shù)據(jù)集越相關,所以在遷移網絡參數(shù)的時候,只復用卷積層的參數(shù),并根據(jù)具體應用數(shù)據(jù)集進行更改全連接層以及Softmax 層參數(shù).

在VGG16 網絡中全連接層神經元個數(shù)分別為4096-4096-1000,全連接層FC1 的權重參數(shù)量為7×7×512×4096=102 760 448,FC2 的權重參數(shù)量為4096×4096=16 777 216,Softmax 層的權重參數(shù)量為4096×1000=4096 000.參數(shù)量以及相應的計算量顯然是非常大的,這是因為ImageNet 數(shù)據(jù)集中總共有14 197 122幅圖像,總共分為21 841 個類別.相比較宮頸細胞分類是一個非常大的數(shù)據(jù)集,所以全連接層的神經元個數(shù)相對較多,如果采用原始VGG16 的全連接層神經元個數(shù)來實現(xiàn)宮頸細胞的分類,參數(shù)量過大,容易造成過擬合,只對訓練集產生較好的分類效果,因此為了適應本文的應用,需要對網絡進行修改,本文在相同學習率,相同迭代次數(shù)的情況下,改變全連接層神經元個數(shù),分別取2048,1024,512,256 作為全連接層參數(shù)值.通過對比測試集準確率來選擇最優(yōu)的全連接層參數(shù)設置.結果如圖7所示.

圖7 全連接層參數(shù)選擇

經過實驗發(fā)現(xiàn),減少全連接層神經元個數(shù)不僅加快了網絡的收斂速度,并且在一定程度上提高了宮頸細胞的分類準確率.本文通過實驗對比,發(fā)現(xiàn)全連接層參數(shù)為1024-256 時,分類準確率最高.因此,將VGG16的全連接層神經元個數(shù)改為1024-256.

Softmax 層的參數(shù)取決于數(shù)據(jù)集的類別數(shù),原始VGG16 網絡是用來處理1000 類的數(shù)據(jù),而本文主要用于宮頸細胞二分類和七分類,故進行二分類時將Softmax層神經元個數(shù)改為2,進行七分類時將Softmax 層改為7.

表3 參數(shù)計算量對比

2.4 網絡優(yōu)化

為了提高模型的泛化能力,加快收斂速度,本文在已有的模型損失函數(shù)中加入正則化,公式如下:

式中,R(ω)為正則化項,w為模型系數(shù)組成的向量,一般有L1 正則化和L2 正則化.

(1)L1 正則化

L1 正則化是指正則化項為模型系數(shù)w的L1 范數(shù),如式(2)所示.由于正則項在零點不可微,因此權重因子趨近于零,這就使一些對分類結果貢獻較低的特征所對應的系數(shù)為0.所以使用L1 正則化可以對模型進行特征選擇.

(2)L2 正則化

L2 正則化是指正則化項為模型系數(shù)w的L2 范數(shù),如式(3)所示.L2 正則化中模型系數(shù)為二次方,因此與L1 不同,L2 使系數(shù)的取值趨于平滑.由于引入L2 正則化使的loss 最小時,模型參數(shù)也是最小的,從而降低了模型的復雜度,降低了模型出現(xiàn)過擬合的可能性.

1.2.2 細胞形態(tài)學檢查 抽取骨髓液制涂片，快速干燥后進行瑞氏染色，根據(jù)需要進行特殊細胞化學染色，包括過氧化物酶、堿性磷酸酶、特異性酯酶、非特異性酯酶及糖原染色等，進行形態(tài)學分型。

2.5 分類評價

對于卷積神經網絡對宮頸細胞分類的有效性進行評價是非常有必要的,在分類任務中常用的評價指標有以下幾項:準確率(Accuracy,Acc),精確率(Precision,P),召回率(Recall,R)和F1-score.以TP,FN,FP,TN分別表示分類過程中的值,以二分類為例,具體如表4所示.

表4 混淆矩陣

準確率的定義對于給定的測試數(shù)據(jù)集,分類器正確分類的樣本數(shù)與總樣本數(shù)N總之比,即測試集中分類正確的宮頸細胞個數(shù)占總測試集的百分比.

精確率指的是正類分類正確的個數(shù)與分類器檢索到的正類總數(shù)之比.該值體現(xiàn)了分類器是否分類正確.

召回率指的是正類分類正確的個數(shù)與實際正類別總數(shù)之比.該值體現(xiàn)了分類器分類是否完全,所以召回率也叫做查全率.

F1-score指的是精確值和召回率的調和均值,一般情況下,要求精確率和召回率都要比較高,但是實際情況中,精確率高的時候,召回率就低,F1 值就是評價精確率和召回率的調和參數(shù)

在醫(yī)學領域,準確率是診斷疾病的重要評價指標,但是相比較于準確率,誤識別率更是所要關注的,即將異常細胞分類為正常細胞的概率.

上述介紹了二分類過程中各個評價指標值的計算方法,在多分類中采用混淆矩陣的表示方法來計算各個指標的值.可以將多分類的計算看作是當前類和其他類,從而轉換成二分類進行計算.多分類的準確率如下:

3 結果分析

本文通過對HerLev 數(shù)據(jù)集的預處理將圖像集擴充至11 590 張,將擴充后的數(shù)據(jù)集以6:2:2 的比列劃分為訓練集,驗證集,測試集.其中訓練集為6954 張,驗證集和測試集分別為2318.采用VGG-16 卷積神經網絡卷積層對宮頸圖像進行特征提取,采用全連接層進行宮頸圖像分類.訓練過程中,設置mini-batch 為32,訓練集共6954 張,故一個epoch 的迭代次數(shù)iteration值至少為218 次,epoch 值設置為1000.學習率Lr 初始值為0.0001,然后隨著迭代次數(shù)的增加,減小學習率.學習率按照如下公式進行遞減:

式中,lr0為學習率初始值,Lr為不同epoch 對應的學習率值.

對宮頸細胞圖像分別進行七分類和二分類,二分類結果如表5所示.

由表5可以看出:二分類的準確率較高,且正常細胞與異常細胞的準確率大致相同,召回率異常細胞比正常細胞更高,這說明網絡對異常細胞的分類更為準確,即有較少的異常案例被分類為正常細胞.這也為神經網絡能夠進行細胞檢測提供了依據(jù),但是在臨床上,對異常細胞的檢測要更高,異常細胞的召回率要盡量接近1,所以卷積神經網絡識別宮頸細胞目前只能作為輔助決策手段,不能完全代替醫(yī)生.宮頸細胞的二分類混淆矩陣如圖8所示.

表5 宮頸細胞二分類結果

圖8 二分類混淆矩陣

由圖8可以看出:正常細胞中有38 張誤分類為異常細胞,異常細胞中有25 張圖片被分類為正常細胞,相對于測試集圖片的數(shù)量,分類錯誤的圖像是很少的,尤其是異常細胞的圖像,這也說明卷積神經網絡在宮頸細胞分類中的優(yōu)越性,但是仍需醫(yī)生進行二次篩選,以達到誤識別率最低,所以需要對正常宮頸細胞以及異常宮頸細胞進行更細致的劃分,以達到最佳輔助決策的效果.

宮頸細胞八分類的混淆矩陣結果如圖9所示,通過對混淆矩陣計算得到七分類各個評價指標的結果,如表6所示.

通過圖9以及表6可以看出:前兩類的分類準確率相對其他類較高,分別為0.966 和0.964 且未將這兩類正常細胞錯誤分類為異常細胞,兩類細胞的召回率分別為0.966 和0.964,也是這7 類細胞中最高的.而第4,5,6 類異常細胞的分類準確率較低,分別為0.834,0.836 和0.798,但是,錯誤分類多存在于相鄰兩類之間,因此可以可以人工對第4 類細胞進行篩選從而將異常細胞的誤判率降到最低.

將本文卷積神經網絡分類的方法,同其他人工提取數(shù)據(jù)特征再通過設計分類器分類的算法相比較,得出的結果如表7所示.

圖9 七分類混淆矩陣

表6 宮頸細胞七分類結果

表7 不同方法分類對比結果

從對比結果可以看出,本文方法在細胞二分類的準確率相對較高,高出目前最好的提升樹分類器算法XGBoost,AdaBoost,Bagging 等,這些算法均為目前機器學習領域最為常用的分類算法,在數(shù)據(jù)的分類表現(xiàn)優(yōu)異.這是因為采用數(shù)據(jù)特征對細胞進行分類,其結果會受圖像分割準確率的影響,且分類特征為人工選取,不具有代表性,而本文通過卷積神經網絡自動提取細胞圖像的分類特征,不受人工主觀影響,所以本文方法在二分類的準確率相對較高.在七分類的準確率對比結果中可以看出:本文方法的提升較大,這是因為原始數(shù)據(jù)集中每個類別的數(shù)據(jù)量不均衡,在數(shù)據(jù)分類中解決這類數(shù)據(jù)偏斜的問題,往往需要對數(shù)據(jù)進行過采樣,欠采樣或者調整預測概率的閾值,這樣模型變得復雜,且不易得到穩(wěn)定的分類模型.本文在數(shù)據(jù)集預處理階段,基于細胞圖像翻轉不變性,對圖像進行平移翻轉操作擴充了數(shù)據(jù)集,解決了樣本量不平衡的問題,但是召回率仍相對較低,這也是之后仍需改進的地方.

4 結論與展望

本文通過卷積神經網絡對宮頸細胞圖像進行自動分類,在預處理階段通過圖像裁剪,圖像集擴充解決了樣本分布不平衡的問題,并使用遷移學習初始化網絡參數(shù),加快收斂,最后對網絡進行優(yōu)化,加入L1 正則化進行特征的篩選,簡化網絡,并加入L2 正則化來避免過擬合.實驗結果表明:使用卷積神經網絡對細胞圖像進行分類可以得到較好的準確率,分類準確率相比較人工提取特征分類器效果較好,且分類結果不受分割圖像準確率的影響,模型分類效率高,在一定程度上幫助醫(yī)生進行醫(yī)療決策,減少用人成本,提高診斷準確率.