基于卷積神經(jīng)網(wǎng)絡(luò)的宮頸病變圖像分類(lèi)方法研究

宋丹 張育釗 華僑大學(xué) 福建泉州 362021

引言

在中國(guó)，宮頸癌是第二大高發(fā)癌癥，但是宮頸癌可以通過(guò)早期的普查，予以預(yù)防和治療，從而明顯降低患病率和死亡率。而臨床診斷的核心問(wèn)題是診斷的假陽(yáng)性率較高［1-3］，那么宮頸癌細(xì)胞的特征識(shí)別就成了問(wèn)題的核心，如何識(shí)別更加有效的癌細(xì)胞特征，如何自動(dòng)化的完成分類(lèi)，是亟待解決的問(wèn)題，本文探索了從宮頸癌細(xì)胞的獲得，到細(xì)胞特征識(shí)別，并分類(lèi)的全過(guò)程，并闡述基本原理。

1 方法

深度學(xué)習(xí)可看作是多層的人工神經(jīng)網(wǎng)絡(luò)【4】，通過(guò)構(gòu)建含有多個(gè)隱層的神經(jīng)網(wǎng)絡(luò)模型，將低層特征通過(guò)逐層非線(xiàn)性特征組合變換，形成更加抽象的高層特征表達(dá)，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示【5】。卷積神經(jīng)網(wǎng)絡(luò)作為最常使用的深度學(xué)習(xí)模型之一，以2D或3D圖像直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)機(jī)器學(xué)習(xí)算法中復(fù)雜的特征提取過(guò)程，相比全連接的神經(jīng)網(wǎng)絡(luò)，其局部連接、權(quán)值共享和下采樣的特性減少了網(wǎng)絡(luò)參數(shù)的數(shù)量，降低了計(jì)算復(fù)雜度，同時(shí)對(duì)圖像的平移、縮放、旋轉(zhuǎn)等變化具有高度不變性。圖1顯示了深度卷積神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)過(guò)程，模型從原始圖像僅能學(xué)習(xí)到一些邊緣、紋理、顏色等低層特征，隨著層數(shù)的加深，模型可以學(xué)習(xí)到更抽象的包含豐富語(yǔ)義信息的高層特征。

對(duì)比目前常用的深度卷積神經(jīng)網(wǎng)絡(luò)模型LeNet【6】、AlexNet【7】、VGG【8】等，選用 ILSVRC14 競(jìng)賽中獲得冠軍的GoogLeNet【9】作為本文模型的基礎(chǔ)架構(gòu)，該模型共計(jì)22層，主要包括輸入層、2個(gè)普通卷積層、9個(gè)Inception層和若干池化層。其中，每個(gè)Inception層包含6個(gè)卷積層和1個(gè)池化層。包括Inception結(jié)構(gòu)在內(nèi)的所有卷積都使用ReLU函數(shù)。模型通過(guò)Inception結(jié)構(gòu)，在增加網(wǎng)絡(luò)寬度的同時(shí)，減少了參數(shù)的數(shù)量，降低了計(jì)算復(fù)雜度；通過(guò)在不同深度處增加兩個(gè)loss來(lái)保證梯度回傳的消失。

2 深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

2.1 網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

圖1 LeNet的模型架構(gòu)

本文采用LeNet的模型，如圖1所示。

第一層，卷積層：這一層的輸入就是原始的圖像像素，LeNet-5模型接受的輸入層大小為32*32*1。第一個(gè)卷積層過(guò)濾器的尺寸為5*5，深度為6，不使用全0填充，步長(zhǎng)為1.因?yàn)闆](méi)有使用全0填充，所以這一層的輸出的尺寸為32-5+1=28,深度為6。這一個(gè)卷積層總共有5*5*1*6+6=156個(gè)參數(shù)，其中6個(gè)為偏置項(xiàng)參數(shù)。

第二層，池化層：這一層的輸入為第一層的輸出，是一個(gè)28*28*6的節(jié)點(diǎn)矩陣。本層采用的過(guò)濾器大小為2*2，長(zhǎng)和寬的步長(zhǎng)均為2，所以本層的輸出矩陣大小為14*14*6。

第三層，卷積層：本層的輸入矩陣大小為14*14*6，使用的過(guò)濾器大小為5*5，深度為16。本層不適用全0填充，步長(zhǎng)為1。本層的輸出矩陣大小為10*10*16。按照標(biāo)準(zhǔn)的卷積層，本層應(yīng)該有5*5*6*16+16=2416個(gè)參數(shù)。

第四層，池化層：本層的輸入矩陣大小為10*10*16，采用的過(guò)濾器大小為2*2，步長(zhǎng)為2.本層的輸出矩陣大小為5*5*16。

第五層，全連接層：本層的輸入矩陣大小為5*5*16，在LeNet-5模型的論文中將這一層稱(chēng)為卷積層，但是因?yàn)檫^(guò)濾器的大小就是5*5，所以和全連接層沒(méi)有區(qū)別。本層的輸出節(jié)點(diǎn)個(gè)數(shù)為120，總共有5*5*16*120+120=48120個(gè)參數(shù)。

第六層，全連接層：本層的輸入節(jié)點(diǎn)個(gè)數(shù)為120個(gè)，輸出節(jié)點(diǎn)個(gè)數(shù)為84個(gè)，總共參數(shù)為120*84+84=10164個(gè)。

第七個(gè)，全連接層：本層的輸入節(jié)點(diǎn)個(gè)數(shù)為84個(gè)，輸出節(jié)點(diǎn)個(gè)數(shù)為10個(gè)，總共參數(shù)為84*10+10=850個(gè)。

2.2 Softmax分類(lèi)器

Softmax分類(lèi)器是除了SVM以外，另一種常見(jiàn)的線(xiàn)性分類(lèi)器，它是Logistic回歸推廣到多類(lèi)分類(lèi)的形式。原始神經(jīng)網(wǎng)絡(luò)的輸出被用作置信度來(lái)生成新的輸出，而新的輸出滿(mǎn)足概率分布的所有要求。這個(gè)新的輸出可以理解為經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)的推導(dǎo)，一個(gè)樣例為不同類(lèi)別的概率分別是多大。

2.3 數(shù)據(jù)增強(qiáng)

Keras圖片預(yù)處理工具提供了兩個(gè)很強(qiáng)大的功能：圖片增強(qiáng)功能和樣本無(wú)線(xiàn)生成功能。所有的圖片預(yù)處理工具都寫(xiě)在一個(gè)類(lèi)ImageDataGenerator中，該類(lèi)的主要功能的不斷生成一個(gè)batch的圖像數(shù)據(jù)，支持實(shí)時(shí)數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)包括均值化、白化樣本圖片，也包括對(duì)圖片的旋轉(zhuǎn)、平移、伸縮、翻轉(zhuǎn)等變換。訓(xùn)練時(shí)該函數(shù)會(huì)無(wú)限生成數(shù)據(jù)，直到達(dá)到規(guī)定的epoch次數(shù)為止。

通過(guò)Keras圖片增強(qiáng)功能，可以有效提高圖片利用率，這在一定程度上提高了深度網(wǎng)絡(luò)的性能，防止過(guò)擬合（同一張圖片的不同變換保證了模型在更多情況下對(duì)該圖片的擬合）。本文將圖片旋轉(zhuǎn)30°，水平偏移和豎直偏移的幅度都為0.1，剪切強(qiáng)度為0.2，縮放幅度為0.2，進(jìn)行水平方向翻轉(zhuǎn)，當(dāng)進(jìn)行變換時(shí)超出邊界的點(diǎn)將根據(jù)nearest的方法進(jìn)行處理。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集

本文采用的實(shí)驗(yàn)數(shù)據(jù)來(lái)自合作醫(yī)院泉州婦幼保健醫(yī)院提供的470例宮頸病變圖像，其中陽(yáng)性400例陰性(炎癥)70例， 包括CIN1總2162張圖片，CIN2總1135張圖片，CIN3總878張圖片，normal總325張圖片，總圖片數(shù)4500張。

3.2 訓(xùn)練策略

增強(qiáng)前和增強(qiáng)后的數(shù)據(jù)集均被隨機(jī)分成三部分：訓(xùn)練集50%、驗(yàn)證集25%和測(cè)試集25%。其中，訓(xùn)練集用于模型訓(xùn)練和參數(shù)學(xué)習(xí)；驗(yàn)證集用于優(yōu)化模型，在訓(xùn)練過(guò)程中對(duì)模型進(jìn)行測(cè)試，根據(jù)測(cè)試結(jié)果自動(dòng)微調(diào)參數(shù)；測(cè)試集用于測(cè)試模型的識(shí)別和泛化能力。為保證模型對(duì)未知數(shù)據(jù)的泛化能力，數(shù)據(jù)集之間互不交叉。

3.3 實(shí)驗(yàn)工具

本文模型在ASUS，Intel i7 CPU，NVIDIA GTX 1081Ti GPU上訓(xùn)練，使用keras框架，數(shù)據(jù)增強(qiáng)算法由keras的ImageDataGenerator實(shí)現(xiàn)。

3.4 實(shí)驗(yàn)結(jié)果及分析

圖2 損失和準(zhǔn)確率1

圖3 損失和準(zhǔn)確率2

從實(shí)驗(yàn)結(jié)果圖2、圖三訓(xùn)練效果看來(lái)，準(zhǔn)確率在89%左右，效果不錯(cuò)了。

4 結(jié)束語(yǔ)

本文研究了利用深度學(xué)習(xí)方法實(shí)現(xiàn)宮頸病變圖像的分類(lèi)。采用的深度卷積神經(jīng)網(wǎng)絡(luò)模型具有更深、更復(fù)雜的結(jié)構(gòu)，而參數(shù)更少，準(zhǔn)確率更高，避免了人工提取特征的復(fù)雜性和局限性。采用的數(shù)據(jù)增強(qiáng)方法有效避免了深度學(xué)習(xí)算法在樣本量不足時(shí)易出現(xiàn)的過(guò)擬合問(wèn)題，實(shí)驗(yàn)證明本文方法提高了識(shí)別率，具有較好的魯棒性和泛化性，在一定程度上滿(mǎn)足了更高要求的臨床需求。