基于深度學(xué)習(xí)的糖尿病性視網(wǎng)膜病變的分級(jí)

徐子和 楊麗 龔研 王培培 劉俊彤 盧小杰

摘要：糖尿病性視網(wǎng)膜病變是一種難以診斷、高風(fēng)險(xiǎn)的致盲性疾病。針對(duì)人工對(duì)圖像特征提取困難、分類準(zhǔn)確性差、耗費(fèi)時(shí)間長(zhǎng)的問(wèn)題，采用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建糖尿病性視網(wǎng)膜病變自動(dòng)分類器具有重要的臨床價(jià)值。方法：本文針對(duì)已收集好的彩色眼底圖像，通過(guò)對(duì)圖像的清洗、擴(kuò)增、歸一化構(gòu)建糖尿病性視網(wǎng)膜病變數(shù)據(jù)集。利用VGG16與FCN的優(yōu)點(diǎn)將其結(jié)合，將全連接層改造為卷積層，構(gòu)建新的糖尿病性視網(wǎng)膜病分類模型。將ImageNet充分訓(xùn)練好的VGG16網(wǎng)絡(luò)模型參數(shù)作為本文模型初始化參數(shù)，送入已改造的神經(jīng)網(wǎng)絡(luò)模型提取特征，最后輸出分類結(jié)果。結(jié)果：實(shí)驗(yàn)結(jié)果表明，本文提出的深度學(xué)習(xí)分類方法的準(zhǔn)確率與損失值均優(yōu)于傳統(tǒng)同類別的卷積神經(jīng)網(wǎng)絡(luò)分類算法，對(duì)臨床診斷參考有重要的意義。結(jié)論：本文利用的方法對(duì)解決數(shù)據(jù)分布不均衡和過(guò)擬合的問(wèn)題有一定的促進(jìn)作用，具有較好的魯棒性。

關(guān)鍵詞：糖尿病視網(wǎng)膜病變;圖像識(shí)別;卷積神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí)

中圖分類號(hào)：TP391? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）03-0001-03

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

糖尿病已成為繼心腦血管疾病、腫瘤之后另一個(gè)嚴(yán)重危害我國(guó)人民健康的重要慢性非傳染性疾病[1]。I型、II型糖尿病患者因糖尿病視網(wǎng)膜病變而致盲的比例分別為86%、33%[2-4]。因此，若不及時(shí)對(duì)糖尿病性視網(wǎng)膜病變進(jìn)行有效診斷和預(yù)防，糖尿病患者失明的風(fēng)險(xiǎn)將隨著病程和年齡的增長(zhǎng)而大大提高。

隨著人工智能的發(fā)展，深度學(xué)習(xí)開始走進(jìn)醫(yī)療領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)對(duì)復(fù)雜數(shù)據(jù)的表示能力有助于其識(shí)別傳統(tǒng)分類器難以區(qū)分的復(fù)雜疾病[5-8]。深度學(xué)習(xí)在皮膚癌檢測(cè)、乳腺癌檢測(cè)、血管檢測(cè)等領(lǐng)域取得了重大突破的同時(shí)，在糖尿病視網(wǎng)膜病變的分期和檢測(cè)中也取得了不錯(cuò)的效果[9-11]。因此，應(yīng)用深度學(xué)習(xí)算法對(duì)糖尿病性視網(wǎng)膜病變的分級(jí)診斷是有意義的，也順應(yīng)了當(dāng)今醫(yī)療信息化與智能化的發(fā)展，更為解決此類疾病的診斷的難題帶來(lái)了希望。

1數(shù)據(jù)集的搭建與預(yù)處理

1.1數(shù)據(jù)集簡(jiǎn)介

本文利用Kaggle網(wǎng)站中的35172張眼底圖像數(shù)據(jù)集。數(shù)據(jù)集根據(jù)實(shí)際病變程度進(jìn)行劃分為5個(gè)等級(jí)，從癥狀的輕到重對(duì)應(yīng)0～4的編號(hào)。各個(gè)等級(jí)與病變的對(duì)應(yīng)如表1所示。數(shù)據(jù)集每個(gè)等級(jí)對(duì)應(yīng)的數(shù)量分布關(guān)系分布如圖1所示。

各個(gè)病變等級(jí)對(duì)應(yīng)的圖像如圖2所示，圖a代表健康的無(wú)視網(wǎng)膜病變的圖像，由此類推，圖a至圖e分別代表病變由淺至深的五個(gè)等級(jí)。

1.2數(shù)據(jù)集預(yù)處理

1.2.1數(shù)據(jù)清洗與篩選

在訓(xùn)練之前，本文先對(duì)數(shù)據(jù)集進(jìn)行相關(guān)的清洗與預(yù)處理操作。針對(duì)數(shù)據(jù)集的實(shí)際情況，通過(guò)對(duì)比標(biāo)準(zhǔn)規(guī)范的圖像，剔除不符合要求的相關(guān)圖像如圖3所示。如亮度過(guò)暗的（圖a）、曝光過(guò)高（圖b）的圖像。

1.2.2數(shù)據(jù)擴(kuò)充

對(duì)數(shù)據(jù)進(jìn)行合理擴(kuò)增如圖4所示。對(duì)清洗后的圖像進(jìn)行剪裁，剪裁后的圖像（圖a）能夠更好地突出特征，便于后期對(duì)圖片像素進(jìn)行充分地讀入。對(duì)圖片旋轉(zhuǎn)90度（圖b），旋轉(zhuǎn)180度（圖c）后與原數(shù)據(jù)集合并，從而將數(shù)據(jù)集擴(kuò)充至原來(lái)的三倍。數(shù)據(jù)集擴(kuò)充將樣本少的數(shù)據(jù)集向樣本多的數(shù)據(jù)集靠攏，解決了數(shù)據(jù)不平衡的問(wèn)題。

1.2.3數(shù)據(jù)歸一化

數(shù)據(jù)歸一化是為了在訓(xùn)練的過(guò)程中可以加速網(wǎng)絡(luò)的收斂、達(dá)到更好訓(xùn)練效果而對(duì)樣本的統(tǒng)計(jì)特性進(jìn)行歸納統(tǒng)一，本文采用線性函數(shù)轉(zhuǎn)化方法，具體轉(zhuǎn)化方法為公式（1）：

[y=x-minValuemaxValue-minValue? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （1）]

上式中[x]、[y]分別為轉(zhuǎn)換前、后的值，[maxValue]、[minValue]分別為樣本的最大值和最小值[12]。

2訓(xùn)練模型設(shè)計(jì)

2.1卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是為圖像分類而發(fā)展起來(lái)的，只要輸入的信號(hào)滿足多層次結(jié)構(gòu)、特征局部性和平移不變性三個(gè)特性均可以采用卷積神經(jīng)網(wǎng)絡(luò)。在圖像處理中，卷積運(yùn)算為公式（2）和（3）：

[? ? gx，y=m=j，n=jm=i，n=ifx+m，y+nhm，n? ? ? ? ? ? ?2]

[? ? ? ? ? ? ? ? g=f*h? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?3]

其中[x，y]為中心像素的坐標(biāo)，[x=1，2，……，h，y=1，2，……，w]，[ h]為圖像的高度，[w]為圖像的寬度。卷積需要遍歷整個(gè)圖像。[f]為原始圖像矩陣，[g]為運(yùn)算出的新圖像矩陣。[h]為卷積核，卷積核大小為[（i-j×i-j）]，[*]為運(yùn)算符。由此可看出，卷積運(yùn)算即濾波運(yùn)算，所以卷積核也被稱為濾波器。

2.2 深度學(xué)習(xí)訓(xùn)練模型設(shè)計(jì)

VGGNet探索了卷積神經(jīng)網(wǎng)絡(luò)的深度和其性能之間的關(guān)系，通過(guò)反復(fù)地堆疊3×3的小型卷積核和2×2的最大池化層，成功地構(gòu)建了16～19層深的卷積神經(jīng)網(wǎng)絡(luò)。FCN為全連接卷積神經(jīng)網(wǎng)絡(luò)，用于圖像的分割。FCN將CNN中末尾的全連接層改為卷積層，使整個(gè)網(wǎng)絡(luò)模型能接收任意大小的輸入圖像尺寸，避免了由于尺寸不同帶來(lái)的重復(fù)存儲(chǔ)和復(fù)雜計(jì)算的問(wèn)題[13-14]。

2.2.1 網(wǎng)絡(luò)模型

VGG16網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，模型參數(shù)繁多，從頭開始訓(xùn)練必然會(huì)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練不充分、模型難以收斂等情況。本文預(yù)先利用已經(jīng)在VGG16網(wǎng)絡(luò)上預(yù)先訓(xùn)練的ImageNet數(shù)據(jù)集參數(shù)作為網(wǎng)絡(luò)的初始化參數(shù)。再利用VGG16網(wǎng)絡(luò)進(jìn)行本文數(shù)據(jù)集的特征提取。VGG16網(wǎng)絡(luò)模型特征提取框架及各個(gè)層數(shù)如圖5所示。

2.2.2 圖像自動(dòng)分類

全連接層的作用是將經(jīng)過(guò)多個(gè)卷積層和池化層的圖像特征圖中的特征進(jìn)行整合，獲取圖像特征具有的高層含義，用于圖像分類[14]。針對(duì)糖尿病性視網(wǎng)膜病變圖像中病變區(qū)域難以檢測(cè)和提取的問(wèn)題，本文將VGG16網(wǎng)絡(luò)與FCN網(wǎng)絡(luò)的優(yōu)點(diǎn)進(jìn)行融合。先用VGG16網(wǎng)絡(luò)充分提取數(shù)據(jù)集中圖像的特征，再利用FCN的特點(diǎn)將全連接層改造為7×7和1×1的卷積層用于圖像的分類。輸入尺寸為224×224×3的圖像，經(jīng)過(guò)特征提取框架得到尺寸為7×7×512的圖像，空間尺寸縮小了32倍，輸出神經(jīng)元個(gè)數(shù)高達(dá)138357544。而經(jīng)過(guò)一個(gè)全連接層改造后的卷積層則只需要進(jìn)行一次前向傳播，大大共享了計(jì)算資源，使得計(jì)算更加高效。因此，全連接層改造為卷積層后，可以在一次前向傳播中讓更大的圖像進(jìn)行充分卷積。為了防止過(guò)擬合，在卷積層Fc1以及Fc2后均引入了Dropout層，并在之后添加relu線性修正單元，解決梯度彌散。圖像自動(dòng)分類器如圖6所示。

3實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)方法的實(shí)現(xiàn)基于Python3.5平臺(tái)，使用深度學(xué)習(xí)框架tensorflow，數(shù)據(jù)預(yù)處理及增強(qiáng)使用pillow庫(kù)，利用一塊顯存為11G的NVIDIA GeForce RTX 2080Ti顯卡訓(xùn)練100個(gè)epoches得到訓(xùn)練模型。輸入圖像尺寸統(tǒng)一設(shè)定為224×224，為了驗(yàn)證訓(xùn)練模型效果，本文將數(shù)據(jù)集按照5：1的比例劃分為訓(xùn)練集和測(cè)試集，訓(xùn)練集和測(cè)試集互不交叉。

對(duì)于圖像分類，判斷分類模型的性能通常采用圖像分類的準(zhǔn)確率和損失值。準(zhǔn)確率acc表示為測(cè)試集中被正確分類的圖像個(gè)數(shù)num除以測(cè)試集中圖像的數(shù)量sum[15]，即：

[acc==numsum? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?4]

損失值計(jì)算本文采用多分類交叉熵作為損失函數(shù)。交叉熵描述兩個(gè)概率分布的距離，令p（x）為真實(shí)值，q（x）為預(yù)測(cè)值，則p交叉熵為：

[Hp，q=-pxlogqx? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（5）]

在神經(jīng)網(wǎng)絡(luò)分類任務(wù)中，輸出的并不一定是概率，更多的是實(shí)數(shù)。則利用softmax函數(shù)將神經(jīng)網(wǎng)絡(luò)前向傳播的結(jié)果變?yōu)楦怕史植?。設(shè)神經(jīng)網(wǎng)絡(luò)輸出的結(jié)果為[y1，y2]，[y3……yn]，則經(jīng)過(guò)softmax輸出的結(jié)果為：

[softmaxyi=y'i=yij=1nyj? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （6）]

根據(jù)上述原理，繪制出訓(xùn)練模型的準(zhǔn)確率以及損失值圖像，如圖7所示。由圖可以看出，在VGG16模型中訓(xùn)練集的acc基本保持在0.735左右，測(cè)試集acc保持在0.738左右。損失值方面，訓(xùn)練集的loss迅速下降，測(cè)試集loss維持在0.8左右，最低可在0.6。acc與loss均小幅震蕩則表明網(wǎng)絡(luò)已經(jīng)收斂。

本文結(jié)果與使用同一數(shù)據(jù)集在未改造的VGG16模型上分類結(jié)果進(jìn)行對(duì)比，結(jié)果如表2所示?？梢钥闯霰疚奶岢龅姆椒ù蟠筇岣吡藴?zhǔn)確率。

4 總結(jié)

本文利用卷積神經(jīng)網(wǎng)絡(luò)方法對(duì)糖尿病性視網(wǎng)膜圖像進(jìn)行分類。為了提高分類的準(zhǔn)確率，加快模型收斂速度，本文在經(jīng)典VGG16模型上將FCN與VGG模型融合進(jìn)行改造。首先引入ImageNet訓(xùn)練參數(shù)作為初始訓(xùn)練權(quán)重，接著經(jīng)過(guò)深度學(xué)習(xí)提取框架進(jìn)行特征提取，最后將提取的特征經(jīng)過(guò)改造后的全連接層進(jìn)行分類。本文提出的提取方法大大提高了傳統(tǒng)VGG16分類方法的準(zhǔn)確率，對(duì)比其他分類算法也有不同程度的提升，優(yōu)于普通醫(yī)生的分類效率與準(zhǔn)確率。但在圖像處理與清洗，模型優(yōu)化上還有提升空間，因此在后續(xù)的工作中將設(shè)計(jì)圖像處理算法以突出局部病變的特征，并將各個(gè)模塊整合成系統(tǒng)用于糖尿病性視網(wǎng)膜圖像的自動(dòng)分類。

參考文獻(xiàn)：

[1] 楊文英.中國(guó)糖尿病的流行特點(diǎn)及變化趨勢(shì)[J].中國(guó)科學(xué)：生命科學(xué)，2018，48（8）：812-819.

[2] 孫艷麗，張駿.維生素D水平與2型糖尿病視網(wǎng)膜及黃斑病變的相關(guān)研究[J].中國(guó)生化藥物雜志，2016，36（8）：141-144.

[3] 陳霞琳，汪迎，張凱，等.糖尿病性視網(wǎng)膜病變相關(guān)危險(xiǎn)因素分析[J].臨床眼科雜志，2013，21（4）：35-37.

[4] 羅院生.從視網(wǎng)膜圖像到糖尿病視網(wǎng)膜病變?cè)\斷[D].成都：電子科技大學(xué)，2017.

[5] Convolutional Nets and Fully Connected CRFs[C]//International Conference on Learning Representations， 2015.

[6] Esteva A，Kuprel B，Novoa R A，et al.Dermatologist-level classification of skin cancer with deep neural networks[J].Nature，2017，542（7639）：115-118.

[7] Sabouri P，GholamHosseini H.Lesion border detection using deep learning[C]//2016 IEEE Congress on Evolutionary Computation （CEC）.July 24-29，2016，Vancouver，BC，Canada.IEEE，2016：1416-1421.

[8] 馬文婷.面向眼科醫(yī)學(xué)圖像的病變檢測(cè)研究[D].北京：北京交通大學(xué)，2018.

[9] Wang D Y，Khosla A，Gargeya R，et al.Deep learning for identifying metastatic breast cancer[EB/OL].2016

[10] Liu Y，Gadepalli K，Norouzi M，et al.Detecting cancer metastases on gigapixel pathology images[EB/OL].2017：arXiv：1703.02442[cs.CV].https：//arxiv.org/abs/1703.02442

[11] Networks.[J]. IEEE Transactions on Medical Imaging， 2016， 35（11）：23692380.

[12] 李瓊，柏正堯，劉瑩芳.糖尿病性視網(wǎng)膜圖像的深度學(xué)習(xí)分類方法[J].中國(guó)圖象圖形學(xué)報(bào)，2018，23（10）：1594-1603.

[13]Karen S， Andrew Z. Very deep convolutional networks for large-scale image recognition. In： Bengio Y， Lecun Y， eds. 3rd International Conference on Learning Representations. San Diego： Conference Track Proceedings， 2015. https：//arxiv.org/abs/1409.1556

[14] Shelhamer E，Long J，Darrell T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（4）：640-651.

[15] 蘇炯銘，劉鴻福，項(xiàng)鳳濤，等.深度神經(jīng)網(wǎng)絡(luò)解釋方法綜述[J].計(jì)算機(jī)工程. https：//doi.org/10.19678/j.issn.1000-3428.0057951

[16] 丁蓬莉，李清勇，張振，等.糖尿病性視網(wǎng)膜圖像的深度神經(jīng)網(wǎng)絡(luò)分類方法[J].計(jì)算機(jī)應(yīng)用，2017，37（3）：699-704.

【通聯(lián)編輯：唐一東】