基于深度學(xué)習(xí)的眼底病變區(qū)域自動(dòng)分割*

李 倩 韓俊剛 賈 陽(yáng) 魏 強(qiáng) 祝立陽(yáng) 湯少杰 石 蕊

（1.西安郵電大學(xué)計(jì)算機(jī)學(xué)院 西安 710121）（2.陜西省大數(shù)據(jù)智能處理重點(diǎn)實(shí)驗(yàn)室 西安 710121）（3.西安郵電大學(xué)自動(dòng)化學(xué)院 西安 710121）（4.陜西省人民醫(yī)院眼科 西安 710068）

1 引言

黃斑是人眼中對(duì)光線(xiàn)最敏感的凹形區(qū)域，黃斑水腫是很多視網(wǎng)膜疾病的發(fā)病前兆。導(dǎo)致黃斑水腫的常見(jiàn)疾病有糖尿病視網(wǎng)膜病變（DME）［1］和年齡相關(guān)性黃斑病變（AMD）［2］等。因此，從眼底圖像中檢測(cè)黃斑水腫是非常有必要的。

在醫(yī)學(xué)診斷領(lǐng)域，由于其無(wú)創(chuàng)性、無(wú)輻射、非侵入、高分辨率、高探測(cè)靈敏度、圖像獲取安全高效等特點(diǎn)，光學(xué)相干層析成像（Optical Coherence Tomography，OCT）已廣泛應(yīng)用于視網(wǎng)膜疾病的臨床診斷與科學(xué)研究中［3］。在OCT 眼底視網(wǎng)膜液體圖像中分析黃斑液體變化，已有多個(gè)研究小組開(kāi)展了研究。Fernandez 等［4］用梯度矢量流模型得到視網(wǎng)膜液體區(qū)域面積，該方法抗噪性能較差且分割過(guò)程耗時(shí)。Dolejsi 等［5］對(duì)伴隨濕性年齡相關(guān)性黃斑變性的癥狀性滲出相關(guān)的紊亂積液區(qū)域進(jìn)行分割，但是最終分割效果不夠理想。Wilkin 等［6］采用視網(wǎng)膜囊腫分割技術(shù)在OCT 圖像中自動(dòng)分割出囊腫積液區(qū)域。文獻(xiàn)［4］～［6］方法本質(zhì)上是相同的，都是在分割前標(biāo)記出感興趣區(qū)域。Ahler 等［7］使用OCT 檢測(cè)纖維組織的色素上皮層脫離的位置并測(cè)量其體積。Quellec 等［8］采用分類(lèi)方法在二維譜域OCT 圖像中檢測(cè)癥狀性滲出相關(guān)的紊亂積液區(qū)域。Penha等［9］采用Cirrus譜域OCT成像系統(tǒng)及其自動(dòng)測(cè)量算法測(cè)量色素上皮層脫離的面積和體積。Zheng等［10］使用一個(gè)交互式分割方法來(lái)定量分析37 個(gè)譜域OCT 圖像中滲出性年齡相關(guān)性黃斑變性視網(wǎng)膜的上/下積液區(qū)域。何錦濤等［11］用改進(jìn)的水平集方法進(jìn)行糖尿病視網(wǎng)膜黃斑水腫區(qū)域分割。文獻(xiàn)［8］～［11］方法本質(zhì)上是相同的，但都是單任務(wù)病變區(qū)域分割。Chiu 等［12］提出一種關(guān)于層和視網(wǎng)膜液分割的方法，該方法僅能從層信息的SRF中分離出視網(wǎng)膜內(nèi)囊樣液體。Roy 等［13］提出了一種端到端學(xué)習(xí)框架ReLayNet，用于分割人眼OCT 圖像中的多個(gè)視網(wǎng)膜層和描述液囊，但該方法在訓(xùn)練過(guò)程中操作比較復(fù)雜且分割效果仍不夠理想。Lee 等［14］使用U-Net 深度網(wǎng)絡(luò)框架進(jìn)行流體分割，不需要分層，但該方法無(wú)法區(qū)分視網(wǎng)膜間和視網(wǎng)膜下液體類(lèi)型。

綜上所述，這些分割方法基本上都存在計(jì)算量大、耗時(shí)多、分割任務(wù)單一等缺點(diǎn)。因此急需一種計(jì)算量小、多任務(wù)的自動(dòng)分割方法。本文通過(guò)一種基于深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）的先分類(lèi)后分割的眼底病變區(qū)域自動(dòng)分割方法，實(shí)現(xiàn)了視網(wǎng)膜水腫（REA）、視網(wǎng)膜下液（SRF）和色素上皮剝離（PED）三類(lèi)液膜的精準(zhǔn)自動(dòng)分割。

2 方法

本文提出一種基于深度學(xué)習(xí)的眼底病變區(qū)域自動(dòng)分割方法。首先使用遷移學(xué)習(xí)InceptionV4 模型對(duì)數(shù)據(jù)集進(jìn)的病變類(lèi)型分類(lèi)，然后在將分類(lèi)結(jié)果用GAN進(jìn)行OCT圖像病變區(qū)域自動(dòng)分割。

2.1 數(shù)據(jù)集

視網(wǎng)膜水腫圖像數(shù)據(jù)集是從全球AI 挑戰(zhàn)賽網(wǎng) 頁(yè) 上 獲 取 的（https：//challenger.ai/competition/fl2018）。將數(shù)據(jù)集中70 組作為訓(xùn)練集、15 組作為測(cè)試集、15 組作為驗(yàn)證集。數(shù)據(jù)集中原始圖像格式為OCT，圖像矩陣大小為512×1024 像素。為了平衡網(wǎng)絡(luò)計(jì)算，保留足夠的圖像信息，將OCT 圖像轉(zhuǎn)換為JPG 格式，并將圖像矩陣大小調(diào)整為512 像素×512像素。

整個(gè)數(shù)據(jù)集中病變數(shù)據(jù)分布嚴(yán)重不均衡，需要進(jìn)行均衡增強(qiáng)。在預(yù)處理過(guò)程中，將像素灰度值歸一化到0～255 間，然后使用圖像熵提取圖像上的感興趣區(qū)域，對(duì)包含有用信息的圖像塊進(jìn)行采樣，再對(duì)這些圖像塊用直方圖均衡算法進(jìn)行有針對(duì)性的均衡增強(qiáng)。

圖1 圖像尺寸調(diào)整

2.2 分類(lèi)網(wǎng)絡(luò)構(gòu)建

圖2 展示了幾個(gè)視網(wǎng)膜水腫病變典型OCT 圖像切片。由于每張OCT 圖像切片中的病變區(qū)域形態(tài)存在較大差異，若直接使用神經(jīng)網(wǎng)絡(luò)進(jìn)行自動(dòng)分割，很難做到對(duì)每張OCT圖像切片中病變區(qū)域的完美分割。考慮到目標(biāo)區(qū)域的不同，首先對(duì)所有OCT圖像切片進(jìn)行病變類(lèi)型的分類(lèi)，降低水腫病變區(qū)域差異性，提高基于GAN 的自動(dòng)分割效果。為了提高視網(wǎng)膜水腫區(qū)域圖像的自動(dòng)分割精度，對(duì)PED、SRF與REA等進(jìn)行如表1中的分類(lèi)編碼。

圖2 視網(wǎng)膜典型OCT圖像切片

表1 分類(lèi)編碼標(biāo)簽

InceptionV4是一個(gè)多尺度CNN，網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。Google 在2017 年提出InceptionV4 模型［15］，并在ILSVRC 數(shù)據(jù)集上進(jìn)行測(cè)試驗(yàn)證，實(shí)現(xiàn)了3.08%的錯(cuò)誤率。該模型由Inception Module 和Reduction Module 組合而成，通過(guò)進(jìn)行多次卷積和非線(xiàn)性變化，擴(kuò)增網(wǎng)絡(luò)性能。通過(guò)對(duì)InceptionV4 使用不同卷積核提取圖像特征，進(jìn)行水腫類(lèi)型的分類(lèi)，可將所有OCT 圖像切片分為None、PED alone、REA+SRF、REA+PED、All不同類(lèi)別。

圖3 InceptionV4分類(lèi)網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3 生成對(duì)抗網(wǎng)絡(luò)

GAN由Goodfellow等［16］于2014年提出，該模型繞過(guò)了求解似然函數(shù)的困難，直接生成樣本擬合訓(xùn)練數(shù)據(jù)的分布。GAN 由生成器G和判別器D 構(gòu)成，生成器G 使用隨機(jī)噪聲z 作為輸入，并將其映射到樣本空間。判別器D 判斷出輸入樣本是真實(shí)數(shù)據(jù)還是生成數(shù)據(jù)。兩者交替訓(xùn)練直到達(dá)到納什平衡，訓(xùn)練流程如圖4 所示。最終生成器G 生成的數(shù)據(jù)分布與真實(shí)樣本的分布非常接近。

圖4 生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)圖

GAN 本質(zhì)是一個(gè)二元極大極小博弈優(yōu)化問(wèn)題，數(shù)學(xué)描述如下：

其中x 代表真實(shí)數(shù)據(jù)。當(dāng)判別器D 的輸入為真實(shí)樣本時(shí)，其輸出D（x）接近1，即為真；當(dāng)判別器D 的輸入來(lái)源于生成器G 時(shí)，輸出D（G（z））接近于0，即為假。

2.3.1 生成器

為了使得生成模型能夠分割視網(wǎng)膜水腫病變區(qū)域，需要對(duì)原始GAN 進(jìn)行相應(yīng)改進(jìn)。網(wǎng)絡(luò)輸入為原始視網(wǎng)膜水腫圖像，輸出是對(duì)應(yīng)水腫區(qū)域標(biāo)記圖像。同時(shí)加入了L1 懲罰項(xiàng)，讓生成的圖像邊緣更加合理，損失函數(shù)定義如下。

圖5 生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)圖

其中x和y分別表示輸入水腫圖像和所對(duì)應(yīng)標(biāo)記圖像。λ1和λ2分別用來(lái)平衡對(duì)抗網(wǎng)絡(luò)損失和懲罰項(xiàng)。

由于U-Net在醫(yī)學(xué)圖像分割上的優(yōu)良性能，本文將其用作生成器。淺層CNN 可以提取圖像低層次特征，這些低級(jí)特征可在輸入和輸出間被大量共享，本文使用了跳遠(yuǎn)連接（Skip Connection）來(lái)實(shí)現(xiàn)該功能，對(duì)于n 層的網(wǎng)絡(luò)結(jié)構(gòu)，將第i 層和n-i+1 層進(jìn)行連接，將低級(jí)特征直接連接到反卷積層，提高分割結(jié)果的空間分辨率與準(zhǔn)確性。

2.3.2 判別器

在判別模型中，判別器D 通過(guò)CNN 提取不同視網(wǎng)膜水腫圖片特征上的差異作為判別依據(jù)，輸入為真實(shí)樣本數(shù)據(jù)時(shí)，輸出接近1，輸入為生成數(shù)據(jù)時(shí)，輸出接近0。在網(wǎng)絡(luò)中加入批標(biāo)準(zhǔn)化層，降低初始化參數(shù)對(duì)訓(xùn)練結(jié)果的影響、加快訓(xùn)練速度。同時(shí)使用Leaky-ReLU 作為非線(xiàn)性激活函數(shù)，帶步幅（Strided=2）的卷積層代替池化層（pooling）。在判別模型中，數(shù)據(jù)首先經(jīng)過(guò)合并層，然后依次流經(jīng)卷積層、批標(biāo)準(zhǔn)化層，最后經(jīng)過(guò)全連接層輸出分類(lèi)概率。

3 實(shí)驗(yàn)

3.1 參數(shù)與配置

本文使用Adam 優(yōu)化器來(lái)進(jìn)行梯度下降，學(xué)習(xí)率為0.0002，minibatch = 1，迭代次數(shù)為300。實(shí)驗(yàn)環(huán)境為DGX-1 服務(wù)器，配置8 個(gè)Tesla V100 GPU，2個(gè)Intel Xeon處理器，512GB內(nèi)存。訓(xùn)練時(shí)長(zhǎng)為6小時(shí)23分鐘。

3.2 定性評(píng)價(jià)

圖6 中A～D 這四行分別是從不同病變類(lèi)型的OCT 切片層中抽取的，第一列是原始OCT 圖像，第二列是醫(yī)生的標(biāo)注圖像作為金標(biāo)準(zhǔn)，第三列是使用L1 正則化的損失函數(shù)作為目標(biāo)函數(shù)的分割結(jié)果，第四列是使用L2 正則化的分割結(jié)果。從L1 和L2結(jié)果對(duì)比可見(jiàn)，L1 分割結(jié)果輪廓與真實(shí)值間的吻合度要比L2 分割結(jié)果輪廓更好。從B～D 行可見(jiàn)，使用L2 正則化可能將水腫區(qū)域錯(cuò)誤地分割為背景區(qū)域。

圖6 原始OCT圖像、作為金標(biāo)準(zhǔn)的醫(yī)生標(biāo)注圖像、自動(dòng)分割結(jié)果

3.3 定量評(píng)價(jià)

為了客觀地驗(yàn)證本文方法的性能，首先對(duì)不同分類(lèi)結(jié)果進(jìn)行對(duì)比，然后將使用GAN 與水平集方法的分割結(jié)果進(jìn)行比較，并通過(guò)精確度（Precision）、靈敏度（Sensitivity）和Dice 相似性系數(shù)（Dice similarity coefficient）、召回率（Recall）等評(píng)價(jià)指標(biāo)進(jìn)行定量評(píng)價(jià)。Dice相似性系數(shù)定義如下：

其中X 為G 輸出分割結(jié)果的眼部水腫像素集，Y 為真實(shí)圖像的眼部水腫像素集。Dice 相似性系數(shù)越大，兩幅圖像中的分割結(jié)果越相似。三個(gè)評(píng)價(jià)指標(biāo)定義如下：

其中TP表示正確分類(lèi)分割為病變區(qū)域的像素?cái)?shù)，F(xiàn)N表示病變區(qū)域被不正確分類(lèi)分割為背景區(qū)域的像素?cái)?shù)，F(xiàn)P表示背景區(qū)域被錯(cuò)誤分類(lèi)分割為病變區(qū)域的像素?cái)?shù)，TN表示被正確分類(lèi)分割為背景區(qū)域的像素?cái)?shù)。Recall表示正確分割的病變區(qū)域的像素個(gè)數(shù)與真實(shí)結(jié)果中像素個(gè)數(shù)的比值。Sensitivity表示正確分割的背景區(qū)域的像素個(gè)數(shù)與整個(gè)背景像素個(gè)數(shù)之比。Precision 表示正確分割的病變區(qū)域的像素個(gè)數(shù)與整個(gè)病變區(qū)域的像素個(gè)數(shù)之比。

本文采用不同方法進(jìn)行分類(lèi)，對(duì)比分析結(jié)果如表2 所示，從中可見(jiàn)InceptionV4 分類(lèi)結(jié)果的召回率、特異性、精確性指標(biāo)更高，證明了本文方法的可行性。表3 中結(jié)果對(duì)本文方法的視網(wǎng)膜水腫圖像分割結(jié)果進(jìn)行了定量分析，計(jì)算得到平均Dice相似性系數(shù)達(dá)到0.72、0.77、0.77，表明病變區(qū)域分割結(jié)果與真實(shí)較相似。召回率、特異性、精確性三個(gè)指標(biāo)都很高，證明了該方法的魯棒性和準(zhǔn)確性。從表4可見(jiàn)，使用本文GAN 比水平集方法的分割效果更好。

表2 定量分類(lèi)結(jié)果

表3 定量分割結(jié)果

表4 不同分割方法對(duì)比

4 結(jié)語(yǔ)

本文利用CNN 實(shí)現(xiàn)了眼底圖像水腫病變區(qū)域的自動(dòng)分割。發(fā)現(xiàn)如果直接采用GAN 對(duì)OCT 圖像進(jìn)行病變區(qū)域分割，無(wú)法完整分割出病變區(qū)域；而采用先分類(lèi)后分割的處理策略，最終能夠完整分割出病變區(qū)域，提高了分割的準(zhǔn)確性。本文使用不同正則化損失函數(shù)對(duì)分割方法進(jìn)行優(yōu)化，并采用多種定量指標(biāo)對(duì)分割結(jié)果進(jìn)行評(píng)價(jià)，實(shí)驗(yàn)結(jié)果表明使用L1 正則化能使病變區(qū)域的分割性能更好。與水平集分割方法相比，本文方法能夠更準(zhǔn)確地分割視網(wǎng)膜水腫圖像。可以預(yù)期本文方法能否輔助相關(guān)疾病的早期診斷和治療后效果評(píng)估。