一種改進(jìn)UNet++網(wǎng)絡(luò)用于檢測(cè)黑色素瘤皮膚病變

楊國(guó)亮，賴振東，喻丁玲

(江西理工大學(xué)電氣工程與自動(dòng)化學(xué)院，江西 贛州 341000)

圖1 AT-UNet++網(wǎng)絡(luò)結(jié)構(gòu)

惡性黑色素瘤患者死亡率高，晚期患者5年存活率僅15%，而早期患者治愈率卻高達(dá)95%[1]，及時(shí)診斷對(duì)改善黑色素瘤患者預(yù)后十分重要。受皮膚表面毛發(fā)、顏色、血管及病變皮膚與無(wú)病變皮膚對(duì)比度低等因素影響，臨床準(zhǔn)確診斷惡性黑色素瘤具有一定困難。計(jì)算機(jī)輔助診斷能有效提高對(duì)惡性黑色素瘤的診斷效率，其中準(zhǔn)確檢測(cè)病變邊界尤為重要。現(xiàn)有自動(dòng)分割算法可大致分為基于直方圖閾值處理[2-3]、基于無(wú)監(jiān)督聚類[4]、基于邊緣和區(qū)域[5]、基于活動(dòng)輪廓[6]和監(jiān)督學(xué)習(xí)[7]方法。近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)常用于圖像分割領(lǐng)域，以提高分割目標(biāo)的精度。RONNEBERGER等[8]提出U-Net網(wǎng)絡(luò)，ZHOU等[9]提出UNet++網(wǎng)絡(luò)，但均無(wú)法完全克服邊界模糊、數(shù)據(jù)類別極度不平衡及ROI小等問(wèn)題造成的分割困難。本研究提出一種優(yōu)化的UNet++模型，引入軟注意力機(jī)制，并以Tversky Focal Loss(TFL)函數(shù)作為損失函數(shù)，旨在提高現(xiàn)有算法的分割精度。

1 AT-UNet++網(wǎng)絡(luò)

1.1 數(shù)據(jù) 本研究選用由國(guó)際皮膚成像協(xié)作組織(International Skin Imaging Collaboration, ISIC)提供的2個(gè)開放皮膚鏡檢查數(shù)據(jù)庫(kù)，分別為ISIC挑戰(zhàn)2016和ISIC挑戰(zhàn)2017數(shù)據(jù)集；前者包含900幅訓(xùn)練圖片和379幅測(cè)試圖片，尺寸566×679～2 848×4 228；后者包括2 000幅訓(xùn)練圖片、150幅驗(yàn)證圖片和600幅測(cè)試圖片，尺寸540×722～4 499×6 748。每幅圖像均包含人工標(biāo)注。

隨機(jī)選擇角度，對(duì)ISIC挑戰(zhàn)2016與ISIC挑戰(zhàn)2017數(shù)據(jù)集訓(xùn)練集圖片旋轉(zhuǎn)4次，進(jìn)行數(shù)據(jù)增強(qiáng)，并將2個(gè)數(shù)據(jù)集中的所有圖像轉(zhuǎn)換為256×256，防止訓(xùn)練過(guò)擬合及數(shù)據(jù)集圖像尺寸不等而影響模型的分割精度。

1.2 AT-UNet++網(wǎng)絡(luò) AT-UNet++網(wǎng)絡(luò)由U-Net++網(wǎng)絡(luò)發(fā)展而來(lái)，是編碼-解碼網(wǎng)絡(luò)架構(gòu)，由非對(duì)稱的編碼器和解碼器組成。編碼器利用下采樣提取圖像特征，產(chǎn)生低分辨率特征圖；解碼器運(yùn)用上采樣將編碼器生成的低分辨率特征圖逐步還原為與輸入圖像等分辨率的圖像；通過(guò)編碼器不斷提取輸入圖像的特征信息形成特征圖，并向解碼器傳輸，解碼器將特征圖還原，實(shí)現(xiàn)圖像分割。AT-UNet++網(wǎng)絡(luò)共有15個(gè)卷積塊，編碼器由5個(gè)卷積塊和4個(gè)下采樣層構(gòu)成，每個(gè)卷積塊包含以修正線性單元(rectified linear unit, ReLU)[10-11]為激活函數(shù)的卷積(convolution, CONV)層、批歸一化(batch normalization， BN)層及防止過(guò)擬合的Dropout層，卷積塊之間通過(guò)下采樣層連接；解碼器共包含10個(gè)卷積塊和10次上采樣，每個(gè)卷積塊中均包含CONV層和BN層，卷積塊之間由上采樣層連接。最終通過(guò)Sigmoid激活函數(shù)輸出圖像，見圖1。

1.3 軟注意力機(jī)制 在AT-UNet++網(wǎng)絡(luò)解碼器中使用軟注意力門，可識(shí)別來(lái)自更深層級(jí)的特征，對(duì)不同層級(jí)特征進(jìn)行整合，見圖2。

圖2 軟注意力門結(jié)構(gòu)示意圖

(1)

(2)

1.4 改進(jìn)的損失函數(shù) 本研究基于Focal Loss函數(shù)[12]與Tversky Loss[13]函數(shù)提出TFL函數(shù)，其表達(dá)式：

(3)

其中，TP、FN、FP分別代表真陽(yáng)性、假陰性與假陽(yáng)性的像素個(gè)數(shù)；α、β、γ分別為假陽(yáng)性系數(shù)、假陰性系數(shù)和聚焦系數(shù)，c為樣本類別。為使損失函數(shù)能改善模型收斂性，將TFL損失函數(shù)的α和β分別設(shè)置為0.3和0.7。在ISIC挑戰(zhàn)2016測(cè)試集上進(jìn)行預(yù)實(shí)驗(yàn)，以確定γ取值，結(jié)果顯示γ為0.75時(shí)分割精度最高。最終將α、β、γ設(shè)置為0.3、0.7及0.75。

2 結(jié)果

2.1 運(yùn)行環(huán)境 實(shí)驗(yàn)在以Tensorflow為后端的Keras上進(jìn)行，電腦配置為64位Windows 10操作系統(tǒng)，CPU主頻2.6 MHz，內(nèi)存16 GB，顯卡為Nvidia GeForce GTX1080 8 G。AT-Unet++網(wǎng)絡(luò)訓(xùn)練過(guò)程中，特征提取器選用densenet201網(wǎng)絡(luò)，采用Adam優(yōu)化，學(xué)習(xí)率為10-4，批尺寸8，最大迭代次數(shù)設(shè)置為200。

2.2 評(píng)估指標(biāo) 采用逐像素分割精度(pixel-wise accuracy, ACC)、DIC相似系數(shù)(DICE similarity coefficient, DIC)及Jaccard相似指數(shù)(Jaccard index， JAI)評(píng)估模型分割性能，定義如下：

(4)

(5)

(6)

其中，TP、TN、FN及FP分別代表真陽(yáng)性、真陰性、假陰性及假陽(yáng)性區(qū)域的像素個(gè)數(shù)。

2.3 實(shí)驗(yàn)結(jié)果

2.3.1 與U-Net和UNet++網(wǎng)絡(luò)比較 在ISIC挑戰(zhàn)2016和2017的測(cè)試集分別對(duì)訓(xùn)練好的U-Net網(wǎng)絡(luò)、UNet++網(wǎng)絡(luò)、以TFL函數(shù)為損失函數(shù)的UNet++網(wǎng)絡(luò)、引入軟注意力門的UNet++網(wǎng)絡(luò)及AT-UNet++網(wǎng)絡(luò)進(jìn)行評(píng)估，結(jié)果顯示AT-UNet++網(wǎng)絡(luò)各項(xiàng)評(píng)估指標(biāo)均高于其他4種算法，在ISIC挑戰(zhàn)2016測(cè)試集上的ACC、DIC和JAI較UNet++網(wǎng)絡(luò)分別提高了3.36%、4.15%和3.95%，在ISIC挑戰(zhàn)2017測(cè)試集上分別提升了2.65%、5.01%和4.39%；U-Net網(wǎng)絡(luò)的各項(xiàng)指標(biāo)均低于其他4種算法(表1)。

相比U-Net、UNet++兩種網(wǎng)絡(luò)，AT-UNet++網(wǎng)絡(luò)在分割模糊邊界和小目標(biāo)方面有所改善，能更好地展示圖像邊緣細(xì)節(jié)信息，更加貼合人工分割真實(shí)圖像(圖3)。

2.3.2 與其他算法模型比較 將AT-UNet++網(wǎng)絡(luò)與ISIC挑戰(zhàn)2016與2017競(jìng)賽排名前5的參賽隊(duì)伍模型進(jìn)行比較，AT-UNet++網(wǎng)絡(luò)模型的ACC、DIC和JAI均高于其他算法模型(表2)。

3 討論

本研究以UNet++網(wǎng)絡(luò)為基礎(chǔ)，提出一種改進(jìn)的UNet++網(wǎng)絡(luò)模型——AT-UNet++。相比U-Net網(wǎng)絡(luò)，UNet++網(wǎng)絡(luò)的優(yōu)點(diǎn)如下：①通過(guò)短連接和長(zhǎng)連接相結(jié)合的方式將更多圖像特征提供給解碼器，并能融合多尺度特征；②在各層級(jí)子網(wǎng)絡(luò)中引入深監(jiān)督機(jī)制，監(jiān)督每個(gè)分支的輸出，并在測(cè)試階段對(duì)網(wǎng)絡(luò)進(jìn)行剪枝，可減少訓(xùn)練時(shí)間。然而使用UNet++網(wǎng)絡(luò)分割皮膚病圖像仍存在2個(gè)問(wèn)題：①UNet++網(wǎng)絡(luò)的級(jí)聯(lián)卷積和非線性激勵(lì)函數(shù)導(dǎo)滯輸出圖像丟失高維度特征與空間細(xì)節(jié)，造成對(duì)小型ROI樣本的分割精度較低；②皮膚病圖像數(shù)據(jù)類別不平衡，UNet++網(wǎng)絡(luò)以Dice Loss函數(shù)作為損失函數(shù)，易出現(xiàn)誤識(shí)別問(wèn)題。

表1 5種網(wǎng)絡(luò)分割性能評(píng)估(%)

表2 AT-UNet++網(wǎng)絡(luò)與ISIC挑戰(zhàn)2016與2017競(jìng)賽排名前5的參賽模型比較(%)

圖3 皮膚病圖像分割 A～D.分別為人工標(biāo)注圖像、UNet、UNet++和AT-UNet++網(wǎng)絡(luò)分割圖像，大病變來(lái)自ISIC挑戰(zhàn)2016數(shù)據(jù)集，小病變來(lái)自ISIC挑戰(zhàn)2017數(shù)據(jù)集

為此，本研究引入軟注意力門[14]，旨在從大量信息中有效篩選出少量信息并聚焦。聚焦過(guò)程與注意系數(shù)計(jì)算有關(guān)，像素的注意系數(shù)越大，越聚焦于其所對(duì)應(yīng)的特征信息。通過(guò)賦予小目標(biāo)較大權(quán)重系數(shù)，軟注意力門可提高模型在大背景小目標(biāo)病變圖像中對(duì)于小目標(biāo)的分割精度。本實(shí)驗(yàn)中加入軟注意力門的UNet++網(wǎng)絡(luò)ACC、DIC和JAI均優(yōu)于UNet++網(wǎng)絡(luò)，證實(shí)了上述觀點(diǎn)。

在醫(yī)學(xué)圖像處理領(lǐng)域，Dice Loss函數(shù)[10]經(jīng)常作為損失函數(shù)，定義為：

其中，TP、TN、FN及FP分別代表真陽(yáng)性、真陰性、假陰性和假陽(yáng)性區(qū)域的像素個(gè)數(shù)。Dice Loss函數(shù)對(duì)FP和FN賦予相同權(quán)重，無(wú)法應(yīng)對(duì)類別不平衡的數(shù)據(jù)。Tversky Loss函數(shù)[13]優(yōu)化了Dice Loss函數(shù)，能靈活地平衡假陽(yáng)性和假陰性，定義為：

其中，α、β為Tversky系數(shù)。Tversky Loss函數(shù)通過(guò)調(diào)整α和β平衡FP與FN而克服了Dice Loss函數(shù)對(duì)于正負(fù)樣本不平衡的局限性，但對(duì)小型ROI進(jìn)行圖像分割時(shí)，無(wú)法響應(yīng)顯著損失。LIN等[12]在傳統(tǒng)交叉熵?fù)p失函數(shù)的基礎(chǔ)上進(jìn)行改進(jìn)，提出了Focal Loss函數(shù)：

FL=-αt(1-Pt)γlog(Pt) (10)

Pt={P,y=11-P,otherwise(11)

其中,γ為聚焦系數(shù)，P表示模型對(duì)于類別y=1所得到的概率，(1-Pt)γ為調(diào)制系數(shù)。當(dāng)一個(gè)難以分割的樣本被錯(cuò)誤分割時(shí)，Pt值很小，(1-Pt)趨近1，損失不受影響；而對(duì)易分樣本，Pt趨近1，(1-Pt)γ趨近0，使其權(quán)值降低，網(wǎng)絡(luò)對(duì)難分樣本更加聚焦。本研究構(gòu)建的TFL函數(shù)兼具Tversky Loss函數(shù)與Focal Loss函數(shù)的優(yōu)點(diǎn)，可降低數(shù)據(jù)類別不均衡帶來(lái)的負(fù)面影響。

本研究提出的模型仍存在局限性，對(duì)大面積模糊邊界及嚴(yán)重毛發(fā)遮擋的病變圖像的分割效果欠佳，今后將重點(diǎn)相關(guān)研究。

綜上所述，AT-UNet++網(wǎng)絡(luò)可提升皮膚病圖像的分割效果。