基于SIM-UNet++的眼底彩照視盤(pán)分割方法的研究

祝來(lái)李

（西南民族大學(xué)電子信息學(xué)院，成都 610041）

0 引言

青光眼和病理性近視是常見(jiàn)的眼科疾病，其對(duì)視力造成的傷害是不可逆的。隨著AI 醫(yī)療的不斷發(fā)展，專家們對(duì)預(yù)防眼科疾病也有了更加科學(xué)的方法。例如，可以通過(guò)在眼底彩照中觀察杯盤(pán)比大小是否存在擴(kuò)大來(lái)診斷青光眼疾病，其中杯盤(pán)比是判斷青光眼的重要指標(biāo)。目前杯盤(pán)比通常是由眼科醫(yī)生依靠多年的經(jīng)驗(yàn)和觀察眼底彩色照片獲得。然而人工觀測(cè)存在許多缺點(diǎn)，人工篩查不但耗時(shí)，而且對(duì)醫(yī)生的專業(yè)程度要求很高，所以需要自動(dòng)篩查方法。因此，視盤(pán)的定位和分割對(duì)于眼底疾病智能診斷是至關(guān)重要的。

本文基于UNet++模型提出了SimAM-UNet++，其是一種無(wú)參注意力機(jī)制的UNet++網(wǎng)絡(luò)。本文的創(chuàng)新點(diǎn)如下：①在UNet++網(wǎng)絡(luò)中融入無(wú)參注意力機(jī)制，在不增加參數(shù)量的基礎(chǔ)上提升網(wǎng)絡(luò)的性能。②采用直方圖均衡化的方法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，通過(guò)改變圖片區(qū)域的顏色和插值結(jié)果來(lái)增強(qiáng)對(duì)比度，以此凸顯視盤(pán)區(qū)域；采用數(shù)據(jù)增強(qiáng)的技術(shù)對(duì)數(shù)據(jù)進(jìn)行了數(shù)據(jù)增量操作，降低模型訓(xùn)練過(guò)擬合的風(fēng)險(xiǎn)，提高分割性能。③采用DICE loss，可以減少過(guò)擬合。

1 相關(guān)工作

隨著深度人工智能的發(fā)展，深度學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域的應(yīng)用也越來(lái)越廣泛，并且能夠幫助人們解決一些實(shí)際的問(wèn)題。在本節(jié)中，我們回顧了利用人工智能技術(shù)對(duì)眼底彩照視盤(pán)進(jìn)行分割的研究結(jié)果。

Frage 等［1］介紹了一種多階段的方法，基于傳統(tǒng)算法完成對(duì)視盤(pán)的分割，首先檢測(cè)出整體的亮斑區(qū)域，然后再通過(guò)霍夫變換細(xì)化亮斑區(qū)域，得到具體位置。Welfer 等［2］提出了一種基于血管結(jié)構(gòu)模型的自適應(yīng)方法。該方法第一步確定視盤(pán)的區(qū)域，然后通過(guò)血管的特征來(lái)判斷綠色通道的前景和背景，在背景區(qū)域中檢測(cè)視盤(pán)的具體位置。Aquino 等［3］提出了一種視神經(jīng)盤(pán)分割算法，該方法采用投票法確定最終結(jié)果。首先利用形態(tài)學(xué)算法去除血管部分，然后通過(guò)邊緣檢測(cè)等處理得到視神經(jīng)盤(pán)邊界候選的二元掩膜，然后再通過(guò)霍夫變換計(jì)算視神經(jīng)盤(pán)的圓形近似區(qū)域。

Tjandrasa 等［4］通過(guò)分割活動(dòng)輪廓的方法，首先對(duì)輸入圖片進(jìn)行灰度處理，然后再通過(guò)霍夫變換定位視神經(jīng)盤(pán)的位置。Lupascu 等［5］通過(guò)擬合與視神經(jīng)盤(pán)邊界相似度最高的圓來(lái)定位視神經(jīng)盤(pán)的位置。Yin 等［6］則是通過(guò)建模的方法確定視神經(jīng)盤(pán)的形狀，然后通過(guò)近似圓來(lái)確定視神經(jīng)盤(pán)的圓心和直徑，確定視神經(jīng)盤(pán)的邊界，最后對(duì)視神經(jīng)盤(pán)的邊界進(jìn)行回歸。Cheng［7］等提出了一種基于消除視神經(jīng)盤(pán)旁萎縮的視神經(jīng)盤(pán)分割方法。

Zhang［8］等介紹了一種基于一維投影的方式，分別計(jì)算視神經(jīng)盤(pán)的水平位置信息和垂直位置信息，從而確定視盤(pán)的最終位置。Youssif 等［9］提出了一種基于濾波器的視神經(jīng)盤(pán)的分割方法，利用原圖紅色通道的信息得到mask，然后通過(guò)形態(tài)學(xué)處理方法對(duì)光照進(jìn)行處理，分割出血管的部分，根據(jù)血管的方向進(jìn)行濾波匹配，從而實(shí)現(xiàn)對(duì)視神經(jīng)盤(pán)的分割。牛笛［10］提出了一種基于卷積網(wǎng)絡(luò)的視盤(pán)定位及分割方法，將顯著圖和卷積網(wǎng)絡(luò)相結(jié)合提高定位準(zhǔn)確性，通過(guò)血管去除和卷積網(wǎng)絡(luò)結(jié)合進(jìn)行視盤(pán)的分割。Maninis 等［11］提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的視神經(jīng)盤(pán)分割方法，并結(jié)合遷移學(xué)習(xí)，取得了不錯(cuò)的效果。

2 網(wǎng)絡(luò)模型

2.1 SimAM

注意力機(jī)制是在機(jī)器學(xué)習(xí)模型中嵌入的一種特殊結(jié)構(gòu)，用來(lái)自動(dòng)學(xué)習(xí)和計(jì)算輸入數(shù)據(jù)對(duì)輸出結(jié)果的貢獻(xiàn)的大小，注意力機(jī)制能夠使模型更加關(guān)注有用的信息，對(duì)次要信息做一定程度的抑制。現(xiàn)有的注意力方法有很多，通道式注意力和空間式注意力，如圖1 所示，分別是1-D 通道注意力，2-D 空間注意力和3-D 權(quán)重注意力的比較，1-D 和2-D 方法都是針對(duì)一個(gè)通道中的所有神經(jīng)元或一個(gè)空間中的所有神經(jīng)元位置相同，以至于他們不能有效地計(jì)算真正的3-D 權(quán)重。3-D 權(quán)重注意力就是賦予每一個(gè)像素不同的權(quán)重，使得模型能夠更加高效地提取特征。

圖1 不同注意力機(jī)制比較

本文引入了一種3-D 權(quán)重注意力，嵌入在UNet++網(wǎng)絡(luò)中，在不增加參數(shù)量的情況下有效提高模型的特征提取能力。SimAM 是一種即插即用的無(wú)參注意力機(jī)制，與現(xiàn)有注意力機(jī)制不同的是，它可以為中間隱藏層推斷出一個(gè)3-D的注意力權(quán)重，并且不需要向原始網(wǎng)絡(luò)添加參數(shù)。SimAM 以一些著名的神經(jīng)科學(xué)理論為基礎(chǔ)，信息量最大的神經(jīng)元通常是那些表現(xiàn)出與周圍環(huán)境不同的放電模式的神經(jīng)元，并且活躍的神經(jīng)元也可能抑制周圍神經(jīng)元的活動(dòng)，這種現(xiàn)象叫做空間抑制。視盤(pán)分割過(guò)程中，需要UNet++網(wǎng)絡(luò)對(duì)眼底彩照?qǐng)D片進(jìn)行特征提取，此時(shí)我們希望提取視盤(pán)的有效特征，對(duì)于與視盤(pán)無(wú)關(guān)的信息，希望網(wǎng)絡(luò)給予更少的關(guān)注，這正符合SimAM 注意力機(jī)制的理論。SimAM 為每個(gè)神經(jīng)元定義了一個(gè)能量函數(shù)：

2.2 SimAM-UNet++

UNet++網(wǎng)絡(luò)是在UNet 網(wǎng)絡(luò)上增加了跳層連接而成，跳層連接的特點(diǎn)就是能夠?qū)\層特征和深層特征進(jìn)行融合，因?yàn)闇\層特征代表的是圖片的具體信息，而深層特征代表的則是圖像的抽象信息，融合后的特征能夠較為全面地表示原圖中的信息。

UNet++在UNet 直接連接的基礎(chǔ)上增加了類似于Dense結(jié)構(gòu)的卷積層，并融合了下一階段卷積的特征，如圖2 所示，X（0，0）、X（1，0）、X（2，0）、X（3，0）、X（4，0），每一個(gè)部分都代表了一個(gè)block，block 的結(jié)構(gòu)依次是ReLU 層、Conv層、BN 層、Conv 層和BN 層。對(duì)各層block 的輸出進(jìn)行上采樣，然后和對(duì)應(yīng)的淺層特征融合。采用這種密集連接方法提取的特征既包含了有全局感受野的抽象特征，又融入了具體細(xì)節(jié)的局部特征。

圖2 Unet++網(wǎng)絡(luò)結(jié)構(gòu)

SimAM-UNet++網(wǎng)絡(luò)是在UNet++中融入了SimAM 注意力機(jī)制。由于視盤(pán)分割任務(wù)要求網(wǎng)絡(luò)的深度不宜過(guò)深，因?yàn)檫^(guò)深的網(wǎng)絡(luò)會(huì)導(dǎo)致圖像的細(xì)節(jié)特征丟失嚴(yán)重。為了進(jìn)一步提高特征提取的有效性，我們?cè)诿恳粋€(gè)下采樣的block 中都添加了SimAM 注意力結(jié)構(gòu)，如圖3 所示，添加SimAM 之后block 的結(jié)構(gòu)依次是ReLU 層、Conv 層、BN 層、Conv 層、BN 層 和SimAM 層。由于SimAM 注意力機(jī)制是基于求解能量函數(shù)來(lái)賦予每個(gè)神經(jīng)元不同的重要性，所以添加SimAM注意力機(jī)制后的網(wǎng)絡(luò)在不增加參數(shù)量的情況下能提高網(wǎng)絡(luò)的學(xué)習(xí)能力。在視盤(pán)分割任務(wù)中，隨著模型的訓(xùn)練輪次增加，網(wǎng)絡(luò)能夠?qū)W到更多和視盤(pán)相關(guān)的特征。

圖3 SimAM-UNet++網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)設(shè)計(jì)

3.1 數(shù)據(jù)增強(qiáng)

本文使用的是iChallenge-PM 數(shù)據(jù)集，如圖4所示，訓(xùn)練集為800 張彩色圖，驗(yàn)證集為200 張彩色圖，測(cè)試集為200張彩色圖。由于訓(xùn)練的數(shù)據(jù)樣本集較少可能會(huì)導(dǎo)致模型過(guò)擬合和模型的魯棒性不夠的問(wèn)題。采用數(shù)據(jù)增強(qiáng)［12-13］技術(shù)在一定程度上解決了這個(gè)問(wèn)題，有效提高模型的泛化能力。

圖4 眼底彩照數(shù)據(jù)集

3.2 直方圖均衡化

直方圖均衡化是一種增強(qiáng)圖像對(duì)比度的方法，其主要方法是將一幅圖像的直方圖分布變成近似均勻分布，從而增強(qiáng)圖像的對(duì)比度。如圖4 所示，在iChallenge-PM 數(shù)據(jù)集中，可以觀察到圖像的對(duì)比度不是很強(qiáng)，某些圖中視盤(pán)的肉眼可見(jiàn)性不明顯，這是由于視盤(pán)的像素值和視盤(pán)周圍的像素值比較接近，都集中在某一范圍內(nèi)，這樣會(huì)導(dǎo)致網(wǎng)絡(luò)在學(xué)習(xí)視盤(pán)特征時(shí)比較困難。為了解決這個(gè)問(wèn)題，本文使用直方圖均衡化的方法，通過(guò)增強(qiáng)圖像的對(duì)比度使得圖像中的像素值分布更加廣泛，從而使得視盤(pán)的特征更加明顯，如圖5所示，這樣有利于網(wǎng)絡(luò)學(xué)習(xí)到與視盤(pán)相關(guān)的特征。

圖5 直方圖均衡化

3.3 實(shí)驗(yàn)結(jié)果與分析

為了評(píng)價(jià)分割結(jié)果，本文采用醫(yī)學(xué)圖像分割常用的評(píng)價(jià)指標(biāo)Dice 系數(shù)，Dice 系數(shù)是表示兩幅大小相同的圖像相似程度的一種度量，Dice 系數(shù)越大，說(shuō)明兩幅圖像的相似程度就越高，其公式如下：

其中：A表示輸入圖像通過(guò)模型分割之后的結(jié)果；B表示輸入圖像對(duì)應(yīng)的掩膜；|A∩B|表示分割圖與掩膜重疊的部分；|A|+ |B|表示分割圖與其掩膜的總量。表1所示為各網(wǎng)絡(luò)模型的Dice系數(shù)。

實(shí)驗(yàn)主要分為訓(xùn)練和測(cè)試兩個(gè)階段，首先在訓(xùn)練集上進(jìn)行訓(xùn)練，通過(guò)訓(xùn)練集的損失、驗(yàn)證集的損失和驗(yàn)證集的準(zhǔn)確率來(lái)保存最優(yōu)權(quán)重，然后利用訓(xùn)練好的最優(yōu)權(quán)重在測(cè)試集中進(jìn)行模型測(cè)試，得到分割結(jié)果。圖6所示為視盤(pán)分割的二值圖，圖7為分割的三通道圖。

圖6 視盤(pán)分割二值圖

圖7 視盤(pán)分割三通道圖

為了證明模型的有效性，本文先后做了多組對(duì)比試驗(yàn)，主要包括以下內(nèi)容：①利用Unet網(wǎng)絡(luò)做視盤(pán)的分割；②利用SimAM-Unet 網(wǎng)絡(luò)做視盤(pán)的分割；③利用UNet++做視盤(pán)的分割；④利用SimAM-UNet++做視盤(pán)的分割。每組實(shí)驗(yàn)分別從不同的指標(biāo)來(lái)對(duì)分割結(jié)果進(jìn)行比較。

從表1 可以看出，添加SimAM 注意力之后的UNet和UNet++網(wǎng)絡(luò)均比不添加的網(wǎng)絡(luò)效果更好，并且SimAM-UNet++網(wǎng)絡(luò)的眼底彩照視盤(pán)分割效果在一定程度上優(yōu)于其他三種模型，這進(jìn)一步驗(yàn)證了SimAM-UNet++模型的有效性。

表1 參數(shù)量

為了進(jìn)一步觀察分割的結(jié)果，本文從損失的角度記錄了驗(yàn)證集上100 個(gè)epoch 對(duì)應(yīng)的損失值，繪制成曲線，如圖8 所示。從圖8 可以看出，添加注意力機(jī)制的SimAM-UNet++網(wǎng)絡(luò)比UNet++網(wǎng)絡(luò)收斂更快，并且SimAM-UNet++的損失能夠收斂到更小。

圖8 損失函數(shù)

SimAM-UNet++在不增加模型參數(shù)量的基礎(chǔ)上加速模型的收斂，如表1 所示，SimAM 是基于求解能量函數(shù)來(lái)得到每個(gè)神經(jīng)元的權(quán)重，而不是通過(guò)深度學(xué)習(xí)的方式，這樣有效避免了網(wǎng)絡(luò)冗余的情況，增加了模型的效率。

4 結(jié)語(yǔ)

本文提出了一種新型的眼底視盤(pán)分割模型SimAM-UNet++網(wǎng)絡(luò)，在不增加參數(shù)量的情況下，有效提高模型的效率和魯棒性。對(duì)于一些較為復(fù)雜的眼底彩照?qǐng)D片，一方面使用SimAM注意力機(jī)制后，特征提取網(wǎng)絡(luò)提取的特征更加精確，為上采樣得到準(zhǔn)確的分割圖提供了保障；另一方面參數(shù)量的大小也會(huì)限制算法最終的落地效率，SimAM 無(wú)參注意力機(jī)制能夠?yàn)閁Net++網(wǎng)絡(luò)提供更強(qiáng)的性能。通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)對(duì)眼底彩照?qǐng)D片執(zhí)行預(yù)處理操作，在推理過(guò)程中有明顯提升視盤(pán)分割的效果。