一種基于改進ResU-Net 的角膜神經分割算法

郝華穎，趙 昆，蘇 攀，張 輝，趙一天，劉 江，4

（1.寧波大學機械工程與力學學院，浙江 寧波 315211；2.中國科學院寧波材料技術與工程研究所慈溪生物醫學工程研究所，浙江寧波 315201；3.沈陽建筑大學信息與控制工程學院，沈陽 110168；4.南方科技大學 計算機科學與工程系，廣東深圳 518055）

0 概述

角膜是人體神經分布最密集的部位，神經末梢終點密度約為7 000/mm2［1］。角膜神經負責觸覺、疼痛與溫度等感覺，并在眨眼反射、傷口愈合與淚液產生及分泌中起重要作用［2］。共聚焦顯微鏡是一種實用、安全、無侵入且重復性良好的新型角膜神經檢測工具，它可以清晰觀測到活體角膜的各層組織及角膜神經［3］。臨床研究結果表明，角膜基底的神經纖維與部分眼表及系統性疾病之間具有重要聯系，比如干眼癥、圓錐角膜與糖尿病神經病變等。其中，糖尿病神經病變患者的角膜神經長度及密度與正常人相比均較低，而彎曲度增大，且隨著病情的加重，上述參數的變化將更為顯著［4］。通過分析神經長度、密度與彎曲度等形態學參數的變化，可早期篩查并診斷出一些眼科疾病，從而降低視力損傷及失明率。因此，定量分析角膜神經的形態學參數具有重要的臨床意義，而精準提取角膜神經是進行形態學參數分析的基礎。

利用角膜神經圖像診斷眼科疾病時，通常由眼科醫生手動標記角膜神經，該方法主觀性強、診斷效率低且耗時長，無法滿足大規模角膜神經的分割需求。然而，自動分割技術可有效降低醫生主觀因素的影響，提高處理速度與診斷效率。借助計算機完成角膜神經自動分割對于實現大規模疾病的篩查與診斷尤為重要，但是由于對焦不準確造成圖像灰度不均衡以及病理引起神經結構不連續等因素會對其造成不利影響。

受深度卷積神經網絡模型的啟發，本文提出一種基于注意力機制的角膜神經分割算法，并將其應用于角膜神經的自動分割任務中。該算法以ResU-Net 為基礎框架，針對角膜神經圖像的特性，使用多尺度殘差模塊代替原有殘差模塊，并提取輸入圖像的多尺度層級信息。同時，利用通道注意力機制和空間注意力機制對特征圖進行重標定，通過加強解碼器中通道和空間像素特征的重要程度來提升分割效果，以更好地輔助醫療診斷。

1 相關工作

關于角膜神經自動分割算法的研究眾多，如文獻［5］將視網膜血管分割算法遷移到角膜神經分割任務中，該算法預處理均衡化亮度和對比度后，使用模糊c-均值聚類法實現角膜神經分割并利用graphsearch 技術連接斷裂神經，且在后處理階段消除錯誤分割。文獻［6］提出一種基于隨機森林和神經網絡的多尺度自適應雙模型神經檢測算法。文獻［7］利用相移分析技術以增強共聚焦顯微圖像，并在此基礎上使用基于相位對稱的濾波器來識別神經結構。文獻［8］通過頂帽濾波和一組log-Gabor 濾波器增強神經結構，再使用支持向量機識別神經。文獻［9］通過結合手動提取特征和學習上下文濾波器實現了曲線結構的分割。上述研究在特定情況下均可取得良好的分割結果，但是其分割過程中通常需要手動特征和先驗知識，且計算復雜度較高，因此不適用于實際應用過程。

深度學習技術已廣泛應用于醫學圖像分類、檢測［10］與分割［11］等多項任務中。其中，為提高傳統卷積神經網絡對像素級圖像的分割效果，文獻［12］提出了全卷積神經網絡（Fully Convolutional Neural Networks，FCNN），該網絡在經過多層卷積和池化操作后，利用反卷積操作對高維特征圖進行上采樣，得到與輸入圖像相同分辨率的預測結果。文獻［13］提出完全對稱的U-Net 分割網絡，且該網絡在醫學圖像分割任務中性能良好，現已成為醫學圖像分割任務中常見的網絡結構。U-Net 分割網絡采用編碼器提取特征，利用解碼器將特征圖恢復至原始分辨率，并在FCNN 的基礎上增加了編碼器和解碼器的跳躍連接，以融合利用先前特征層提取的細節特征。受到U-Net 的啟發，ResU-Net［14］、R2U-Net［15］和Attention U-Net［16］相繼被提出并應用于醫學圖像的分割，且取得了顯著效果。其中，ResU-Net 將U-Net 中的每個子模塊均替換為具有殘差連接的卷積模塊，從而提取圖像的更深層特征，以提高分割精確度。R2U-Net將殘差連接和循環卷積相結合并替換U-Net 中的子模塊，其中，殘差連接可用來訓練更深的網絡，而循環卷積可更好地對分割任務的特征進行表示。Attention U-Net 在U-Net 跳躍連接部分引入注意力機制模塊，并重新調整編碼器的輸出特征。該模塊通過生成一個門控信號來控制不同空間位置處的重要特征，從而提高圖像分割精度。

2 基于注意力機制的改進ResU-Net

如圖1 所示，本文提出的分割網絡框架共分為多尺度圖像輸入、編碼器與解碼器、注意力機制以及多層損失函數輸出4 個部分。其中，實線箭頭代表下采樣，虛線箭頭代表上采樣，點劃線箭頭代表順序連接。編碼器與解碼器部分采用多尺度殘差卷積模塊對編碼部分提取的多尺度圖像特征進行上采樣，并與上一層編碼信息相融合，直至恢復輸入圖像的原尺寸大小。此外，本文算法在網絡的跳躍連接和解碼器部分引入了注意力機制，并采用2 個注意力模塊分別對通道和空間生成權重圖，以強化目標特征。在解碼器部分，該網絡對各層輸出均采用多損失函數監督機制，保證在解碼器的最后一層獲得最優分割結果。

圖1 分割網絡整體框架Fig.1 Overall frame of segmentation network

2.1 多尺度圖像輸入

本文提出的網絡結構在編碼器部分以3 個不同尺寸的角膜神經圖像作為輸入。其中，原始圖像尺寸為384×384，對其經過雙線性插值操作分別生成192×192、96×96 尺寸的圖像。該網絡將不同尺度的角膜神經圖像分別經過一個3×3 卷積層后與編碼器下采樣得到的特征圖相連接，并將得到的新特征圖輸入下一個編碼器層，接下來將多尺度特征集成到解碼器層中，這樣不僅避免參數的大幅增長，還增加解碼器路徑的網絡寬度。此外，因為編碼器中下采樣操作會損失特征圖的底層特征，所以本文網絡利用提出的多尺度圖像輸入模塊來補充角膜神經圖像的細節信息，增強網絡預測圖的結構完整性。

2.2 編碼器與解碼器

編碼器與解碼器是本文所提網絡的主體結構。編碼器可提取輸入圖像的深度特征，并通過跳躍連接將編碼器提取的淺層和深層特征與解碼器中上采樣得到的特征相融合，最終得到與原圖尺寸相同的分割圖。U-Net 中的編碼器結構采用的是VGG［17］結構中的卷積層，且每一個卷積層包括2 個3×3 的卷積核、線性整流ReLU 函數以及步長為2 的最大池化層。雖然角膜神經圖像中的神經呈樹狀，且結構較為完整、擁有更多的上下文信息，但是卷積神經網絡對圖像的感受野仍是固定的。目前，隨著不同內核大小的卷積層InceptionNets［18-19］、殘差模塊ResNet［20］與多尺度殘差模塊Res2Net［21］等相繼提出，卷積層的多尺度能力效率明顯得到提升。因此，為增強分割網絡對多尺度特征的表征能力，本文以ResNet-34 為網絡的基本框架，用多尺度殘差模塊替換原網絡中的殘差模塊，從而構建出新的殘差網絡。

如圖2 所示，多尺度殘差模塊在經過1×1 卷積后，特征圖被均勻劃分為s個特征子圖，用xi表示，i∈{1，2，…，s}，s設置為4。與輸入特征圖相比，每個特征子圖都有一個對應的3×3 卷積，用Ki表示，yi表示Ki的輸出。特征子圖xi與Ki的輸出相加后輸入到Ki中，因此，yi可表示為：

其中，每個3×3 卷積運算Ki都有可能從xi接收特征信息，每次將特征拆分的xi通過3×3 卷積運算時，輸出的感受野可能比xi大。

圖2 多尺度殘差模塊Fig.2 Multi-scale residual module

多尺度殘差模塊可輸出包含不同數量的感受野大小組合，這樣有利于提取角膜神經圖像的局部神經和全局圖像信息。為進一步融合不同感受野的信息，模塊將每個特征子圖的輸出通過1×1 卷積進行通道交互，這種先分離后連接的策略可以使卷積層有效處理通道和空間特征。

在編碼器模塊中，新的殘差網絡能夠提取不同感受野的特征并進行融合，使得最后編碼層能夠提取更多角膜神經圖像的上下文特征，為解碼層恢復角膜神經圖像信息提供更多的上下文語義信息。當輸入圖像大小為384×384 時，編碼器中的每一層輸出特征圖大小分別為192×192、96×96、48×48。在解碼器模塊中，編碼器的輸出特征圖通過跳躍連接與解碼器上采樣得到的特征圖相拼接，并采用2 個如圖3 所示的雙重多尺度殘差模塊對每一層生成的特征圖進行處理。此外，本文網絡提出將注意力機制模塊作用于分割網絡，在跳躍連接和編碼器階段將輸出特征圖通過注意力機制來強化目標特征，以弱化背景特征。其中，圖3 中的表示特征壓縮，表示特征激勵表示特征融合。

圖3 雙重注意力機制模塊Fig.3 Dual attention mechanism modules

2.3 注意力機制模塊

2.3.1 通道注意力模塊

注意力機制在近期研究中已被證明在圖像分類及分割等方面表現卓越。文獻［22］提出的SENet 采用一種新的特征重標定策略，通過學習自動獲取每個特征通道的重要程度，以提升對當前任務有用的特征并抑制無關特征。本文提出一種新的注意力機制使用方法，將SENet 中的通道注意力拓展到空間上，通過采用雙重注意機制不僅可以提升角膜神經圖像的目標像素特征，而且使得目標與背景之間更易區分，同時還可檢測到更多不易分割的細小神經。通道注意力模塊由特征壓縮、特征激勵和特征融合3 個部分組成。首先，采用全局平均對輸入的特征圖（H×W×C）進行池化操作，通過沿空間維度進行特征壓縮，將每個二維特征通道逐一映射為一個實數值，該值在理論上具有全局感受野，且輸出的維度（1×1×C）和輸入的特征通道數相匹配。其次，特征激勵部分包括2 個全連接層、一個ReLU 函數和一個Sigmoid函數。第一個全連接層的權重W1維度為C/r×C（r為縮放系數，本文設置為16），該維度經過一個ReLU 函數后仍保持不變。將得到的特征圖與第二個全連接層W2相乘，W的維度為C×C/r，因此輸出維度為1×1×C。最后，經過Sigmoid 函數得到維度不變的概率圖。在特征融合部分，將特征激勵輸出的概率圖利用逐相素相乘對先前的特征圖進行加權，完成在通道維度上對原始特征的重標定。

2.3.2 空間注意力模塊

SENet 利用全局上下文對不同通道進行權值重標定來調整通道依賴，然而，采用在通道上的權值重標定的特征融合不能充分利用空間位置信息。因此，本文提出了空間注意力模塊，并將通道注意力從通道拓展到空間結構?？臻g注意力模塊采用全局平均通道進行池化，與通道注意力機制不同，池化之后的原特征圖大小變為H×W，但與輸入的每個通道特征圖維度保持一致。在特征激勵階段，為適應不同階段的特征圖大小，本文提出的算法采用7×7 卷積核對新特征圖進行卷積操作，通過使用較大尺寸的卷積核來擴大感受野，從而在整幅圖像上進行全局權重學習，接下來再經過一個Sigmoid 函數得到空間概率圖?？臻g注意力模塊將輸出的概率圖通過逐像素相乘對先前的特征圖進行加權，完成在空間維度上對原始特征的重標定。

將通道注意力和空間注意力串聯起來可對全局上下文進行有效建模，2 種注意力機制是通過自注意力分別對通道和空間進行重標定，以提取出更具判別性的特征。從圖1 所示的網絡整體結構來看，網絡在跳躍連接和解碼器每層輸出的位置都添加了通道和空間注意力機制。跳躍連接位置的注意力機制主要是為了將更具判別性的角膜神經圖像特征輸入解碼層中補充細節信息；解碼器輸出層的注意力機制主要是對上采樣得到的特征圖進行信息選擇，利用通道和空間注意力的作用可得到加權后的特征，更有利于分割出角膜神經圖像中肉眼不易察覺的神經。

2.4 多層損失函數輸出

在分割算法中，交叉熵損失是常見的損失函數。由于在角膜神經圖像中，角膜神經面積通常只占據圖像的一小部分，而交叉熵損失函數很容易忽略這些細節信息，因此本文使用Dice 系數損失函數來代替交叉熵損失函數。Dice 系數損失函數是一種計算重疊區域的度量函數，其能夠有效評估分割性能，且可定義為：

其中，N表示像素的個數分別表示對應第k個類別時的預測概率與真實像素類別，K表示需要分割的種類個數，wk表示第k個類別的權重，且滿足

此外，在解碼器的每個輸出層都增加Dice 系數損失函數，以監督不同尺度的特征學習，且網絡通過優化每一層的該損失函數，可指導每個編碼層和解碼層的輸出。本文將所有層損失函數的均值作為最終網絡反向傳播值。

3 實驗結果與分析

3.1 數據集

實驗數據集有1 578 張角膜神經圖像，包含正常志愿者、糖尿病患者和干眼癥患者3 個類別。采集的角膜神經圖像為二維灰度圖，分辨率為384×384，覆蓋角膜大約400 μm×400 μm 的區域。為評估本文算法的性能，所有角膜神經圖像均采用人工標注，而人工標注是通過眼科專家使用Neuron J 軟件手動標注所有可見神經的單像素中心線來實現的，并將標注結果作為金標準。實驗數據集分為2 個部分：1）包含1 390 張圖像的訓練集；2）包含188 張圖像的測試集。角膜神經圖像及對應金標準示例如圖4 所示。

圖4 角膜神經圖像及其對應金標準示例Fig.4 Corneal nerve image and corresponding gold standard example

3.2 評價標準

為評估算法的分割效果，本文用特異性（Specificity，Spe）、準確率（Accuracy，Acc）與敏感度（Sensitivity，Sen）來評估算法性能，且其計算方法分別為：

其中，TP 表示正確識別為神經的像素，TN 表示正確識別為背景的像素，FP 表示錯誤識別為神經的像素，FN 表示錯誤識別為背景的像素。此外，本文還計算了ROC 曲線下面積（Area Under Curve，AUC）。

3.3 實驗設置

本文提出的網絡結構基于Pytorch 開源深度學習框架實現，并使用NVIDIA TITAN XP 顯卡進行加速。在網絡訓練時，本文使用帶動量的隨機梯度下降（SGD）方法優化算法訓練模型，初始學習率為0.001，批處理大?。˙atch Size）設置為4，使用poly 學習率衰減策略，并采用L2 正則化（衰減因子為0.000 5）以避免過擬合情況的發生。在評估實驗結果時，采用五折交叉驗證方法對1 390 張圖像進行訓練，并將訓練集隨機分為5 個訓練子集，每次不重復地選取其中4 個子集作為訓練集，1 個作為驗證集。訓練結束后可以在每個驗證集上得到最好的5 個模型，最后在188 張測試集上測試并求平均值得到最終結果。

3.4 對比實驗分析

本文共進行兩組實驗來評價網絡的分割效果，結果如表1 與圖5 所示。其中，表1 中的最優結果加粗表示。

表1 不同分割算法的評估結果對比Table 1 Comparison of evaluation results of different segmentation algorithms

圖5 不同分割算法的實驗效果對比Fig.5 Comparison of experimental effects of different segmentation algorithms

從表1 與圖5 可以看出：U-Net 作為經典的醫學圖像分割網絡之一，同時也是本文網絡的基本骨架，在角膜神經上圖像上得到的AUC、Sen 分別為0.930、0.819，但其分割結果存在欠分割現象；ResUNet 在U-Net 基礎上增加了殘差機制，使得AUC 增大至0.942，且表現優于U-Net；R2U-Net 在殘差機制基礎上引入循環機制模塊，進一步使得AUC 增大至0.955，高于ResU-Net，原因可能是與其他網絡相比，循環網絡機制的優化較為困難，導致分割表現不如注意力機制網絡；Attention U-Net 和Attention ResUNet 將注意力機制引入分割網絡中，重新調整編碼器的輸出特征，從而提高解碼器中輸出預測圖精度，分割結果顯示該方法優于其他深度學習分割算法，但是存在過分割現象；本文提出的改進ResU-Net 網絡的分割性能明顯優于其他深度學習分割算法，AUC、Sen 分別達到0.990、0.880，且其能夠較完整地分割出角膜神經結構，有效區分神經與非神經區域，避免欠分割和過分割現象的發生。

消融實驗研究了本文算法中6 種模塊的評估結果與實驗效果對比，結果如表2 與圖6 所示。從表2與圖6 可以看出：當使用多尺度殘差模塊代替ResUNet 殘差模塊時，AUC 由0.942 提升至0.965，Spe 達到0.992，Sen 由0.828 提升至0.842，分割效果得到提升，且預測圖像也表明多尺度殘差模塊能夠將相對完整的角膜神經分割出來，這主要是因為多尺度殘差模塊在增加卷積核感受野的同時，又將全局和局部信息相融合，有效增強網絡對上下文信息的提??；而當通道注意力和空間注意力機制共同作用于該網絡時，該網絡分割性能得到明顯提升，AUC 由0.965提升到0.980，Sen 也達到0.861，且與多尺度殘差模塊相比，空間注意力模塊的圖像不僅將原圖中細小的神經分割出來，還去掉了多尺度殘差模塊中多余的非神經像素，因此注意力機制的引入對圖像的前景和背景進行了有效區分；多尺度輸入和多層損失函數監督模塊的引入也進一步使得原網絡的分割結果更加準確，在保持較高AUC 和Spe 的同時，增強了對角膜神經分割的敏感度和對目標像素的特征學習。在2 個多尺度輸入輸出模塊作用下，該模型能夠完整分割出神經區域，并對背景相似特征信息進行有效區分。

表2 本文算法中不同模塊評估結果對比Table 2 Comparison of evaluation results of different modules in the proposed algorithm

圖6 本文算法中不同模塊的實驗效果對比Fig.6 Comparison of experimental effects of different modules in the proposed algorithm

如圖6 中第3 行預測圖像所示（虛線箭頭所指），原圖中存在線狀區域與神經特征類似，在醫生的金標準中并未被標注為神經，但是在網絡中被錯誤識別為神經區域。這種過分割現象在角膜神經圖像分割方法中普遍存在，而本文所提網絡僅能在一定程度上優化，并不能完全解決該問題。

4 結束語

本文在深度學習分割網絡模型的啟發下，通過對ResU-Net 結構進行改進，提出一種角膜神經自動分割算法。該算法使用多尺度殘差模塊替換原有ResU-Net 殘差模塊以增加多尺度表征信息，利用引入的注意力機制模塊在通道與空間雙重注意力作用下，增強角膜神經圖像上的目標區域特征，并使得角膜神經的背景及前景更具判別性。通過加入多尺度圖像輸入與多層損失函數輸出模塊，以監督網絡中每一分割層的特征學習。實驗結果表明，與U-Net、ResU-Net 等分割算法相比，該算法的分割效果得到顯著提高。下一步考慮將臨床先驗知識引入角膜神經自動分割系統中，在系統后處理階段依據臨床先驗知識對網絡分割出的神經結構進行篩選，以更有效地識別神經與非神經區域。