基于改進交錯組卷積的眼底硬性滲出物自動分割

白杰，張 賽，李艷萍

（太原理工大學信息與計算機學院，太原 030600）

0 概述

糖尿病視網膜病變（Diabetic Retinopathy，DR）作為糖尿病（Diabetes Mellitus，DM）的主要并發癥會導致患者視力下降甚至失明［1］。DM 患者通過定期就醫及時排查是否出現視網膜病變，從而降低失明風險［2］。硬性滲出物（Hard Exudate，HE）作為DR 早期特征是由于血管壁受損后大分子物質（脂質和蛋白質）從視網膜血管滲透到眼球所引起，表現為淡黃色或白色塊狀和點狀突出物，其形狀、大小、位置呈多樣化，隨機性較強［3］。在臨床診斷中眼底HE 檢測結果是DR 診斷以及監測治療過程中的重要參考［4-5］。

目前，眼底HE 臨床檢測主要依賴專業眼科醫生手動診斷，不僅耗時費力，而且要求較先進的醫療設備和專業水平較高的臨床醫生。然而，眼底HE 臨床檢測受DM 患者數量龐大、各地醫療水平不一的限制，難免發生漏診和誤診［6-7］。因此，結合計算機與圖像處理技術的眼底HE 自動分割系統應運而生［8-9］。主流眼底HE 檢測算法分為基于閾值、區域增長檢測算法，基于數學形態學技術和基于機器學習、深度學習檢測算法。基于閾值、區域增長檢測算法利用眼底圖像不同區域之間的顏色強度變化以及鄰域特征差異辨別異常病變。例如，文獻［10］利用動態決策閾值法尋找暗邊及亮邊，有效分割HE 等病灶特征。文獻［11］通過提取的眼底特征對糖尿病和正常黃斑水腫進行分類，并在黃斑區標記基礎上進行HE 檢測，以區分DR 和正常視網膜眼底圖像。基于數學形態學技術是采用具有不同元素結構的數學算子識別病灶邊界。例如，文獻［12］使用灰度形態學和活動輪廓技術檢測滲出物及提取眼底HE 精確邊界。基于機器學習、深度學習檢測算法利用隨機森林、集成分類器、深度神經網絡等對病灶特征進行多類分割和定位。文獻［13］結合自適應閾值及隨機森林算法識別滲出物病灶特征，并對其進行分割。文 獻［14］采用預訓練Inception-v3、ResNet-50 和VGG-19 網絡模型檢測HE，將模型提取的特征相融合，再由softmax 進一步分類得到最終決策結果。

由于眼底圖像中硬性滲出物分布不均勻且與圖像背景的對比度較低，因此現有的分割算法難以準確實現硬性滲出物的分割。本文提出一種將改進交錯組卷積（Interleaved Group Convolution，IGC）與雙重注意力機制相融合的眼底HE 自動分割模型。采用改進的IGC 模塊提取病灶特征，通過位置注意力模塊聯系局部上下文信息，同時利用通道注意力模塊確定各特征通道的權重，提升重要特征的可識別性。

1 本文算法

1.1 交錯組卷積

在參數量相同的情況下，IGC 比常規卷積網絡寬度更寬，有助于每層網絡提取更加豐富的特征。此外，IGC 利用深度融合使得不同分支網絡在中間層進行融合，并削減卷積冗余單元，提升模型特征融合能力。不同特征融合方法［15］對比如圖1 所示。

圖1 不同特征融合方法對比Fig.1 Comparison among different feature fusion methods

交錯組卷積過程如圖2 所示。交錯組卷積包括首次組卷積和第二次組卷積。在第二次組卷積中每組輸入通道均來自首次組卷積中不同的組，以達到交錯互補的目的。

圖2 交錯組卷積過程Fig.2 Interleaved group convolution process

IGC 主要卷積操作如式（1）所示：

其中：[y1,y2,…,yL]T為首次組卷積；為一個M×(M×S)的矩陣對應L分區的卷積核，L表示首次組卷積分組數量以及第二次組卷積每個分組內包含的通道數，M表示首次組卷積中每個分組內包含的通道數以及第二次組卷積分組數量，S為卷積核對應的響應；zL是(M×S)維向量為首次組卷積輸入。第二次組卷積是將首次組卷積輸出通道混合后，再分為M個2 次分區，每個分區由L個通道組成，使同一級或同二級分區通道來自不同級分區，即第m個二次分區是由每個首次分區第m個輸出通道組成，其表達如式（2）所示：

其中：G=M×L為IGC 模塊寬度。對于相同卷積核S和輸入輸出寬度C的常規卷積參數量如式（6）所示：

由于S=3×3，因此當L>1 時，存在G>C。IGC模塊比常規卷積更寬（除首次組卷積中L=1 以外）。

為了使IGC 模塊有效提取眼底HE 病灶特征，本文對原IGC 模塊進行改進，首先增加殘差連接用于增強梯度傳播，減輕網絡退化，其次為防止ReLu 激活函數提取低維度信息時濾除部分有效信息，在低維特征獲取階段使用ReLu6 激活函數。改進的IGC模塊相比原模塊能夠更完整地提取眼底病變特征，提高對病灶區域的定位分割效果。改進的IGC 模塊如圖3 所示。

圖3 改進的交錯組卷積模塊Fig.3 Improved interleaved group convolution module

1.2 位置注意力模塊

傳統卷積神經網絡經過多層卷積處理后，感受野被限制在狹小局部空間。為克服局限性，本文引入可聯系上下局部特征的位置注意力模塊，將更廣泛的上下文信息編碼為局部特征，增強模型表達能力。傳統卷積網絡與引入位置注意力機制卷積網絡的感受野［16］示意圖如圖4 所示。

圖4 傳統卷積網絡與引入位置注意力機制卷積網絡的感受野示意圖Fig.4 Schematic diagram of the receptive field of traditional convolutional network and convolutional network with position attention mechanism

位置注意力模塊可以捕獲特征圖中任意兩個位置之間的空間依賴關系，對于單一特定特征，利用全局位置特征對其加權及更新，本文使用的位置注意力模塊如圖5 所示。

圖5 位置注意力模塊結構Fig.5 Structure of position attention module

位置注意力模塊給定局部特征A?RC×H×W，通道數為C，長寬分別為H、W，將局部特征引入到卷積層后生成新的特征映射B、C，且滿足（B，C）?RC×H×W，FX為三維特征圖經X層卷積壓縮后的二維特征圖，且滿足FX?RN×C，其中N=H×W。同理，FY、FZ分別為當前特征圖經Y、Z層卷積后得到，此后，FX特征矩陣與FY特征矩陣相乘，經softmax 層處理得到位置注意力權重圖K，且滿足K?RN×N，如式（8）所示：

其中：kji為位置注意力特征權重圖中i與j的關聯度。特征A生成的特征映射為D?RC×H×W后轉換為D?RC×N，然后將D的轉置矩陣與K的轉置矩陣相乘且滿足RC×H×W，引入比例參數β，并對特征A執行元素求和，獲得最終輸出滿足E?RC×H×W，如式（9）所示：

其中：β從0 逐漸增加權重；Ej為所有位置特征和原始特征的加權和，具有全局上下文視圖，根據空間注意圖選擇性地聚合上下文信息。

1.3 通道注意力模塊

通道注意力［16］機制旨在顯示不同通道之間的相關性，根據每個特征通道不同重要程度賦予其權重系數，從而強化重要特征抑制非重要特征。通道注意力模塊結構如圖6 所示。

圖6 通道注意力模塊結構Fig.6 Structure of channel attention module

通道注意力模塊將特征A?RC×H×W變型為A?RC×N，使A與其轉置矩陣相乘，最后經softmax 層得到通道注意力特征圖，如式（10）所示：

其中：xji為i與j的通道關聯度。X特征矩陣轉置與A特征矩陣相乘，得到的結果滿足RC×H×W，添加標度參數η，其權重從0 開始學習，對A執行元素求和，獲得最終輸出E?RC×H×W，如式（11）所示：

其中：Ej為每個通道最終特征是所有通道特征和原始特征的加權和，模擬了特征映射之間長期語義依賴關系，驗證了通道注意力模塊有助于提高特征的可辨別性。

1.4 U 型網絡改進

由于眼底圖像數據量少，語義信息較簡單，在病灶定位分割中低級特征和高級語義信息都極為重要，因此設計模型的參數不適合過大，否則容易導致過擬合現象的發生。U 型網絡［17］的編譯碼過程及在同一階段使用跳躍連接，而非在高級語義特征上進行監督和損失反傳，使得最終得到的特征圖融合了更多低層次特征，也使得不同層次特征相融合。此外，上采樣使分割圖像恢復更加精細的邊緣信息。在眼底HE 檢測中，為了使模型每一層能夠提取更加豐富的特征以及增強重要病灶特征的可辨別性，本文對U 型網絡進行優化，改進后的U 型網絡整體結構如圖7 所示。

圖7 改進的U 型網絡整體結構Fig.7 Overall structure of improved U-shaped network

從圖7 可以看出，U 型網絡左半部分為編碼階段，其目的是提取眼底圖像中硬性滲出物多尺度特征，提供分割目標在整個眼底圖像中的上下文語義信息。該部分由4 個改進的IGC 模塊組成，其較寬的網絡模型利于每一層提取更加豐富的特征，之后添加位置注意力模塊，通過自適應將圖像中任意兩個位置關聯，增強模型提取眼底圖像特征能力，捕獲更深層次語義特征信息并過濾掉噪聲等與分類任務不相關信息。U 型網絡右半部分為解碼階段，其目的是將編碼時提取的眼底圖像特征信息解釋為硬性滲出物的分割結果圖。該部分由4 個解碼模塊組成，在融合高維眼底圖像特征與低維眼底圖像特征的短連接處引入通道注意力模塊，目的是通過專注于重要特征提取通道排除無關特征通道，進一步改善模型的分割效果。

1.5 損失函數

本文將改進U 型網絡作為眼底HE 自動分割模型，以改善分割效果。然而眼底圖像中硬性滲出物像素與背景像素數量相差較大，極度不平衡的類別分布使分割模型更傾向背景像素，從而影響模型的分割性能。此外，常規損失函數對假陽性及假陰性權重相等，而在眼底圖像分析中降低假陰性是獲得理想分割效果的關鍵。因此，本文引入Focal Tversky Loss［18］作為損失函數，以Tversky Loss 損失函數為基礎且在多個醫學數據集上驗證其優異性。Tversky Loss 損失函數通過 超參數α、β控制假陽性和假陰性之間的平衡，如式（12）所示：

其中：pic為預測標簽中像素i屬于病變類別c的概率為預測標簽中像素i屬于非病變類別cˉ的概率；gic和分別為真實標簽中像素i屬于病變類別c及非病變類別的概率；δ是常量防止等式分子為零；N為圖像中像素總數量。包含γ變量的FTL（Focal Tversky Loss）損失函數能夠解決較小感興趣區域因損失影響而難以分割的問題，其函數如式（13）所示：

其中：γ?[1，3]，當像素被高Tversky 索引錯誤分類時，FTL 不受影響。如果Tversky 索引很小并且像素被錯誤分類時，FTL 將顯著降低。當γ>1 時，損失函數集中在被錯誤分類以及準確率低的區域，本文實驗采用α=0.3，β=0.7，γ=4/3。

2 實驗結果與分析

實驗系統配置為Windows 10 操作系統，NVIDIA Tesla K80顯卡，編程基于Tensorflow 和Keras 框架。

2.1 數據預處理

本文分別在公開數據集e-Ophtha EX 及DIARETDB1 上進行實驗。e-Ophtha EX 數據集包含47 張視網膜眼底圖像，圖像大小在1 400×960～2 544×1 696 像素之間，具有像素級人工標定標簽。DIARETDB1 數據集包含89 張視網膜眼底圖像，分辨率為1 500×1 152 像素，具有圖像級人工標定標簽。數據集e-Ophtha EX 和DIARETDB1 的視網膜眼底圖像樣例如圖8 所示。

圖8 視網膜眼底圖像樣例Fig.8 Example of retinal fundus images

針對眼底圖像分辨率不一、對比度不均勻的問題，本文對眼底圖像進行預處理，首先圖像大小設置為1 500×1 152 像素，其次從RGB 眼底圖像中提取綠色通道圖像。本文采用直方圖均衡化增強眼底圖像對比度，由于位于血管交界處視盤的外形特征與硬性滲出物相似，因此會干擾模型對硬性滲出物后續檢測。本文采用文獻［19］使用的眼底圖像血管提取方法對視盤進行掩蓋。數據集e-Ophtha EX和DIARETDB1 的眼底圖像視盤定位圖如圖9所示。

圖9 眼底圖像視盤定位圖Fig.9 Optic disc position map of fundus images

為避免不平衡數據對病灶分割造成干擾，本文對訓練集中的所有圖像進行旋轉、平移以及翻轉等變換，裁剪出3 000 個硬性滲出物補丁及3 000 個眼底背景補丁。所有補丁大小設置為96×96，多數傳統研究將補丁大小設置為32×32 或者更小。由于本文算法融入可捕獲眼底硬性滲出物特征的位置注意力模塊，因此需要將補丁尺寸進行適當放大。

2.2 實驗設置

本文實驗使用Adam 算法對損失函數進行優化，迭代次數為30 次，初始學習率設置為0.001，同時采用λ=0.001 權重衰減防止模型過擬合。像素級評估算法采用靈敏度（SE）、精確度（PPV）和綜合性能（F-Score）評估模型性能。圖像級評估算法采用靈敏度（SE）、特異性（SP）和準確性（Acc）評估模型性能，如式（14）～式（18）所示：

其中：TTP為正確分類的分割物像素；FFN為錯誤分類的分割物像素；TTN為正確分類非分割物像素；FFP表示錯誤分類為分割物像素的非分割物像素。

2.3 實驗結果

本文提出硬性滲出物分割模型在數據集e-Ophtha EX 上獲得的分割圖像已較為接近眼科專家手動標注的像素級標簽圖像，但是分割效率遠高于專家手動分割。在數據集e-Ophtha EX 上本文模型的分割結果如圖10 所示。

圖10 在e-Ophtha EX 數據集上本文模型的分割結果Fig.10 Segmentation results of the proposed model on the e-Ophtha EX dataset

2.3.1 與其他模型對比

在數據集e-Ophtha EX 和DIARETDB1 上本文提出的眼底HE 自動分割模型與其他模型的評價指標對比如表1 所示。

表1 不同模型的評價指標對比Table 1 Evaluation indexs comparison among different models %

從表1 可以看出，在e-Ophtha EX 數據集上本文模型的SE、PPV 和F-Score 平均性能指標分別達到91.43%、86.49%、87.32%，在DIARETDB1 數據集上SE、SP 和Acc 平均性能指標分別達到97.83%、96.16%和97.51%。與其他模型相比，本文模型的評價指標均屬于最高或次高水平。因此，本文模型整體分割性能優于其他模型。

2.3.2 數據集不同分配對分割性能的影響

為驗證實驗結果是否與數據集分配方式有關，本文設置3組對比實驗：70%用于訓練，30%用于測試；80%用于訓練，20%用于測試；90%用于訓練，10%用于測試。本文模型在數據集不同配比下訓練的結果如表2所示。從表2可以看出，在數據集e-Ophtha EX和DIARETDB1上，本文模型在80%用于訓練分割模型和20%用于驗證條件下的分割效率最高。

表2 本文模型在數據集不同配比下的評價指標Table 2 Evaluation indexs of the proposed model according to different ratios of dataset training %

2.3.3 超參數對分割性能的影響

為保證模型分割效果最佳，本文設置多組對比實驗。不同學習率對模型學習曲線的影響如圖11 所示。

圖11 不同學習率對模型學習曲線的影響Fig.11 Influence of different learning rates on model learning curves

從圖11 可以看出，當初始學習率為0.01 時，梯度更新步長較大，導致損失函數過早收斂，損失值偏大。當初始學習率為0.000 1 時，梯度更新步長較小，收斂速度較慢，容易發生過擬合現象，并且得到的損失值偏高。因此，在構建模型時，本文選用0.001 作為初始學習率，梯度更新步長適中，收斂速度較快，得到的損失值也最佳。

不同權重衰減值對模型學習曲線的影響如圖12所示。本文選用0.001 作為懲罰系數能夠避免模型訓練過程中出現過擬合現象。

圖12 不同權重衰減值對模型學習曲線的影響Fig.12 Influence of different weight attenuation values on model learning curves

2.3.4 不同網絡結構對分割性能的影響

本文利用改進的IGC 模塊代替原始U 型網絡編碼器部分，為驗證改進的IGC 模塊更適合用于眼底HE 檢測，將其與常見模塊進行對比。在數據集e-Ophtha EX 和DIARETDB1 上不同模塊的評價指標如圖13 所示。從圖13 可以看出，本文改進的IGC模塊在兩個公開數據集上各評價指標均優于ResNet34 以及Inception-v3 模塊，說明本文的眼底HE 自動分割模型綜合性能更優。

圖13 不同模塊的評價指標對比Fig.13 Evaluation indexs comparison among different models

2.3.5 不同U 型網絡對分割性能的影響

本文設置4 組對比實驗，驗證改進U 型網絡對模型分割效率的影響。在數據集e-Ophtha EX 和DIARETDB1上不同U 型網絡的性能評估如表3所示。模型1 表示原始U 型網絡模型；模型2 表示僅在U 型網絡編碼階段加入位置注意力模塊；模型3 表示僅在U 型網絡解碼階段加入通道注意力模塊；模型4 表示僅用改進的IGC 模塊代替U 型網絡編碼器部分。

表3 不同U 型網絡模型的評估指標對比Table 3 Evaluation indexs comparison among different U-shaped network models %

從表3 可以看出：無論是U 型網絡編碼階段還是解碼階段，加入注意力機制的U 型網絡能夠改善模型整體分割性能；采用改進的IGC 模塊可以提高原始U 型網絡模型的靈敏度；采用本文所提眼底HE分割網絡模型有效改善原始U 型網絡對眼底HE 的分割效果。

3 結束語

本文提出一種基于交錯組卷積的眼底硬性滲出物自動分割模型。以U 型網絡模型為架構，在編碼和解碼部分引入位置注意力模塊和通道注意力模塊，擴大模型感受野以及增強重要特征的可辨別性，利用改進的交錯組卷積模塊代替原U 型網絡編碼部分，提取更豐富的病灶特征。實驗結果表明，本文模型具有較優的分割準確率，能夠有效改善原始U 型網絡對眼底硬性滲出物的分割效果。后續將通過對視盤附近被掩蓋的硬性滲出物進行更深層次檢測，同時優化本文模型的檢測功能，使其能夠精確且高效檢測眼底圖像中的其他病變特征，如微動脈瘤、出血點、軟滲出物等，以提升模型的泛化能力。