融入多尺度雙線性注意力的輕量化眼底疾病多分類網絡

摘 要：現在大多數眼疾分類方法都是對單一類別疾病不同級別進行分類，并且網絡模型存在參數量大、計算復雜等問題。為解決這些問題，提出一種輕量化的眼底疾病多分類網絡MELCNet，該網絡以PPLCNet為主干網絡，由輸入層特征提取、并行多尺度結構、雙線性SE注意力模塊、深度可分離卷積、更小參數計算的h-swish激活函數構成，能關注到不同尺度不同疾病的關鍵患病信息。實驗結果表明，提出的多尺度注意力輕量網絡模型具有較少的參數量和計算復雜度，并在所選的四種眼底疾病和正常眼底圖像的多分類上取得了優異的分類結果，在內部組合數據集測試集上的分類準確率相對于ResNet-50提升1.11%，相對于Xie等人提出的類似眼疾多分類網絡在公開數據集cataract測試集上提升2.5%，相較于其他輕量級分類網絡在眼底疾病多分類領域具有較高的準確率以及較強的魯棒性。

關鍵詞：眼底疾病分類；并行多尺度；雙線性注意力；輕量化

中圖分類號：TP391.411 文獻標志碼：A

文章編號：1001-3695（2022）07-043-2183-07

doi：10.19734/j.issn.1001-3695.2021.12.0664

基金項目：貴州省科學技術基金資助項目（黔科合基礎[2019]1099）

作者簡介：李朝林（1996-），男，四川南充人，碩士研究生，主要研究方向為計算機視覺、深度學習；張榮芬（1977-），女（通信作者），貴州貴陽人，教授，博士，主要研究方向為機器視覺、智能硬件及智能算法（rfzhang@gzu.edu.cn）；劉宇紅（1963-），男，貴州貴陽人，教授，碩士，主要研究方向為計算機視覺、智能圖像處理、大數據與智能物聯．

Lightweight fundus disease multi-classification network with multi-scale bilinear attention

Li Chaolin，Zhang Rongfen?，Liu Yuhong

（College of Big Data amp; Information Engineering，Guizhou University，Guiyang 550025，China）

Abstract：Most of the eye disease classification methods are to classify a single category of diseases at different levels，and the network model has problems such as large parameters and complex calculations.To solve these problems，this paper proposed a lightweight fundus disease multi-classification network called MELCNet.The network used PPLCNet as the backbone，which was composed of input layer for feature extraction，parallel multi-scale structure，bilinear SE attention module，depth separable convolution and the h-swish activation function which calculated with smaller parameters，in order to pay attention to the key disease information of different scales and different diseases.Experimental results show that the proposed multi-scale attention lightweight network model has less parameters and computational complexity，and excellent classification results have been obtained in the multi-classification of the four selected fundus diseases and normal fundus images.The classification accuracy in the internal combined test set is 1.11% higher than that in ResNet-50，and the performance on the public datasets is improved by 2.5% relative to the multi-classification literature of similar type network by Xie et al，and compared with other lightweight classification networks，it has higher accuracy and strong robustness in the field of multi-classification of fundus diseases.

Key words：classification of fundus diseases；parallel multi-scale；bilinear attention；lightweight

0 引言

眼睛是人類心靈的窗戶，代表人類的感覺。因此，眼睛的健康對人們的生活質量影響很大，伴隨著年齡的增長，人們可能患有各種各樣的眼疾，例如糖尿病視網膜病變（diabetic retinopathy，DR）、青光眼（glaucoma，GLC）、白內障（cataract，CAT）和年齡相關性黃斑變性（age-related macular degeneration，ARMD）是導致老年人視力喪失的主要原因。如果能夠盡早發現這些疾病，則有很大可能進行早期干預，降低視力障礙甚至失明的概率。然而，對這些眼疾的檢測耗時耗力且需要專業的眼科醫生來進行篩查，因此開發出一種能夠檢測這些眼疾的系統來減少專業臨床醫生初篩的工作量是非常有必要的。

DR是由糖尿病引起的視網膜病變并發癥，也是導致成年人視力喪失的常見原因。據估計，2000—2030年，全球糖尿病患者占總人口比例估計將從2.8%（1.71億）增長到4.4%^[1]，另有1.95億人患有DR^[2～4]。幾乎所有的Ⅰ型糖尿病患者和60%以上的 Ⅱ型糖尿病患者預計在未來20年內會發生DR^[5]。預計在未來15年內，這些糖尿病患者將占失明人數的2%和視力下降人數的10%^[6]。

青光眼是一種慢性、漸進性視覺損傷的眼科疾病，其主要病理特征為視網膜神經節細胞（retinal ganglion cells，RGC）的凋亡和軸突的喪失^[7]，從而導致視力逐漸下降甚至失明，嚴重威脅患者的健康。據統計，全球人群中青光眼的患病率為 3.54%，約有6 426萬人；預計2040年將增加74%到11 182萬人，約有60%的青光眼患者分布在亞洲^[8]。

白內障是由于晶狀體代謝紊亂而導致晶狀體蛋白質變性發生渾濁的眼科疾病，并且患病的時間越長，患者的視力越低，同時也是導致失明的嚴重眼疾之一。據統計，世界上視力受損的人數約為1.91億，其中3 240萬人失明，18.4%的視力損害病例和33.4%的失明病例是由白內障引起^[9]。預計由于白內障導致視力喪失的人數可能在2025年達到4 000萬^[10]。

年齡相關性黃斑變性（ARMD）是一種不可逆的和年齡增長相關的多因素復合作用的眼底疾病，且ARMD具體的患病因素尚不明確，臨床治療受到阻礙。雖然DR和GLC更為普遍，但ARMD在60歲以上人群中發病率有所上升，據報道，僅ARMD導致了全球8.7%的失明，主要是在發達國家。因此盡早發現并治療ARMD對延緩疾病的進展具有重要意義。

眼底圖像需要使用專業的設備來采集，然后通過專業的眼科醫生來進行診斷，通常需要幾天時間才能完成診斷，相當耗費人力和時間，甚至可能會延誤病情。隨著深度學習的發展，計算機技術已經融入到各個學科之中，許多研究人員致力于研究檢測眼底疾病的智能化方法。一張眼底圖像可能患有多種疾病，包括本文中的四類，研究一種能夠分類出這些疾病的深度學習系統，有助于統一醫學診斷結果，幫助醫生進行初步篩選，減少診斷耗費的時間和工作量。

為了實現計算機輔助診斷眼底圖像病理特征，許多研究人員使用不同的方法進行眼病檢測。例如文獻[11]使用注意力非同源雙線性卷積神經網絡和補體交叉熵實現了糖尿病視網膜分級，在Kaggle公開數據集EyePCAS預測精度達到82.3%。雙線性網絡采用ResNet50和DenseNet網絡同時提取圖像特征信息，但其計算過于復雜，過程繁瑣。文獻[12]實現基于多特征分析和DBN分類的青光眼早期診斷，通過機器學習算法和DWT（離散小波變換）對疾病進行分類，該方法為青光眼識別提供了95%以上的準確率，在青光眼單獨識別方面做到了較高的準確度，但其分類類別只有青光眼一類，沒有做到多分類。

多分類識別方面，文獻[13]提出了一種多分類深層神經網絡，使用ResNet網絡作為骨干網絡用于分類青光眼、糖尿病視網膜病變和年齡相關性黃斑變性，分類峰值準確率和平均準確率分別為91.16%和85.79%，但其網絡參數量大計算復雜且分類類別較少。文獻[14]提出了一種基于遷移學習的眼疾圖像分類方法，微調EfficientNet-B0和EfficientNet-B7模型用于提取眼底圖像特征，最后融合特征使用DNN分類器實現分類，在其內部數據集上實現了95.74%的平均準確率，EfficientNet雖然參數量不大，但是需要的算力不低，且其探究的也只是二分類。文獻[15]提出了基于SLO圖像的交叉注意多分支神經網絡眼底疾病分類，使用超寬視野掃描激光檢眼鏡（SLO）圖像完成不同的眼底疾病分類任務。該網絡以ResNet-34作為骨干網絡提取特征信息，Coats、RP、DR和正常SLO最后實現了95.47%的準確率，但該網絡實現過于復雜，使用多分支網絡和交叉注意力模塊，參數量很大并且網絡顯得有些冗余。

通過對國內外眼底圖像分類方法的調研發現，關于視網膜圖像分類大多解決的是二元分類問題，有無患病或者是疾病分類的類別較少，或是對某種病嚴重程度進行分級，對專業眼科醫生的初步篩查疾病起到的幫助很小，這些模型對具體的眼疾識別能力較差，同時存在參數量較大等問題，無法保證在檢測多種眼疾上的良好性能。針對以上問題，本文旨在構建一種輕量化的多分類眼疾識別模型，用于DR、GLC、CAT、ARMD四種眼底疾病的自動分類，降低模型的參數量，減少模型的推理時間，幫助專業眼科醫生進行初步篩查。

1 融入多尺度雙線性注意力的多分類網絡

本文提出了一種基于PP-LCNet-x2.5^[16]的MELCNet網絡模型，其網絡架構如圖1所示。為了提取到多尺度信息，受文獻[17]的啟發，本文融入了并行多尺度inception模塊和ECA-Net通道注意力。從圖1中可以看出，MELCNet主要由以下幾部分組成：上部分為輸入層特征提?。ò▋蓚€卷積和激活函數）、右邊為多尺度inception塊（包括不同的卷積核組合和激活函數）、下邊為深度可分離卷積（深度卷積和點卷積）、SE注意力模塊（嵌入深度可分離卷積）和h-swish激活函數。其中輸入層特征提取用于增加圖像輸入信息，可提取到更多有用的分類基礎信息，在以下章節中將著重介紹改進的SE模塊、并行多尺度特征融合、深度可分離卷積和h-swish激活函數。

基于以上架構，本文主要做了如下改進工作：

a）加大預處理圖片輸入大小為448×448，加入一層特征提取卷積層，使網絡可提取到更多有用的分類基礎信息，兩個卷積層之后都分別使用h-swish激活函數，保證神經元適應復雜的線性問題。

b）先融入并行inception結構來提取多尺度融合特征，再進入深度可分離卷積模塊，使模型能關注到不同結構的疾病特征，獲取到更多不同尺度的分類信息。

c）提出一種雙線性SE注意力模塊融入深度可分離卷積最后兩層，該注意力模塊根據提取到的圖像信息進行加權操作，使模型更關注對分類有用的關鍵病患信息，最后經過全局平均池化后輸出分類結果。

PP-LCNet-x2.5的參數量為7.7 M，其浮點數計算量為893 M，相關推理時間和精度均優于同類的輕量化網絡，參數量對比將在2.5節中詳細闡述。改進后的MELCNet網絡參數量為7.7 M，浮點計算量為1.18 G，可見只有少量的參數和浮點計算的增加。其網絡詳細結構如表1所示，SE表示該深度可分離卷積塊中是否存在注意力塊。由表1可知，輸入圖片分別經過兩層卷積和激活函數后再經過多尺度特征提取，之后進入深度可分離卷積，深度可分離卷積的最后兩層嵌入雙線性SE注意力模塊，然后經過全局平均池化，最后經過1×1的卷積層代替全連接層輸出分類結果。

1.1 雙線性SE模塊

在基礎SENet^[18]的通道注意力模塊中，在給定輸入特征下，SE塊首先為每個通道獨立采用全局平均池化，然后使用兩個非線性的全連接（FC）層以及sigmoid函數來生成通道權重。FC層旨在捕獲非線性跨通道交互，其中涉及降維來控制模型的復雜性。雖然其方式得到了廣泛的應用，但經過高效通道注意力（ECA-Net）^[19]模塊的研究發現，降維捕獲到的所有通道之間的依賴是低效且不必要的。ECA通道注意力避免了降維，有效捕獲了跨通道信息交互。

1.2 并行多尺度特征融合

多尺度特征提?。╥nception）在卷積神經網絡中可以提高網絡的精度^[20]。大量使用并行多尺度結構在獲得更多特征的同時會增加參數量并提高計算成本。為了節約計算成本，使網絡在增加精度的同時只帶來少量的參數增加。本文僅在輸入特征提取層之后使用一個inception結構。經過測試，一個inception結構所包含的參數量可忽略不記。多尺度網絡結構如圖3所示。該并行多尺度結構沿用自GoogleNet^[21]的inception，該結構體系的一個優點是允許顯著增加每個階段的單元數量，而不會導致計算復雜失控膨脹，并且它符合視覺信息應該在不同尺度上處理然后聚合的特征，便于下一階段可以同時從不同的尺度上提取特征，有助于病灶細節的辨識。

1.3 深度可分離卷積

深度可分離卷積最早提出于2017年MobileNet^[22]，是一種分解卷積的形式，將一個標準卷積分解為一個深度卷積和一個1×1的逐點卷積的形式。這種分解顯著減少了計算量和模型大小。

如圖4所示普通卷積輸入為DF×DF×M，記為特征圖F，產生的輸出為DF×DF×N，記為特征圖G，其中DF為輸入圖像的高寬，M為輸入通道數，DG為特征映射的高寬，N是輸出通道數。假設普通卷積的步距和padding設置為1，那么其輸出特征圖計算如下：

普通卷積的計算量為

深度可分離卷積如圖5所示，其由深度卷積和點卷積兩層組成。深度卷積負責濾波作用，逐點卷積負責轉換通道。輸出特征圖計算如下：

其中：K^是深度卷積，卷積核為（DK，DK，1，M）。將mth個卷積核應用在F中第mth個通道上，產生G^上第mth個通道輸出。

代入數據計算得到深度可分離卷積比普通卷積減少了8、9倍的計算量，經過證實，其僅損失極小的準確度。

1.4 h-swish激活函數

由于深度學習模型中其他的層都是線性擬合函數，即使用很深的網絡去擬合，還是無法避免線性特性，無法進行非線性建模，但假如使用非線性激活函數單元，當線性函數的輸出層經過非線性激活單元時，其輸出呈現一種非線性的變化，經過這樣的多層擬合，就可以完成對輸入的非線性建模操作，同時起到特征組合的作用。所以理想的激活函數應該具有平滑的特征，而且對于負值有較好的處理。

sigmoid激活函數：

是一個飽和激活函數，即在輸入值較大或較小的時候對輸入值不再敏感。當網絡層數增多時容易發生梯度消失。

ReLU激活函數：

它比sigmoid在防止梯度消失方面更有優勢，但是其缺點是一個很大的梯度流過ReLU神經元更新梯度后，神經元對大部分數據不再具有激活作用，導致梯度為零，造成神經元的死亡。

ReLU6激活函數：

當xgt;6時，其倒數也為0。限制其最大輸出為6，使其在移動設備的低精度時也有很好的數值分辨率。

swish激活函數：

其中：β為一個常數或一個可訓練的參數。其特點是無上界有下界、平滑、非單調。在模型上效果優于ReLU^[23]，但它比ReLU計算更為復雜。

h-swish激活函數：

h-swish激活函數是為了近似swish激活函數和適應輕量級網絡提出的，文獻[24]驗證了swish函數只有在更深的網絡層中使用才能體現優勢，證明了在量化模式下，h-swish函數消除了由于近似sigmoid的不同實現而導致的潛在精度損失。本文在提出的網絡中均使用h-swish激活函數，同時替換了inception中的激活函數。

2 實驗及分析

2.1 數據集介紹

2.1.1 組合數據集

本文使用目前公開數據集進行實驗，常見的眼疾有很多種類型，本文僅研究以下四種眼疾，即糖尿病視網膜病變、青光眼、白內障和年齡相關性黃斑變性，數據集均由專家確診標記。本研究共從三個數據庫獲取總計1 813張視網膜眼底圖像，NR：300、CAT：100、GLC：612、DR：632、 ARMD：169，如圖6所示，每幅圖片均由眼科專家進行了注釋。

數據集1使用Kaggle的競賽數據集cataract dataset，包含600張眼底圖片，其中正常眼底圖像300張、青光眼101張、白內障100張、其他視網膜疾病100張。由于其他視網膜疾病的含有類別較多，且標簽需要專業的眼科醫生來診斷，所以本文沒有使用該類別，只選擇另外三種類別的501張圖片。

數據集2使用Kaggle的競賽數據集glaucoma dataset，包含1 022張眼底圖像，其中青光眼511張，非青光眼511張，文件存儲為.jpg和.tif形式。注釋形式為文件夾為其對應類別，大小為10.63 MB，最后選擇了511張青光眼圖像，每張圖像均有注釋。

數據集3使用視網膜眼底多疾病數據集（RFMiD），由三種不同的眼底攝像機捕獲的2009—2020年期間進行的數千次檢查中提取的總計3 200張眼底圖像組成，并通過兩位資深視網膜專家的一致意見注釋了45種不同類別的眼疾。數據集被分成三個子集，即訓練60%（1920幅圖像）、評估20%（640幅圖像）和測試20%（640幅圖像）^[25]。標簽在各文件夾下的.CSV文件中，本文選取其中的訓練、驗證、測試集中的DR 632張圖片和ARMD 169張圖片。

最終組合的眼底圖像數據集正常眼底圖像、白內障、青光眼、糖尿病視網膜病變、年齡相關性黃斑變性這五個類別眼底圖像詳細情況如表2所示。

2.1.2 公開數據集

完整公開數據集使用Kaggle競賽數據集cataract dataset，該公開數據集共有601張圖片，分為正常、白內障、青光眼和其他視網膜病四類，用來測試模型的泛化性和魯棒性。數據集詳情如表3所示。

2.2 數據預處理

本文獲取到的組合數據集圖像總計1 813張視網膜眼底圖像，包括300張NR圖像、100張CAT圖像、612張GLC圖像、632張DR圖像、169張ARMD圖像。按照4：1的比例隨機分為訓練集和測試集，得到了1 452幅訓練圖像和361幅測試圖像。公開數據集總計601張圖像，包括300張NR圖像、100張CAT圖像、101張GLC圖像、100張Retina圖像。兩個數據集訓練和測試集劃分如表4所示。由于原始圖像大小分布不等，并遠大于深度神經網絡的輸入，所以本文將原始圖像的大小調整為448×448作為網絡模型的輸入。另外，本文通過隨機改變訓練圖像的亮度、對比度和色調來進行色彩增強。同時通過隨機水平和垂直翻轉進行數據增強，豐富了訓練圖像的多樣性。

2.3 實驗環境和評估標準

本文基于PyTorch 1.7深度學習框架進行了所有的實驗，實現了所改進的網絡。所有程序在Ubuntu16.04 LTS 64-bit 系統上運行以及使用Python 3.7進行編程，CPU為Intel Core^TM i7-7800X CPU @ 3.50 GHz，GPU雙卡NVIDIA GTX 1080Ti。

本文評估標準采用醫學圖像分類中常用的評價指標，即分類準確度、精度、靈敏度、F1度量和曲線下面積（area under curve，AUC）評價分類器性能。將多分類拆分為多個二分類進行評價。類似于二分類，例如屬于GLC的樣本被正確分為GLC的記為TP（true positive），不屬于GLC的樣本被錯誤分為GLC的記為FP（1 positive），屬于GLC的樣本被錯誤分到了其他類，記為FN（1 negative），不屬于GLC的樣本被正確分類到了GLC的其他類，記為TN（true negative）。準確度、靈敏度、F1度量的計算公式如下，F1度量可以綜合評估精確度和靈敏度，受試者工作特性曲線（receiver operating characteristic curve，ROC）曲線可顯示靈敏度和特異度的變化。

2.4 超參數設置

本文實驗中，用shuffle batch方法隨機打亂訓練集，測試集用于驗證模型各項性能所以保持不變，訓練階段使用針對多類別的交叉熵函數作為損失函數，公式如下：

其中：M為類別的數量；yic為符號函數（0或1），如果樣本i的真實類別等于c取1，否則取0，pic為觀測樣本i屬于類別c的預測概率。使用Adam優化器對模型進行優化，其優點有計算高效、內存需求少、超參數通常無須調整或僅僅需要微調、能自動調整學習率。本實驗中初始學習率設置為0.000 5，總共訓練200個epoch，batch size設置為32，模型保存條件為上一次的測試集準確率低于本次則保存權重，反之則不，類別數根據內部與公開數據集分別設置為5和4。

為了探究優化器的變化對網絡模型的影響，本文實現了動態調整學習率和非動態調整學習率在本文模型中的影響，本文比較Adam優化器（動態調整學習率）和SGD隨機梯度下降（非動態調整學習率）兩種優化器來探究其對準確率的影響，其結果如表5所示。根據結果可知，Adam優化器在本文模型中無論公開還是內部數據集均效果最優，同時SGD在公開數據集上表現不理想。

隨機丟棄率dropout對眼底圖像識別的影響如表6所示。隨機丟棄率是抑制模型訓練過程中出現過擬合的參數項，代表對神經元隨機丟棄的概率。根據表6結果可知，隨機丟棄率為0.2時效果最優，過高或者過低的隨機丟棄率都可能導致過擬合發生。

2.5 對比實驗

本節實驗在兩個數據集上對比了本文提出的MELCNet和復現出來的多個常見輕量級網絡，如MobileNetV3^[24]、EfficientNet（b0）^[26]、EfficientNetV2^[27]、ShuffleNet^[28]以及非輕量級網絡ResNet-50^[29]、文獻[15]網絡、2021 NeurIPS會議的CoAtNet^[30]的眼底疾病分類性能。各對比網絡模型的參數量和浮點數計算量如表7所示，性能對比如表8所示。

由表7和8可知，本文的網絡模型參數量相對于ResNet-50和CoAtNet減少了約2、3倍，參數量低于文獻[15]網絡約3倍，浮點數計算量低于其7倍，介于其他輕量化網絡之間；結合表8的對比實驗結果內部組合數據集部分可知，在同樣的實驗平臺上，與非輕量級模型相比，本文模型取得了對比的7個模型中最高的分類準確率98.61%，對比網絡中取得最高準確率的模型為ResNet-50，其分類準確率97.50%，本文模型相較ResNet-50高出1.11%，相較CoAtNet高出5.82%，相較文獻[15]網絡高出3.05%。與輕量級模型相比，本文相較EfficientNetV2參數量減少了13 M左右，浮點數計算量減少了約50%，精度提升了2.49%；對比ShuffleNet參數量僅增加了6 M，浮點數增加1 G，但是精度提升了2.49%。與MobileNet V3、EfficientNet（b0）相比參數量增加了約3 M，浮點數計算量增加了約0.8 G，但精度分別提升了3.32%、6.37%。

由對比實驗表8的公開數據集部分結果可知，本文方法在準確度、靈敏度和F1度量上表現最優，其中ResNet-50和CoAtNet網絡的分類效果較差，EfficientNet（b0）也表現不佳。文獻[15]網絡在對比網絡中獲得最高的準確度為85%，而本文方法為87.5%，相比其有2.5%的提升。

由兩個數據集對比實驗結果可知，本文模型在兩個數據集測試集上的性能不僅優于其他輕量級網絡，甚至優于非輕量級網絡ResNet-50、同類相關眼底疾病分類網絡^[15]和最新的卷積加視覺Transformer結合的CoAtNet。該結果證明了本文所提出的方法不僅在組合的內部數據集上具有較強競爭優勢，同時在完全公開數據集上也表現出色，具有很好的模型泛化力，更適用于眼底疾病多分類任務。

圖7和8給出了本文方法和各對比網絡在兩個數據集測試集的各類疾病分類ROC曲線。從圖8中可以看出，相對于其他七種網絡（包括輕量級與非輕量級網絡），本文提出的MELCNet網絡在預測的四種眼疾上都實現了最優ROC曲線和總體最大的AUC值。由圖7 ROC曲線結果可知，本文提出的方法在青光眼分類上取得了最好的效果，在白內障上低于文獻[15]網絡約1%，其他類別的疾病分類中AUC值只低于MobileNetV3（約2%）。同時也獲得了整體分類最高AUC值，進一步證明了本文方法具有很好的模型泛化力，并與對比網絡相比具有競爭力的優勢。

2.6 消融實驗

為了驗證所設計的模塊對提高分類性能的有效性，對本文設計的網絡分別融入多尺度特征融合、雙線性注意力SE模塊以及加大圖片輸入尺度的特征提取，最后在兩個數據集上進行實驗。用于對比的網絡結構包括PP-LCNet主干網絡、加入多尺度特征融合的網絡、加入雙線性SE注意力模塊的網絡、加入輸入層特征提取的網絡、最終融合了這三個模塊的MELCNet網絡。消融實驗結果如表9所示。

從表9可以看出，分別融入多尺度特征提取和雙線性SE注意力以及輸入層特征提取的網絡在內部組合數據集測試集的分類準確率優于PP-LCNet主干網絡8.58%、10.52%、9.69%，全部融合的MELCNet優于PP-LCNet 12.74%，在公開數據集上對比主干網絡分別提高了8.34%、2.5%、17.5%、18.34%。由實驗結果可知，本文所提出的改進模塊融合不僅在內部組合數據集上有效，在完全公開的數據集上也表現優異。

可見得益于多尺度可以提取到不同結構的疾病特征，同時雙線性注意力可以關注到關鍵患病部位，并且輸入層加大圖片輸入尺度的特征提取可以獲取更加有效的全局圖像信息，整體網絡有助于提高眼底圖像的分類性能。通過該消融實驗結果可以證明本文方法有利于眼底疾病圖像多分類。

更進一步，根據圖9對比可知，圖（a）和（c）為PP-LCNet在兩個數據集測試集的混淆矩陣，圖（b）（d）為本文模型MELCNet在兩個數據集測試集上的混淆矩陣，根據左右混淆矩陣對比可知，本文提出的模型在對角線上的值在兩個數據集上對角線上的值均高于原始PP-LCNet，進一步證實本文提出的方法對于提高分類性能的有效性，同樣也表明了本文方法具有很強的模型泛化力和魯棒性。

2.7 模型可視化解釋

深度學習的模型在圖像分類任務中取得了優異的成績，但模型的可解釋性較差。特別是在醫學圖像處理中，對模型進行可視化研究也是非常重要的，可以幫助醫生找到病變的位置，作出可靠的診斷。本文使用加權梯度類激活熱力圖（gradient-weight class activation mapping，Grad-CAM）^[31]方法對提出的各模塊進行可視化解釋，驗證所提取的特征能夠有效區分異常眼底特征。Grad-CAM可視化結果如圖10所示。圖中最左邊為原始圖片，從第二列起依次為PP-LCNet主干網絡、融入多尺度特征提取、融入SE雙線性注意力、融入輸入層特征提取、最終的MELCNet網絡對異常眼底的關注點。通過熱力圖可以清晰地看到，本文提出的各部分方法對于在異常眼底圖像中的關注點，通過并行多尺度可以提取到不同結構的圖片病變特征，雙線性注意力可以關注到患病關鍵位置，加大尺寸的輸入層特征提取可獲得圖像更加全局的信息。

3 結束語

本文提出一種基于PP-LCNet模型改進的多尺度特征融合和雙線性SE注意力的MELCNet網絡，利用RGB眼底圖像并組合多個公開權威數據集完成對所選四種疾病和正常眼底圖像的分類任務。該框架主要包含并行多尺度特征融合、雙線性SE注意力、輸入層特征提取、深度可分離卷積以及使用適于移動設備的h-swish激活函數。重要工作是設計了一個雙線性SE注意力模塊，以雙路并行方式可關注更多對分類有效的圖像區域。實驗結果表明，本文所提出的各模塊可有效地提高眼底疾病的分類性能，整體改進網絡在四種眼底疾病和正常眼底圖像分類上取得了很好的分類性能，同時滿足進一步輕量化部署的要求，有助于眼疾檢測智能化、快捷化、方便化，為彌補鄉村偏遠地區醫療資源不均衡提供了一種新的思路與方法。最后采用Grad-CAM方法對模型進行了可視化解釋，為模型推理提供可見的預測依據，在后續研究工作中將部署模型到移動端，搭建面向移動設備的眼底圖像檢測系統，同時，由于眼底疾病識別領域的眼底圖像可獲得的公開數據集較為稀缺，考慮結合醫療機構的病例制作數據集，并利用其他更多的可用數據集對該模型進行多次驗證，以提高模型的魯棒性。

參考文獻：

［1］Nayak J，Bhat P S，Acharya U R，et al.Automated identification of diabetic retinopathy stages using digital fundus images[J].Journal of Medical Systems，2008，32（2）：107-115.

[2]Reza A W，Eswaran C.A decision support system for automatic screening of non-proliferative diabetic retinopathy[J].Journal of Medical Systems，2011，35（1）：17-24.

[3]Verma L，Prakash G，Tewari H K.Diabetic retinopathy：time for action.No complacency please！[J].Bulletin of the World Health Organization，2002，80（5）：article No.419.

[4]Wild S H，Roglic G，Green A，et al.Global prevalence of diabetes：estimates for the year 2000 and projections for 2030：response to Rathman and Giani[J].Diabetes Care，2004，27（10）：2569-2570.

[5]Klein R，Klein B E，Moss S E.The Wisconsin epidemiological study of diabetic retinopathy：a review[J].Diabetes Metabolism Reviews，1989，5（7）：559-570.

[6]Klein R，Meuer S M，Moss S E，et al.Retinal microaneurysm counts and 10-year progression of diabetic retinopathy[J].Archives of Ophthalmology，1995，113（11）：1386-1391.

[7]宋偉，張純.青光眼的神經保護性治療[J].中華實驗眼科雜志.2015，33（3）：279-283.（Song Wei，Zhang Chun.Neuroprotective treatment of glaucoma[J].Chinese Journal of Experimental Ophthalmology，2015，33（3）：279-283.）

[8]戴毅，孫興懷.從流行病學角度認識青光眼的特點與危害[J].中國眼耳鼻喉科雜志.2016，16（3）：179-181.（Dai Yi，Sun Xinghuai.Current understanding of the characteristics and damage in glaucoma：an epidemiological perspective[J].Chinese Journal of Opathal-mology and Otorhinolaryngology，2016，16（3）：179-181.）

[9]Moncef K，Rim K，Rupert B，et al.Number of people blind or visually impaired by cataract worldwide and in world regions，1990 to 2010[J].Investigative Ophthalmology amp; Visual Science，2015，56（11）：6762-6769.

[10]Müllerbreitenkamp U，Ohrloff C，Hockwin O.Aspects of physiology，pathology and epidemiology of cataract[J].Der Ophthalmologe：Zeitschrift Der Deutschen Ophthalmologischen Gesellschaft，1992，89（4）：257-267.

[11]Liu Pingping，Yang Xiaokang，Jin Baixin，et al.Diabetic retinal grading using attention-based bilinear convolutional neural network and complement cross entropy[J].Entropy，2021，23（7）：article No.816.

[12]Ajesh F，Ravi R，Rajakumar G.Early diagnosis of glaucoma using multi-feature analysis and DBN based classification[J].Journal of Ambient Intelligence and Humanized Computing，2021，12（3）：4027-4036.

[13]Chea N，Nam Y.Classification of fundus images based on deep lear-ning for detecting eye diseases[J].Computers，Materials amp; Continua，2021，67（1）：411-426.

[14]陳筱，朱向冰，吳昌凡，等.基于遷移學習與特征融合的眼底圖像分類[J].光學精密工程，2021，29（2）：388-399.（Chen Xiao，Zhu Xiangbing，Wu Changfan，et al.Research on fundus image classification based on transfer learning and feature fusion[J].Optics and Precision Engineering，2021，29（2）：388-399.）

[15]Xie Hai，Zeng Xianlu，Lei Haijun，et al.Cross-attention multi-branch network for fundus diseases classification using SLO images[J].Me-dical Image Analysis，2021，71：102031.

[16]Cheng Cui，Gao Tingquan，Wei Shengyu，et al.PP-LCNet：a lightweight CPU convolutional neural network[EB/OL].（2021）[2021-12-20].https：//arxiv.org/pdf/2109.15099.pdf.

[17]毛志榮，都云程，肖詩斌，等.基于ECA-Net與多尺度結合的細粒度圖像分類方法[J].計算機應用研究，2021，38（11）：3484-3488.（Mao Zhirong，Du Yuncheng，Xiao Shibin，et al.Fine-grained image classification method based on ECA-Net and multi-scale[J].Application Research of Computers，2021，38（11）：3484-3488.）

[18]Hu Jie，Li Shen，Albanie S，et al.Squeeze-and-excitation networks[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2020，42（8）：2011-2023.

[19]Wang Qilong，Wu Banggu，Zhu Pengfei，et al.ECA-Net：efficient channel attention for deep convolutional neural networks[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020.

[20]Luo Wenjie，Li Yujia，Urtasun R.Understanding the effective receptive field in deep convolutional neural networks[EB/OL].（2017）[2021-12-24].https：//arxiv.org/pdf/1701.04128.pdf.

[21]Szegedy C，Liu Wei，Jia Yangqing，et al.Going deeper with convolutions[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2015：1-9.

[22]Howard A G，Zhu Menglong，Cheng Bo，et al.MobileNets：efficient convolutional neural networks for mobile vision applications[EB/OL].（2017-04-17）.https：//arxiv.org/abs/1704.04861v1.

[23]Ramachandran P，Zoph B，Le Q V.Searching for activation functions[EB/OL].（2017）[2021-12-24].https：//arxiv.org/pdf/1710.05941.pdf.

[24]Howard A，Sandler M，Chu G，et al.Searching for MobileNetV3[C]//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：1314-1324.

[25]Pachade S，Porwal P，Thulkar D，et al.Retinal fundus multi-disease image dataset（RFMiD）：a dataset for multi-disease detection research[J].Data，2021，6（2）：article No.14.

[26]Tan Mingxing，Le Q V.EfficientNet：rethinking model scaling for convolutional neural networks[C]//Proc of International Conference on Machine Learning.2019：6105-6114.

[27]Tan Mingxing，Le Q V.EfficientNetV2：smaller models and faster training[EB/OL].（2021）[2021-12-24].https：//arxiv.org/pdf/2104.00298.pdf.

[28]Ma Ningning，Zhang Xiangyu，Zheng Haitao，et al.ShuffleNetV2：practical guidelines for efficient CNN architecture design[C]//Proc of European Conference on Computer Vision.Berlin：Springer，2018：122-138.

[29]He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Deep residual lear-ning for image recognition[C]//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2016：770-778.

[30]Dai Zihang，Liu Hanxiao，Le Q V，et al.CoAtNet：marrying convolution and attention for all data sizes[C]//Proc of Conference on Neural Information Processing Systems.2021.

[31]Selvaraju R R，Cogswell M，Das A，et al.Grad-CAM：visual explanations from deep networks via gradient-based localization[C]//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：618-626.