多尺度特征融合網絡的視網膜OCT 圖像分類

韓璐，畢曉君

（1.哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱 150001;2.中央民族大學 信息工程學院，北京 100081）

近年來，患有視網膜黃斑病變的患者數量明顯增加，并且隨著病情的加深，該病會對視力產生不可逆轉的影響，嚴重情況下會導致失明[1-3]。因此，黃斑病變的早期發現和臨床診斷至關重要，通過適當的治療和定期的篩查可以使黃斑病變引起的失明減少90%。

光學相干斷層掃描技術(optical coherence tomography，OCT)可以提供高分辨率的視網膜截面圖像，是目前用于檢驗視網膜疾病最為先進的技術手段，具有非接觸、無創、成像快等優點[4-7]，醫生通過對視網膜OCT 圖像的分析對眼底疾病做出診斷。然而，利用OCT 技術對視網膜疾病進行人工診斷面臨以下問題：視網膜黃斑病變患者逐年增加，醫生面臨巨大的閱片任務，依靠專業醫生的診斷已經無法滿足大量患者的診療需求；OCT 圖像為灰度圖像，個別病變特征不明顯，醫師診斷時有誤診和漏診情況發生；個別地區醫療水平較差，導致大量患者在患病初期沒有及時發現，造成疾病惡化[8-10]。

計算機輔助診斷技術[11-13](computer-aided diagnosis,CAD)是解決這一問題的有效方法。早期的CAD 技術使用基于手工特征的傳統機器學習分類方法，盡管在視網膜OCT 圖像的分類領域取得了一些成果，但是存在嚴重依賴于人工設計特征，特征級別低，在網絡訓練過程中存在計算代價高、處理流程復雜等問題。近年來，深度學習迅速發展，并在計算機視覺領域表現優異。深度學習使用卷積神經網絡在不同的層次上自動學習從低級到高級的圖像特征，彌補了傳統技術需要手工提取特征這一缺陷，成為解決視網膜OCT 圖像分類的主流算法。其中具有代表性的有2017 年，Karri等[14]提出了一種基于遷移學習的視網膜OCT 圖像分類方法。該方法通過微調預訓練后的GoolgeNet 網絡，減小網絡對大量數據的依賴，在訓練數據有限的情況下實現對DME[15-16]、AMD 和正常圖像的分類，分類精度分別為 86%、89%和99%。2020 年，張添福等[17]提出了一種輕量化OCT 圖像分類網絡。使用深度可分離卷積代替普通卷積層從而減小網絡的參數。同時使用全局平均池化代替全連接層，提高空間魯棒性，其網絡準確率可達97%。

以上研究對視網膜OCT 分類任務做出了突出貢獻，但是尚存以下兩點問題：1)視網膜OCT圖像存在大量冗余，在特征提取過程中，顯著病變特征容易被忽略，造成有用信息的丟失；2)玻璃疣(Drusen)病變位置小且形態模糊，導致Drusen這類疾病的分類難度大，目前該類別的準確率尚需提高。

針對以上問題，本文主要做了以下3個方面的工作：1) 設計了一種雙通道的多尺度融合網絡，有效利用包含了豐富語義信息的深層特征以及包含紋理信息的淺層特征；2)引入擴張卷積，通過在網絡中加入一系列并行的擴張卷積，實現在不降低特征圖分辨率的同時，增大感受野，按不同比例獲得上下文信息；3)引入門控注意力模塊，利用深層特征作為選通信號傳遞給淺層特征，在消除冗余特征的同時，獲得更細尺度的細節信息。

1 雙分支多尺度特征融合網絡

2014 年，牛津大學著名研究組Visual Geometry Group 提出VGG 網絡[18]，斬獲該年ImageNet 競賽定位任務第一名和Classification Task 分類任務第二名。該工作探索了卷積神經網絡的深度對圖像分類任務性能的影響，在固定網絡架構中其他參數的同時，通過增加卷積層來平穩地增加網絡深度，分類準確率獲得顯著提升。

VGG 網絡由卷積層、最大池化下采樣層和全連接層組成。其中，卷積層均采用卷積核大小為3×3，步距為1，填充為1 的卷積操作。VGG16 相比于AlexNet，采用連續的幾個3×3 卷積核代替AlexNet 中的較大卷積核。兩個3×3 卷積的堆疊層具有5×5 的感受野，3個這樣結構堆疊獲得的感受野是7×7。使用小卷積核堆疊代替大卷積核可以整合非線性映射層，使決策函數更加具有判別性；在擁有相同感受野的前提下能夠減少網絡所需參數；同時增加網絡非線性，讓網絡學習到更復雜、深層的特征。VGG 提出的網絡深度從11層到19 層不等，本文選擇VGG16 作為基線網絡。

本文提出了一種基于改進VGG16 的視網膜圖像分類網絡?雙分支多尺度特征融合網絡。主要改進點如下：

1)在VGG16 網絡中引入針對醫學圖像的門控注意力機制模塊，從而消除醫學圖像中的大量冗余，突出病變區域信息抑制圖像中的無關區域；

2)在VGG16 網絡中使用并行的擴張卷積在不減小特征圖大小的同時，獲得較大感受野，得到病變的細節信息，并與深度抽象特征融合，提高分類精度。

1.1 門控注意力機制

近年來，注意力機制作為一種可以即插即用在網絡模型中的模塊，在自然圖像處理領域取得了良好的效果。其中最具代表性的工作有2017 年HU 等[19]提出的通道注意力機制、2018 年Woo 等[20]提出的融合了通道注意力以及空間注意力的CBAM機制以及2020 年Wang 等[21]提出的改進通道注意力機制。這種機制在通道和空間兩個維度加權生成注意力圖，使網絡能夠關注重要的通道特征以及空間上的位置信息。

相比于自然圖像，醫學圖像具有目標區域局部化這一特性。尤其是本文使用的眼部OCT 圖像，其病變位置均占整張OCT 圖像很小的區域。鑒于醫學圖像這一特性，若將通道和空間注意力機制串聯至網絡中，會導致獲得的加權注意力圖譜單一。盡管這種機制串聯在網絡深處能夠取得良好效果，但是網絡的加深使特征圖減小，導致相關病變的細節信息丟失，因此基于深度學習的視網膜OCT 圖像分類技術中采用通道和空間注意力機制效果不佳。

本文引入了一種針對醫學圖像中目標局部化這一特性，重點關注醫學圖像中病變細節信息的門控注意力機制模塊(attention gate module，AG)，如圖1 所示。

圖1 門控注意力機模塊Fig.1 Attention gate module

深層的粗糙特征包含目標對象的位置信息，并在全局范圍內建立它們之間的關系。圖1 中：g代表網絡中獲取到的深層特征；xl代表特征提取過程中任意某一層獲取的淺層特征，淺層特征中包含目標的細節信息，比如形狀、大小等。淺層特征中包含著嚴重影響分類任務準確性的細節信息。AG 模塊將深層特征和淺層特征融合并生成注意力圖譜，然后將該注意力圖普與淺層特征相乘，用深層信息消除xl中與任務無關的特征內容，修剪冗余特征，突出顯著目標區域。其公式為

式中：σ1是RELU 非線性激活函數；σ2是歸一化sigmoid 函數，將門控系數范圍控制在[0,1]。因此，AG 可以由以下參數描述：線性變換Wx和Wg偏置bψ，這里的線性變換采用1×1×1卷積實現。；

本文在VGG16 網絡中采用AG 模塊，該網絡經過5 次下采樣，得到大小為7×7×512 的特征圖，該特征圖即為選通信號g。由于影響分類準確率的淺層特征可能分布在網絡的不同層次，因此，AG 模塊將選通信號g提供的上下文全局信息分別與VGG16 中第9 層和第13 層的淺層特征融合，在消除淺層特征中冗余的同時，獲得更細尺度的病變抽象特征，進而融合多尺度特征。其中第9 層和第13 層的特征圖大小分別為28×28 和14×14。最終網絡得到14×14、28×28 以及7×7 等3 種尺度的特征圖，經過全局平均池化以及展平處理后，將3 種尺度信息拼接起來，并通過分類層(softmax)進行分類。綜上，本文通過在VGG16中加入AG 模塊，可以有效解決OCT 圖像中病變局部化這一問題，突出病變區域同時抑制背景噪聲，讓網絡進一步挖掘到病變特征，提升分類準確率。

1.2 空洞空間金字塔模塊

視網膜病變具有局部性，且病變區域在OCT圖像中占據位置小。其中Drusen 的此特點最為明顯，其變位置小且模糊。此特點嚴重影響OCT圖像的分類效果，目前提出的相關分類方法中，Drusen 類別的分類準確率最高為92.5%，相比于視網膜OCT 圖像分類應用中其他3個類別的分類精度尚有待提高。

現階段的經典分類網絡通過加深網絡深度，從而獲得更大的感受野以及豐富的上下文信息。但是針對醫學圖像的特性，在分辨率小的特征圖上進行分類將損失大量有用信息。為解決該問題，本文設計了雙分支網絡，在骨干網絡經過3 次下采樣操作，加入并行擴張卷積空洞空間金字塔模塊，以不同比例捕捉全局上下文信息。

擴張卷積(dilated convolution)由Chen 等[22]于2016 年提出，與普通卷積相比，擴張卷積引入擴張率這一參數，在基礎卷積上加入間隔，卷積核各點間的間隔為擴張率減1，如圖2 所示。

圖2 普通卷積和擴張卷積Fig.2 Ordinary convolution and dilated convolution

擴張卷積對應的卷積核實際大小以及感受野大小均大于普通卷積，但實際參數不變，以圖2 中不同擴張率的3×3 卷積為例，它們均只有9個點有參數，與普通的3×3 卷積參數相同，其余擴張位置的參數均為0。擴張卷積對應的實際卷積核以及感受野大小計算公式為

式中：k為卷積核尺寸；s是步長，是上一層感受野大小。通過加入擴張卷積，能夠在不進行下采樣操作的前提下，同樣獲得更大的感受野。在大尺度特征圖上實現細節信息的保留以及豐富上下文信息的獲取。更好地保留了較小病變的形狀以及輪廓特征，有利于提升小目標分類精度。本文在VGG16 網絡中采用的空洞空間金字塔模塊(atrous spatial pyramid pooling,ASPP)如圖3 所示。

圖3 空洞空間金字塔模塊Fig.3 Atrous spatial pyramid pooling module

骨干網絡經過3 次下采樣后的特征圖作為該模塊的輸入，分別經過并行的1×1 卷積以及3個擴張率分別為6、12、18 的擴張卷積。為了融入全局上下文信息，該模塊采用了圖像級特征，通過對該模塊的輸入進行全局平均池操作，并將得到的圖像級特征輸入到1×1×256 的卷積核中，然后經過雙線性插值將特征上采樣到所需的空間尺寸。最后將這4 部分特征拼接輸入到1×1 卷積進一步加強特征提取。

綜上，本文通過采用不同擴張率的空洞空間金字塔模塊，在不減小特征圖大小的同時，按不同比例捕捉上下文信息，同時擴大感受野。在特征提取過程中，不會因為過度下采樣而損失病變信息，同時又利用擴張卷積和圖像級特征融合了全局信息，較好地提升了網絡對小目標Drusen 病變的特征提取能力。

1.3 整體模塊設計以及網絡架構

基于門控注意力機制和空洞空間金字塔模塊兩個創新點，本文提出了一種基于改進VGG16 的雙分支多尺度特征融合網絡，如圖4 所示。網絡經過3 次下采樣后分成兩個分支，3 次下采樣后得到的大小為28×28×512 的特征圖作為接下來兩路分支的輸入。一路分支繼續下采樣，得到最深層的特征g作為選通信號，為第3 次、第4 次下采樣后的特征圖提供上下文信息，修剪淺層特征中的冗余信息，突出病變區域顯著特征。

圖4 本文方法演示圖Fig.4 Method demonstration diagram of this paper

另一路分支進入空間空洞金字塔模塊，分別進行不同擴張率的擴張卷積，輸出特征圖大小為28×28×512，尺度不變。在AG 模塊中，選通信號g和第3 次下采樣后特征圖融合得到的特征和空間空洞金字塔模塊的輸出大小維度均相同，將兩部分特征融合，進一步獲得融合了選通信息以及多尺度信息的特征。并且，該融合后的特征為大尺度特征，實現了讓網絡在分辨率大的特征圖上進行分類。為了讓小目標病變獲得良好的分類效果，需要網絡獲取豐富的病變區域信息，包括病變的形狀、大小特征等。這種特征通常蘊藏在淺層網絡中，但是由于病變區域過小，這些淺層特征會在特征提取過程中，損失大量病變區域的細節信息。本文提出的方法不僅融合了多尺度特征，還通過在大分辨率特征圖上進行分類避免了細節特征的丟失，有效解決了現有方法對小目標病變分類效果不佳這一問題。

2 實驗結果及分析

為驗證本文提出方法的有效性與先進性，實驗部分主要做了以下兩個方面的工作：1)消融實驗，本文提出的兩個創新點分別引入實驗以及最終的改進網絡與基線網絡的實驗效果對比實驗；2)與現有代表性算法的對比實驗。

2.1 實驗環境

本文使用的實驗環境如表1 所示。本實驗采用SGD 優化算法，一共訓練150個epoch，初始學習率設置為0.001，學習率衰減采用指數衰減，衰減底數gamma 設置為0.98。

表1 實驗環境配置Table1 Experimental environment configuration

2.2 數據集

本文使用的數據集是 Kaggle 平臺提供的開源視網膜OCT 病變圖像，該數據集由加利福尼亞大學圣地亞哥分校（UCSD）于2017 年公開。該數據集包含4 種類別，分別是玻璃膜疣(Drusen)、脈絡膜新生血管（CNV）、糖尿病黃斑水腫（DME）和正常類別，如圖5 所示。數據集包含訓練集和測試集，訓練集中4 種類別分別包含8 616、37 205、11 348、26 315 張圖片。測試集由每類250 張圖片組成，共1 000 張OCT 圖像。本文按照8∶2 的比例將訓練集劃分為訓練集和驗證集。

圖5 視網膜OCT 圖像示例Fig.5 Retinal OCT image example

2.3 評價指標

本文使用準確率(Accuracy)、召回率(Recall)精確率(Precision)、特異性(Specifity)作為視網膜OCT 分類任務的評價指標，具體公式如式(4)～(7)所示。

式中：TP 是將正樣本正確分類的個數；TN 為將負樣本正確分類的個數；FP 為將正樣本分類錯誤的個數；FN 為將負樣本分類錯誤的個數。本文中的視網膜分類任務屬于多分類任務，這里的正樣本是指定的某一特定類別，例如玻璃疣，而此時的負樣本為除玻璃疣外的其他3 種類別。同時，本文繪制了4 種類別的混淆矩陣，可直觀看出各類別的分類情況以及與基線網絡分類情況的對比。

2.4 實驗分析

2.4.1 算法的有效性驗證

為了驗證本文提出方法的有效性，這里對改進后的網絡（引入AG 模塊和空間空洞金字塔模塊）與只加入AG 模塊以及基線網絡進行了消融實驗，實驗在同樣的數據集、實驗環境以及相同的網絡參數配置上進行，實驗結果如表2 所示。

由表2 可以看出，加入AG 模塊后，網絡的識別率較基線網絡提高了1.9%，由此看出通過引入AG 模塊，網絡更好地學習了病變區域特征，降低了大量背景冗余的影響。在此基礎之上，加入本文的第二個改進點，網絡的準確率進一步提高到97.9%，較基線網絡提高了3.7%。其中Drusen 病變有了明顯的提高，提高了1.5%。由該實驗結果可以看出，加入擴張卷積使網絡在大尺度特征圖上進行分類，讓小目標病變的細節信息不會隨特征提取過程的深入而損失，Drusen 的識別效果顯著地提升。

表2 算法有效性驗證實驗Table2 Algorithm validation experiment

為了進一步直觀地看出網絡對4個類別的分類效果，這里繪制了基線網絡以及加入AG 模塊和加入AG 模塊、空間空洞金字塔模塊的混淆矩陣，如圖6 所示。在混淆矩陣中，對角線上的數字代表每個類別正確分類的樣本個數，對角線上數值越大說明分類越準確。從圖6 可以看出，加入AG 模塊后，雖然各類別分類效果有所提高，但是由于Drusen 病變小而模糊，且與CNV 表現相似，對Drusen 的分類效果相比于其他3個類別差。再加入空間空洞金字塔模塊后，Drusen 的分類效果有了明顯的改善。

圖6 混淆矩陣Fig.6 Confusion matrix

2.4.2 算法的先進性驗證

為驗證本文方法的先進性，將本文提出算法與現階段具有代表性的基于深度學習的視網膜OCT 分類算法進行對比，對比結果如表3 所示。首先，從表3 可以看出，現有方法對Drusen 的分類準確率不高，該類別的最高準確率僅達92.5%，遠低于另外3 種類別的分類精度。這是因為現有方法針對小目標病變的特征提取能力不強，在特征提取過程中，Drusen 這一病變的細節信息損失嚴重。針對這一問題，本文通過加入門控注意力機制突出病變區域信息，以及加入空間空洞金子塔模塊減小網絡下采樣的次數，在大分辨率的特征圖上進行分類，從而保留小目標病變區域的細節特征，本文對Drusen 病變的分類準確率較現有文獻有了顯著提升，較文獻[17-24]分別提高了6.3%和9.8%。同時，本文方法在CNV、DME 兩種類別病變上也獲得了最好的分類效果。本文對Normal類別的分類準確率較文獻[17]低0.5%，但本文方法的整體分類準確率依然是現有視網膜OCT 圖像分類任務中最高的，相比于文獻[17]提出的輕量化視網膜OCT 圖像分類網絡，本文算法準確率提高了0.9%，較文獻[23]提出的多層次可選擇卷積分類方法準確率提高了2.51%，較文獻[24]提出的遷移學習方法準確率提高了1.4%，較文獻[25]提出的基于通道注意力機制的分類方法提升了0.4%，這充分驗證了本文改進網絡模型的先進性。

表3 算法先進性驗證實驗Table3 Algorithm advanced verification experiment %

3 結束語

本文提出了一種應用于視網膜OCT 圖像分類任務的雙分支多尺度特征融合網絡。通過加入門控注意力機制模塊，讓深層特征作為選通信號修剪淺層特征中的冗余信息，突出OCT 圖像中的病變區域，消除背景噪聲的影響。同時引入空洞空間金字塔模塊，利用并行擴張卷積代替下采樣過程，在不降低特征圖大小的前提下按不同比例捕捉上下文信息，獲得更大的感受野。本文提出的方法有效解決了現有方法中因Drusen 病變位置小、形態模糊導致的該類別分類難度大、精度低的問題，進一步提高了計算機輔助診斷的能力。針對目前視網膜黃斑病變患者多、醫生診斷壓力大以及醫療行業逐漸智能化的現狀，本文具有顯著的研究價值。利用深度學習技術特征提取能力強大、可處理大量數據的優勢，對本課題進一步深入研究，可以讓計算機輔助診斷技術提升至人類專家水平，在實際應用中輔助人類醫師更加高效、準確地診斷疾病，同時可以挖掘大量醫療數據中的巨大價值，實現醫療系統智能化的轉變。