基于空間注意力機制的EfficientNet乳腺癌病理圖像分類研究

劉雅楠，王曉艷，李靖宇，郝利國，趙添羽，鄒鶴，許東濱

1.齊齊哈爾醫學院，黑龍江，齊齊哈爾，160006；2.齊齊哈爾市第一醫院，黑龍江，齊齊哈爾，161000

0 引言

乳腺癌組織病理圖像的自動分類的關鍵在于對相關組織所呈現變化的特征提取，當前圍繞特征提取技術主要有兩種研究方法。一種方法是基于人工特征提取方法，這一方法的主要過程包括分割圖像、提取特征、訓練分類器；特征提取圍繞形態特征、紋理特征、空間特征 進行，形態特征即形狀、尺寸等，紋理特征反映圖像清晰度，并關注多次出現的局部特征及排列規律，空間特征重點強調乳腺癌細胞核的排列及變化。另一種方法是基于深度學習的方法，深度學習算法種類較多，國內外學者著重提出了以下方法：①向量機算法[1-2]，其基本思想是線性映射，即SVM利用內積核函數代替向高維空間的非線性映射，其優點在于適用小樣本學習，基本不涉及概率測度和大數定律等領域，對分類和回歸問題進行簡化；缺點是樣本數量很大時該矩陣的存儲和計算將耗費大量的機器內存和運算時間。②隨機森林算法[3-4]，即建立眾多決策樹，組成一個決策樹的“森林”，通過多棵樹投票來進行決策。其優點是有效地提高對新樣本的分類準確度；缺點是可能做出超越訓練集數據范圍的預測，導致對某些特定噪聲的數據進行建模時出現過度擬合，對于特征較少的數據分類效果不好。③卷積神經網絡[5-6]方法，就是將一個視覺模式分解成許多子模式（特征），然后進入分層遞階式相連的特征平面進行處理，該方法的優勢在于避免了傳統識別算法中復雜的特征提取和數據重建過程，但會由于訓練時間較長導致過度訓練。

本文著重圍繞深度學習特征提取方法開展研究，主要做了以下兩方面的工作。一方面，利用卷積神經網絡中性能優異的EfficientNet模型，通過改進與優化實現了該模型對于乳腺癌病理圖像的復合縮放，使得圖像在深度、高度、圖像分辨率、大小等多方面都可調整變換；另一方面，在對圖像實現較好處理的基礎上，通過設計空間注意力機制，使得計算機根據深度學習結果只處理醫師感興趣的區域，從而盡量避免工作效率低下，且實踐表明，該機制能顯著提高模型運算效率、速度和準確率。

1 實驗數據集介紹

本實驗所用數據集是巴西P&D實驗室發布的BreaKHis數據集，在數據集圖像的搜集與制作過程中，患者均享有充分的知情權，并行使同意權，同時根據倫理學審查標準對所有數據進行匿名處理。BreaKHis數據集的圖片是通過蘇木精-伊紅染色劑對乳腺組織進行活檢切片染色，后由病理醫師標記，共含7909張不同放大倍數（40倍、100倍、200倍、400倍）的乳腺組織切片。圖像原始大小為700×460像素，圖像數據具體分布如表1所示。

表1 不同放大倍數的數據集圖片分布統計

數據集圖像分為兩大類：即良性腫瘤（benign）組織病理圖像和惡性腫瘤（malignant）組織病理圖像。良性腫瘤包括：腺病、纖維腺瘤、葉柄狀瘤、管狀腺瘤。惡性腫瘤包括：導管癌、小葉癌、粘液癌、乳頭狀癌。以放大100倍為例，不同類型圖像如圖1所示。

2 本文方法

2.1 染色標準化

病理醫師借助光學顯微鏡觀察染色組織進行病理學研究，但由于制備切片時的染液生產批次與掃描圖像時儀器型號的細微差別，會導致圖像存在色度差異，人工操作時可以憑借主觀經驗盡力克服這種差異造成的影響，但在圖像自動處理過程中，色度差異會導致識別技術上出現誤區，進而大幅降低準確率。因此，需要將獲得的乳腺癌組織病理圖像轉換至相同顏色的空間，進而消除不同制備條件對診斷結果造成的影響，即進行圖像染色標準化。

首先，將RGB圖像調整至染色濃度，但能否成功稀疏染色分離的關鍵在于是否在染色通道上設置了合理的稀疏約束。其次，把圖像的顏色外觀歸一化為理想圖像的顏色外觀，這種方法最大限度地保留了源圖像染色濃度與富含生物學信息的組織結構，效果如圖2所示，且出于最大限度保留圖像生物組織結構的目的，采取不改變圖像的相對染色濃度、只改變顏色外觀的歸一策略，效果明顯。

2.2 圖像數據增廣

圖像數據對于深度學習模型如卷積神經網絡的訓練結果發揮著重要作用，通過增強數據能夠提高模型泛化程度，降低發生過擬合的概率。考慮到乳腺癌組織病理圖像內包含復雜的組織結構信息，結合上文對數據集內兩類圖像的統計分析，且為使每一放大倍數下的圖像數量平衡且均勻，故選擇翻轉、旋轉等不對圖像造成實質性影響的數目增加方法，這一方面擴充了數據量，另一方面保證特征穩定。圖像翻轉效果如圖3所示。

2.3 空間注意力機制設計

注意力機制在人體多個感覺器官中都有體現，如人眼視覺中，同時進行大范圍輸入信息的接收時，通過注意力機制能夠實現對感興趣區域的快速定位，并強化注意。人耳聽覺同樣會在接收聲音信號輸入的同時對感興趣的聲音進行強化處理，這是人類面對復雜生存環境、經歷漫長自然選擇后的能力。因此，如果為神經網絡模型賦予這種能力，那么模型面對各種本質上是數據信息篩選的任務時將會更加穩定與高效，能及時做出準確的決策。在此將以SE模塊介紹本文機制對于非感興趣區域特征的抑制。

對于給定的某一個特征X∈RH×W×C，通過明確搭建特征通道之間的相互依賴關系進而重新展示特征，整合全局空間信息，增強有用信息并抑制無用信息。SE模塊結構如圖4所示。特征X首先橫跨全部空間維度（H×W）壓縮至一個通道描述符，進而通過全局平均池化生成該通道的統計向量，便于指導信息特征，為網絡學習提供參考。隨后，對通道描述符進行非線性操作編碼，選用兩個帶有不同激活函數的1×1的卷積層和降維、升維操作來明確依賴關系。

2.4 EfficientNet模型設計

擴充卷積神經網絡的可用資源庫，會增大其規模，進而提高網絡識別精度。但卷積神經網絡的技術參數眾多，模型準確率會因個別參數的單獨提高而快速達到飽和狀態。但若網絡深度、網絡寬度和圖像分辨率三個維度全部采取人工調節，一方面無法同時集中眾多的專業人才來完成巨大的工作量，另一方面人工調整過程中由于工作狀態不同極易造成誤差。因此，筆者創新模型壓縮方法，設置簡單高效的復合系數用以放大網絡，實現網絡的運行速度與判別精度共同發展。

EfficientNet網絡模型是卷積神經網絡中的一種，利用復合模型擴張，并引入神經結構搜索技術，進而實現對網絡深度、網絡寬度和圖像分辨率的動態提高，同時為保證準確率增益效果的穩定，對上述參數的調節還需要進行協調，協調過程如圖5所示。

該模型功能完善，其基本組成結構是多個反轉殘差塊。反轉殘差塊的工作原理在于利用不同規模卷積核的先后順序不同，即對特征從不同維度進行增加，再借助3×3的卷積核對目標特征進行處理和選擇。

3 實驗及結果分析

3.1 實驗環境介紹

本實驗中操作系統是Windows10，具體配置包括：顯卡配置NVIDIAGTX1080Ti，集成開發環境PyCharm2020。

3.2 實驗流程及結果分析

對數據集圖片進行八分類，驗證本文算法。（1）將每個放大倍數下每種類型圖像的80%劃分為訓練集，20%劃分為測試集；（2）按照上文2.1中的步驟對兩種圖像進行標準染色處理；接著以50%的覆蓋率對標準染色處理的數據集圖像進行采樣，采樣后進行數據增強，將訓練集擴充為原來的四倍；最后，使用本文提出的空間注意力機制對EfficientNet網絡進行訓練后，利用訓練好的EfficientNet網絡對測試集圖像塊進行預測，得出圖像塊的分類，再通過多數投票方法得出圖像級別的分類。

為使改進模型對乳腺癌組織病理圖像分類效果一目了然，本文采用了圖像級別的分類準確度（Accuracy-I）和從患者級別出發的分類準確度（Accuracy-P），同時顯示模型運行時間，進而驗證模型性能。圖像級別的分類準確度定義如下：

Ncor代表測試集中正確分類的乳腺組織病理圖像數，Ntotal代表測試集中總的乳腺組織病理圖像數。患者級別的分類準確度定義是測試集中所有患者分類準確率與所有患者數的比值：

其中，測試集中某位患者全部病理圖像為Na，測試集中該患者正確分類的病理圖像數為Ncor，Ncor與Na比值為某位患者分類準確率。NP表示測試集中所有患者數。實驗結果見表2所示。

表2 分類準確率對比

通過與其他典型網絡模型的運行結果進行對比實驗，本文所設計的空間注意力機制下的Efficeient神經網絡模型表現出更為優異的性能，對放大倍數40倍、100倍、200倍、400倍的圖像，其分類準確率均超過90%，特別是相較于傳統的AlexNet網絡，不僅能夠提高圖像處理速度，而且能夠保持圖像的穩定性和清晰度，極大地提升了計算機輔助診斷效率，有助于及早對乳腺癌病理圖像的良惡性進行篩查。

4 結語

本文前期在理論與實驗數據集準備的基礎上，選擇了卷積神經網絡中表現性能優異的EfficientNet模型，同時采取空間注意力機制的學習策略對模型進行訓練，創立了實驗環境，提升了卷積核的性能，其在分類時間及準確率等算法評價指標上均表現出色。最后，提出了對于深化空間注意力機制的應用，也對在更多臨床場景中應用EfficientNet模型提出了自己的思考。