改進DenseNet的乳腺癌病理圖像八分類研究

趙曉平，王榮發，孫中波，魏旭全

1.南京信息工程大學 計算機與軟件學院，南京 210044

2.南京信息工程大學 數字取證教育部工程研究中心，南京 210044

根據2020年世界衛生組織國際癌癥研究機構的數據顯示，乳腺癌已經是全球女性最常見的癌癥類型之一，約有230萬新病例，比例高達11.7%，且死亡率極高[1]。因此，乳腺腫瘤的早期發現及診斷治療顯得極為重要。

乳腺腫瘤組織病理圖像自動分類是當前醫學界極具挑戰性的一項工作。究其原因，主要有兩個方面：一是由于組織病理圖像之間存在差異性、細胞重疊現象和顏色分布不均等特點，給圖像分類帶來困難；二是由于缺乏公開的、已標記的大型數據集，從而制約了深度學習在醫學圖像中的應用[2]。國內外許多研究人員對乳腺癌自動分類進行了嘗試，并取得一定的研究成果，概括地講，目前乳腺癌組織病理圖像分類主要分為以下兩類方法：一種是基于人工特征提取和傳統機器學習算法相結合的乳腺癌組織病理圖像分類；一種是基于深度學習的乳腺癌組織病理圖像分類[3]。

傳統的乳腺癌組織病理圖像自動分類的主要思想是使用機器學習方法（如支持向量機[4]、隨機森林[5]等方法）對人工提取的特征進行分類。Zhang等[6]根據人工特征提出單類核主成分分析方法，對361張乳腺腫瘤組織病理圖像進行分類，分類準確率達到92%。2015年，Spanhol等[7]構建基于82名患者的7 909張乳腺癌組織病理圖像數據集BreaKHis，采用局部二值模式、灰度共生矩陣、無參數閾值鄰接統計等六種特征描述子提取特征，利用支持向量機、隨機森林等四種傳統機器學習分類器進行分類，分類準確率達到80%~85%。Belsare等[8]使用統計紋理特征訓練k近鄰和支持向量機，在某私人乳腺組織病理數據集上達到100%的分類準確率。Wang等[9]使用支持向量機算法對68幅乳腺癌組織病理圖像進行分類，其分類準確率達到96.2%。總之，上述研究均針對不同的數據集，這些數據集大多是小型數據集且私有，因此算法之間缺乏統一的對比標準，準確率不具有可比性。更重要的是，這些算法均采用人工特征提取，不僅需要很多病理圖像專業知識，還需耗費大量的時間和精力，嚴重阻礙了傳統機器學習方法在乳腺癌組織病理圖像自動分類上的發展。

深度學習因其具有從大量數據中自動學習特征的能力，從而推動自身在醫學圖像識別方面的應用[10]。Spanhol等[11]使用經典的卷積神經網絡AlexNet網絡，采用不同的融合策略分類，在BreaKHis數據集上的平均分類準確率達到83.2%。Bayramoglu等[12]提出兩個不同的架構：單一任務卷積神經網絡用于預測惡性腫瘤；多任務卷積神經網絡既能預測惡性腫瘤，又能放大圖像倍數，其分類準確率達到83%左右。國內學者在這一領域也有長足進展，2018年，鄭群花等[13]提出以AlexNet網絡為基礎架構的卷積神經網絡模型，將乳腺組織病理圖像分為四類子類，并采用圖像分塊的思想，將每塊的分類結果采用多數投票算法進行整合，模型分類準確率達到99.7%。2019年，王恒等[14]以ResNet50為基礎網絡，利用遷移學習設計出乳腺癌組織病理圖像良惡性二分類模型，對BreaKHis數據集進行訓練，分類準確率達到97.4%，該模型具有魯棒性好、精度高和收斂快等優點。值得注意的是，上述算法基本是乳腺癌良惡性的二分類研究，并不能幫助醫生作出具體的診療方案，仍需要對各自亞型進行多分類。但多分類研究需要大量的訓練樣本，現今公開的大型乳腺組織病理圖像數據集少，且部分數據集不僅很小，還存在類別不均衡問題。因此，如何利用好有限的數據樣本是分類模型性能提升的關鍵。

針對數據集數據不均衡引起的病理圖像分類準確率較差問題，本文提出基于改進的DenseNet網絡的乳腺癌組織病理圖像的八分類模型DAFLNet：首先DAFLNet模型采用深度為201層的DenseNet-201網絡，在其基礎上添加注意力模塊以改進模型結構；并將損失函數由標準交叉熵損失函數改為更適合多分類任務的焦點損失函數，從而解決了數據集數據不均衡的問題。該方法具有較強的魯棒性，能夠更好地滿足臨床需求。

1 基本原理

1.1 DenseNet模型

Huang等[15]在2017年提出DenseNet網絡模型，該模型借鑒ResNet[16]和GoogLeNet[17]的優點，DenseNet主要是用于解決深度卷積神經網絡中梯度消失的問題。該模型最重要的特點是能夠使得每個Dense塊內每一個特征層都能夠充分連接，即每一個特征層的輸入均是前面所有層輸出的連接，使得淺層和深層特征均能夠得到充分利用，從而不但緩解因為層數變深而導致的梯度消失問題，也提高了網絡模型的抗過擬合性能。

經典的卷積神經網絡（AlexNet、LeNet和VGG）中，網絡一共有多少層，則會有多少層的連接。但是在DenseNet網絡中，第l層所得到的特征圖卻是前面所有特征圖連接之后卷積的結果，其公式如式（1）所示：

式中，X表示的是卷積操作，⊕表示的是特征之間的連接，T表示特征，由式（1）可知，l層網絡有l×(l+1) 2個連接。

DenseNet網絡是由交替連接的Dense塊和過渡塊構成，圖1是Dense塊的結構圖。過渡塊用來降低Dense塊輸出特征的維度，以避免連接操作造成特征通道維度過大，使得訓練過程變得緩慢。

1.2 注意力機制

注意力機制的基本思想是讓網絡能在大量特征中忽略一些無關特征，從而能關注到重要任務的特征[18]。注意力機制一般分為強注意力機制和軟注意力機制。強注意力機制是指選擇輸入序列中某一個位置的信息；軟注意力機制在選擇信息時，不是從多個信息中只選擇一個，而是將多個輸入信息進行加權平均，結果輸入到卷積神經網絡進行訓練。

DAFLNet模型所添加的位置注意力與通道注意力均是軟注意力機制。

位置注意力[19]用來捕捉特征圖任意兩個位置之間的空間依賴性，對于某個特定位置的特征A，被所有位置的特征進行加權求和，從而得到現有特征E，即任一位置特征的更新是通過圖像所有位置特征的帶權聚合進行更新，權重是由兩個位置特征的相似性s決定，即無論兩個位置的距離多遠，只要兩者之間特征相似就能得到更高的權重。位置注意力機制的公式如式（2）所示：

其中，sji表示位置i對位置j的影響，Aj代表位置j的原始特征，Di是原始特征Aj卷積后位置i的特征，α是權重參數。當初始化為0時，特征仍是原始位置特征Aj，當逐漸分配更多權重時，新特征則為所有位置特征影響和原始位置特征Aj的加權求和。

通道注意力[19]利用所有通道特征的加權求和，捕捉任意兩個通道之間的相互依賴。對于某個通道特征A，被所有通道的特征進行加權求和，從而得到現有特征E。通道注意力機制的公式如式（3）所示：

其中，xji表示通道i對通道j的影響，Aj代表通道j的原始特征，Ai代表通道i的原始特征，β也是權重參數，同樣從0開始訓練。式（3）表示通道的最終特征為所有通道的特征和原始通道特征Aj的加權求和。

1.3 焦點損失函數

2017年，Lin等[20]提出焦點損失函數（Focal loss），用于解決數據不均衡的問題。該函數在標準交叉熵損失函數的基礎上，通過調整各類數據的訓練權重，使模型更加關注小樣本或易混淆樣本。從而提升模型對不均衡數據的識別率。

Focal loss在標準交叉熵損失函數的基礎上引進兩個可調整的參數α與γ，對數據集中的易混淆樣本和少樣本分配更大的訓練權重，Focal loss損失函數的表達式如式（4）所示：

其中，p是預測樣本分類概率，當樣本分類正確時p趨于1，當分類錯誤時則會趨于0。α與γ是超參數，用來調節不同類別樣本在損失中所占比重。(1-p)γ是調制系數，當一類樣本被分錯時p很小，那么(1-p)就接近1，因此易混淆樣本訓練的損失不受影響；而當p趨于1時，(1-p)就趨于0，那么易分樣本的權重就會降低，從而更加關注易混淆樣本的訓練。故某類樣本難分時，可以將γ設置為大于1的整數，調制系數就會變大，從而就能增加此類樣本的訓練權重。

2 DAFLNet模型

針對醫學圖像中存在公開數據集稀少和數據不均衡問題，本文提出的DAFLNet模型，是在DenseNet-201網絡模型的基礎上，從損失函數和模型框架的改進兩個方面入手：（1）將損失函數改為更適合多分類和數據不均衡的Focal loss；（2）對模型框架中的Dense塊進行調整，并于DenseNet-201尾部添加注意力模塊，從而使模型更加關注易混淆樣本和少樣本。DAFLNet網絡模型架構圖如圖2所示。

圖2 DAFLNet網絡模型Fig.2 DAFLNet model

一組共16張乳腺癌組織病理圖像作為DAFLNet模型的輸入，首先進行DenseNet-201主體架構訓練，再通過注意力模塊微調DAFLNet參數，最后在全連接層使用softmax分類器對圖像進行分類。

2.1 DenseNet-201主體架構

DAFLNet模型中，DenseNet-201主體架構細節如圖3所示。首先，輸入一組共16張乳腺癌組織病理圖像到7×7的卷積層，提取出組織病理圖像的細胞核特征信息。然后，通過一個3×3的最大池化層對卷積結果進行下采樣，降低特征尺寸。最后，將池化后的特征結果輸入到DenseNet-201主體架構的最重要部分：交替串聯的4個Dense塊和4個過渡塊。在這部分，將乳腺癌組織病理圖像在網絡中的淺層和深層特征信息結合，極大地提高了特征利用率。

圖3 DenseNet-201主體架構Fig.3 Densenet-201 main structure

DenseNet-201網絡中最重要的部分是Dense塊，本文將Dense塊分成兩種Dense layer：Dense layer1中包括批歸一化操作、RELU和1×1卷積操作；Dense layer2中包含批歸一化操作、RELU和3×3卷積操作。Dense layer中的批歸一化和RELU操作，可以對每個隱藏層的輸入均進行標準化操作，能緩解深度卷積神經網絡中的梯度消失或爆炸現象，且加快模型的訓練速度。將這兩種Dense layer按照相應的組合數交替串聯，并進行密集連接，即可組成Dense塊。如圖3，Dense塊1中共有6對Dense layer組。同時，Dense塊2、3、4分別有12對、48對、32對Dense layer組。

通過DenseNet-201中過渡塊降低前面Dense塊輸出特征圖的尺寸，其中包括有批歸一化操作、RELU、1×1卷積操作和2×2平均池化操作。

2.2 注意力模塊

DenseNet-201主體架構尾部所添加的注意力模塊，包含位置注意力子模塊和通道注意力子模塊。將兩個子模塊并聯，通過微調模型參數，實現特征加權，得到新特征。從而使模型能夠更加關注少樣本和易混淆樣本的子類。

位置注意力子模塊將更廣泛的圖像信息編碼為局部特征，從而增強其特征表達能力。圖4為位置注意力子模塊的結構圖，其展示了局部特征調整的過程：首先將局部特征C×H×W進行卷積重塑為C×N，其中N是H×W，對卷積重塑后的特征圖C×N進行轉置，轉置結果與原特征圖C×H×W卷積重塑相乘；然后，將相乘結果通過softmax重組得到新的特征圖N×N，隨之對新特征圖N×N轉置，并與C×N這個特征圖相乘重塑為原來的尺寸；最后，將其再加上最初的原特征圖C×H×W，從而得到最終的特征圖。

圖4 位置注意力子模塊Fig.4 Position attention sub module

由圖4可知，每個位置的特征是所有位置的特征和原始特征的加權求和。因此，位置注意力子模塊具有全局視圖，并根據特征之間的相似度，選擇性地聚合一些特征，從而增強某些重要特征的表達能力。

通道注意力子模塊通過利用通道映射之間的相互依賴性，強調相互依賴的特征映射的大小和改進特定的特征表示。通道注意力子模塊也很好地說明了如何對通道特征進行調整，如圖5所示。首先，對原特征圖C×H×W轉置為W×C×H，將其與原特征圖進行矩陣相乘，隨之經過softmax得到新特征C×C；然后，將新特征C×C與原特征圖的重塑C×N進行矩陣相乘，再重塑為原來的尺寸；最后，結果與原特征圖相加得到新的特征圖。

圖5 通道注意力子模塊Fig.5 Channel attention sub module

由圖5可知，每個通道的最終特征是所有通道的特征和原始特征的加權求和，體現通道特征映射之間的依賴關系，有助于提高特征的可辨別性。

3 實驗

3.1 BreaKHis數據集

本文采用乳腺癌組織病理圖像公開數據集BreaKHis[8]，BreaKHis數據集是巴西巴拉那聯邦大學的Spanhol等在文獻[7]中發布的公開數據集。該數據集包含了來自于82名患者的7 909張已標注的乳腺癌組織病理圖像，分為良性（benign）和惡性（malignant）腫瘤，其中良性24人，共有2 480張，惡性58人，共有5 429張，如表1所示。BreaKHis數據集采用4種不同的放大系數（40×、100×、200×、400×）。根據細胞的不同特征，將良惡性乳腺腫瘤劃分為不同的八種亞型。其中良性乳腺腫瘤包含四種不同的子類腫瘤，如圖6（a）~（d），分別是腺瘤（adenosis，a）、纖維腺瘤（fibroadenoma，f）、葉狀腫瘤（phyllodes tumor，pt）、管狀腫瘤（tubular adenoma，ta）；惡性乳腺腫瘤同樣包含了四種不同的子類腫瘤，如圖6（e）~（h），分別是導管癌（ductal carcinoma，dc）、小葉癌（lobular carcinoma，lc）、粘液癌（mucinous carcinoma，mc）、乳突癌（papillary carcinoma，pc）。DAFLNet模型將對以上八種不同類型的乳腺腫瘤進行八分類。

圖6 乳腺組織病理圖像Fig.6 Pathological image of breast tissue

表1 各類乳腺癌組織病理圖像數量Table 1 Number of histopathological images of various types of breast cancer

乳腺組織病理圖片大小均是700×460像素的尺寸，模式均為PNG三通道圖像。

3.2 實驗參數與評價標準

按照6∶2∶2的比例隨機將BreaKhis數據集劃分為訓練集、驗證集和測試集。在訓練階段將訓練集與驗證集中的病理圖像按16張一組輸入到DAFLNet模型中進行訓練，使用自適應動量的隨機優化算法（Adam）對網絡模型中的權重、偏置進行更新。初始學習率設置為0.001，每次訓練的批量數為16，訓練迭代次數為50次。

對于乳腺癌組織病理圖像的分類一般有兩種評價標準，一種是圖像層面，另一種是病人層面。圖像層面的分類準確率是測試集中分類正確的圖像占全部乳腺組織病理圖像的比例，其準確率表達式如式（5）所示：

式中，Nq為測試集中正確分類的圖像數目，Nall為測試集中所有圖像數目。當表達式值越高，分類效果就越好。病人層面分類準確率會首先對每個病人的乳腺組織病理圖像計算分類準確率，再對所有病人的準確率取平均值，其準確率表達式如式（6）所示：

式中，Np是病人的數量；Ncp是對應病人p的分類正確的乳腺組織病理圖像數量；Nip是對應病人p乳腺組織病理圖像的總數。

本文實驗中采用圖像層面的ACCi作為評價指標，ACCi的值越大，DAFLNet模型的分類性能就越好。本文將訓練集、驗證集和測試集準確率分別命名為T-ACCi、V-ACCi和ACCi。

3.3 訓練過程

在乳腺癌組織病理圖像多分類實驗中，將數據集BreaKHis中劃分出的訓練集與驗證集輸入模型進行訓練。其中，訓練集用于模型擬合，驗證集作為模型訓練過程中單獨留出的樣本集，用于調整模型的超參數，并對模型的性能進行初步評估。

模型參數收斂過程中學習率的設置至關重要：學習率過高將導致模型難以收斂；反之，過低則會導致模型訓練過慢。針對這一問題，本文采用KERAS框架的回調函數ReduceLROnPlateau來衰減學習率：設置一個monitor監視V-ACCi，當連續5個批次的V-ACCi沒有提升時，學習率會以乘0.1倍的形式減少。

模型按50個批次訓練，每次迭代訓練316組圖像，一組共16張乳腺癌組織病理圖像，訓練過程中的T-ACCi和V-ACCi變化如圖7所示。從圖中可以看出在第25次迭代，模型基本擬合，點A為訓練集基本擬合點，T-ACCi為94%；點B為驗證集基本擬合點，V-ACCi為96%。最終訓練集與驗證集完全擬合的準確率在96%左右，兩者誤差不超過1%，較為合理。

圖7 訓練準確率變化Fig.7 Training accuracy change

同時，訓練過程中損失變化如圖8所示，同樣在第25次迭代，模型基本擬合。點C為訓練集損失基本擬合點，損失值為0.05；點D為驗證集損失基本擬合點，損失值為0.03。最終，訓練集與驗證集完全擬合的損失均在0.03左右，兩者誤差不超過0.01。結合圖7和圖8可知，訓練和驗證的準確率與損失誤差均不超過0.01，較為匹配，從而驗證模型未出現過擬合和欠擬合現象。

圖8 訓練損失變化Fig.8 Training loss change

3.4 實驗結果分析

為了驗證DAFLNet模型可以對不同類別乳腺腫瘤的組織特征做出很好的區分，且更直接地驗證DAFLNet模型的特征區分效果，將測試集分別輸入到訓練好的DenseNet-201模型和DAFLNet模型中進行測試，測試結果進行可視化，不同方法下輸出結果可視化對比如圖9所示。從圖9（a）中黑色虛線圈出部分可以看出，導管癌（dc）與小葉癌（lc）及乳突癌（pc）有部分的重合，并且纖維腺瘤（f）和葉狀腫瘤（pt）同樣難以區分。因此，DenseNet-201模型并不能很好地應對乳腺組織病理圖像八分類任務。

圖9 輸出結果可視化對比Fig.9 Visual comparison of output results

而從圖9（b）中可以看出，DAFLNet模型能夠較好地區分不同種類的乳腺腫瘤。但是，小葉癌（lc）與導管癌（dc）依然有著一小部分的重合，如圖9（b）中黑色虛線圈出部分。究其原因，不僅因小葉癌與導管癌的特征十分相似，而且因導管癌的圖像數據過于充分（如圖中橘黃色區域所示），學習到的特征豐富，從而變得難以區分，最終導致導管癌會有少部分被錯分到其他類型。但是，從總體上來看，本文提出的DAFLNet網絡模型已經能夠將不同種類的乳腺腫瘤進行很好的區分。

DAFLNet模型對測試集進行乳腺腫瘤良惡性二分類實驗，得到混淆矩陣，如圖10所示，由圖可知藍色對角線顯示為正確分類的準確率和圖像數量，如左上角框圖中，0.98為分類準確率，483為分類正確的圖像數量。根據式（5）計算，ACCi為99.1%。

圖10 二分類混淆矩陣Fig.10 Two-class confusion matrix

同時，對測試集在不同方法下進行八分類實驗，得到混淆矩陣對比，如圖11所示。由圖11（a）可知，導管癌（dc）分類準確率最高達到94.1%，正確分類數量為649張，而其他類型分類準確率都偏低。由此可知，DenseNet-201模型過于關注擁有大量樣本的導管癌（dc），從而忽視對其他類型的訓練。最終，綜合分類結果，計算出DenseNet-201的ACCi僅為87.6%。

而由圖11（b）可知，八類乳腺腫瘤在DAFLNet模型上的分類準確率均在92.0%以上。其中，腺瘤更是達到100%的分類準確率。將八類分類正確的數量匯總計算后，得到DAFLNet模型在測試集的ACCi為95.5%。

圖11 不同方法下八分類混淆矩陣對比Fig.11 Comparison of eight categories of confusion matrices under different methods

綜上所述，二分類實驗和八分類實驗均體現出DAFLNet模型具有良好的分類性能。

3.5 實驗對比分析

根據Lin等[20]在論文中的實驗經驗，本文提出對DAFLNet模型的Focal loss超參數α和γ多次對比實驗，實驗均針對八分類進行，實驗結果如表2所示。從表2可以看出，當超參數α和γ分別為0.25和2時，DAFLNet模型的八分類準確率是最高的，達到95.5%。因此，DAFLNet模型中Focal loss的超參數α和γ應分別設置為0.25和2。

表2 Focal loss超參數對比實驗Table 2 Focal loss superparametric comparison experiment單位：%

本文還將DenseNet-201模型與融合注意力機制和Focal loss的DAFLNet模型進行對比實驗，實驗結果如表3所示。從表3可以看出，DenseNet-201的乳腺腫瘤良惡性二分類實驗，ACCi為94.4%，而DAFLNet模型的良惡性二分類實驗，ACCi為99.1%，可見DAFLNet模型較DenseNet-201模型分類準確率提升了5.7個百分點左右。同時更為重要的是，DAFLNet模型是針對乳腺組織病理圖像八分類提出的，因此對于八分類實驗，DenseNet-201模型的ACCi僅為87.6%時，而DAFLNet模型的ACCi卻達到95.5%，分類準確率提高7.9個百分點左右。從而驗證改進后的DAFLNet模型對于多分類任務，擁有極大的優越性。

表3 與DenseNet-201模型的分類準確率對比Table 3 Comparison of classification accuracy with DenseNet-201 model

同時，為了證明DAFLNet模型的優越性，將其與其他乳腺組織病理圖像分類方法進行二分類和八分類實驗對比。在以下的實驗對比分析中，DAFLNet與其他分類方法所使用的數據集均為乳腺組織病理圖像數據集，實驗結果如表4所示。

表4 對比實驗結果Table 4 Comparison of experimental results

由表4可知：本文提出的DAFLNet模型，對于乳腺組織病理圖像良惡性二分類任務，已達到99.1%的識別準確率，與對比方法相比達到較高水平；對于乳腺組織病理圖像八分類任務，DAFLNet模型達到95.5%的識別準確率，均優于其他對比方法。以上實驗結果與分析證明，無論是對于乳腺組織病理圖像的二分類任務還是八分類任務，本文提出的乳腺組織病理圖像分類模型DAFLNet的性能均優于其他方法。

4 結語

本文提出的DAFLNet模型可以將乳腺癌組織病理圖像分為八種不同類型的良惡性子類，并且相較于普通的DenseNet網絡模型有更好的性能。經過實驗，在乳腺癌組織病理圖像數據集BreaKHis上，DAFLNet模型對于乳腺腫瘤的良惡性二分類任務，達到99.1%的較高識別率，對于八分類任務達到95.5%的識別準確率。實驗表明，本文提出的DAFLNet模型已能幫助病理醫生提高乳腺腫瘤組織病理圖像診斷的高效性和準確性。

同時，本文依然存在一些不足之處，主要是大型公開的乳腺組織病理圖像數據集數據量比較少。所以未來的方向是使用更多的臨床數據進行測試，同時還要改進網絡模型來提高模型的識別率。