基于sECANet通道注意力機制的腎透明細胞癌病理圖像ISUP分級預測

楊 昆 常世龍 王尉丞 高 聰 劉 筱 劉 爽 薛林雁*

①(河北大學質量技術監(jiān)督學院 保定 071002)

②(計量儀器與系統(tǒng)國家地方聯(lián)合工程研究中心 保定 071002)

③(河北省新能源汽車動力系統(tǒng)輕量化技術創(chuàng)新中心 保定 071002)

1 引言

腎癌是泌尿系統(tǒng)常見的惡性腫瘤之一，2020年全球腎癌新發(fā)病例和新增死亡病例在所有的惡性腫瘤中分別占2.2%和1.8%[1]。在我國，腎癌的年發(fā)病率也呈明顯增長的趨勢[2]。腎透明細胞癌(clear cell Renal Cell Carcinoma， ccRCC)是腎癌最常見的病理類型，預后較差[3]。2016年國際泌尿病理協(xié)會(International Society for Urology and Pathology，ISUP)發(fā)布的ISUP分級系統(tǒng)中，將ccRCC按照細胞核仁突出的程度分為3個核級，若存在極端多形性和/或腫瘤巨細胞、和/或肉瘤樣、和/或橫紋肌樣分化，則作為4級[4]。在臨床治療中，如果術前能夠對ccRCC進行精確核分級對于治療方案的制定和患者預后的評估都具有重要意義。然而，精確的核分級高度依賴臨床醫(yī)生的專業(yè)知識和經驗水平，同一病例的診斷結果在不同的醫(yī)師之間可能存在較大差異。隨著計算機技術的快速發(fā)展，計算機輔助診斷系統(tǒng)因速度快、穩(wěn)定性強、精確度高等優(yōu)點在醫(yī)學影像處理領域取得了快速發(fā)展[5]。將計算機輔助診斷系統(tǒng)應用于ccRCC的核分級，可以在節(jié)省診斷時間的同時，減少醫(yī)生因技術或臨床經驗差異而導致的診斷誤判。

增強CT是腎腫瘤早期發(fā)現(xiàn)和診斷常用的影像學方法之一，由于不同ISUP等級的ccRCC可能表現(xiàn)出不同的影像學特征，一些學者利用CT圖像構建了ccRCC的ISUP等級預測模型。韓冬等人[6]回顧性地收集了131例患者的CT圖像，對患者的性別、是否出現(xiàn)血尿、是否腹痛等一般特征和增強CT圖像特征進行降維后用于神經網絡模型的訓練和驗證，在驗證集中模型鑒別高、低級別ccRCC的AUC為0.7924，敏感度為75.00%，特異度為86.96%。陳心怡等人[7]構建了一種基于增強CT動脈期圖像的人工智能模型，通過對3D腫瘤的感興趣區(qū)域提取特征建立了邏輯回歸模型，在驗證集上模型對高、低級別ccRCC的敏感性和特異性分別為81.25%和84.93%，AUC為0.8987。康欽欽等人[8]提出并驗證了一個基于CT影像特征及解剖學RENAL評分的模型，用于無創(chuàng)、個體化預測ccRCC的病理分級，該模型在訓練集和測試集上的AUC分別為0.972和0.995，均表現(xiàn)出良好的鑒別能力。Lin等人[9]基于ResNet卷積神經網絡構建了一個CT圖像的ccRCC核分級模型，并使用重復測量法比較了圖像裁剪、設置注意力級別、選擇模型復雜度和應用遷移學習等不同方法對深度模型性能的影響，經過最終測試，該模型在內部驗證集上的準確率為73.7±11.6%， AUC為0.82±0.11，在外部驗證集上的準確率為77.9±6.2%， AUC為0.81±0.04。Hadjiyski[10]則利用具有遷移學習的Inception V3深度學習模型對從 3D CT 掃描中裁剪得到腎癌圖像進行訓練后，經過最終測試，模型在訓練集、驗證集和測試集上的AUC 分別為0.97， 0.91和0.90。

除CT圖像外，基于核磁共振圖像的計算機輔助診斷模型也被應用于ccRCC的分級預測。石博文等人[11]回顧性地分析了63例術前行腹部3.0T MR掃描的ccRCC患者的圖像數(shù)據(jù)，首先采用A.K.軟件提取醫(yī)生在T2序列圖像上勾畫的感興區(qū)域的影像組學特征，再從中篩選出對術后病理分級最具有診斷價值的特征參數(shù)，然后構建隨機森林機器學習模型對特征參數(shù)進行分類訓練和測試，實驗結果表明模型的準確度、敏感度、特異度及AUC分別為85%， 100%， 72%， 0.87。張鈺等人[12]則回顧性分析了78例經手術病理確診為ccRCC患者的術前腎臟MRI圖像，在選取橫斷面圖像病灶的最大層面后由醫(yī)生分別在T2WI及皮髓質期圖像上勾畫感興趣區(qū)，然后提取圖像的紋理特征并篩選出具有統(tǒng)計學意義的特征，據(jù)此構建了多因素二元logistic回歸模型，經過最終測試，模型在訓練集和驗證集中AUC分別為0.901和0.820。

盡管上述研究有助于對ccRCC進行分級診斷，但是存在以下問題：(1)病理診斷結果是ccRCC核分級的金標準，然而目前鮮有基于病理圖像的ISUP核分級研究；(2)以往研究只粗略將ccRCC劃分為低級別和高級別兩種等級，并沒有以ISUP為標準進行更為精確的核分級。針對以上問題，本文構建了對ccRCC病理圖像進行ISUP分級預測的深度學習網絡模型。主要貢獻包括：(1)基于病理圖像實現(xiàn)了ccRCC的ISUP 1-3級的精確核分級；(2)提出了一種新的通道注意力模塊sECANet用于提升卷積神經網絡性能；(3)通過先對病理圖像的每個切塊(Patch)進行分類，再使用多數(shù)投票法得到圖像(Image)級別的病理學分級預測結果。

2 基于sECANet通道注意力機制的卷積神經網絡

2.1 卷積神經網絡和通道注意力機制

卷積神經網絡是人工智能領域重要的研究成果之一，在圖像分類、目標檢測、實例分割等領域取得了突破性的成果[13]。卷積神經網絡通常由一系列的卷積層、池化層和非線性激活層組合而成，與之前的全連接神經網絡相比，卷積神經網絡可以通過權重共享的方式在局部感受野上進行信息聚合，進而能夠從全局感受野上捕獲圖像的特征，有效地減少了參數(shù)量。目前，諸如AlexNet[14]， VGGNet[15]和ResNet[16]等一系列典型的卷積神經網絡已經應用于人臉識別、自動駕駛和醫(yī)學影像識別等領域。這些卷積神經網絡都通過不斷堆疊卷積層的個數(shù)來提高網絡的性能。

近幾年的研究發(fā)現(xiàn)，在卷積神經網絡中引入通道注意力機制對于提高其識別性能有著巨大的潛力[17]。最早的通道注意力模型SeNet[18]通過對特征圖通道之間的相互依賴關系進行建模，自動獲取每個特征通道的重要程度，然后以此為通道權重提升有用的特征并抑制對當前任務用處不大的特征，從而在一定程度上提高了網絡的性能。隨后，Wang等人[19]發(fā)現(xiàn)SeNet對特征圖的降維會降低網絡性能，并且獲取所有通道之間的依賴關系是低效且不必要的。為此，他們提出了一種局部跨信道交互策略ECANet，可以在不降低維數(shù)的通道級全局平均池化之后，通過執(zhí)行卷積核大小為k的1維卷積來獲得特征圖每個通道及其k個臨近通道之間的局部依賴關系，在避免降維造成的信息損失的同時也有效地獲取了跨通道之間的相互依賴關系。

盡管ECANet和SeNet相比有著更好的性能提升，但是ECANet僅僅考慮了特征圖當前通道與其若干臨近通道之間的局部依賴關系，這樣不可避免地丟失當前通道與其他遠距離通道之間的全局依賴關系。因此，本文提出了一種新的通道注意力模塊sECANet，通過計算特征圖中當前通道和臨近通道以及當前通道和遠距離通道之間的信息交互獲取更多有用的特征。

2.2 sECANet通道注意力模塊

sECANet通道注意力模塊結構如圖1所示。改進前的ECANet對特征圖進行通道級全局平均池化操作后，通過計算得到了每個通道及其k個臨近通道之間的局部依賴關系信息(圖1中示例k=3)。為了得到更多的全局依賴關系，sECANet在此基礎上增加了一個新的通道級全局平均池化并打亂的分支(圖1中虛線框所示)，該分支在進行通道級的全局平均池化后對特征圖的通道順序進行隨機重排，因此打亂前的遠距離通道可能成為其鄰近通道。在獲取新的特征圖當前通道及其新的k個臨近通道之間的局部依賴關系后，對兩個分支進行加權就可以得到更多的通道間的交互信息。

圖1 sECANet通道注意力模塊

sECANet通道注意力模塊具體的計算流程如下：假設輸入特征經過卷積操作后的特征向量為x ∈RW×H×C，其中W，H和C分別表示特征向量的寬度、高度和通道大小。通道維度的全局平均池化可以表示為

則在sECANet中兩個分支輸入的特征向量可以分別表示為

2.3 ResNet50+sECANet卷積神經網絡結構

本文選擇ResNet50網絡作為基礎網絡架構，并通過在ResNet50中添加SeNet， ECANet和sECANet等不同的注意力模塊后比較網絡的性能表現(xiàn)。

ResNet50的網絡結構如圖2所示，輸入圖像首先經過一個7×7的卷積層和一個3×3的池化層提取圖像中的淺層特征，然后經過Stage2， Stage3，Stage4和Stage5卷積層提取圖像中的深層次特征，隨后通過一個全局平均池化層對提取到的特征進行降維操作并將其作為全連接層神經網絡的輸入，最后提取到的特征通過一個softmax層輸出網絡的預測結果。在ResNet50中，Stage2， Stage3， Stage4和Stage5卷積層分別由3， 4， 6和3個瓶頸層組成，每一個瓶頸層又由1個1×1卷積層、1個3×3卷積層、1個1×1卷積層和1個輸入和輸出間殘差連接組成。本文將sECANet插入到了Stage2～Stage5的每個瓶頸層中。圖2以Stage3為例，這個卷積層中包含4個瓶頸層，在每個瓶頸層的第2個1×1卷積層后都插入1個sECANet模塊。

圖2 ResNet50網絡的整體結構圖以及sECANet模塊插入位置示意圖

3 實驗與結果分析

3.1 數(shù)據(jù)集

本文從中科光華(西安)智能生物科技有限公司的NO.U090KI01 腎癌組織芯片中收集到了90例患者的病變區(qū)域病理切片圖像，每例患者有明確的ISUP分級、Stage分期、TNM分期等病理診斷結果。組織芯片所有臨床信息的統(tǒng)計結果如表1所示。

表1 No.U090KI01組織芯片的臨床信息

3.2 數(shù)據(jù)預處理

由于每個患者的病理圖像在40倍放大倍率下的尺寸為5120像素×5120像素，將全片送入到網絡中進行訓練是不可行的，故對每位患者的原始病理圖像進行切分。切分過程如圖3中第1個虛線框所示(Image切分為Patch)，先將圖像裁成尺寸為320像素×320像素的切塊。為了減少信息丟失，取步長為260。再對裁剪得到的切塊進行篩選，剔除那些空白區(qū)域、組織纖維、出血、血管、囊腫或淋巴病變超過50%區(qū)域的Patch，最終得到19978張切塊。

數(shù)據(jù)增強是提高網絡性能和降低分類網絡模型過擬合風險的重要方法之一[22]。因此，對篩選后的切塊進行增強，具體的操作如圖3中第2個虛線框所示(數(shù)據(jù)增強模塊)。首先，將尺寸為320像素×320像素的切塊調整為256像素×256像素后，再對圖像進行隨機水平翻轉、隨機垂直翻轉和隨機旋轉等一系列的增強操作，并進行歸一化處理，最后將得到的張量送入到卷積神經網絡模型中。

圖3 40倍放大倍率下病理圖像切分以及圖像增強過程

3.3 實驗環(huán)境與訓練設置

本文實驗環(huán)境配置如下：CPU為Intel(R)Xeon(R) Gold 6240 CPU @ 2.60 GHz；系統(tǒng)版本為：Ubuntu 18.04.5 LTS PC；GPU為NVIDIA RTX 2080Ti GPU*2，CUDA11.1；Python版本為3.7.11；深度學習框架版本為Pytorch 1.8.1。

考慮到樣本的不均衡性，本文引入加權交叉熵損失函數(shù)，來抑制樣本不平衡對模型性能產生的影響。為了加快模型的訓練速度，提高模型的穩(wěn)定性和泛化能力，本文使用ImageNet數(shù)據(jù)集上學習到的 ResNet50的權重作為初始網絡參數(shù)，注意力模塊的參數(shù)則進行了隨機初始化。然后通過隨機梯度下降 (Stochastic Gradient Descent， SGD) 算法優(yōu)化網絡參數(shù)，權重衰減為 10—5，學習動量為 0.9，batch size大小為 80。每個模型訓練 100 個epoch，其中初始學習率設置為 0.01，并每隔30個epoch學習率乘以0.1。

3.4 系統(tǒng)評價方法

本文采用五折交叉驗證來衡量模型的性能。值得注意的是在劃分訓練集和驗證集時以患者為個體單位對不同的類別進行分層采樣，從而提高模型對患者進行預測的準確度。由于實驗中先將病理圖像劃分成切塊進行訓練，因此首先對網絡進行Patch級別的分類性能評價。每個病例的分類結果采用多數(shù)投票法得到，即統(tǒng)計該病例切塊數(shù)最多的切塊分級作為該病例的最終預測結果，因此進一步進行Image級別的分類性能評價。

評價指標采用分類準確率(Acc、精確率(Pre)、召回率(Rec)、F1分數(shù)(F1)、混淆矩陣和梯度加權類激活映射方法(Gradient-weighted Class Activation Mapping， Grad-CAM)。分類準確率、精確率、召回率和F1可以通過式(12)—式(15)得到。

其中，TP是真正例的個數(shù)，F(xiàn)N是假反例的個數(shù)，F(xiàn)P是假正例的個數(shù)，TN是真反例的個數(shù)。

混淆矩陣表示分類器處理多分類問題時造成的混淆情況，橫坐標表示分類器預測的類別，縱坐標表示圖像的真實類別，對角線上的值表示每類圖像被正確分類的個數(shù)，對角線顏色越深則表明分類器的性能越好，本文在繪制時對預測結果進行了歸一化處理。

Grad-CAM可以通過生成粗略的定位圖，突出圖像中用于分類器預測的重要區(qū)域，其中紅色表示分類器預測時高關注度的區(qū)域，而深藍色區(qū)域表示分類器預測時低關注度的區(qū)域[23]。

3.5 驗證sECANet有效性的消融實驗

為了驗證sECANet通道注意力機制的有效性，本文在相同的數(shù)據(jù)集上對比了ResNet50基礎網絡和分別融合3種不同的通道注意力模塊SeNet，ECANet和sECANet后的性能。融合不同注意力模塊的ResNet50模型在Patch級別的評價指標如表2所示(其中加粗字體表示相同評價指標下的最優(yōu)結果)。通過比較可以發(fā)現(xiàn)通道注意力模塊SeNet，ECANet和sECANet均可有效地提升網絡的性能，且本文提出的sECANet相較于其他兩者是最優(yōu)的。與基礎的ResNet50相比，融合了sECANet后網絡的Acc、Pre、Rec和F1分別提高了1.91% (78.48%vs. 76.57%)， 1.69% (79.95% vs. 78.26%)， 2.25%(78.43% vs. 76.18%)和1.84% (78.51% vs. 76.67%)。同時，在五折交叉驗證中，ResNet50 + sECANet網絡模型的各個分類指標的標準差(Standard Deviation， SD)最小，這表明相較于其他網絡，本文提出的算法的分類性能最穩(wěn)定。

表2 融合不同注意力模塊的ResNet50模型在Patch級別的分類性能(%)對比

進一步地，本文計算了融合不同注意力模塊的ResNet50模型在Patch級的分類混淆矩陣，結果如圖4所示，主對角線的數(shù)值即為各類的召回率。通過比較4個混淆矩陣可以看出，本文提出的sECANet整體性能最好、分類準確率最高(圖4(d))。

值得注意的是，雖然所有的算法都能夠較好地區(qū)分ISUP 1級和正常級別的ccRCC病理圖像，但在鑒別ISUP 2級、ISUP 3級時的表現(xiàn)性能相對較差。其中分類錯誤的ISUP 2級主要被鑒別為ISUP 1級或ISUP 3級，且錯分為前者的可能性更大；分類錯誤的ISUP 3級主要被鑒別為ISUP 2級。導致該現(xiàn)象的原因一方面可能是數(shù)據(jù)集中4種類別的樣本數(shù)量較少(ISUP 1級有38例，ISUP 2級有25例，ISUP 3級有17例，正常有10例)，還需要進一步地收集典型的ISUP 2級和ISUP 3級的數(shù)據(jù)；另一方面從組織病理學特征來看，相鄰ISUP級別的病理圖像中細胞核仁形態(tài)特征相近。圖5的藍色圓點區(qū)域為HE染色的細胞核，正常的細胞核形態(tài)最小(圖5(d))，ISUP 1級的細胞核增大(圖5(a))，ISUP 3級細胞核更大(圖5(c))，且形態(tài)有一定的變化，而ISUP 2級(圖5(b))的細胞核大小介于ISUP 1級和3級之間。在數(shù)據(jù)量有限的情況下，模型很難提取足夠多的有效區(qū)分相鄰級別的特征信息，因此導致ISUP 2級可能被錯分為ISUP 1級或3級，ISUP 3級和少量ISUP 1級可能被錯分成ISUP 2級。此外，對比圖4(a)和圖4(d)，融合了新的注意力模塊的ResNet50提升了對ISUP 1級(0.90 vs. 0.87)和正常級別(0.94 vs. 0.89)的分類能力，但是對ISUP 2級和3級的提升效果不顯著。

圖4 融合不同注意力模塊的ResNet50模型在Patch級別分類結果混淆矩陣

圖5 數(shù)據(jù)集中4種不同病理級別的典型示意圖

通過五折交叉驗證，得到90例患者每個Patch的分類結果后，再通過多數(shù)投票法得到每個患者Image的分類結果，統(tǒng)計結果如表3所示。從實驗結果可知，在ResNet50網絡中引入ECANet或sECANet通道注意力模塊均可顯著提高模型的性能，且sECANet模塊對網絡分類性能的提升更為顯著，sECANet在進行通道選擇時能夠關注到更多與任務相關的通道信息，相對SeNet和ECANet能夠提取更多有用的特征，因此能夠更好地在Image級別實現(xiàn)ccRCC病理圖像的精確分級。

表3 融合不同注意力模塊的ResNet50模型在Image級別的分類性能(%)對比

為了進一步比較融合不同注意力模塊的Res-Net50模型的分類效果，本文進一步地計算了4種算法在Image級別上的分類結果混淆矩陣，結果如圖6所示。

圖6 融合不同注意力模塊的ResNet50模型在Image級別分類結果混淆矩陣

通過比較4個混淆矩陣可以看出，融合不同注意力模塊的ResNet50模型都能夠在Image級別對正常的病理圖像實現(xiàn)精確的分級，對ISUP 1級的分類精度也較高，但對ISUP 2級、ISUP 3級的預測效果較差。其中， ISUP 2級主要被錯誤地鑒別為ISUP 1級或ISUP 3級，部分ISUP 3級和極少量ISUP 1級主要被鑒別為ISUP 2級。此外，與基礎網絡ResNet50相比，本文提出的ResNet50 +sECANet在Image級別上將ISUP 1級的召回率由0.97提升為1.00，同時有效地提升了ISUP 2級(0.80 vs.0.76)和ISUP 3級(0.71 vs. 0.65)的召回率。

為解決卷積神經網絡模型中感興趣的區(qū)域不可見問題，本文分別繪制了融合不同注意力模塊的ResNet50模型的Grad-CAM圖像，對不同算法在對輸入圖像進行分類時重點關注的區(qū)域在視覺上進行可視化處理，以便于了解模型做出決策時的核心圖像區(qū)域。由于分類器根據(jù)細胞核仁的形態(tài)對病理圖像進行分級預測，因此網絡的感興趣區(qū)域如果更集中在細胞核區(qū)域，就能夠提取更多有用的分類特征，排除無關區(qū)域的干擾，從而使網絡的性能更優(yōu)。對于圖7的3張輸入圖像，sECANet在分類決策時相較于基礎網絡ResNet50，以及融合其他通道注意力機制的ResNet50+SeNet， ResNet50+ECANet要關注到病理圖像中更多的細胞核，因此可以提取更多有用的特征，從而得到最佳的分類性能。

圖7 融合不同注意力模塊的ResNet50模型相同輸入圖像下的Grad-CAM圖

3.6 和其他網絡進行比較

為了進一步驗證ResNet50+sECANet模型的分類效果，將本文方法與近幾年代表性的ShuffleNet V2， DenseNet121和VGG16等分類方法進行了對比，所有方法均使用本文構建的數(shù)據(jù)集，實驗評價指標采用Acc，Pre，Rec與F1進行定量分析，不同算法在Patch級別的分類性能見表4。本文提出的ResNet50+sECANet模型的準確率為78.48±3.17%，精確率為79.95±4.37%，召回率為78.43±2.44，F(xiàn)1分數(shù)為78.51±3.04%，與其他幾種網絡算法相比均最高，同時各個分類性能指標的標準差最小，表明我們提出的ISUP分級模型整體的預測效果優(yōu)于其他模型，且具有更好的泛化能力和更高的可靠性。

表4 不同網絡在Patch級別的分類性能(%)對比

表5是本文提出的ResNet50+sECANet 與ShuffleNet V2， DenseNet121， VGG16等不同算法在Image級別上分類性能的對比結果。ResNet50+sECANet預測所有病例的ISUP分級的準確率達到88.89%，精確率達到89.88%，召回率達到87.65%，F(xiàn)1分數(shù)達到88.51%，在所有的模型中均表現(xiàn)出最優(yōu)的性能。

表5 不同網絡在Image級別的分類性能(%)對比

4 結束語

本文針對ECANet通道注意力模塊在捕獲特征通道間相互依賴關系時只考慮臨近通道而忽略遠距離通道的不足，提出了一種兩者兼顧的通道注意力模塊sECANet，并將其應用于ccRCC病理圖片的Patch級別的ISUP分級預測。在得到每個患者Patch級別的預測結果后，再通過多數(shù)投票法得到相對應患者Image級別的分類結果。最終的實驗結果表明，新的注意力模塊能夠有效地提升網絡的分類能力和泛化能力，特別是有效提升了Image級別的預測結果。但是，本文提出的ccRCC ISUP分級模型識別ISUP 2級和ISUP 3級的性能還需改進，因此收集更多的典型數(shù)據(jù)以及如何利用卷積神經網絡提取更有效區(qū)分ISUP等級的圖像特征是下一步的研究方向之一。此外，本研究采用的數(shù)據(jù)集是從每個患者的全視野數(shù)字切片(Whole Slide Image，WSI)上對病變區(qū)域采樣后得到的，因此進一步開發(fā)針對腎組織WSI圖像的病理分級CAD也是未來的主要工作。