基于深度學習和組織病理圖像的癌癥分類研究進展

顏 銳，陳麗萌，李錦濤，任 菲

1中國科學院計算技術研究所， 北京 1001902中國科學院大學，北京 1000493中國醫學科學院 北京協和醫學院 北京協和醫院腎內科，北京 100730

受人口老齡化、環境污染、不良生活習慣和膳食結構變化等因素的影響，癌癥已成為全世界共同面臨的重大公共健康問題[1]。作為癌癥診斷的 “金標準”，病理診斷的準確性和及時性直接影響患者治療方案的選擇和預后。在傳統病理診斷流程中，病理醫生在顯微鏡下直接對病理切片進行鏡檢，然后根據經驗獨立作出病理診斷。隨著全切片掃描圖像 (whole slide images，WSI)技術的快速發展，病理切片的數字化給病理醫生帶來了諸多好處，如無須再通過顯微鏡觀察病理切片，而是可以通過屏幕更加方便快捷地反復觀看和定量分析病理圖像。WSI的推廣應用，促使病理學進入了新的發展階段。

當然，病理學的發展目前仍然面臨巨大挑戰。首先，世界上普遍缺乏病理學家，而這一問題在我國尤為突出，2018年，我國有執照的病理科醫生僅10 000余人，缺口達90%[2]；其次，病理診斷是否正確完全取決于病理醫生的專業知識和診斷經驗，受個人主觀因素的影響，診斷結果往往并不一致。面對上述挑戰，迫切需要開發客觀且準確的病理圖像分析方法。在所有病理圖像分析任務中，最重要的是分類任務，其是細胞核定位[3]、有絲分裂檢測[4]、腺體分割[5]、病理圖像檢索[6]等深入研究的基石。

在自然圖像和醫學影像領域，基于深度學習的圖像分類方法已取得顯著成效[7]，但由于病理WSI存在分辨率極高、病理特征差異細微、細胞重疊、顏色分布不均勻等特點，WSI自動分類一直缺乏突破性進展。近年來，一些創新性的方法不斷涌現，使得基于病理圖像的自動癌癥分類成為可能。本文從病理圖像分類常用的4種深度學習方法入手，對基于深度學習和組織病理圖像的癌癥分類(包括分級)研究進行回顧和總結，并對該領域未來發展進行展望。

1 常用的病理圖像分類深度學習方法

對于病理圖像，一般較易獲得WSI對應的分類標簽(診斷結果)。一張幾萬×幾萬像素的WSI對應一個分類標簽，切分WSI可得到幾萬張幾百×幾百像素的圖像小塊(Patch)，即幾萬張Patch對應一個分類標簽，此為典型的弱監督學習場景。而某些醫學問題需根據先驗知識對病理圖像的特定區域(比如癌癥區域)先進行標注，這種標注可以是對Patch的逐個標注，也可以是描繪感興趣區域的輪廓。實際處理時，對感興趣區域輪廓的標注亦轉換為對Patch的逐個標注，即一張Patch對應一個分類標簽，此為典型的監督學習場景。病理圖像分類常用的監督學習和弱監督學習方法包括：卷積神經網絡(convolutional neural network, CNN)、循環神經網絡(recurrent neural network, RNN)、圖卷積神經網絡(graph convolutional network, GCN)和多示例學習(multiple instance learning, MIL)。

1.1 CNN

CNN是計算機視覺領域使用最廣泛的深度學習方法。傳統的全連接神經網絡直接應用于圖像任務會導致一些問題，比如圖像展開成向量后空間信息的丟失以及全連接參數量巨大導致的過擬合現象。CNN針對此類問題在局部感受野、權值共享、卷積和池化操作等方面采取了新的改進機制，在分類、檢測、分割、檢索、生成和去噪等任務上均取得了顯著效果[8]。常見的用于圖像分類的CNN包括VGG[9]、ResNet[10]、GoogLeNet[11]、DenseNet[12]、Xception[13]、MobileNet[14]等。在現有的硬件和算法條件下，直接采用CNN對WSI進行處理并不可行，但可將對WSI的處理問題分解為對Patch的處理子問題，從而適用常規的CNN方法。

1.2 RNN

RNN主要用于處理和預測序列數據，其最重要的變體之一是長短時記憶網絡(long short term memory，LSTM)。LSTM 單元之間相互連接形成有向循環，從而創建了網絡的內部狀態，使網絡能夠記住遠處輸入，解決了數據之間的長期依賴問題[15]。由于WSI分辨率極高，故往往將WSI切分成Patch后再進行處理，這導致切分后Patch之間的近鄰關系或拓撲結構部分丟失，而RNN及其變體的優勢正好彌補了這一缺點。RNN在進行WSI分析前，一般先采用CNN提取Patch的特征表示向量，然后基于特征表示向量再使用RNN進行融合，二者可共同進行端到端訓練，也可分為兩階段進行訓練。

1.3 GCN

GCN在具有空間拓撲結構的圖數據方面存在巨大優勢，如交通網絡、蛋白質相互作用網絡、社交網絡、文獻引用網絡等[16]。GCN可以處理節點級別的任務和圖級別的任務，其中節點級別的任務包括節點分類、鏈路預測等；圖級別的任務包括圖分類、圖生成等。現有的GCN主要分為譜方法和空間方法兩類，譜方法利用圖上傅里葉變換和卷積定理從譜域定義圖卷積，空間方法則通過在節點域定義節點相關性實現圖卷積。對于WSI，切分出的Patch之間具有各種空間拓撲結構，這和組織結構的復雜性及癌癥的異質性有關。將Patch作為圖的頂點，然后根據Patch之間的距離構建圖的邊，即可將WSI轉換為圖結構的數據，從而利用GCN對WSI進行圖級別和節點級別的分析。

1.4 MIL

MIL是一種弱監督學習方法[17-18]，通過對包(包有標簽，示例無標簽)的學習建立MIL模型，并將該模型應用于未知包的預測。既往MIL在圖像上的應用僅是把圖像小塊向量化作為示例，并未與CNN結合起來。自2018年起，Ilse等[19]提出的基于注意力的深度MIL將MIL與CNN有效結合，為MIL在圖像領域的應用揭開了新的序幕。對于WSI分類問題，雖然獲取像素級別的人工標注非常困難且價格昂貴，但WSI級別的分類標簽較易獲取。一張幾萬×幾萬像素的WSI，即幾萬張Patch，對應一個分類標簽，此場景正好與MIL的適用場景相吻合。

上述4種常用的深度學習方法已應用于乳腺癌、結/直腸癌、肺癌、前列腺癌等多個領域的病理圖像分類(表1)。

表1 4種常用的深度學習方法的臨床應用

2 癌癥分類

準確的癌癥分類可以幫助醫生對患者的治療作出整體規劃，同時評估患者預后。根據研究成果出現的時間順序，下文逐一介紹基于Patch(幾百×幾百像素)、Image(幾千×幾千像素)和WSI(幾萬×幾萬像素)的癌癥分類相關研究進展。3種不同尺度病理圖像示例見圖1。

圖1 不同尺度病理圖像示意圖

2.1 基于Patch的癌癥分類

基于深度學習和病理圖像的癌癥分類始于Patch分類，其一般方法框架如圖2所示。Spanhol等[37]于2016年公開了乳腺癌良/惡性二分類的病理圖像數據集BreaKHis。在此數據集的基礎上，Spanhol等[20]利用AlexNet網絡和多種融合策略進行Patch分類，分類準確度比傳統機器學習算法提高了6%。Bayramoglu等[21]在BreaKHis數據集基礎上使用了不依賴于圖像放大倍數的深度學習方法，Patch分類準確度約為83%。Araújo等[22]進一步考慮了乳腺癌病理圖像的四分類(正常組織、良性組織、原位癌和浸潤性癌)問題，先利用CNN提取Patch的特征，然后利用支持向量機(support vector machine,SVM)算法對特征進行分類，該團隊在構建的乳腺癌分類數據集基礎上，Patch平均分類準確度為77.8%。

圖2 基于深度學習的病理圖像(Patch)分類方法的典型框架

2.2 基于Image的癌癥分類

基于Image的癌癥分類研究是從Patch到WSI的重要過渡。如果簡單地將高分辨率的圖像壓縮為低分辨率的圖像，則不可避免地會丟失大量有用的圖像信息，導致較差的分類效果。目前，基于Image的癌癥分類算法采用了大致相同的研究思路：首先將Image切分成大小相等的Patch，然后采用CNN對每張Patch進行分類，最后將一整張Image的所有Patch分類結果整合在一起以確定最后的Image分類結果。總的來說，基于深度學習的Image病理圖像分類方法按時間順序的演變路徑總結如下:(1)CNN + 多數投票法; (2)CNN + SVM; (3)CNN + 遷移學習 + 多數投票法或SVM; (4)CNN + 遷移學習 + Patch捆綁 + 多數投票法或SVM。其中，SVM也可以是其他傳統的有監督的機器學習分類算法。

基于Image的癌癥分類研究是從ICIAR2018國際挑戰賽[38]中的乳腺癌分類任務開始流行的。ICIAR2018公開數據集的病理圖像分辨率為2048×1536像素，圍繞此數據集相繼開展了多項Image分類算法研究。Vesal等[23]使用基于遷移學習的GoogLeNet和ResNet預訓練模型，首先對Image的每個Patch進行分類，再使用多數投票法得到Image的分類結果。Vang等[24]提出先使用GoogLeNet進行Patch分類，然后通過包含多數投票、梯度增強機和邏輯回歸的集成融合框架進行Image分類。Rakhlin等[25]使用了一種稱為深度卷積特征表示的方法，首先對病理圖像進行通用網絡編碼，得到低維的稀疏描述符，然后用梯度增強樹進行分類。Yan等[26]先將一張Image切分為大小相等的12張Patch，采用ResNet提取12個特征向量代表這12張Patch，然后將其中位置相鄰的Patch綁定在一起進行分類，最后通過對綁定的Patch分類結果進行多數投票決定癌癥分類類別。上述方法均是基于Patch得到最終的Image分類結果，要么直接采用多數投票法和傳統的機器學習分類器，要么僅集成Patch之間的短距離空間關系，卻忽略了Patch之間的長距離空間關系的重要作用。針對這一問題，本研究團隊提出了一種混合神經網絡算法以同時保留Patch之間長、短距離空間關系，該方法首先將高分辨率的Image切分成Patch，然后利用一種通過 CNN 提取圖像的多級特征的方法得到 Patch 的特征表示，最后利用雙向LSTM融合Patch的特征表示進行Image分類，整體框架如圖3所示[28]。研究結果表明，對于乳腺癌四分類任務，該方法獲得了91.3%的平均準確度。

圖3 基于深度學習的病理圖像(Image)分類方法的典型框架[28]

2.3 基于WSI的癌癥分類

相較于Patch和Image分類，WSI分類面臨的挑戰更加艱巨，如分辨率極高、標注不足等。這些難點導致WSI雖然包含更多的信息量，但分類效果并不如Patch和Image好，為應對此類挑戰，研究者進行了大量探索。例如，為將肺的WSI分為正常、肺腺癌或鱗狀細胞癌3類，Coudray等[39]先對WSI進行簡單的預處理，然后開發了基于遷移學習的InceptionV3分類模型對Patch進行分類，最后對Patch的分類結果進行多數投票，或對Patch的分類概率進行平均，從而得到WSI的分類結果；整個模型的受試者工作特征曲線下面積(area under the curve，AUC)為0.97，顯著高于既往模型，且高于病理學家的分類準確度。Adnan等[40]利用GCN進行WSI分類，并將WSI的特征表示學習過程分為2個階段進行：首先從WSI中采樣重要的Patch并將其建模為全連接的圖，然后通過GCN將此圖轉換為向量表示即WSI的特征表示；研究者從The Cancer Genome Atlas(TCGA)數據集中收集了1026張肺癌WSI，結果表明該方法能夠很好地區分肺腺癌和肺鱗狀細胞癌2種肺癌亞型，準確度為88.8%，AUC為0.89。

像素級的WSI標注代價昂貴，越來越多的研究者嘗試采用弱監督學習進行WSI分類。Chikontwe等[34]提出了一種可以同時學習示例級嵌入和包級嵌入的MIL框架用于WSI分類，且其提出的中心損失函數可在嵌入空間中最小化類內距離，該方法在2個結/直腸癌病理圖像數據集上分別取得了92.31%和98.72%的分類準確度。Campanella等[36]采用僅需病理報告中的診斷結果作為標注的MIL方法進行WSI分類，具體流程：首先在Patch層面采用CNN和MIL進行訓練，從而得到WSI中的Patch分類概率，然后基于概率大小篩選Patch，利用RNN融合選出的Patch從而得到WSI分類結果。這項研究收集了來自15 187例患者的44 732張WSI。基于前列腺癌、基底細胞癌和乳腺癌轉移至腋窩淋巴結的WSI測試數據集得出的AUC均高于0.98。該方法的臨床應用將使病理科醫生在保證100%靈敏度的前提下篩除65%～75%的WSI，從而將精力集中于重要病例的診斷上。Chen等[32]也使用弱監督學習的方法進行了WSI分類，與常用的弱監督學習方法MIL不同的是，其僅在CNN的基礎上通過提出修正的交叉熵損失函數和上界轉換損失函數進行WSI的弱監督分類，使得在僅有WSI標簽進行模型訓練的情況下，Patch的分類結果可以達到病理學家的水平。Wang等[30]同樣使用弱監督學習方法進行了肺癌四分類(腺癌、鱗狀細胞癌、小細胞肺癌和正常組織)，同時指出少量的粗注釋有助于進一步提高WSI分類的準確度。該方法首先利用基于Patch的全卷積神經網絡來選擇有區分性的塊，然后采用不同的Block特征選擇方法和特征聚合策略，得到WSI的全局描述子，最后將全局描述子輸入隨機森林算法從而得到WSI分類結果，整體框架如圖4所示。Wang等[33]提出了胃部WSI三分類(正常、異型增生和癌癥)的重校準MIL框架，該框架首先利用CNN網絡選擇出每張WSI中有區分性的示例，然后僅根據這些示例訓練重校準MIL框架，使其能夠捕獲示例間的依存關系，并根據從融合特征中學習的重要性系數重新校準示例特征。

圖4 基于深度學習的病理圖像(WSI)分類方法的典型框架[30]

3 癌癥分級

癌癥分級屬于細粒度分類任務，不同分級的病理圖像之間差別非常細微，僅采用一般的深度學習方法無法勝任此類任務。因此，針對不同的癌癥分級任務，研究者設計了不同網絡結構和方法框架。本研究團隊提出了可在端到端學習過程中集中注意力于細胞核相關特征的網絡(NANet)進行乳腺癌分級[27]。NANet包含兩個分支：主干分支用來提取病理圖像的特征表示，細胞核分支用來提取細胞核相關的特征表示，通過NANet中的“指導”模塊，在不同卷積層中重點關注細胞核相關的特征。“指導”模塊在端到端的學習中起到了一種類似于注意力機制的作用，從而使得網絡整體上學習到更加細粒度且更具代表性的特征表示以進行乳腺癌分級。當前的結/直腸癌分級方法僅利用了Patch信息，而通過評估細胞水平的信息以及腺體的形態考量整個組織的微環境非常重要，為克服目前這一分級方法的不足，Zhou等[29]提出了一種新的細胞圖卷積神經網絡(CGC-Net)。CGC-Net將Image轉換為圖，其中每個節點用原始病理圖像中的一個細胞核表示，節點之間的邊(細胞相互作用)用節點相似性表示，結果表明，相較于傳統基于Patch的方法，將Image建模為圖可有效處理更大像素的Image(約為Patch的16倍)，并可對復雜的組織微環境進行建模。Nagpal等[31]提出了用于前列腺活檢標本全掃描圖像的格里森分級深度學習系統，該系統包括兩個階段：第一階段采用通過神經網絡搜索技術得到的CNN對WSI中每個Patch進行分類，第二階段采用支持向量機和從結果熱圖中提取的特征進行整體等級組的分類，其分級效果與亞病理專家的診斷能力一致。Raju等[35]綜合利用了GCN和基于注意力機制的MIL，構建了結/直腸癌TNM分級系統。具體方法：首先從WSI中隨機選取一些Patch，并采用基于紋理的方法提取這些Patch的特征表示；然后基于Patch構建出一系列的圖以保留Patch之間的空間關系，并將這些圖作為后續的基于注意力機制的MIL的示例。該方法分類準確度為81.1%，顯著高于目前最好的結/直腸癌TNM分級方法。

4 展望

基于深度學習和組織病理圖像的癌癥分類研究為計算機輔助診斷及預后預測提供了新的模式，但目前仍無法在臨床上廣泛應用。筆者通過分析其中原因，提出如下亟需解決的問題和未來可能的發展方向。

首先，WSI最大的特點是分辨率極高，簡單地把深度學習領域對自然圖像分析的方法遷移過來應用是不夠的。需研究專門針對WSI的深度學習研究框架，如果對WSI的分類也可以實現端到端的學習和推斷，未來則可能得到更好的WSI分類效果。

其次，與自然圖像動輒百萬張的標注相比，病理圖像的標注(特別是像素級標注)困難且價格高昂。針對這一問題，一方面可從弱監督算法方面緩解標注缺乏的問題，另一方面需要投入更大的力量去構建足夠大的基準數據集。

再次，目前關于WSI的大多數研究集中于設計更加高效的網絡模型，這樣單方面的研究存在很大的局限性。針對超高分辨率圖像的深度學習方法研究，需從網絡模型優化和并行計算等不同角度同時展開。

最后，目前對病理圖像的研究和醫院中其他模態數據的研究是割裂的。應融合多組學、影像、檢查檢驗、電子病歷等一切可用的不同模態的數據進行癌癥分類研究，從而更好地輔助診斷和預后預測。

作者貢獻：顏銳、陳麗萌、李錦濤、任菲負責論文選題構思和校對；顏銳、任菲負責文獻收集，論文撰寫、修訂。

利益沖突：無