采用細胞形態特征對比學習的肺癌圖像分類

賈 偉，江海峰，趙雪芬

1.寧夏大學 信息工程學院，銀川 750021

2.寧夏醫科大學總醫院 病理科，銀川 750021

3.寧夏大學 新華學院，銀川 750021

肺癌是起源于肺部支氣管和肺泡上皮細胞的腫瘤[1-2]，其具有高發病率和高死亡率的特點，已經成為威脅人類健康和生命的惡性腫瘤之一[3-5]。對肺癌的準確分類有助于病理醫生提高診斷的準確率，選擇合適的治療方案，以及提高患者的生存幾率[6-7]。

近年來，深度學習在的病理圖像分析中有著成功的應用[8-10]，已經提出了一些肺癌病理圖像分類方法。例如，Ali 等[11]對膠囊網絡[12]的結構進行改進，提出基于多輸入雙流膠囊網絡的分類方法（multi-input dual-stream capsule network-based classification method，MCM）對肺癌病理圖像進行分類，該方法使用傳統的卷積層、可分離的卷積層和膠囊層去提高特征學習能力。Li 等[13]提出基于卷積神經網絡和相關特征算法[14]的分類方法（convolutional neural networks and relevant features algorithm-based classification method，CRM）對肺癌病理圖像進行分類，該方法使用卷積神經網絡提取肺癌病理學圖像的多維特征，然后使用相關特征算法進行特征選擇，最后采用支持向量機分類器對肺癌進行分類。

然而，由于肺癌細胞的形態結構復雜，使得標記肺癌病理圖像的成本較高，導致已標記的肺癌病理圖像較少，影響了現有分類方法的訓練精度和分類效果。為解決訓練數據不足的問題，He 等[15]提出一種無監督情況下的動量對比視覺表征學習（momentum contrast for unsupervised visual representation learning，MoCo），該方法使用具有隊列和移動平均的動態字典編碼器，通過查字典的方式進行對比學習，并引入動量更新方法。為了擴充對比學習中的樣本數據，Chen 等[16]提出一種用于視覺表示的對比學習方法（simple framework for contrastive learning of visual representations，SimCLR），該方法通過對圖像進行兩次增廣，對兩張增廣圖像進行對比學習。為了增加對比樣本數據的多樣性，Dwibedi等[17]提出最近鄰對比學習（nearest-neighbor contrastive learning of visual representations，NNCLR），該方法對一個數據增廣圖像和另一個增廣圖像的最近鄰圖像進行對比學習，但是該對比方法沒有充分利用增廣圖像的最近鄰圖像，缺少對最近鄰圖像之間的對比學習。

為充分挖掘和利用已標記肺癌圖像和未標記肺癌圖像的細胞形態特征信息，在NNCLR方法的基礎上，本文提出一種基于細胞形態特征對比學習的方法（cell morphology contrastive learning-based classification method，CCCM）對肺癌病理圖像進行分類。該方法提出基于最遠和最鄰近的對比學習（farthest and nearestneighbors-based contrastive learning，FNNCL），將FNNCL用于提取已標記肺癌圖像和未標記肺癌圖像的細胞形態特征，并利用由未標記數據生成的偽標簽對FNNCL和分類器進行輔助訓練。在FNNCL 中，將基于可變形卷積[18]和動態卷積[19]的ResNet50（deformable convolution and dynamic convolution-based ResNet50，DD-ResNet50）作為特征提取網絡，提取肺癌病理圖像的形態特征信息，并對原圖像增廣后的兩個圖像及其相應的最遠和最近鄰圖像進行對比學習，從而進一步增加對比學習中的數據多樣性。此外，為衡量CCCM的分類結果與真實分類的差距，在NNCLR的基礎上給出了CCCM的損失函數。

1 基于細胞形態特征對比學習的分類方法

CCCM 的整體框架如圖1 所示，其包括三個階段：第一個階段是利用已標記肺癌病理圖像進行對比學習訓練，獲得網絡的參數。第二個階段是利用訓練后網絡對未標記肺癌病理圖像進行分類，然后，在分類結果中選擇比例為α的高置信度未標記數據作為偽標簽，并將這些偽標簽混入到已標記肺癌病理圖像中。第三個階段是利用混入偽標簽的肺癌病理圖像進行對比學習訓練。第二個階段和第三個階段反復進行迭代，訓練網絡。

圖1 CCCM的整體框架Fig.1 Overall architecture of CCCM

NNCLR 的結構如圖2 所示，其使用ResNet50 網絡作為提取特征的編碼器，對原圖像進行兩次不同的增廣，得到增廣圖像x1和x2，分別對x1和x2進行編碼，得到z1和z2，在z1的支持集Q中找到與z1最近鄰的圖像n1，將n1和z2作為正樣本對，進行對比學習。

圖2 NNCLR的結構Fig.2 Structure of NNCLR

為提升對比學習的性能，本文在NNCLR的基礎上，提出FNNCL，在增加最近鄰圖像多樣性的同時，還將離樣本點距離最遠但是屬于同一類的樣本作為正樣本，用于對比學習，其目的是增加正樣本學習的難度，提升對比學習的性能。FNNCL的模型結構如圖3所示，首先通過兩種不同的增廣方式對原圖像進行兩次不同的增廣，得到兩個增廣圖像c1和c2，然后利用DD-ResNet50 對c1和c2進行編碼，得到e1和e2，在e1的支持集R1中找到與e1最遠和最近鄰的圖像f1和f3，在e2的支持集R2中找到與e2最遠和最近鄰的圖像f2和f4，最后對f1和e2，e1和e2，f2和e1，f1和f2，f3和e2，f4和e1，f3和f4，f1和f4，f2和f3進行對比學習。

圖3 FNNCL的結構Fig.3 Structure of FNNCL

1.1 特征提取網絡

為增強ResNet50 網絡對肺癌細胞的特征提取能力，編碼器使用DD-ResNet50，將可變形卷積和動態卷積應用到ResNet50網絡中，其結構如圖4所示。第一個階段由多尺度可變形卷積模塊（multi-scale deformable convolution module，MDCM）、批歸一化（batch normalization，BN）、激活函數ReLU 和全局最大池化（global max pooling，GMP）組成，利用MDCM具有自適應物體形態變化的特征表達能力，對不規則和形態復雜的肺癌細胞邊界、形狀和排列結構進行采樣，獲得更準確的特征信息。第二個到第五個階段，分別使用融合可變形卷積和動態卷積的模塊（deformable convolution and dynamic convolution-integrated module，DDⅠM）提取特征，DDⅠM 在第二個到第五個階段的數量分別為2 個、3個、5個和2個。通過DDⅠM的可變形卷積確保深層網絡的有效感受野，并利用動態卷積更好地提取與噪聲無關的特征信息。第六個階段由一個全局平均池化（global average pooling，GAP）和一個全連接層（fully connected，FC）組成。

圖4 DD-ResNet50的結構Fig.4 Structure of DD-ResNet50

1.1.1 多尺度可變形卷積模塊

對于一個輸入的二維特征圖，普通卷積使用規則網格R對特征圖x進行采樣，然后對采樣點進行加權運算，對于一個卷積為3×3，膨脹率為1的R可表示為：R={(-1,-1),(-1,0),…,( 0,1),( 1,1) }，則可通過下式計算輸出特征圖中的每個位置p0：

其中，p0枚舉R上的所有位置，w(?)是當前卷積核的位置權重，x(?)是特征圖對應的位置值。

對于可變形卷積，通過在R上增加偏移量{Δp|n=1,2,…,N}，N=|G|，對R進行擴張，得到下式：

由于Δp通常是小數，通過雙線性插值法計算x，計算公式為：

其中，p是任意位置，q是枚舉特征圖中的空間位置，G( ?,?)表示雙線性插值核。

二維卷積可以分解為兩個一維內核：

其中，g(a,b)=max( 0,1-|a-b|)。

普通卷積與可變形卷積對肺癌病理圖像的采樣結果如圖5 所示，從圖中可以看出，與普通卷積的采樣結果相比，可變形卷積的采樣位置更符合肺癌細胞的復雜形態，有利于提取更準確的特征信息。

圖5 普通卷積與可變形卷積的采樣比較Fig.5 Sampling comparison between standard convolution and deformable convolution

MDCM 的結構如圖6 所示，其使用了卷積核為3×3、5×5和7×7的三個并行可變形卷積和一個作為殘差分支的1×1卷積。三個可變形卷積可以獲得不同尺度下的形態特征信息，對于從兩個不同尺度的可變形卷積獲得的形態特征，利用特征融合模塊（feature fusion module，FFM）進行形態特征融合。

圖6 MDCM的結構Fig.6 Structure of MDCM

FFM的結構如圖7所示，對使用兩個尺度可變形卷積獲得的A1和A2分別進行1×1卷積，然后進行連接，再進行兩次3×3可變形卷積、BN和ReLU處理，利用Softmax函數得到兩個權重值W1和W2，通過W1?A1+W2?A2計算得到加權融合的形態特征A3，再對第二次3×3 可變形卷積、BN 和ReLU 的處理結果進行兩次1×1 卷積，并將卷積結果與A3進行乘運算，得到特征融合結果。

圖7 FFM的結構Fig.7 Structure of FFM

1.1.2 融合可變形卷積和動態卷積的模塊

動態卷積的結構如圖8所示，由系數預測模塊和動態生成模塊組成。根據輸入的圖像，系數預測模塊負責預測系數，該模塊由GAP 和Sigmoid 激活函數組成。GAP 將輸入的特征圖聚合成1×1×Cin向量，然后通過全連接層將特征映射為1×1×C向量，從而預測固定的多個卷積核之間的相關系數。根據預測的相關系數，動態生成模塊負責生成一個動態的卷積核，對于一個權值為[Cout×gt,Cin,k,k]的動態卷積層，其對應了Cout×gt個固定核和Cout個動態核，每個核的大小為[Cin,k,k]，gt表示組大小，屬于超參數。

圖8 動態卷積的結構Fig.8 Structure of dynamic convolution

使用系數預測模塊獲得相關系數后，生成的動態核為：

其中，wti是固定核，w?t是動態核，ηit是相關系數，且t=0,1,…,Cout，i=0,1,…,gt。

在訓練中，使用基于相關系數的訓練方案，實現特征圖的融合，訓練方案可用下式表示：

文獻[17]給出一種動態卷積模塊（dynamic convolution module，DCM），在ResNet50 中增加動態卷積的方式，其結構如圖9所示，包括三個分支，第一個分支由一個GMP 和兩個FC 組成，用于減少梯度消失，第二個分支包括三個動態卷積，第三個分支是殘差分支。

圖9 DCM的結構Fig.9 Structure of DCM

在DCM 的基礎上，本文將可變形卷積和動態卷積同時增加到ResNet50 中，給出的DDⅠM 結構如圖10 所示，DDⅠM包括兩個分支，第一個分支包括兩個子分支，分別采用GMP 和GAP，目的是從兩個不同的表征中獲得特征信息，其中，第一個子分支由一個GMP 和兩個FC組成，用于提取肺癌病理圖像的紋理特征信息，第二個子分支由一個GAP和兩FC組成，用于保留局部空間信息。對兩個子分支進行乘運算，目的是整合紋理特征信息和局部空間信息。將第一個部分獲得的特征信息分別與第二個部分的三個卷積連接，從而提取更準確的全局特征和局部細節特征。

圖10 DDⅠM的結構Fig.10 Structure of DDⅠM

第二個分支由一個3×3可變形卷積和兩個3×3動態卷積串聯組成，目的是利用可變形卷積對肺癌細胞的邊界、形狀和排列結構進行采樣，再通過兩個動態卷積進一步獲得與噪聲無關的特征信息。為加強輸入圖像與各卷積的聯系，并提升不同卷積之間的特征融合，對輸入圖像和各卷積的結果進行1×1卷積處理，再將當前1×1 卷積的結果與前一個1×1 卷積的結果進行連接，然后將當前卷積結果、兩個1×1卷積連接結果和前一個卷積的結果進行乘運算，作為下一個卷積的輸入。

1.2 損失函數

設給定一批圖像{x1,x2,…,xn} ，對每一個圖像xi，通過兩種不同的圖像增廣方法，再經過編碼器，得到特征zi和z+i，則NNCLR的損失函數[17]可由下式計算：

其中，τ是可調參數，NN(zi,Q)是最近鄰算子，將其定義為：

本文在NNCLR 的基礎上，給出CCCM 的損失函數，設給定一批圖像{c1,c2,…,cn} ，對每一個圖像ci，通過兩種不同的圖像增廣方法，再經過編碼器，得到特征ei和e+i，則CCCM的損失函數可由下式計算：

其中，是ei的最遠圖像與e+i的對比損失函數是ei與e+i的對比損失函數，是e+i的最近鄰圖像與ei的對比損失函數，是ei的最遠圖像與e+i的最遠圖像的損失函數，是ei的最近鄰圖像與e+i的對比損失函數，是的最近鄰圖像與ei的對比損失函數，是ei的最近鄰圖像與e+i的最近鄰圖像的損失函數，是ei的最遠圖像與e+i的最近鄰圖像的對比損失函數，是ei的最近鄰圖像與e+i的最遠圖像的對比損失函數，這九個損失函數分別通過下列公式計算：

其中，F(e,R)是最遠算子，其定義為：

2 實驗分析

2.1 實驗數據

實驗中的數據來自于肺癌病理圖像分類實驗常用的開源數據集癌癥基因組圖譜公共數據庫（the cancer genome atlas，TCGA）[20]和LC25000[21]，以及寧夏醫科大學總醫院病理科提供的肺癌病理圖像。其中，TCGA包括肺腺癌病理圖像522張和肺鱗狀細胞癌病理圖像504張，LC25000 包括肺腺癌、肺鱗狀細胞癌和良性肺組織三種類型，每種類型包含5 000張病理圖像，寧夏醫科大學總醫院病理科的肺部病理圖像包括肺腺癌、肺鱗狀細胞癌和良性肺組織三種類型，共有500張已標記圖像和3 100張未標記圖像。

2.2 評價指標

本文使用準確率、精確率、召回率和F1-Score 四個指標對分類效果進行評價，準確率越高，表示對陽性樣本和陰性樣本的分類越準確。精確率越高，表示在分類為陽性的樣本中，真正為陽性的樣本所占的比例越高。召回率越高，表示分類正確的陽性樣本數在實際陽性樣本中的比例越高。利用F1-Score 評價分類性能在精確率和召回率上的總體表現，F1-Score 的值越高，表示精確率和召回率在分類上的總體表現越好，準確率、精確率、召回率和F1-Score的計算公式分別為：

其中，TP是分類為陽性的陽性樣本數，FP是分類為陽性的陰性樣本數，TN是分類為陰性的陰性樣本數，FN是分類為陰性的陽性樣本數。

2.3 實驗結果與分析

在實驗中，使用Python3.6 實現肺癌病理圖像分類方法，將Keras 作為深度學習框架，使用Windows 10 操作系統，在Ⅰnteli9-10900K和NVⅠDⅠA TⅠTAN RTX的硬件平臺上運行。

2.3.1 參數設置

圖像增廣方式采用隨機增廣方式，例如，隨機裁剪、旋轉、隨機顏色失真和高斯模糊等。使用隨機梯度下降優化器優化模型，基礎學習率為0.05，批大小設置為64，使用余弦衰減策略，動量設置為0.9，訓練迭代次數為500次。

在CCCM中，從未標記肺癌病理圖像中選擇不同比例的高置信度未標記數據作為偽標簽，對分類結果有重要影響。為確定高置信度未標記數據的比例α，分別選取10%、20%、30%、40%、50%、60%、70%、80%和90%的高置信度未標記數據作為偽標簽，應用到CCCM的第三階段中。

在確定α值的實驗中，為增加肺癌數據的多樣性，從癌癥基因組圖譜公共數據庫、LC25000和寧夏醫科大學總醫院病理科的肺部病理圖像中選取3 900張肺部病理圖像形成混合數據，其中，已標記肺癌病理圖像共有900張，包括肺腺癌、肺鱗狀細胞癌和良性肺組織3種類型，每種類型包含300 張病理圖像，未標記肺癌病理圖像共有3 000 張。在實驗時，將900 張已標記肺癌病理圖像中的80%數據作為CCCM 第一階段的已標記的訓練數據，即得到720張已標記數據作為第一階段的訓練數據。將3 000張未標記肺癌病理圖像作為CCCM第二階段的未標記訓練數據，將900張已標記肺癌病理圖像中剩余的20%數據作為驗證集，即得到180張已標記數據作為驗證集。

不同α值對分類效果的影響如圖11所示，從圖中可以看出當α的取值在20%時，四項評價指標均能達到較高的值，說明此時CCCM的分類效果較好。當α的取值在10%時，可用于CCCM 第三階段的偽標簽數量較少，CCCM 不能充分挖掘和利用偽標簽中的特征信息。當α的取值在30%、40%、50%、60%、70%、80%和90%時，分類效果逐漸變差，這是因為隨著偽標簽數量不斷增多，存在大量質量不高的偽標簽，將這些質量不高的偽標簽加入到CCCM第三階段的訓練中，導致第三階段的訓練效果不好，影響了CCCM的分類效果。因此，在CCCM中，使用比例為20%的高置信度未標記數據作為偽標簽。

圖11 不同α 值對分類的影響Fig.11 Effects of α on classification

2.3.2 消融實驗

在消融實驗中，采用在確定α值實驗中使用的混合數據作為實驗數據。

本文在編碼器ResNet50 中加入MDCM 和DDⅠM，采用消融實驗評價MDCM 和DDⅠM 對分類效果的影響，采用不同方式替換FNNCL中的編碼器，包括七組實驗，每組實驗依然將900張已標記肺癌病理圖像中80%的數據作為CCCM第一階段的已標記的訓練數據，即得到720 張已標記數據作為第一階段的訓練數據。將3 000張未標記肺癌病理圖像作為CCCM第二階段的未標記訓練數據，將900張已標記肺癌病理圖像中剩余的20%數據作為驗證集，即得到180 張已標記數據作為驗證集。第一組是ResNet50，第二組是在ResNet50中只加入可變形卷積，即ResNet50+DE，第三組是在ResNet50中只加入動態卷積，即ResNet50+DY，第四組是在ResNet50中加入可變形卷積和動態卷積，即ResNet50+DE+DY，第五組是在ResNet50 中加入MDCM，即ResNet50+MDCM，第六組是在ResNet50中加入DDⅠM，即ResNet50+DDⅠM，第七組是本文提出在ResNet50中加入MDCM和DDⅠM的方法DD-ResNet50。

表1 是不同模塊加入到編碼器ResNet50 的分類效果比較，從表中可以看出，使用ResNet50的分類效果低于其他六組，說明在ResNet50 加入可變形卷積和動態卷積之后，能夠提取到更準確的肺癌病理特征，有利于后續的對比學習。ResNet50+DE+DY 的分類效果優于ResNet50+DE 和ResNet50+DY，說明將可變形卷積和動態卷積相結合，有利于獲得更全面的特征信息。ResNet50+MDCM 和ResNet50+DDⅠM 的分類效果分別優于ResNet50+DE 和ResNet50+DY，說明通過對可變形卷積和動態卷積的改進，能夠進一步提升ResNet50的特征提取能力，DD-ResNet50的分類效果優于其他六組，說明將MDCM和DDⅠM同時加入到ResNet50中，能夠在全局和局部細節方面獲得更加準確的特征信息。

表1 不同模塊加入編碼器的實驗結果Table 1 Experimental results of different modules added to encoder

SimCLR 使用增廣圖像e1和增廣圖像e2進行對比學習的策略e1e2，NNCLR使用e1最近鄰的圖像f3和e2進行對比學習的策略f3e2。在本文給出FNNCL的對比策略中，提出同時對增廣圖像e1，增廣圖像e2，e1的最遠圖像f1，e1的最近鄰的圖像f3，e2的最遠圖像f2，e2的最近鄰圖像f4進行對比學習的策略，即第一組f1與e2的對比學習f1e2，第二組e1與e2的對比學習e1e2，第三組f2與e1的對比學習f2e1，第四組f1與f2的對比學習f1f2，第五組f3與e2的對比學習f3e2，第六組f4與e1的對比學習f4e1，第七組f3與f4的對比學習f3f4，第八組f1與f4的對比學習f1f4，第九組f2與f3的對比學習f2f3。

下面通過消融實驗，驗證SimCLR、NNCLR和FNNCL提出的對比學習策略對分類效果的影響。將3 種對比學習的策略加入到本文提出的編碼器為DD-ResNet50的對比學習分類方法中，得到的分類效果如表2 所示。從表中可以看出，e1e2的分類效果低于其他兩組，f3e2優于e1e2的分類效果，這是因為與SimCLR的對比學習策略相比，NNCLR采用了e1的最近鄰圖像進行對比學習，增加對比學習中的數據多樣性。采用FNNCL 的對比學習策略所得到的分類效果明顯優于其他兩種對比學習策略，說明通過在對比學習策略增加最遠和最近鄰圖像的對比學習，能夠進一步增加正樣本學習的難度和數據多樣性，從而更充分地使用癌癥病理圖像的特征信息，使得分類效果越好。

表2 不同對比學習策略的實驗結果Table 2 Experimental results of different contrastive learning

2.3.3 分類方法的比較

在分類方法的比較實驗中，通過與現有分類方法MCM[11]、CRM[13]、MoCo[15]、SimCLR[16]和NNCLR[17]比較，驗證本文的分類方法CCCM 對肺癌病理圖像的分類效果。

為了在分類性能方面對各分類方法進行詳細的分析和比較，將實驗中的數據分為開源數據集和混合數據，開源數據集包括TCGA 和LC25000 兩個開源數據集，混合數據采用確定α值實驗中使用的數據，目的是通過混合多種來源的數據，增加肺癌病理圖像的多樣性，對分類方法進行綜合分析。

在使用開源數據集進行實驗時，為說明不同比例已標記數據對分類方法的影響，將實驗分為三組，第一組分別將兩個開源數據集40%的已標記數據作為現有分類方法和CCCM 第一階段的已標記訓練數據，即從TCGA 中選取410 張已標記病理圖像，從LC25000 中選取6 000張已標記病理圖像。再分別將兩個開源數據集10%的已標記數據作為未標記數據，用于CCCM第二階段的未標記訓練數據，即從TCGA中選取103張已標記病理圖像作為未標記數據，從LC25000 中1 500 張已標記病理圖像作為未標記數據。分別將兩個開源數據集剩余的已標記數據作為驗證集，即得到TCGA中剩余的513已標記病理圖像，LC25000中剩余的7 500張已標記病理圖像。第二組分別將兩個開源數據集中的60%已標記數據作為現有分類方法和CCCM 第一階段的已標記訓練數據，即從TCGA 中選取616 張已標記病理圖像，從LC25000 中選取9 000 張已標記病理圖像。再分別將兩個開源數據集10%的已標記數據作為未標記數據，用于CCCM第二階段的未標記訓練數據，即從TCGA中選取103 張已標記病理圖像作為未標記數據，從LC25000 中1 500 張已標記病理圖像作為未標記數據。分別將兩個開源數據集剩余已標記數據作為驗證集，即得到TCGA 中剩余的308 已標記病理圖像，LC25000 中剩余的4 500張已標記病理圖像。第三組分別將兩個開源數據集80%的已標記數據作為現有分類方法和CCCM第一階段的已標記訓練數據，即從TCGA中選取821張已標記病理圖像，從LC25000中選取12 000張已標記病理圖像。再分別將兩個開源數據集10%的已標記數據作為未標記數據，用于CCCM第二階段的未標記訓練數據，即從TCGA中選取103張已標記病理圖像作為未標記數據，從LC25000 中1 500 張已標記病理圖像作為未標記數據。分別將兩個開源數據集剩余已標記數據作為驗證集，即得到TCGA中剩余的102張已標記病理圖像，LC25000中剩余的1 500張已標記病理圖像。

使用各分類方法對兩個開源數據集進行分類，三組實驗的四項評價指標的比較結果如表3~6所示。從表3可以看出，在對兩個開源數據集進行分類時，CCCM 使用不同比例的訓練數據得到的準確率均高于其他分類方法，說明CCCM 的分類結果更接近實際的整體分類結果。

表3 開源數據集的準確率比較Table 3 Accuracy comparison of open source datasets

從表4 可以看出，在對兩個開源數據集進行分類時，CCCM使用不同比例的訓練數據得到的精確率均高于其他分類方法，說明使用CCCM對陽性樣本的分類準確程度較高。

表4 開源數據集的精確率比較Table 4 Precision comparison of open source datasets

從表5 可以看出，在對兩個開源數據集進行分類時，CCCM 使用不同比例的訓練數據得到的召回率均高于其他分類方法，說明CCCM 對陽性樣本的識別能力較好。

表5 開源數據集的召回率比較Table 5 Recall comparison of open source datasets

從表6 可以看出，在對兩個開源數據集進行分類時，CCCM使用不同比例的訓練數據得到的F1-Score值均高于其他分類方法，說明CCCM在精確率和召回率兩個方面的綜合表現較好。

表6 開源數據集的F1-Score比較Table 6 F1-Score comparison of open source datasets

此外，從表3~6 還可以看出，各分類方法對TCGA的分類表現低于對LC25000 的分類表現，這是因為與LC25000相比，TCGA包含的已標記數據和未標記數據的數量都比較少，導致可用于各分類方法的訓練數據較少，造成對TCGA的分類效果低于對LC25000的分類效果。由于CCCM 能夠利用少量的未標記數據中的細胞形態特征信息，使得其在TCGA 中具有較好的分類表現。當已標記訓練數據分別為40%、60%和80%時，現有分類方法的四項評價指標值都發生一些變化，尤其是對于完全依賴已標記數據的分類方法MCM和CRM，其四項分類評價指標發生較大變化，說明現有分類方法對已標記數據的依賴程度較大，還沒有將未標記數據中的信息有效地應用到分類過程中，而對同一開源數據集，在已標記訓練數據變化且未標記數據的數量不變的情況下，CCCM 的四項分類評價指標的變化較小，說明增加已標記訓練數據的數量對提高CCCM 的分類效果有一定的幫助，但是CCCM對已標記訓練數據的依賴程度較小，利用一定數量的未標記數據，就能保持較好的分類效果。

在使用混合數據進行實驗時，為說明不同比例已標記數據對分類方法的影響，實驗分為三組：第一組將900張已標記肺癌病理圖像中40%的已標記數據作為現有分類方法和CCCM第一階段的已標記訓練數據，即得到360 張已標記數據訓練數據。將3 000 張未標記肺癌病理圖像作為CCCM第二階段的未標記訓練數據，將900張已標記肺癌病理圖像中剩余的已標記數據作為各分類方法的驗證集，即得到540張已標記數據作為各分類方法的驗證集。第二組將900 張已標記肺癌病理圖像中60%的已標記數據作為現有分類方法和CCCM 第一階段的已標記訓練數據，即得到540張已標記數據作為訓練數據，將3 000 張未標記肺癌病理圖像作為CCCM第二階段的未標記訓練數據，將900張已標記肺癌病理圖像中剩余的已標記數據作為各分類方法的驗證集，即得到360 張已標記數據作為各分類方法的驗證集。第三組將900 張已標記肺癌病理圖像中80%的已標記數據作為現有分類方法和CCCM 第一階段的已標記訓練數據，即得到720 張已標記數據作為訓練數據。將3 000 張未標記肺癌病理圖像作為CCCM 第二階段的未標記訓練數據，將900張已標記肺癌病理圖像中剩余的20%數據作為各分類方法的驗證集，即得到180 張已標記數據作為各分類方法的驗證集。

使用各分類方法對肺癌病理圖像進行分類，得到三組實驗的比較結果分別如圖12~15 所示。從圖中四項評價指標的比較可以看出MoCo、SimCLR、NNCLR 和CCCM 的分類效果優于MCM 和CRM，這是因為MCM和CRM的分類需要大量的已標記肺癌病理圖像作為訓練集，在缺少足夠已標記數據作為訓練集的情況下，MCM和CRM的分類效果不好，而在已標記肺癌病理圖像較少的情況下，MoCo、SimCLR、NNCLR 和CCCM 能夠獲得較好的分類效果。由于NNCLR增加的對比學習的多樣性，使得其分類效果優于MoCo 和SimCLR。與現有分類方法相比，CCCM 能夠達到較好的分類效果，這是因為CCCM 的MDCM 和DDⅠM 提升了ResNet50的特征提取能力，在NNCLR 的基礎上使用了更多的對比學習策略，進一步增加了對比學習中正樣本學習難度和數據的多樣性，從而提高了對比學習的性能。

圖12 準確率的比較Fig.12 Comparison of accuracy

圖13 精確率的比較Fig.13 Comparison of precision

圖14 召回率的比較Fig.14 Comparison of recall

圖15 F1-Score的比較Fig.15 Comparison of F1-Score

與圖12~15相對應的各分類方法的詳細比較信息如表7~10所示。從表7的比較可以看出，在增加數據多樣性后，CCCM使用不同比例的訓練數據得到的準確率依然高于其他分類方法，也說明CCCM能夠從混合數據中能學習更多的細胞形態特征信息，尤其是未標記數據的細胞形態特征信息，使得其分類結果更接近實際的整體分類結果。

表7 混合數據的準確率比較Table 7 Accuracy comparison of hybrid data

從表8的比較可以看出，在增加數據多樣性和未標記數據后，CCCM使用不同比例的訓練數據得到的精確率依然高于其他分類方法，說明對多種來源的數據進行分類時，CCCM對陽性樣本的分類準確程度較高。

表8 混合數據的精確率比較Table 8 Precision comparison of hybrid data

從表9的比較可以看出，在增加數據多樣性和未標記數據后，CCCM使用不同比例的訓練數據得到的召回率依然高于其他分類方法，說明對多種來源的數據進行分類時，CCCM對陽性樣本的識別能力較好。

表9 混合數據的召回率比較Table 9 Recall comparison of hybrid data

從表10 的比較可以看出，在增加數據多樣性和未標記數據后，CCCM 使用不同比例的訓練數據得到的F1-Score值依然高于其他分類方法，說明對多種來源的數據進行分類時，CCCM在精確率和召回率兩個方面的綜合表現較好。

表10 混合數據的F1-Score比較Table 10 F1-Score comparison of hybrid data

此外，從表7~10 還可以看出，在增加數據多樣性后，當已標記訓練數據分別為40%、60%和80%時，現有分類方法的四項分類評價指標值依然會發生較為明顯的變化，而與現有分類方法相比，CCCM 的四項分類評價指標的變化仍然較小，說明對多種來源的數據進行分類時，增加已標記訓練數據的數量對提高CCCM的分類效果有一定的幫助，但是CCCM對已標記訓練數據的依賴程度較小，其通過挖掘和利用大量未標記數據的細胞形態特征信息，始終能夠保持較好的分類效果。

在實驗用到的TCGA、LC25000和混合數據中，TCGA的未標記數據最少，混合數據的未標記數據最多。當已標記訓練數據為80%時，CCCM在上述開源數據集和混合數據的實驗對比結果如圖16所示，通過圖中四項評價指標的比較可以看出，隨著未標記數據的增多，CCCM能夠取得更好的分類效果，這是因為CCCM的分類性能主要依賴于未標記數據的數量，利用模型充分挖掘和利用未標記數據是提高CCCM分類效果的關鍵環節。

圖16 不同數據集的實驗比較Fig.16 Experimental comparison of different datasets

2.3.4 收斂性分析

為了對CCCM 的收斂性進行分析，將CCCM 與MCM、CRM、MoCo、SimCLR 和NNCLR 的訓練過程進行比較。在實驗中，采用在確定α值實驗中使用的混合數據作為實驗數據，將900 張已標記肺癌病理圖像中80%的已標記數據作為現有分類方法和CCCM 第一階段的已標記訓練數據，即得到720張已標記數據作為訓練數據。將3 000張未標記肺癌病理圖像作為CCCM第二階段的未標記訓練數據，將900張已標記肺癌病理圖像中剩余的20%數據作為各分類方法的驗證集，即得到180張已標記數據作為各分類方法的驗證集。各分類方法的比較結果如圖17 所示，從圖中可以看出，MCM 和CRM 的迭代次數明顯多于基于對比學習的分類方法MoCo、SimCLR、NNCLR 和CCCM，而現有的對比學習分類方法MoCo、SimCLR和NNCLR的迭代次數都高于CCCM 的迭代次數，而且收斂后的損失值也都高于CCCM 的損失值。CCCM 在迭代次數達到320 次左右時，損失值達到最小，說明CCCM在收斂性方面的表現優于現有的分類方法。

圖17 訓練過程損失值的比較Fig.17 Comparison of loss value in training process

各分類方法每次迭代的時間比較如表11 所示，從表11的比較可以看出，與其他分類方法相比，CCCM每次迭代耗費的時間較多，這是因為CCCM通過較為復雜的模型結構挖掘未標記數據中的特征信息，雖然迭代次數較少，但是由于每次迭代的計算量較大，導致CCCM需要耗費更多的時間完成分類任務。

表11 各方法每次迭代的時間比較Table 9 Comparison of time per epoch of different methods

3 結束語

本文提出一種肺癌病理圖像分類方法CCCM，該方法對未標記肺癌病理圖像進行對比學習和分類，并將獲得的高置信度分類圖像作為偽標簽，應用到對比學習訓練中。在ResNet50 中，利用MDCM 和DDⅠM 獲取更準確的肺癌細胞的形態特征信息。為充分利用數量有限的訓練數據，將最遠和最近鄰圖像加入到對比學習中，增加了對比學習的正樣本學習難度和數據的多樣性。實驗結果表明，CCCM在分類性能和收斂性方面優于已有的分類方法。在后續的研究中，將進一步研究如何挖掘未標記肺癌病理圖像的其他特征信息，并應用到肺癌病理圖像分類方法中。由于肺癌病理圖像的已標記數據較少，為了挖掘和利用未標記數據的細胞形態特征信息，構建的CCCM在整個模型結構方面較為復雜，導致該模型以增加計算量為代價，提高分類的性能，這是目前該模型中存在的不足。在后續的研究中還需要進一步改進該模型的結構，并壓縮模型參數，減少模型的計算量。