基于集成學習與生成對抗網絡的皮膚鏡圖像分類方法

龔 安， 姚鑫杰， 杜 波， 李維浩

(1.中國石油大學(華東)計算機科學與技術學院， 青島 266580； 2.大理白族自治州人民醫院， 大理 671000)

近年來，皮膚癌是常見的惡性腫瘤之一[1]，其中惡性黑色素瘤是世界上速度增長最快和最致命的癌癥之一，占皮膚癌死亡人數的75%[2-4]。早期診斷對于皮膚癌治療非常重要，如發現較早，及時進行治療，存活率可以達到96%[5]。為了協助醫生進行診斷，臨床上引入皮膚鏡[6]來改善診斷效果，但皮膚鏡圖像本身的復雜性如類內差異大、類間相似性高和皮損邊界模糊等問題給檢測提出了巨大的挑戰。此外，由于醫生技術水平、臨床治療經驗的不同，使得人類的主觀判斷能力有一定的局限性。因此，醫生借助計算機視覺等圖像處理技術對患者進行診治已經逐漸成為醫學領域發展的一個重要研究方向。

有關自動分類色素性皮膚病變圖像的研究早在1987年就已經出現在文獻[7]中。早期的研究主要通過人工直接提取特征，將這些底層特征融合，從而提高分類的準確率[4, 8-9]。Kusumoputro等[10]從皮膚鏡圖像中提取形狀和顏色特征，利用人工神經網絡對惡性黑色素瘤進行分類。由于黑色素瘤與非黑色素瘤之間的類內差異大和類間差異小，所以大多時候人工提取特征的效果并不理想。此外，這些基于人工提取特征的方法大多數操作較為復雜，導致臨床實踐中出現適用性不高、泛化能力不足等問題[11]。隨著技術的發展，以卷積神經網絡為代表的深度學習技術在圖像分析領域取得了不錯的效果。與依賴人工提取特征的方法不同，卷積神經網絡等深度學習技術具有顯著的優勢。卷積神經網絡的主要優點是通過數據集自動地學習相應檢測或者分類任務所需的特征表達,并且在諸多應用中都有不錯的表現。Yu等[2]采用了一個深層殘差網絡來區分黑色素瘤和非黑色素瘤。Deng等[12]提出了一種雙分支卷積神經網絡來提取全局和局部特征。董青青等[13]在遷移學習的基礎上增加了CIFAR-10的卷積層和池化層。李航等[14]使用殘差神經網絡提取皮膚病變特征，利用支持向量機對黑色素瘤進行分類。此外，為了緩解醫學數據集較少且分布不均的問題，生成對抗網絡[15-17]也逐漸應用到醫學領域中。Burlina等[18]使用生成對抗網絡生成視網膜疾病的眼底圖像，并將深度學習用于眼科的鑒別任務。然而，生成對抗網絡在皮膚鏡圖像上的應用較少。雖然在計算機輔助醫生診斷皮膚病相關方面做了一些研究，但是準確率、敏感度和特異度等仍有很大的提升空間。

現使用生成對抗網絡和旋轉圖像進行數據增強，基于集成學習的基礎上提出了一種集成投票塊的皮膚鏡圖像分類方法。

1 數據集準備

1.1 構建數據集

使用的數據集來源于國際皮膚影像協會(the international skin imaging collaboration，ISIC) 2019[19-20]，共計25 331張皮膚鏡圖像，共計8類，分別為光性角化病、基底細胞癌、良性角化病、皮膚纖維瘤、黑色素瘤、黑素細胞痣、血管肉瘤、鱗狀細胞癌，如表1所示。

表1 皮膚鏡圖像數據集Table 1 Dermoscopy image data set

1.2 數據預處理

實驗的數據集按照7∶2∶1的比例隨機劃分為訓練集、驗證集、測試集。為了讓卷積神經網絡學到更加真實一致的特征，在深度學習時一般需要對圖像進行預處理裁剪，但是大部分的裁剪會導致皮膚鏡圖像損傷變形，而形狀輪廓信息是判別皮膚細胞病變類型的重要依據。不同大小的圖像可以得到不同的特征提取效果，相對應的計算成本也會不同。實驗綜合考慮計算成本與圖像信息，將圖像大小統一為672×672像素。

為了減小醫學圖像由于光線不均勻造成的干擾，本研究將皮膚鏡圖像進行歸一化處理。常用的圖像歸一化方法是通過將圖像像素值減去在整個數據集上計算出的平均像素值。但是，數據集中皮膚鏡圖像的光照、膚色和視角差異很大，減去統一的平均值并不能很好地標準化個體圖像的光照。針對上述問題，本實驗通過將圖像減去在單個圖像上計算出的通道平均強度值來對每個皮膚鏡圖像進行歸一化。通過給定一張皮膚鏡圖像X，計算歸一化圖像Xnorm，可表示為

式(1)中：u(XR)、u(XG)、u(XB)分別為返回3個顏色通道的平均像素值。

1.3 數據增強

卷積神經網絡雖然有很強的特征表達能力，但是需要大量的數據集進行訓練，大部分醫學圖像數據集較少且分布不均，會降低卷積神經網絡的訓練效果，容易導致過擬合。為了緩解上述問題，采用生成對抗網絡和旋轉圖像進行數據增強。通過將訓練集的皮膚鏡圖像作為生成對抗網絡的輸入進行訓練，將生成效果更接近真實皮膚鏡圖像的數據加入到訓練集中。此外，還將訓練集的圖像進行旋轉，進而增強數據集，如圖1所示。

圖1 數據增強圖像Fig.1 Data enhanced images

2 集成投票塊構建

2.1 遷移學習和集成學習

遷移學習是把已訓練好的模型參數遷移到新的模型上，更好地幫助新模型訓練，從而加快并優化模型的學習效率。通常來說，遷移學習的策略包括微調和凍結訓練兩種。微調指的是使用預訓練網絡在目標數據集上訓練所有層。凍結訓練指的是僅凍結某幾層，訓練其他層。本實驗采用遷移學習的方法，使用多個在大型自然圖像數據集ImageNet上預訓練的卷積神經網絡模型，對其進行微調，從而提取皮膚病變的特征，如圖2所示。

圖2 微調卷積神經網絡Fig.2 Fine-tuning the convolutional neural network

集成學習是通過組合多個模型，從而得到一個更好更全面的模型。總體來說，集成的泛化能力優于單個學習器的泛化能力。因此，通過集成多個卷積神經網絡，從而提高模型的泛化能力和準確率，集成學習流程圖如圖3所示。

圖3 集成學習流程圖Fig.3 Flow chart of ensemble learning

2.2 加權交叉熵

針對醫學圖像數據集分布不均的問題，通過在交叉熵中設置權重系數w，讓大類樣本乘以較小的權重，小類樣本乘以較大的權重，從而緩解數據集中存在分布不均的問題。加權交叉熵更清晰地描述了模型與理想模型的距離，加權交叉熵可表示為

2.3 構建集成投票塊

構建集成投票塊需要多個卷積神經網絡模型，不同的卷積神經網絡模型在不同的數據集上表現不同。集成模型中選取的卷積神經網絡模型一定程度上決定了整體的模型效果。因此，從經過訓練的多個卷積神經網絡模型中選取分類效果較好的卷積神經網絡模型構建投票塊，集成投票塊分類模型流程圖如圖4所示。

圖4 集成投票塊分類模型流程圖Fig.4 Flow chart of integrated voting block classification model

每個投票塊中的卷積神經網絡針對輸入的皮膚鏡圖像進行分類投票，選取投票結果最多的類別作為該投票塊的輸出。若投票結果最大值所對應的類別不唯一，則從中選取置信度較高的一個類別作為該投票塊的輸出。接著，將多個構建好的投票塊組成集成塊。每個集成塊針對其包含的投票塊輸出進行統計，將統計結果最大值對應的類別作為該集成塊的輸出。若統計結果最大值所對應的類別不唯一，則從中選取置信度較高的一個類別作為該集成塊的輸出。最后，統計多個集成塊的輸出結果，將統計結果最大值對應的類別作為該模型的輸出。若統計結果最大值所對應的類別不唯一，則從中選取置信度較高的一個類別作為該模型的輸出。

3 實驗結果與分析

3.1 實驗平臺

實驗的CPU為Intel(R) Xeon(R) Silver 4110 CPU @ 2.10 GHz，GPU為NVIDIA Tesla P100，內存為16 GB，使用PyTorch深度學習框架進行卷積神經網絡模型訓練。數據集基于ISIC 2019皮膚鏡圖像，訓練集、驗證集、測試集按照7∶2∶1的比例進行劃分。

3.2 評價標準

為了全面衡量模型的分類性能，采用準確率Acc(accuracy)、敏感度Se(sensitivity)、特異度Sp(specificity)幾項指標作為評價標準。準確率即正確分類的樣本占所有樣本的比率，可以衡量分類器對整體樣本的判斷能力。在醫學診斷中，敏感度和特異度都是十分重要的指標。敏感度又稱真陽率或者召回率(recall)，越高，漏診概率越低。特異度又稱真陰率，越高，確診概率越高。以上評價標準形式化定義如下：

式中：Ntp表示真陽性(true positive)圖像的數目，真陽性說明該圖像在預測分類結果和標注數據(ground-truth)中都屬于可疑皮損組織；Nfp表示假陽性(false positive)圖像的數目，假陽性說明該圖像在標注數據中為可疑皮損組織，但是在預測分類結果中為正常皮膚組織；Ntn表示真陰性(true negative)圖像的數目，真陰性說明該圖像在標注數據中為正常皮膚組織，而對其預測結果也屬于正常皮膚組織；Nfn(false negative)表示假陰性圖像的個數，假陰性表示該圖像在標注數據為正常皮膚組織，但是在預測分類結果中為可疑皮損組織。

3.3 遷移學習效果對比分析

實驗采用遷移學習的方法，減少了訓練卷積神經網絡模型所需的訓練數據、計算成本等。實驗對預訓練模型和原始模型的準確率和交叉熵損失進行比較，如圖5、圖6所示。

圖5 準確率比較Fig.5 Comparison of the accuracy

圖6 交叉熵誤差比較Fig.6 Comparison of the cross entropy loss

通過對比DenseNet201預訓練前后的準確率和交叉熵損失發現，經過預訓練的DenseNet201在準確率曲線上有更高的起點，能夠更快地達到較高的準確率。在交叉熵誤差方面，經過預訓練的DenseNet201能夠更快、更穩定地進行收斂。

3.4 分類效果對比分析

實驗使用3個集成塊，每個集成塊里包含3個投票塊，每個投票塊包含3個卷積神經網絡。如表2所示，訓練了23個卷積神經網絡模型，從中剔除分類效果較差的SqueezeNet1_1和DPN131，剩下的21個卷積神經網絡模型用于集成投票塊構建。實驗將23個卷積神經網絡模型和本文方法進行對比分析，分類效果如表2所示。

表2 分類效果對比

AlexNet、BN-Inception、Caffe-ResNet101、DenseNet169、DenseNet201、FbResNet152、InceptionResNetV2用于第1個集成塊。綜合考慮分類效果，選出較為突出的InceptionResNetV2使用3次，分別放入3個投票塊，再將剩余的6個卷積神經網絡模型依次放入3個投票塊中。InceptionV4、NASNet-A_Large、NASNet-A_Mobile、PNASNet-5_Large、PolyNet、ResNet50、ResNet152用于第2個集成塊，ResNeXt101_64x4d、SE_ResNet152、SE_ResNeXt101_32x4d、SENet154、VGG16BN、VGG19BN、Xception用于第3個集成塊。在第2、3個集成塊中，分別選出InceptionV4和Xception使用3次，其余操作同第1個集成塊。根據表2所示，在單一的卷積神經網絡模型中，Xception準確率最高，可達到0.917；DenseNet201敏感度最高，可達到0.520；BN-Inception特異度最高，可達到0.846。不同的卷積神經網絡模型有不同的分類效果，單一的卷積神經網絡模型很難在多個評價指標上有突出的表現。個體網絡模型處理某個問題時很容易遇到模型泛化瓶頸，不能保證在解決多種問題時有出色的表現。通過集成投票塊，以提升個體網絡模型的泛化能力，并且集合各個模型的優點得到一個較優的解決方法。本文提出的方法在準確率、敏感度、特異度上分別能達到0.925、0.563、0.927，相比較優的個體網絡模型分別提高了0.008、0.043、0.081。為了更全面、更直觀地比較模型的性能，選取了DenseNet201、InceptionV4、VGG16BN與本文方法進行接受者操作特性(receiver operating characteristic，ROC)曲線比較，如圖7所示。

圖7 ROC曲線比較Fig.7 Comparison of the ROC curve

通過圖7可以看出，本文方法較優于選取的個體卷積神經網絡。ROC曲線在數據集分布不均的情況下能夠更加穩健和全面地評價模型。

4 結論

(1)基于集成學習提出了一種集成投票塊的皮膚鏡圖像分類方法。通過生成對抗網絡和旋轉圖像進行數據增強，進而結合遷移學習更好的訓練卷積神經網絡模型。

(2)針對數據分布不均的問題，采用加權交叉熵進行處理。實驗結果表明，個體卷積神經網絡模型在解決問題時容易遇到模型泛化瓶頸，不能保證在解決多種問題時有出色的表現。

(3)本文方法相對個體卷積神經網絡模型在各個評價指標上均有提升，在一定程度上能幫助皮膚科醫生進行診斷和治療。未來科研工作中，還需要更多的結合皮膚領域的專業知識及患者信息，從而更好地實現計算機輔助診斷治療。