基于深度卷積神經網絡的色素性皮膚病識別分類

何雪英，韓忠義，魏本征

(山東中醫藥大學 理工學院，濟南 250355)(*通信作者電子郵箱hxy0104@163.com)

0 引言

皮膚作為人體最大的器官，通常直接暴露在空氣中，使得皮膚病成為人類最常見的疾病之一，全世界30%～70%的人有與皮膚有關的健康問題[1]，僅在美國，每年就有540萬新的皮膚癌病例[2]。黑素瘤(melanoma)作為一種致死率最高的惡性皮膚腫瘤，每年導致的死亡人數就超過9 000[3]。早期發現可以將黑素瘤的5年存活率由14%提高至99%左右, 因而皮膚病的早期診斷、早期治療至關重要。

臨床上，皮膚病的早期診斷除一般的視覺篩查外，基于皮膚影像的皮膚病診斷是最常使用的一種診療手段。相比其他皮膚影像，皮膚鏡通過消除皮膚表面的反射，可以將更深層次的肉眼無法辨別的病變特征可視化，和肉眼檢查相比，可以將診斷敏感性提高10%～30%[4]，在一定程度上降低了活檢率。但基于人工的皮膚鏡圖像分析不僅耗時、費力，診斷結果易受醫生經驗等主觀因素影響。借助于計算機輔助診斷(Computer-Aided Diagnosis, CAD)系統，實現基于皮膚鏡圖像的皮膚病的自動識別分類，可以提高診斷的效率和準確率。而精準地細分類，使得醫生可以根據不同病變的特殊臨床表現有針對性地制定最佳治療方案, 因而具有重要的現實意義和臨床研究價值。

然而，基于皮膚鏡圖像的皮膚病的自動識別分類是一項非常有挑戰性的工作：一方面，各種分類識別算法模型存在一定的局限性，總體識別率還有待進一步提高；另一方面，皮膚鏡圖像會包含諸如光照不均、黑框、毛發、皮膚紋理等噪聲，也在一定程度上影響了皮膚病變的識別，但更重要的是，皮膚病變的臨床和病理類型繁雜，病灶外觀的類間相似度高，類內差異性大，如圖1所示, 而且當病灶發生病變時，外觀變化比較大，甚至可以演化為其他病變類型，給皮膚病的識別分類帶來了巨大的困難。

圖1 三類色素性皮膚病變

色素性皮膚病是由于黑素細胞和黑素生成異常造成的一類常見皮膚疾病，色素的減少或增多會引起皮膚顏色的改變，因此，色素性皮膚病的識別分類難度更大。本文自動分類的三類色素性皮膚病變：黑素瘤、色素痣(nevus)和脂溢性角化病(seborrheic keratosis)，就是三類臨床上極易混淆的病變類型，如圖1所示。它們均屬于皮膚表面發生的色素性損傷，其中黑素瘤屬于惡性程度極高的一類腫瘤，色素痣屬于良性腫瘤。由于二者均是來源于黑色素細胞的一類腫瘤，臨床表現往往非常相似，尤其是當色素痣發生病變時，更加難區分。脂溢性角化病也是一種良性腫瘤，但由于增生的表皮細胞內常常有黑色素的沉著，發生炎癥或受刺激的損害與惡性黑色素瘤非常相似，臨床上通常需要通過組織病理檢查來鑒別。

有關自動分類色素性皮膚病變圖像的研究早在1987年就已出現在文獻[5]中。隨著皮膚鏡技術和機器學習算法的發展，基于皮膚鏡圖像分析和傳統機器學習算法的皮膚病分類逐漸成為了一種趨勢：文獻[6]在分割病灶后，提取形狀、顏色、紋理等特征信息，運用集成分類器實現黑素瘤的檢測； Barata等[7]對比說明了顏色和紋理特征在黑素瘤檢測中的不同作用； Sheha等[8]從分割的感興趣區域提取幾何和色度特征，利用Fisher和t檢驗方法選取最優特征用于人工神經網絡和支持向量機分類，實現了色素性皮膚病的診斷。值得注意的是，這些方法涉及一系列的圖像預處理、特征提取和選擇等繁雜且效率低下的問題，特征的設計受限于領域專家的專業知識，要提取出具有區分性的高質量特征往往存在一定的困難，有意義和有代表性的高質量特征是皮膚病識別分類成功的關鍵因素。

隨著深度學習的發展，尤其是卷積神經網絡(Convolutional Neural Network, CNN)在計算機視覺領域的成功應用[9]，為CNN在醫學圖像處理領域中的應用奠定了基礎。深度學習是“端到端”的模型，直接學習從原始輸入到期望輸出的映射，避免了傳統機器學習算法中復雜的特征提取過程，而且能夠提取具有代表性的高層特征，尤其在細粒度圖像識別方面具有極大的優勢和潛力。斯坦福大學人工智能實驗室采用深度學習方法對皮膚鏡圖像和臨床皮損圖像進行自動分類，充分利用細粒度標簽的優勢訓練CNN-PA(CNN-Partitioning Algorithm)模型，對129 450幅皮膚鏡和臨床皮損圖像進行3分類和9分類，精度分別可達72.1%和55.4%，利用3類和9類標簽訓練的CNN粗分類結果分別為69.4%和48.9%，而兩位皮膚病專家在相應分類任務上的平均識別結果分別為65.8%和54.15%，代表了皮膚圖像自動分析領域的最新研究進展，相關研究成果[10]2017年1月發表在Nature上，本文的研究在一定程度上受到該研究的啟發。文獻[11]結合深度學習和機器學習方法，設計了一個用于皮膚病灶分割和分類的系統； Mishra等[12]在總結對比基于皮膚鏡圖像的各種分割算法的基礎上，進行了黑素瘤的檢測； 文獻[13]利用VGG16網絡，采用三種不同的遷移學習策略，實現了皮膚鏡圖像的二分類任務，取得了較好的結果； Li等[14]利用兩個全卷積殘差網絡同時實現了皮膚病灶的分割和分類； 文獻[15-17]采用常用的深度學習模型實現了黑素瘤的檢測。然而，這些方法大都集中在皮膚病發病率較高的國家，且主要針對黑素瘤檢測相關的二分類識別，我國在這方面的研究相對較少，還缺少一個完整的針對色素性皮膚病的識別分類系統。

基于以上問題，本文訓練了一個結構化的深度卷積神經網絡模型，實現了基于皮膚鏡圖像的色素性皮膚病的自動識別分類。通過給不同類別設置有差異的損失函數權重來緩解數據集中存在的類別不平衡問題，提高模型的識別率，算法流程如圖2所示。采用數據增強方法[18]和遷移學習[19]來避免深度學習模型在受樣本量限制時易出現的過擬合問題。

圖2 模型流程

1 數據增強和遷移學習

缺乏大規模的訓練數據，是CNN應用于醫學圖像分類面臨的主要挑戰之一。深度卷積神經網絡強大的表達能力，需要大規模的有標記樣本來驅動模型訓練，才能防止過擬合。本文所采用的數據集中，訓練集僅包含2 000幅標記圖像，為避免過擬合，本文采用了常用的兩種解決方案：

1)數據增強。使用不小于0.5倍原圖大小的正方形在原圖的隨機位置處摳取圖像塊；對圖像進行隨機的水平和垂直翻轉及鏡像。通過數據增強擴充了訓練樣本的數量，增加了訓練樣本的多樣性，不僅能夠避免過擬合，還可以提高模型的識別性能。

2)遷移學習。通過遷移學習，模型可以獲得優化的初始參數，從而加快訓練的速度，提高模型的識別率和泛化能力。本文使用ImageNet(約128萬幅自然圖像，1 000種類別)上預訓練好的VGG19模型，遷移到我們的數據集上進行微調訓練。本文將模型輸出類別數設置為3。

2 深度卷積神經網絡架構

卷積神經網絡是一類特殊的人工神經網絡，作為最常使用的深度學習模型之一，被廣泛應用于圖像處理相關領域。以二維或三維圖像直接作為網絡的輸入，通過多個隱層結構的變換，實現高層次特征的提取。這種端到端的自動學習特征的過程，避免了人工提取特征的繁雜和局限。相比全連接的神經網絡，訓練更簡單，泛化能力更好。

通過初步實驗，對比目前常用的深度卷積神經網絡模型AlexNet、ResNet、GoogLeNet等，以VGGNet[20]作為本文模型的基礎架構，如圖3所示。該模型在ILSVRC2014競賽中獲得定位任務的第1名和分類任務的第2名，具備良好的穩定性和泛化性，被廣泛應用于細粒度圖像定位與檢索[21]。

圖3 VGG19結構

2.1 網絡架構設計

輸入層 負責從數據集載入圖像，產生一個輸出向量作為卷積層的輸入。本文模型加載增強后的數據集，RGB3通道皮膚鏡圖像，圖像進行歸一化預處理，減去訓練集圖像像素均值，自動縮減為224×224大小，以適應VGGNet。

卷積層 卷積層的單元組織為特征圖(feature map)，每個單元通過一定大小的卷積核作用于上一層特征圖的局部區域，局部區域的加權和經過ReLU非線性單元處理，獲取圖像的局部特征。同一特征圖的所有單元共享一個卷積核，而同一層的不同特征使用不同的卷積核。

本文的VGG19模型包含5個卷積塊(block)，第1、2塊內有2個卷積層，其余3塊內有4個卷積層，所有卷積都使用ReLU非線性激活函數。5個block的卷積核數量分別為64、128、256、512、512，每塊內的卷積核數目相同。卷積層全部為3×3的小卷積核，采用保持輸入輸出大小相同的技巧(stride、padding均設為1)，在增強網絡容量和模型深度的同時減少了卷積參數的數量，降低了計算復雜度。

池化層 通過將語義上相似的特征點合并，實現特征降采樣，以減小下一層的輸入大小，從而減少網絡的參數個數，減小計算量。常見的策略有最大池化(Max-pooling)、平均池化(Mean-pooling)和隨機池化(stochastic pooling)。本文模型中每個block后面都連接一個最大池化層，大小為2×2。

此外，學習率為0.001，訓練epoch為100。

2.2 加權Softmax損失函數

(1)

Softmax分類器的損失函數如式(2)所示：

(2)

其中1{yi=j}為指示性函數。其取值規則為：

由于不同類別的訓練樣本數目之間的偏差造成的數據不平衡，是醫學圖像處理過程中普遍存在的問題。不平衡的訓練樣本會導致訓練模型側重樣本數目較多的類別，而“輕視”樣本數目較少的類別，這樣模型在測試數據上的泛化能力就會受到影響。

本文通過在Softmax損失函數中設置權重系數w，讓小類樣本乘以較大的權重，大類樣本乘以較小的權重，來緩解本文數據集中存在的類別不平衡問題，從而提高模型的識別率。加權Softmax損失函數可表示為式(3)：

(3)

其中：wj=M/Mj表示損失函數的權重，M表示訓練樣本的總數量，Mj表示訓練樣本所屬類別的樣本數量。最后通過隨機梯度下降法最小化誤差函數。

3 實驗與結果

3.1 數據集

本文采用ISIC(International Skin Imaging Collaboration)Archive公開數據集ISIC2017 (https://isic-archive.com/)，該數據集包括3個獨立的皮膚鏡圖像數據集：訓練集(2 000幅)、驗證集(600幅)和測試集(150幅)，每個數據集包含三種類型的色素性皮損圖像：黑素瘤、色素痣和脂溢性角化病。三種類型的皮膚鏡腫瘤圖像在三個數據集中的具體分布情況見表1, 實驗在數據增強后的數據集上開展。

表1 3種類別的腫瘤圖像在三個數據集上分布情況

3.2 評價標準

為全面衡量模型的分類性能，除了采用識別正確率(accuracy)這一常用評價標準外，同時考慮皮膚病識別的召回率，即敏感性(sensitivity)。

敏感性的計算公式：

其中：q表示類別個數，TP表示真正例(True Positive)，FN表示假反例(False Negative)。當accuracy和SE的取值都較大時，說明模型具有較好的識別分類性能。

3.3 實驗和結果

為保證模型對未知數據的泛化能力，增強后的訓練集、驗證集和測試集仍為三個獨立的數據集，互不交叉。訓練過程中利用驗證集實時評測模型的預測性能，調節參數，優化模型，最后選取驗證集準確率最高的那一輪訓練結果作為最終的模型，用于測試集數據的預測。

為驗證本文模型的有效性，另外選擇ResNet-34[22]和GoogLeNet[23]兩種模型作對比實驗。為驗證設置類別權重對緩解類別不平衡問題的效果，在各個模型上分別采用設置權重和不設置權重兩種訓練策略。本文模型在Lenovo ThinkStation，Intel i7 CPU，NVIDIA Quadro K2200GPU上訓練，使用PyTorch框架。

本文模型與其他深度學習模型在兩種訓練策略上的實驗對比結果見表2，其中w表示訓練過程中設置的不同類別的權重。由表2可知本文方法的識別正確率和敏感性值均高于其他方法的對應值，并且在不設置權重時，本文模型的識別正確率和敏感性結果也均高于其他模型的對應結果，表明本文方法的有效性。對比每類方法設置權重和不設置權重的結果可知，敏感性均有所提高，識別正確率除ResNet外也均有所提升，表明設置權重能夠一定程度上緩解類別不平衡問題。

表2 不同模型在兩種訓練策略下的對比結果

三種模型采用兩種訓練策略時，每一類的具體識別結果對比見圖4。由圖4可知：本文方法大幅提高了黑色素瘤識別的正確率，同時在均衡另外兩類的識別正確率的基礎上，提高了它們的平均識別正確率，進一步表明本文方法的有效性。另外，由圖4還可以看出，黑素瘤的總體識別正確率偏低，溢脂性角化病和色素痣的識別正確率普遍較高，這和本文數據集的分布有一定的關系，同時也說明黑素瘤與另外兩類病變的極度相似性。并且，所有方法的識別正確率均普遍偏低，也表明了色素性皮膚病變的區分難度較大。

圖4 不同方法下每類的識別正確率比較

4 結語

本文研究了色素性皮膚病的計算機輔助診斷，訓練了一個結構化的深度卷積神經網絡，實現了基于皮膚鏡圖像的色素性皮膚病的自動識別分類。本文的深度學習模型準確率更高，同時避免了人工提取特征的復雜性和局限性。通過給不同類別樣本設置不同的損失權重系數，在一定程度上緩解了數據不平衡帶來的問題，提高了模型的性能。采用的數據增強和遷移學習方法有效避免了模型在訓練樣本不足時易出現的過擬合問題。實驗證明本文方法具有較高的識別正確率和敏感性，在一定程度上滿足了更高要求的臨床需求。