基于卷積神經網絡的皮膚癌良惡性預測*

董青青，銀溫社，易三莉

（昆明理工大學 信息工程與自動化學院，云南 昆明 650500）

0 引 言

黑色素瘤是一種獨特的癌癥，大多數表現為色素性并發生于皮膚表面。目前，臨床診斷主要依靠視診，缺點是受醫生個人主觀性影響，還因為進一步的病理活檢而延長檢查周期[1-2]。因此，目前臨床實踐上還缺乏一種具有高精度、高效率和非侵入式的診斷皮膚癌良惡性的方法。(圖像分類指根據圖像信息中反映的不同特征，把不同類別的特征區分開來的圖像處理過程[3-5]。目前來看，圖像分類方法主要分為線性分類和深度神經網絡方法。線性分類主要用于解決某類具體問題，常見的線性分類方法包括支持向量機（Support Vector Machine，SVM）和貝葉斯方法等。深度神經網絡方法可應用于不同類型的分類問題，通用性高、泛化能力強，常見的神經網絡方法包括前饋神經網絡（Back Propagation，BP）。SVM依據結構風險最小化理論，被廣泛應用于解決小樣本和高維特征等圖像分類問題中[6]。武崢等人提出的聚類優化貝葉斯算法，通過k點算法實現聚類，在聚類結果上進行貝葉斯識別，得到了較高的識別率[7]。以上方法主要處理線性分類問題，神經網絡方法則通過作用于大量神經元的ReLU等非線性激活函數，在非線性問題上有很好的處理能力[8]。Rumelhart和Mcllelland等人提出的BP神經網絡模型，有效解決了非線性問題[9]；鄧俊峰[10]等多個團隊對編碼器結構進行了改進，使得自動編碼器同時具有稀疏性約束條件和邊緣降噪約束條件，在多個分類任務上，學習精度都取得了較高的分類效果。相對于其他方法，LeCun提出的卷積神經網絡（Convolutional Neural Networks，CNN）引入權值共享機制，大大降低了需要學習的參數量，同時降低了訓練多隱層網絡的難度[11-12]。Esteva[13]等人采用大量臨床數據對GoogleNet Inception v3網絡進行遷移學習，對皮膚病變圖像進行分類，CNN訓練的結果與皮膚科醫生診斷結果相媲美。

上述算法在圖像分類任務上都取得了較好的分類效果。CNN由于引入權值共享機制，大大降低了學習的參數量，且相對其他方法有更高的分類精度。然而，該算法在對圖像進行分類時，存在收斂速度慢問題[14]。為了提高皮膚癌良惡性預測精度，本文在CNN結構的基礎上，在卷積神經網絡最后一個池化層與輸出層之間增加一個卷積層和池化層，構建了基于深度卷積神經網絡的皮膚癌良惡性預測模型。

1 方 法

卷積神經網絡具有局部連接、權值共享等特性，在圖像分類、人臉識別等多個計算機視覺任務中被廣泛應用[15]。本文針對黑色素瘤數據特點，提出將改進的CNN算法用于建立皮膚癌良惡性預測模型。該模型對于黑色素瘤良惡性預測的效果更好，收斂速度更快。

1.1 卷積神經網絡算法

卷積神經網絡是由用于特征提取的卷積層和用于特征處理的亞采樣層交疊組成的多層神經網絡[16]。網絡底層輸入數據，輸出其識別結果，輸入圖像經過若干個“卷積”和“采樣”后，在全連接層實現與輸出目標間的映射。

對于卷積層，卷積核中每一個元素都作為權值參數，同輸入圖像相應區塊的像素值加權求和，并經過激活函數得到輸出像素。第l層的第j個特征圖矩陣由前一層若干個特征圖卷積加權得到，以表示為：

其中，f(·)是神經元激活函數；Nj代表輸入特征圖的組合，*代表卷積運算，為卷積核矩陣，為偏置矩陣。

對于采樣層而言，也稱為“池化”層，作用是基于局部相關性原理進行池化采樣，從而在減少數據量的同時保留有用信息。

舉辦大型的文化事件營銷活動，也是城市發展的途徑之一。德國西部魯爾區的波鴻，通過打造魯爾藝術節、魯爾鋼琴節和波鴻綜合音樂節等在歐洲擁有較高聲譽和影響力的藝術節慶活動，實現了從工業基地到文化藝術中心城市的轉型。法國名城戛納，以每年5月舉行電影節的方式，走上了城市發展的快車道。經過幾十年的發展，戛納國際電影節已躋身世界最大、最重要的四大電影節之一，每年吸引著30萬人前來參加，給城市帶來巨大的經濟效益和良好口碑，戛納也因此成為世界名城，吸引著眾多游客。

采樣過程可以表示為：

其中，down(·)表示下采樣函數，常用的有最大值采樣函數和均值采樣函數。

全連接層的結構和全連接神經網絡的隱層結構相同。全連接層的每個神經元都會與下一層的每個神經元相連。第l層全連接層特征向量xl可以表示為：

其中，wl是權值矩陣，bl是偏置向量。

模型的最后輸出層為邏輯回歸層。卷積神經網絡輸出的每個節點表示輸入圖片屬于某一類別i的概率：

式中，w為最后一層的權參數，b為相應偏置參數。

1.2 遷移學習

遷移學習在深度學習中應用廣泛，特別對于在醫療領域數據量非常受限時。從自然圖像到醫療數據的遷移學習，將訓練學習到的權重作為目標數據的初始化參數。本文采用自然圖像訓練得到的CIFAR-10模型進行黑色素瘤數據的遷移學習，為了得到更好的皮膚病變分類效果，在CIFAR-10網絡基礎上進行卷積的改進。

1.3 卷積層的改進

卷積層結構的核心是使用局部最優的稀疏結構取代原有的全連接方式[17]，并利用稠密計算實現訓練過程的加速。卷積神經網絡結構在構建皮膚癌良惡性預測模型中，存在計算速度較慢、預測精度不高的問題[18-19]。

針對這些問題，本文在CIFAR-10網絡最后一個池化層與輸出層之間增加一個卷積層和池化層，通過增加網絡深度，更好地應用于復雜的圖像分類任務，提高分類準確率，解決分類效果在輸出層和前一卷積層之間的受限問題。通過對比實驗采用ReLU激活函數，使得網絡變得稀疏，大大減小了計算量，降低了過擬合問題。

圖1 網絡結構流程

CNN網絡常用的激活函數有ReLU、AbsVal和tanh，其中線性激活函數ReLU是目前使用最多的激活函數，表達式如下：

其中x表示輸入值，ReLU函數是分段函數，如果x大于0，輸出即保持原值，否則輸出為0。ReLU簡單地將閾值設置在零點，對輸入x值只進行單邊計算，大大減小了計算量。對Mnist數據采用三種不同的激活函數進行1 000次迭代訓練，三種激活函數的損失值及運算時間見表1。可以看出，采用ReLU函數得到的損失值最小，且運算時間最短，網絡最先達到收斂。

表1 不同激活函數損失值比較

1.4 優化方式選擇

SGD優化訓練數據集首先將其分成n個batch，每個batch包含m個樣本。當訓練數據太多時，利用整個數據集更新往往時間上不顯示。batch的方法可以減少計算機的壓力，并且可以更快收斂。每次更新利用一個batch的數據而非整個訓練集，即：

其中Xt+1為當前更新值，Xt為上一次的更新值，η為學習率，gt為X在t時刻的梯度。

2 實驗及分析

本文基于Caffe深度學習平臺進行網絡結構的搭建和模型訓練。該平臺由C++開發，具備python、matlab以及命令行接口，且兼顧GPU與CPU的加速優化與切換。本文采用公開數據集ISBI提供的900例有注釋的黑色素瘤數據。根據提供的CSV文件，數據分為良性和惡性兩類，如圖2所示。圖2（a）表示良性黑色素瘤，圖2（b）表示惡性黑色素瘤。

本文基于Caffe深度學習平臺，采用改進的卷積神經網絡方法，針對黑色素瘤數據對網絡進行參數設置，對數據集進行訓練測試，并將其與他方法進行比較。

圖2 黑色素瘤良惡性樣本

2.1 參數設置

本文基于Caffe框架構建的卷積神經網絡模型實現皮膚癌良惡性識別的訓練過程。實驗中，網絡模型的數據層、卷積層、池化層、全連接層參數配置具體如下。

網絡的輸入層即數據層，設置數據批處理大小batch_size為64。為了提高分類的有效性，將通道圖像像素進行歸一化處理，設置scale為0.003 906 25。

卷積層設置濾波器權重學習率參數lr_mult為1，偏置學習率參數bias為2，bias設置為lr_mult的2倍。卷積核個數為32，步長為1，卷積核大小為5×5，填充為2，使用高斯分布隨機初始化卷積核，高斯分布標準差為0.001。

對于池化層，因為圖像的紋理特征對于圖像分類特征很重要，而最大值池化方法能夠更好地保留紋理特征，設置池化窗口大小為3×3，窗口滑動步長為2。

全連接層同卷積層形式一樣，輸出類別數和數據分類數目相同。本文黑色素瘤數據分為良、惡性兩類，設置輸出類別數為2。

2.2 改進的CNN方法實驗

本文采用SGD優化方式進行網絡訓練，設置60 000次迭代訓練，訓練集樣本數5 606張，測試集1 002張，實驗結果如表2所示。可以看出，基于改進的CNN皮膚癌良惡性預測模型，最終分類精度訓練集識別率達到91.92%，測試集識別率為89.5%。CNN和改進的CNN迭代訓練過程中Loss和Accuracy變化曲線如圖3所示，其中虛線表示準確度變化，實線表示損失值變化。

表2 CNN預測皮膚癌良惡性識別率

圖3 CNN與改進的CNN Loss下降和Accuracy上升過程

從圖3可以看出，改進后的CNN與未改進的CNN網絡在數據集上的預測精度與損失值的對比。改進的CNN預測精度隨著迭代次數的增加穩定上升，而CNN隨著迭代次數的增加，準確度逐漸趨于穩定。改進的CNN由于在CIFAR-10網絡最后一個池化層與輸出層之間增加了一個卷積層和池化層，通過增加網絡深度，能夠更好地應用于難以區分的黑色素瘤良惡性圖像分類任務中，提高了分類準確率。

2.3 其他方法實驗

為了驗證改進的CNN對于黑色素瘤數據識別的有效性[20-21]，將本文方法與KNN、SVM等方法進行比較。從表3可以看出，在訓練集和測試集上改進的CNN，對皮膚癌良惡性預測識別率均高于KNN、SVM方法。KNN、SVM等淺層學習方法主要適用于小樣本學習，在數據量較大時識別率不高。

表3 改進的CNN與KNN、SVM比較結果

本文在CIFAR-10結構的基礎上，在網絡最后一個池化層與輸出層之間增加一個卷積層和池化層，構建了基于深度卷積神經網絡的皮膚癌良惡性預測模型。在黑色素瘤數據集上，改進的CNN結構對黑色素瘤良惡性預測準確度比原始遷移模型CIFAR-10有一定提升。

3 結 語

本文基于卷積神經網絡構建的皮膚癌良惡性預測模型，通過對黑色素瘤數據進行擴增，對CIFAR-10結構層次進行加深，選擇ReLU為激活函數，采用SGD方法進行網絡訓練，實現了分類精度更高、收斂效果好的深度學習網絡。本文方法在黑色素瘤良惡性預測準確度訓練集達到91.92%，測試集達到89.5%，相對于其他方法取得了較好的分類效果。

后續工作中，將緊密結合臨床醫學相關知識，對初步建立的皮膚癌良惡性預測模型進行不斷遷移和更新，進而找到更加通用的網絡結構設計方法。