基于改進ResNeXt的黑色素瘤識別算法

蘇炅　曾志高　易勝秋　文志強　朱文球　袁鑫攀

關鍵詞：注意力機制；黑色素瘤識別；輔助診斷；遷移學習

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2023）20-0036-04

0 引言

皮膚癌是一種危險的疾病，早期發現是提高生存率的必要條件。皮膚色素性惡性病變的死亡率非常高，尤其是黑色素瘤，發病率和死亡率更高。據統計，美國在2022年有99 780名成年人（57 180名男性和42600 名女性）被診斷出患有皮膚侵襲性黑色素瘤。2020年全球有324 635人被診斷患有黑色素瘤。黑色素瘤是日常生活中常見癌癥。隨著人們年齡的增長，黑色素瘤的發展更加常見。而且黑色素瘤和非黑色瘤在視覺上極為相似，很難分辨清楚。初期是一類可治愈的疾病，而且治愈率也很高，但等到晚期發現，生存率就會大大降低，并且治療后生存期很短，一般治療后存活時間只有6～9個月[1]。

黑色素瘤診斷一般是醫生對皮膚鏡圖像進行目視檢查，存在人為因素和傳統的手工特征提取難以提取等問題。由于標記手段的限制，皮膚病變的大規模標注數據一般較難獲得。近年來，隨著深度學習的不斷發展，卷積神經網絡也在圖像分類方向取得了很大進展，它也有能力幫助醫生及專家做出正確的決定，從而高精度地診斷患者的病情。這些模型可以通過訪問更多的數據來提高其性能，主要任務是對圖像進行分類。研究關于黑色素瘤識別分類結合計算機輔助診斷具有一定的價值。

斯坦福大學人工智能實驗室和斯坦福大學醫學院與CNN深度學習方法合作，在文獻[2]中實現了對皮膚科和臨床皮膚病變圖像的自動分類。他們使用一個單一的深度卷積神經網絡GoogleNet Inceptionv3 [3] 進行皮膚病變分類，分類精度大概是55%～72%，通過圖片特征的初篩略超過專家水平。Mijwil 等人[4]提出采用卷積神經網絡模型，使用了數據集包含從2019年至2020年的ISIC（International Skin Imag?ing Collaboration）檔案中獲得的高分辨率圖像，比較三種基礎網絡來進行實驗，選擇出識別皮膚圖像分類的最佳架構，并能準確地將腫瘤類型分為良性或惡性。在完成所有測試之后，實驗結果最好的架構是InceptionV3，這項工作的準確率約為86.90%。文獻[5]用卷積神經網絡結合傳統的機器學習方法來進行皮膚疾病分類識別，提出了一種增強模型，將支持向量機作為決策的基分類器。在ISIC公開數據集上實現了86%的準確性，得到顯著改善。趙宸等人[6]提出了基于自注意力的樣式生成對抗網絡，來解決樣本不清晰等問題，但是模型可遷移性效果不好。Ha?sib Zunair等人[7]提出了一個兩階段框架網絡，用于皮膚病變圖像的自動分類，使用對抗訓練和遷移學習進行黑色素瘤檢測，相較之前的工作有一定提升，AUC值達到了81.18%。但是對抗訓練的計算開銷過高，耗時過長。

基于上述分析，一些皮膚癌分類任務中深層次網絡容易過擬合、黑色素瘤和非黑色素瘤的區分難度大，以及黑色素瘤分類準確率還有待提高等問題，本文提出了一種改進的ResNeXt[8]模型的黑色素瘤分類算法。該算法添加了SE注意力機制，有助于模型更準確地定位和識別重點信息。使用遷移學習初始化網絡模型的部分參數，并且引入了Focal loss函數，來解決樣本不平衡的問題。算法中使用一系列數據增強手段進行訓練，來加強模型的特征表達能力，進一步提升模型的分類性能。

1 方法介紹

針對黑色素瘤與非黑色素瘤的二分類問題，本文提出改進的算法包括三個模塊，包括預處理模塊、ResNeXt卷積模塊、注意力機制模塊。首先使用圖像轉置，旋轉隨機調整亮度等方法進行數據增強等預處理方式，再將預處理后的圖像輸入ResNeXt 卷積網絡，經過特征提取后，結合注意力機制，最后利用全連接層與Softmax函數，將分類結果轉化成概率分布進行分類識別。整個框架流程如圖1所示。

1.1 ResNext_101網絡層基本結構

ResNeXt是ResNet[9]和Inception的重構網絡，其基本思想是將殘差網絡和多尺度思想結合起來，避免了網絡模型過深帶來的梯度彌散現象。ResNeXt使用了一種介于普通卷積和深度可分離卷積的方式：用組卷積代替傳統卷積，降低訓練參數量。使用ResNext_101的網絡結構，表示此網絡的深度101層。ResNeXt 的相同拓撲結構的分支設計有利于運行速度提升。ResNeXt_101網絡層基本結構如表1所示。

ResNeXt網絡的拓撲結構相同，超參數也減少了很多，在同等參數規模下增加了網絡結構，提高了模型的表達能力。文獻[10]中也用到了殘差結構，提取皮膚鏡圖像的高維特征，使用殘差學習能防止網絡梯度退化、降低網絡訓練難度，圖2為ResNeXt基本模塊。

通過相同的拓撲結構增加了分支卷積方法，路徑為分支的數目，使用整個結構能夠減少復雜度，從而提高模型的準確率。

先對256個通道的輸入特征進行卷積，輸出128 通道的特征；將128個通道的特征分為32組，每組4個通道；在每一組中，對這4個通道的輸入特征做卷積，輸出4個通道的特征；將32組輸出的特征在通道維度聚合，形成128個通道的輸出特征；對128個通道的特征做卷積，輸出256個通道的特征；將上述輸出結果與輸入特征進行元素相加。圖3 為ResNeXt 結構示意圖。

1.2 圖像預處理

在數據集分布均勻且數量大的情況下，卷積神經網絡能發揮出優秀的特征提取能力。ISIC數據集會存在分布不均勻的問題，而且容易受光照等其他因素影響，從而影響之后訓練的結果，導致過擬合。為減輕過擬合現象，采用了圖像轉置、翻轉、旋轉、隨機亮度調整、隨機對比度調整，對數據集進行隨機旋轉（0°～10°），隨機縮放（10%） ，隨機移動等操作進行數據增強。

1.3 注意力機制

Hu J等人[11]提出了SE（Squeeze-and-Excitation） 結構，提高模型的抗干擾能力和算法的準確度。圖中存在的許多結構信息往往會在訓練過程中丟失，造成識別精度降低。其主要結構如圖4所示。圖像經過圖像預處理之后，經過ResNeXt網絡，并融入注意力機制。其核心在于連接全連接層和下采樣層構造壓縮和激勵模塊來獲得特征圖的通道權重信息，從通道域的角度賦予圖像不同位置不同的權重，得到更重要的特征信息。其中X是輸入特征圖、H為高、W為寬、C為通道數，最后通過一維特征向量對原來的特征圖進行縮放。

1.5 Cosine Warm up 學習率策略

在網絡訓練的初期階段使用較大的學習率，會造成網絡模型對于數據的過擬合偏離最優點。CosineWarm up是一種學習率優化方法，通過預熱學習率的方式，能夠先讓網絡模型在早期訓練時使用預熱的較小學習率，使得網絡模型慢慢趨于穩定。待到網絡模型具有一定先驗知識且相對穩定后，再使用較大的學習率進行訓練，可以加速網絡模型的收斂。

2 實驗及結果分析

2.1 實驗配置和數據集

實驗運行環境為：編程環境為Python3.8，Py?Torch1.13深度學習框架，硬件環境處理器型號為Inter（R）Core（TM）i5-12400@2.5GHz，顯卡型號為NVIDIAGe Force RTX 3060，內存為16GB，操作系統為Win?dows11。

實驗數據集來自kaggle提供的公開數據集，包含國際皮膚成像協作組織ISIC2019 和ISIC2020融合的數據，圖片大小為512×512，訓練集與測試集劃分比例為4 ： 1。

本文參數設置：訓練過程中迭代次數（epochs）共為100，batch size設置為8。采用K折交叉驗證的方法，K值取5。訓練輪數控制在20輪。初始的學習率設置為0.000 3。損失函數使用Focal loss函數，使用遷移學習在ImageNet上訓練好的模型開始訓練。

2.2 實驗具體步驟

實驗首先使用圖像增強手段，基于SE-ResNeXt-FCL算法的遷移學習模型，將大型自然圖像ImageNet 數據集上預訓練的深度殘差網絡提取特征，并對其使用均值池化操作得到特征向量。將訓練集數據導入模型訓練，等訓練結束后，使用測試集檢驗模型最終的精確度與損失率，得到基于皮膚圖像數據集的分類模型。在模型訓練的過程中，模型輸入圖像后通過多層卷積操作可以提取出圖像從低級到高級的復雜特征。在殘差塊后引入注意力機制，關注重要特征。經過所有卷積層的卷積操作，最終得到特征矩陣，再通過全連接層與Softmax函數將分類結果轉化成概率分布來實現黑色素瘤的識別分類。

2.3 實驗結果分析

實驗結果使用AUC（Area under Curve）值和準確率進行性能評估。AUC實際上就是ROC（Receiver Oper?ating Characteristic） 曲線下的面積，直觀地反映了ROC曲線表達的分類能力。即計算所有的 P×N個正負樣本對中，有多少個組中的正樣本得分大于負樣本得分。其中P為正類樣本的數目，N為負類樣本的數目。ranki 代表第i 條樣本的序號（概率得分從小到大排，排在第rank個位置上），具體公式如式（4） 所示：

為了驗證SE-ResNeXt-FCL算法在黑色素瘤識別的準確性。還使用了準確率來進行對比實驗。TP 是為黑色素瘤正確分類的個數，TN 為將非黑色素瘤正確分類的個數，FP 為將黑色素瘤分類錯誤的個數，FN為將非黑色素瘤分類錯誤的個數，有準確率（Accu?racy） 公式如式（5）所示：

實驗使用了一些經典神經網絡在相同條件下進行對比。皮膚鏡圖像數據集在不同網絡模型上的分類結果如表2所示，從實驗結果可以得出以下結論：Mobilenet_v2是輕量化網絡結構所以耗時最短，AUC 值也最低。Effientnet網絡在Resnet101的基礎上AUC 值進一步提高，但是增加了所耗時長。在識別的精度上，使用本文算法明顯高于其他網絡模型，證明了本文算法在皮膚病識別領域的優勢。

由表2可知，提出的SE-ResNeXt101-FCL算法的AUC值最高。由于注意力機制增強了重要特征的權重，同時引入了Focal loss函數，在樣本失衡問題上得到一定程度上解決，在樣本失衡的情況下提高了準確性，但由于網絡結構殘差多次堆疊參數量的增大，包括注意力機制的融合，推理時間也會在一定程度上延長。為更好地明確加入不同結構的作用，消融實驗結果如表3所示。

引入SE注意力模塊后，能夠明顯提高神經網絡特征提取能力，表現在AUC值較原算法有所提高。準確率提升即說明遷移學習能夠在一定程度上提升模型的準確率。本文算法將遷移學習、SE和Focal loss 損失函數的優點結合，實現準確率為96.05%，改進的算法SE-ResNeXt101-FCL較原ResNeXt算法AUC值提升了5%～7%。

3 結論

本文提出的SE-ResNeXt101-FCL 算法，使用了ISIC公開數據集，并進行對比實驗分析，驗證了學習模型性能的改善。實驗結果表明，使用SEResNeXt101-FCL算法，AUC值提升5%～7%，比傳統的神經網絡模型要高。同時，黑色素瘤識別準確率較原算法要高，準確率為96.05%，本文提出的模型參數較大，下一步的工作將是刪去網絡中不必要的結構，在保持較高準確率的前提下優化網絡參數，加快推理速度也可以為其他疾病樣本進行進一步的檢測，以便于早日幫助醫生提出更好的治療方案，更好地滿足臨床應用。