基于U型結構的多尺度皮膚病分割算法

李家琛，劉 彥，王一諾，張俊然

(1.四川大學 電氣工程學院，四川 成都 610000； 2.四川大學 “醫學+信息”中心，四川 成都 610000)

0 引 言

由于皮膚表面的毛發遮擋，皮膚病變與正常區域之間的對比度較低，病灶區域的邊界模糊，加上拍攝視角、設備等差異導致圖像的背景顏色變化較大，如圖1所示，第一行是皮膚鏡下生成的皮膚病圖像，第二行是對應的專家標注，這些都為病灶區域的準確分割帶來挑戰。目前臨床中，醫生多采用手動分割皮膚鏡圖像，這種方法對醫生的臨床經驗要求較高，需要耗費大量時間而且不同醫生對病變的分割存在主觀性，會造成分割誤差。

圖1 皮膚病圖像和專家標注圖像

為了實現自動皮膚病變分割，研究人員使用例如基于閾值，基于邊緣檢測或基于區域的傳統方法。然而，不同來源圖像的色彩差異是對傳統技術的嚴重限制，基于特征的技術對圖像提取特征(如顏色、形狀、紋理等特征)，然后使用SVM等傳統的機器學習進行像素級分類，過程繁瑣且耗時，很多時候無法準確分割皮膚病變[1]。

隨著深度學習的發展，U-net[2]、U-net ++[3]等網絡在小樣本的醫學圖像分割中表現良好。崔等[4]在預處理時采取了毛發移除的處理，以解決血管、毛發等遮擋病灶區域的問題。Jafari等[5]提出的DRU-NET將殘差網絡(ResNet)和密集連接網絡(DenseNet)相結合，具有更少的模型參數，可以提高分割精度。但是以上方法不能很好地處理皮膚病變形態差異較大和邊緣模糊的問題，造成分割精度不高。

本文針對皮膚病變區域的大小不一和邊界模糊的問題，提出了一種基于U型結構的多尺度模型，在原本簡單的跳躍連接中加入Bi-Directional ConvLSTM[6]，通過將編碼層高分辨率的特征圖和從反卷積層提取的包含更多語義信息的特征圖融合，來補償編碼期間丟失的位置信息。在編碼的最后一層利用了密集空洞空間金字塔池化模塊(DenseASPP)[7]擴大感受野，同時獲取多尺度信息以提高網絡對不同大小病灶的識別能力。最后加入通道注意力機制，通過網絡自動獲取到每個特征通道的重要程度，最終達到最佳分割效果。

1 網絡結構

本文基于MCGU-Net[8]提出了改進的多尺度網絡。如圖2所示，網絡主要包括編碼模塊、密集空洞空間金字塔池化模塊(DenseASPP)和解碼模塊。編碼層采用4次下采樣，每次卷積之后加上BN層和Relu激活函數。解碼層利用反卷積進行上采樣，在跳躍連接中加入Bi-Directional ConvLSTM。

圖2 本文算法網絡結構

1.1 密集空洞空間金字塔池化模塊

皮膚病變的大小不一，U-net使用多個池化層來增加輸出神經元的感受野大小，同時也導致特征圖的尺寸減小，上采樣至原圖時很難識別出較小病變的位置。針對特征圖尺寸與感受野大小之間的矛盾，本文選擇在編碼的最后一層加入密集連接的空間金字塔池模塊(DenseASPP)，利用并行空洞卷積得到多尺度信息，以識別不同大小的病灶。

結構如圖3所示，空洞卷積層以級聯方式連接，其中每一層的膨脹率逐層增加。每層空洞卷積的輸出都要與輸入特征圖和來自前一層的空洞卷積輸出進行級聯，然后輸入到下一層。將輸入為x，卷積核大小為K，膨脹率為d的空洞卷積用HK,d(x)表示，則每一層空洞卷積層可以通過如下公式表示

圖3 密集空洞空間金字塔池化模塊結構

yl=HK,dl([yl-1,yl-2,…,y0])

(1)

其中，dl表示第l層的膨脹率，[…]表示級聯操作， [yl-1,yl-2,…,y0] 表示連接來自前面所有層的輸出。

空洞卷積[9]能夠在不增加卷積核參數的情況下實現更大的感受野。對于膨脹率為d，卷積核尺寸為K的空洞卷積，其等效感受野的大小為

R=(d-1)×(K-1)+K

(2)

并行空洞卷積來自ASPP[10]的思想，將不同膨脹率的空洞卷積所生成的特征圖進行級聯，以使輸出特征圖中的神經元包含多個感受野，可以達到獲取多尺度信息的目的。但是空洞卷積接收到了更大的感受野，同時也丟失了大量信息，膨脹率越大，計算時候丟失的信息越多。

DenseASPP可以有效地解決信息丟失的問題，空洞卷積感受野如圖4所示，在一維的情況下，如圖4(a)所示，對于膨脹率為6的空洞卷積，13個像素被計算，只有3個像素被保留。對于二維圖像分割，被舍棄的信息會更多。但是如果將兩個空洞卷積組合起來，如圖4(b)所示，膨脹率為3和膨脹率為6的空洞卷積分別產生感受野大小為7和13，組合之后等效感受野大小為19，其中7個像素被保留。由此可見，采用密集連接的方式，較大擴張率的卷積可從較小擴張率卷積中獲得幫助，使得采樣更為密集，不僅可以進一步擴大感受野，而且可以得到更多的上下文信息。級聯兩個空洞卷積層的等效感受野大小為

圖4 空洞卷積感受野

K=K1+K2-1

(3)

其中，K1和K2分別代表不同膨脹率的空洞卷積等效的感受野大小。

Maoke等[7]采用膨脹率為3、6、12、18、24的空洞卷積級聯，得到更大的感受野，以適應于高分辨率的街景數據。但是皮膚病變數據不適合用過大膨脹率的空洞卷積，過大的感受野會導致提取到大量無用信息，忽略掉有用特征，造成小病變無法識別和大病變邊緣分割模糊等問題，因此本文選取3、5、7、9膨脹率的空洞卷積進行組合。通過在編碼器最后一層并行密集不同膨脹率的空洞卷積，使得模型獲取到不同尺度的上下文信息。同時為了防止通道數過多導致模型過大，在每一個擴張層之前添加1×1卷積層，以將特征圖的通道數降至其原始通道數的一半(在此模型中為128)。然后將經過每一個空洞卷積層之后的特征圖級聯，輸入到解碼路徑中。

1.2 雙向卷積LSTM(Bi-Directional ConvLSTM)

由于皮膚病變的邊緣較模糊，編碼器-解碼器模型在編碼層中丟失了位置信息，通過簡單的跳躍連接，可以在一定程度上補償空間位置的丟失，但是兩個特征圖不在同一語義層次，不能有效融合特征信息，導致生成粗糙的皮膚病變分割結果。上采樣得到的特征圖是之前下采樣的特征圖經過動態變化產生的，在時序上存在一定的聯系，考慮到LSTM可以將同一對象不同時間聯系起來，將LSTM用到跳躍連接中，能更有效地融合特征圖，但是由于模型中僅使用完全連接，沒有考慮空間相關性，對于分割問題可能沒有良好的效果。因此本文在跳躍連接中采用ConvLSTM[6]，將FC-LSTM中的全連接替換成卷積，利用卷積對特征圖提取特征。ConvLSTM由輸入門it，輸出門ot，忘記門ft和存儲單元Ct組成。輸入、輸出和忘記門充當控制門，以訪問、更新和清除存儲單元。ConvLSTM的公式如下

(4)

(5)

(6)

(7)

Ht=οt°tanh(Ct)

(8)

圖5 Bi-Directional ConvLSTM結構

1.3 擠壓和激勵模塊(SE)

我們在網絡第一次上采樣之前隨機選取了16張通道特征圖，如圖6所示，可以看出每個通道表現的特征差異較大，對于后續上采、卷積及最后的分割效果會產生不一樣的影響。

圖6 不同通道的特征

但是網絡在輸出特征圖時對每個通道產生同樣的關注，由此可以想到，通過給每個通道分配不同的權重，加強某些有利于分割的特征可以提高分割精度。本文采用SE[12]注意力機制，通過上下文選通機制來捕獲卷積層通道之間的顯式關系，從而改善了表示網絡的能力。這些模塊通過為特征圖中的每個通道分配權重來對特征圖進行編碼。

由于Gu等[13]實驗結果表明在編碼器上施加注意力可能會導致某些潛在有用的功能在早期被抑制，因此本文僅在解碼路徑中添加注意力機制，如圖7所示，SE塊包括擠壓(Squeeze)和激勵(Excitation)兩部分。第一步是擠壓，通過使用整個通道上下文的全局平均池化(GAP)，將輸入特征映射到SE塊，降低特征維度到1×1×C。第二步是激勵，通過全連接層和非線性學習得到特征圖各通道的權重值。最后將輸入的特征圖乘以各通道的權重輸出到下一個網絡層中。

圖7 SE結構

2 實驗結果與分析

2.1 數據集

實驗數據取自國際皮膚影像協作組織(ISIC)2018年發布的皮膚病數據集[14]。該數據集是已知公開的最大的皮膚病數據集，共有2594張皮膚鏡圖像和對應的圖像標簽，涉及的病變類型包括痣，脂溢性角化病和惡性黑色素瘤。

2.2 實驗預處理

數據集分為3部分，使用1815幅圖像進行訓練，259幅圖像進行驗證和520幅圖像進行測試。每張圖片的尺寸在720×540到6708×4439之間。我們將圖像統一調整大小為256×256。

2.3 評價指標

為評價分割網絡的性能，本文采用以下評價指標：

(1)Dice系數

(9)

(2)Jaccard相似指數

(10)

式中：AP表示分割結果，GT表示專家標注。

(3)Accuracy

(11)

(4)Precision

(12)

(5)Specificity

(13)

(6)Sensitivity

(14)

式中：TP代表真陽性的區域，TN代表真陰性的區域，FP代表假陽性的區域，FN代表假陰性的區域。

(7)AUC

ROC曲線下的面積，取值范圍為0～1，越接近1，代表分割性能越好。

2.4 損失函數

在醫學圖像領域，一般將Dice_loss函數作為損失函數，可以解決數據中類不平衡的問題，其公式如下所示

(15)

式中：X和Y分別代表預測結果和Ground truth。

在使用Dice_loss時，對皮膚病變中的小目標是十分不利的，因為在只存在前景和背景的情況之下，小目標一旦有部分像素預測錯誤，就會導致Dice大幅度的變動，從而導致梯度變化劇烈，訓練不穩定。

因此訓練過程采用GDL(generalised dice loss)，在Dice_loss基礎上增加了w=[w1,w2]， 給前景和背景類別加權，計算公式如下

(16)

這樣，GDL就能達到病灶區域和Dice系數之間的平衡。

2.5 實驗訓練過程

實驗采用Intel(R) Core(TM) i3-10100F的CPU和NVIDIA GTX-1080Ti的GPU，內存11 GB。

訓練中采用Adam優化器，批處理大小(batchsize)設為5，初始學習率lr設為10-4，訓練過程中檢測驗證集中的Dice指標，若7個迭代次數(epoch)無改善，則將學習率調整為原來的1/10。epoch設置為300，防止過擬合，實驗采用早停法，若20個epoch內Dice指標沒有得到提高則停止訓練。

為了減輕小數據集的問題，在實驗訓練中采用動態數據增強，使用了原始圖像的各種類型的轉換，例如旋轉、平移、翻轉等。訓練結果在180個epoch左右達到最好分割效果。

2.6 實驗后處理

為了使最后的分割效果達到最佳，在預測階段將測試集的圖片分別以原圖，旋轉90°、180°、270°進行預測，然后旋轉至原圖角度，將4張圖片每個像素點取平均，實驗結果表明對分割精度有一定的提升。

2.7 實驗結果

本文分別進行了消融實驗和對比實驗，見表1和表2。表1顯示的是基于U-net加入不同模塊之后對于皮膚病分割的效果對比，隨機選取兩張皮膚病變分割結果如圖8所示，從表中可以看出，加入密集連接的空間金字塔池(DenseASPP)模塊后對于分割性能有明顯的提升。病變的位置、形狀和比例可能會有很大的變化，從圖8(c)和圖8(d)第一行可以看出，增加DenseASPP模塊可以有效增加真陽性區域，第二行對于小目標的分割，該模塊也可以使得分割結果更貼近專家標注，實驗結果表明加入多尺度模塊可以提升不同大小病灶的分割精度。

表1 不同改進方法在ISIC2018皮膚病圖像分割任務上的實驗結果

本文同時加入密集連接的空間金字塔池(DenseASPP)模塊和雙向卷積LSTM(Bi-Directional ConvLSTM)可以進一步提升分割結果，從圖8(d)和圖8(e)也可以看出，加入B-ConvLSTM之后，通過將編碼層具有更高分辨率的特征圖和從反卷積層提取的包含更多語義信息的特征圖融合起來得到更有效的特征信息，來補償編碼期間丟失的位置信息，分割邊緣更貼近專家標注，分割精度比不加入該模塊有提升。

從表1可以看出，本文同時加入密集連接的空間金字塔池(DenseASPP)模塊、雙向卷積LSTM(Bi-Directional ConvLSTM)以及軟注意力機制可以使分割精度有進一步的提高。網絡每一層輸出的特征圖質量取決于有效的特征學習，SE塊的自適應特征學習通過關注有效信息特征和抑制冗余無效特征，從圖8(e)和圖8(f)可以看出，增加通道注意力機制之后輪廓的分割更加清晰，貼近專家標注。本文提出的模型在Dice、Jaccard和準確率指標上相對于U-net分別提高了4.32%、6.46%、1.63%，驗證了該模型的優越性。

圖8 不同模塊皮膚病變分割結果

不同分割模型對于2018皮膚病數據集的分割結果見表2，為了比較各個模型之間的性能，所有實驗采取相同的訓練策略。從表中可以看出，相對于U-net和U-net++，本文提出的模型在分割精度(Dice系數)上分別有4.32%和3.23%的提升，比MCGU-Net也有更好的分割效果。

表2 不同模型在ISIC2018皮膚病圖像分割任務上的實驗結果

圖9是不同分割模型在皮膚病數據集上的分割效果。從圖中可以看出，針對第一行皮膚病灶，模型普遍存在分割區域過大的情況，本文提出的模型能夠有效改善，分割病灶邊緣更加清晰。對于第二行圖片，MCGU-Net分割結果有明顯的假陽性區域，真陽性區域過小，本文模型在有效減少假陽性區域的同時，顯著減少假陰性區域，從而使分割效果達到最佳。

圖9 不同網絡皮膚病變分割結果

本文對預測圖片通過設置閾值進行二分處理，閾值選取對于圖像分割精度有一定影響，本文通過實驗確定了閾值選為0.6時，能得到最高的分割精度，Dice系數達到0.895。Dang等[16]提出了兩種自適應閾值方法，以基于顏色模型的歸一化來評估皮膚病變分割的閾值，對于提取的ROI的細分有一定的效果。未來閾值的自動選取仍是可以繼續研究的方向，可以使得該算法適應于不同的數據集。

3 結束語

本文基于U型結構提出了一種綜合多尺度卷積神經網絡，通過加入B-ConvLSTM代替跳躍連接，將編碼層具有更高分辨率的特征圖和從反卷積層提取的包含更多語義信息的特征圖融合獲取更有效特征信息，利用并行空洞卷積獲取多尺度信息，添加注意力機制，為每個通道賦予不同的權重系數，從而來強化重要的特征，并對非重要的特征進行抑制，最終實現更精準的病灶分割。實驗結果表明，該模型優于目前的分割模型，能夠有效地提高皮膚病分割精度，在醫療圖像領域有一定的參考意義，未來也會在該領域進行更多研究，將其擴展到更多的醫學圖像分割任務中。