高分辨率皮膚黑色素瘤圖像的兩階段式分割算法

貴向泉，張馨月，李 立

（蘭州理工大學 計算機與通信學院，蘭州 730050）

0 概述

皮膚惡性黑色素瘤是最常見的皮膚惡性腫瘤之一［1］，其致死率逐年上升，已成為一種嚴重的公共衛(wèi)生問題。在前期診斷過程中，由于醫(yī)生的臨床經(jīng)驗和工作環(huán)境不同，醫(yī)生在對皮膚切片的黑色素瘤斑塊進行手動分割時，需要耗費大量的精力和時間，這樣很容易造成漏診和誤診的情況。因此，皮膚黑色素瘤的自動化精準分割方法一直以來都備受關(guān)注。

現(xiàn)有的黑色素瘤自動分割方法主要分為基于深度學習的方法和非深度學習的方法。非深度學習的方法又分為傳統(tǒng)方法和基于機器學習的方法。傳統(tǒng)皮膚黑色素瘤的分割方法主要分為閾值分割、基于邊緣檢測的分割［2］和基于區(qū)域的分割。CELEBI 等［3］提出一種包含3 種閾值化算法的方法，實現(xiàn)了對皮膚黑色素瘤病灶邊界的自動檢測和分割；WONG等［4］采用一種迭代合并隨機區(qū)域的方法，從宏觀圖像中分割出與皮膚病灶對應的區(qū)域，并引入基于區(qū)域統(tǒng)計的合并似然函數(shù)，以隨機方式確定合并的區(qū)域，有效降低了分割誤差。之后，機器學習方法掀起了圖像分割技術(shù)的熱潮。ZHOU 等［5］提出一種基于均值位移的模糊c-均值算法，有效地檢測出了皮膚病灶斑塊的邊界；IMTIAZ 等［6］提出了一種結(jié)合傳統(tǒng)圖像處理和機器學習的方法，也取得了不錯的成績。但總體來說，這類方法的原理簡單，對圖像本身的特征提取不足，導致精度和最終的分割效果并不理想。

隨著科技的發(fā)展，基于深度學習的方法逐漸成為主流，這種端到端的網(wǎng)絡避免了一些繁瑣的處理步驟，大大增加了分割的效率。卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）的應用，使得圖像分割任務得到了飛速的發(fā)展，直到如今，很多深度學習算法依舊使用著CNN 的思想。ATTIA 等［7］采用一種結(jié)合深卷積和遞歸神經(jīng)網(wǎng)絡的聯(lián)合結(jié)構(gòu)用于皮膚病變分割，使得分割結(jié)果優(yōu)于僅依賴CNN 的方法。全卷積神經(jīng)網(wǎng)絡（Fully Convolutional Network，F(xiàn)CN）［8］將卷積神經(jīng)網(wǎng)絡末端的全連接層改為卷積層，使得輸出結(jié)果為標記好的圖像而不是概率值，但很顯然，這種方式僅僅是對所有的像素進行了分類，并沒有考慮到圖像的全局上下文關(guān)系，且浪費了多尺度特征圖的大量語義信息，將其應用在皮膚黑色素瘤分割任務中會大大影響病灶區(qū)域的分割精度。與此同時，以編碼器-解碼器為主要結(jié)構(gòu)的U-Net［9］、SegNet［10］等網(wǎng)絡架構(gòu)被提出，相較于基本的卷積網(wǎng)絡，這種結(jié)構(gòu)對多尺度圖像特征的提取和利用更加充分。文獻［11-13］方法將U-Net 與其他網(wǎng)絡的優(yōu)勢有效結(jié)合，充分利用U-Net 網(wǎng)絡跳躍連接的結(jié)構(gòu)特點，融合多尺度圖像特征，提升了病灶斑塊的分割精度；NINH 等［14］提出一種基 于改進SegNet 的FCN 結(jié)構(gòu)，減少了原始SegNet 模型中的下采樣和上采樣層，使得網(wǎng)絡總參數(shù)更少，但是在分割準確度上優(yōu)于SegNet 和FCN。之后，注意力機制［15］創(chuàng)新性地將自然語言中處理上下文聯(lián)系的方法應用到圖像處理領(lǐng)域，實現(xiàn)了特征圖全局上下文關(guān)系的提取。WU等［16］提出一種新穎高效的自適應雙重注意模塊，并將2 種全局上下文建模機制集成到該模塊中，提升了算法的性能；AGHDAM 等［17］提出一種基于注意力機制的U-Net 架構(gòu)，通過結(jié)合注意力機制，進一步改進了跳躍連接中使用的經(jīng)典串聯(lián)操作，證明了注意力機制對皮膚病灶分割的有效性。此外，一些特征增強方法［18-19］有效加強了重要的圖像特征和通道信息，同樣提升了算法的性能。

然而，由于大部分皮膚病灶切片的分辨率高，現(xiàn)有算法在計算機性能需求和算法準確度上不能達到良好的平衡。上述算法和很多其他算法為了減少計算機顯存消耗，要么將原圖像重新定義為很小的尺寸，要么將其切割為很多圖像塊，這樣必然會損失大量的圖像原始信息，對實際的分割結(jié)果造成影響。而高精度的方法，尤其是基于注意力機制的方法，更加需要巨大的顯存資源，使得硬件實現(xiàn)過程變得困難。因此，研究高分辨率皮膚黑色素瘤圖像在硬件上消耗友好且計算準確度高的分割算法具有迫切的應用需求。針對這些問題，本文具體進行以下工作：

1）使用編碼器-解碼器的基礎網(wǎng)路架構(gòu)，在編碼器特征提取過程中，采用一種三層金字塔結(jié)構(gòu)的全局平均池化模塊來增強特征圖全局語義信息的提取，以此獲取病灶斑塊的不規(guī)則連續(xù)邊界信息，提升算法的精度。

2）采用一種多尺度語義融合分支，增強各層特征圖語義信息表征能力的同時融合不同尺度下的圖像特征，充分利用各層特征圖所包含的語義信息，進一步提升算法精度。

3）采用一種全局到局部的兩階段式精細分割策略，局部分割網(wǎng)絡對剪裁后的原始圖像進行計算，并通過與全局網(wǎng)絡中對應層的特征圖共享圖像特征的方法來獲取全局上下文的語義聯(lián)系，在減少計算機顯存消耗的同時提高分割精度。

1 本文算法

1.1 獲取全局空間信息的過程

在神經(jīng)網(wǎng)絡中，感受野的大小可以大致代表網(wǎng)絡獲取全局語義信息的能力，小的感受野會使網(wǎng)絡漏掉重要的全局語義信息，過大的感受野又會對特征圖的細節(jié)內(nèi)容欠表示。ResNet［20］已經(jīng)被廣泛使用在各種圖像特征提取的方法中，其感受野在理論上大于輸入圖像大小，但在實際的實驗中，其感受野遠遠小于理論值，一些重要的全局信息依舊沒有很好地融合到特征圖中。因此，本文使用一種多尺度的全局金字塔平均池化模塊（Global Pyramid Average Pooling Module，GPAPM）來加強特征圖全局語義信息的提取。

全局平均池化是提取全局語義信息一種很好的方式，其主要有兩點優(yōu)勢：一是整合了特征圖的全局語義信息，對全局空間信息的轉(zhuǎn)移具有很好的魯棒性；二是該層沒有參數(shù)，不但可以防止數(shù)據(jù)過擬合，而且有效減少了計算機算力消耗。然而，單一的全局平均池化層能夠表征的全局信息有限，會丟失全局空間信息不同子域之間的聯(lián)系，使得皮膚病灶邊界的分割效果不明顯。本文通過金字塔結(jié)構(gòu)來解決這一問題，使用多個不同尺度的平均池化層，得到不同尺寸下全局信息的表征，將來自同一感受野下不同大小子域的信息結(jié)合起來，使得全局語義信息表征更加豐富。

由于皮膚病灶斑塊區(qū)域占原始圖像的比例大小有很大的差別，過大和過小的池化尺度均不利于特征圖全局信息的提取，因此使用池化尺度大小為2、3和6 的三層金字塔結(jié)構(gòu)，該模塊的具體結(jié)構(gòu)如圖1 所示。輸入的特征圖經(jīng)過3 個不同尺度的平均池化層，分別得到大小為2×2、3×3 和6×6 的中間層特征圖，這些特征圖是3 個不同尺度下圖像全局信息的表征。為了得到更加全面的全局信息，需要對這3 個不同尺度下的信息表征進行融合，融合時需要先將3 個特征圖的通道數(shù)調(diào)整到相同維度，再通過雙線性插值將其上采樣至與輸入特征圖相同尺寸大小，然后把不同層級的特征圖進行拼接，得到最終的特征圖。本文算法將此特征圖作為特征提取階段最高層語義特征圖，增強其全局語義信息的表征。

圖1 全局金字塔平均池化模塊Fig.1 Global pyramid average pooling module

1.2 高層特征圖語義信息嵌入低層特征圖的過程

神經(jīng)網(wǎng)絡在圖像特征提取過程中，圖像經(jīng)過深層次的卷積之后，高層和低層特征圖之間存在顯著的差異。高層特征圖具有更豐富的編碼語義信息，但圖像的低分辨率導致其前景圖像的位置信息和空間信息十分稀少。反之，低層特征圖包含豐富的位置和空間信息，且分辨率更加接近原始圖像，但其語義信息稀缺。然而圖像的語義信息和空間位置信息對于圖像分割任務來說同等重要，因此，采取將高層特征圖語義信息融入低層特征圖的方法，使得低層特征圖在包含本身豐富的空間位置信息的同時，能夠包含所有高層特征圖的語義信息，將圖像具體的空間信息和抽象的語義信息有效地結(jié)合，實現(xiàn)多尺度特征信息的融合，充分利用各層特征圖的語義信息。

通常情況下，語義特征融合的方式為對高層低分辨率的特征圖進行上采樣，再將其與低層高分辨率的特征圖像素按位相加，用公式表達為：

其中，殘差項F(xl)表示當前低層高分辨率特征圖的語義信息。顯然，這種普通方式中F(xl)本身所包含的語義信息很單一，即使有高一層特征圖上采樣添加的信息，其包含的語義信息依舊很少。然而筆者希望在低層特征圖中融合盡可能多的高層特征圖語義信息，因此，使用一種輕量級的多尺度特征融合的語義嵌入分支（Semantic Embedding Branch，SEB）［21］，使得每一層的特征圖能包含高層特征圖的語義信息，該方法可用公式表示為：

在計算殘差項F(xl,xl+1,…,xL)時，為了方便不同尺度特征圖語義信息的融合，需要先將所有高層特征圖的通道數(shù)降維至最低層特征圖大小，保證所有特征圖都在同一維度進行像素級的運算，該計算過程如圖2 所示。

圖2 語義嵌入分支模塊示意圖Fig.2 Diagram of semantic embedding branch module

1.3 兩階段式精細分割策略

皮膚惡性黑色素瘤塊的臨床表現(xiàn)形式復雜多樣，病灶區(qū)域的大小和形狀也不盡相同。小的斑塊使得切片圖像中前景區(qū)域和背景區(qū)域像素相差過大，負樣本所占像素比例要遠大于正樣本的比例，這就造成了嚴重的樣本不均衡問題，大大影響了模型對正樣本的學習能力。而使用兩階段式的分割策略，通過第一階段分割任務的結(jié)果對原始圖像的前景區(qū)域進行不規(guī)則剪裁，可以平衡第二階段任務輸入圖像的正負樣本比例，大大增強模型對正樣本的學習能力。

本文的網(wǎng)絡結(jié)構(gòu)在GLNet［22］模型的基礎上進行改進，將整個結(jié)構(gòu)分為全局和局部分2 個分支。

在第一階段的全局分割任務中，將全局金字塔平均池化模塊和多尺度語義特征融合分支模塊嵌入到以ResNet50［20］為主干的FPN 網(wǎng)絡［23］中，得到粗略的全局分割結(jié)果，以此來確定局部精細分割的目標區(qū)域，該全局分割網(wǎng)絡模型如圖3 所示。

圖3 全局分支網(wǎng)絡模型Fig.3 Global branch network model

在第二階段的局部分割任務中，將原始全分辨率圖像中被剪裁的邊界前景作為局部分支的輸入。該局部分割網(wǎng)絡與全局分割網(wǎng)絡模型的基礎結(jié)構(gòu)相同，但選取自下而上階段ResNet50 中第2～5 層卷積塊的特征圖、FPN 中自上而下平滑階段的特征圖與全局分割網(wǎng)絡中對應層的特征圖共享圖像特征，并采用特征映射正則化來防止像素分類時的過擬合，將其拼接聚合為最后的分割結(jié)果。

該兩階段式分割過程如圖4（a）所示，將原始圖像輸入全局分支網(wǎng)絡中，得到一個大致的預測結(jié)果，根據(jù)這個結(jié)果對原始圖像和標簽圖像進行邊界剪裁，并將剪裁后的原始圖像輸入到局部分割網(wǎng)絡中。局部分支與全局分支網(wǎng)絡對應層共享圖像特征的過程如圖4（b）所示，最終的分割結(jié)果由3×3 大小的卷積層將2 個分支結(jié)果聚合而成。此粗略到精細的分割過程僅將邊界框內(nèi)的特征映射從全局分支共享到局部分支，邊界框以外的所有區(qū)域都被預測為背景。由于在此過程中，通過剪裁前景區(qū)域的寬松邊界，使得局部分割僅在尺寸較小且類別平衡的圖像上訓練，這種選擇性的精細處理不但降低了計算成本，而且在對剪裁的較小的圖像進行下采樣時，圖像信息損失較小，進一步提升了算法的性能。

圖4 兩階段式精細分割策略示意圖Fig.4 Schematic diagram of two-stage fine segmentation strategy

2 實驗細節(jié)

2.1 實驗環(huán)境與數(shù)據(jù)集

實驗的硬件環(huán)境為RTX 3090 顯卡，24 GB 運行顯存，鏡像環(huán)境為ubuntu18.04，軟件環(huán)境為Python3.8、PyTorch1.9.0 和Cuda11.1。

實驗采用的數(shù)據(jù)集為ISIC2018，該數(shù)據(jù)集由國際皮膚成像協(xié)作組發(fā)布，是全球最大規(guī)模的皮膚鏡圖像數(shù)據(jù)集，其中的病變圖像是用皮膚鏡從不同機構(gòu)接受皮膚癌篩查的患者身體不同部位中獲取的，包含2 594 張圖像和對應的由專家手動標注的標簽圖像，數(shù)據(jù)集的部分圖像如圖5 所示?？梢钥吹?，皮膚病灶在顏色和形態(tài)上具有很大的多樣性，有的病灶區(qū)域幾乎占滿整個切片圖像，有的卻只是很小的一個斑塊，這個特點增加了皮膚病灶分割任務的難度。

圖5 ISIC2018 數(shù)據(jù)集部分圖像Fig.5 Partial images of ISIC2018 dataset

ISIC2018 數(shù)據(jù)集圖像的分辨率普遍都很高，且絕大多數(shù)都是分辨率超過4K 的超高分辨率圖像，其分辨率的統(tǒng)計結(jié)果如表1 所示。

表1 ISIC2018 數(shù)據(jù)集圖像分辨率統(tǒng)計Table 1 Image resolution statistics of ISIC2018 dataset

按照8︰1︰1 的比例劃分數(shù)據(jù)集，分別得到訓練集、驗證集和測試集，每個數(shù)據(jù)集的劃分結(jié)果如表2所示。

表2 ISIC2018 數(shù)據(jù)集劃分Table 2 Division of ISIC2018 dataset 單位：張

2.2 參數(shù)和評測指標

實驗采用Focal Loss［24］作為第一階段全局分割的主體損失函數(shù)，以此來緩解第一階段對原始全分辨率圖像分割時的樣本不均衡問題，使用均方損失函數(shù)作為第二階段特征共享時的輔助損失函數(shù)，兩者權(quán)重相等，均為1。同時，采用Adam 優(yōu)化器，學習率1×10-4用于訓練全局分割網(wǎng)絡，2×10-5用于訓練局部分割網(wǎng)絡，使用Poly 學習策略來調(diào)整學習率。全局分割網(wǎng)絡遍歷訓練60 個輪回，局部分割網(wǎng)絡訓練30 個輪回，每個輪回批處理的圖像數(shù)量為16 張。訓練模型并進行驗證，保存得分最高的一次結(jié)果，在測試數(shù)據(jù)集上測試模型的有效性。

實驗通過使用命令行工具gpustat 來實時測量模型在處理一張圖片時的顯存使用情況，以此評判算法在硬件上的優(yōu)勢，同時使用評測指標準確度（ACC）和圖像交并比（IOU）來對比算法在計算性能上的優(yōu)劣，其表達式如式（3）、式（4）所示：

其中：表達式右邊的參數(shù)都由混淆矩陣得到；TP表示正確分割的病灶塊像素，即真正例；FP表示錯誤分割的病灶塊像素，即假正例；TN表示正確分割的背景像素，即真反例；FN表示錯誤分割的背景像素，即假反例。準確率表示所有正確分類的像素占所有像素的比例，數(shù)值越大表示算法的分割準確度越高。圖像交并比表示算法預測分割結(jié)果與真實分割結(jié)果之間的重疊率，其值越大，表示算法對病灶斑塊的分割結(jié)果越接近真實結(jié)果。

3 實驗結(jié)果與分析

3.1 消融實驗結(jié)果與分析

本文以FPN 網(wǎng)絡作為基礎，添加的模塊為全局金字塔平均池化模塊、多尺度特征融合的語義分支模塊和兩段式全局到局部精細分割策略（G→L），為了驗證上述模塊的有效性，進行模塊的消融實驗，逐步將各模塊添加到網(wǎng)絡中，消融實驗結(jié)果對比如表3所示，其中加粗表示最優(yōu)值，下同。

表3 消融實驗結(jié)果對比Table 3 Comparison of ablation experimental results %

從表3 中可以看出，GPAPM 模塊（FPN-GP）對原FPN 網(wǎng)絡性能的優(yōu)化較為明顯，其在分割準確度上提升了3.4 個百分點，在圖像交并比上提升了2.5 個百分點，相比較而言，SEB 模塊（FPN-S）的提升效果較為細微，在分割精度和交并比上僅提升了0.4 和0.5 個百分點，但將兩者均添加到模型中，模型的性能優(yōu)化又很顯著。由此可以看出，GPAPM 和SEB 模塊能有效提升算法的性能，且在經(jīng)過第二階段由全局到局部的精細分割之后，各模塊的分割性能又均得到了明顯提升，進一步說明由粗到細的分割方法可以有效地解決類別不平衡問題，更好地獲取全局上下文信息，優(yōu)化模型的性能。

3.2 對比實驗結(jié)果與分析

為了進一步分析本文算法的有效性，將本文方法 與FCN-8s、FCN-32s、DeepLabv3［25］、PSPNet［26］和GLNet 進行對比實驗。對ISIC2018 數(shù)據(jù)集進行基本的預處理之后，分別對以上方法進行訓練，每一種網(wǎng)絡結(jié)構(gòu)都訓練60 個輪回，得到的結(jié)果如表4所示。

表4 實驗結(jié)果對比Table 4 Comparison of experimental results

從表4 中可以看出，本文提出的算法比GLNet在分割準確度和圖像交并比上分別提高了2.8 和2.5 個百分點，且在所有對比實驗中達到了最佳的性能。雖然顯存占用比GLNet 增加了7.2%，但是相比較于其他對比算法，顯存占用減少了22.8%～36.9%，在硬件方面具有明顯的低顯存消耗優(yōu)勢?？梢娫趦呻A段式分割策略中，僅處理剪裁區(qū)域內(nèi)像素的方法可以有效減少計算機顯存的消耗，但相較于同樣使用了這個方法的GLNet，多尺度特征融合分支為了盡可能利用特征圖的語義信息，對高層特征圖進行了多次計算，這個過程會增加一些顯卡內(nèi)存的消耗，使得其對顯存的需求略高于GLNet。

為了更加直觀地對比算法在計算性能上的優(yōu)劣，給出6 種網(wǎng)絡實驗結(jié)果的可視化對比圖，如圖6所示，其中，圖6（a）為原始皮膚切片，圖6（b）為對應的醫(yī)學專家標注的病灶斑塊真實圖像。觀察圖6（c）和圖6（d）的圖像明顯看到，F(xiàn)CN 系列算法對特征圖像素間的全局關(guān)系的忽視導致病灶斑塊的漏檢和誤檢現(xiàn)象較為嚴重，分割效果明顯很差，可見像素間全局關(guān)系對分割任務的重要性。圖6（e）圖像相較于前兩種方法，對病灶斑塊沒有很明顯的誤檢，但漏檢現(xiàn)象還是較為明顯，可見DeepLabv3 通過串行多個不同空洞率的空洞卷積來捕獲全局上下文關(guān)系的方法是具有優(yōu)良效果的。PSPNet 融合了4 種不同尺度的池化模塊，聚合了不同區(qū)域的全局上下文信息，提高了全局信息提取的能力，增強了分割性能，這一點從其結(jié)果上對病灶塊更少的漏檢中可以看出。GLNet的全局-局部的分割策略，使得特征圖全局和局部的語義信息雙向共享，從分割結(jié)果來看，其預測的標注圖像在形態(tài)和輪廓上相較于前幾種方法更加光滑且接近真實標注圖像，但由于其在特征提取過程中沒有增強全局語義信息提取，且對多尺度語義信息的利用不夠充分，導致分割結(jié)果依舊欠佳。

圖6 實驗結(jié)果可視化對比圖Fig.6 Visualization comparison chart of experimental results

相比之下，本文算法的預測結(jié)果，無論是病灶斑塊大小還是邊界形態(tài)，都更加貼近于真實的標注圖像。全局金字塔平均池化模塊在特征提取的最后一層有效結(jié)合了多尺度的全局語義信息，增強了特征圖全局語義信息的表征能力，對病灶斑塊的邊界信息表示提供了幫助。多尺度特征語義融合分支將高層特征圖語義信息與低層特征圖空間信息融合，有效避免了對非病灶斑塊的誤檢和漏檢。兩階段式的精細分割策略減少了數(shù)據(jù)集正負樣本不均衡問題帶來的影響，且通過全局與局部網(wǎng)絡對應層特征圖共享圖像特征的方法有效獲取了圖像的全局上下文聯(lián)系，進一步優(yōu)化了分割結(jié)果，預測出比其他對比算法都更加準確的標注圖，使得本文算法在計算性能上明顯優(yōu)于其他對比算法。

4 結(jié)束語

皮膚病灶自動化分割算法在計算機輔助治療惡性黑色素瘤中具有重要意義。面對超高分辨率的皮膚病灶切片，本文提出的算法融合輕量級的網(wǎng)絡架構(gòu)，充分利用了特征圖的全局語義信息，并充分融合了多尺度特征圖的語義信息，采用的兩階段式分割策略進一步優(yōu)化了分割結(jié)果并減少了計算機顯存的消耗。實驗結(jié)果證明，相較于其他對比算法，本文算法更加適用于高分辨率背景下的皮膚病灶分割。但在特征融合過程中，本文算法僅向低層特征圖融合了高層特征圖的語義信息，因此在今后的研究中，可以考慮同時將低層特征圖的空間位置信息融合到高層特征圖中，雙向的信息融合對高分辨率皮膚黑色素瘤圖像分割精度的影響還有待驗證。