一種應用在生物醫學圖像分割的融合模型

孫 紅，楊喆地

（上海理工大學 光電信息與計算機工程學院，上海 200093）

0 引言

隨著社會的發展和生活水平的提高，人們對于醫療健康的重視程度在不斷提升，醫療影像在醫療診斷中也發揮了越來越重要的作用。一張醫學圖像所包含的信息量是十分巨大的，但是當醫生診斷的時候，通常只需要其中一小部分組織或某一片特點區域的數據，由此來進行病變情況的分析與確定。然而由于檢測設備及設備工作原理的不同，醫學圖像上難免會出現噪點，如果噪點過多，將會對醫生診斷帶來一定困擾，且增大誤診的幾率，而誤診的后果則是不言而喻的?；诖?，將圖像分割技術應用到醫學領域即已成為當下熱點。圖像分割技術可以將醫療圖像劃分為感興趣區域，醫生就可有針對性對特定的區域展開圖像分析處理，減少醫生的時間成本，在提升疾病分析的準確性的同時、也提高了醫務人員的工作效率。

以往，大多數醫學圖像均需要專業醫務人員才能進行分割，相對于自然圖像來說，醫學圖像有著更加復雜的特征，根據簡單的紋理、顏色、形狀往往很難做好圖像分割。然而近年來，隨著深度學習技術在計算機視覺領域取得了一系列突破性的進展，給這些問題的解決提供了有效的方法。自2012年以來，AlexNet、VGG、GoogleNet、Residual Net、DenseNet、膠囊網絡等深度卷積神經網絡（DCNN）模型相繼問世，計算機視覺領域也隨即得到了飛速的發展。2015年，Long等人提出了全卷積神經網絡，第一次將全卷積神經網絡應用于圖像分割，該結構將原卷積神經網絡中的全連接層替換為卷積層，使用反卷積將最后的低分辨率特征圖復現回輸入圖片大小，再逐像素進行分類。為了解決FCN結構中分割結果并不精細、以及生物醫學影像領域數據量較少問題，2015年Ronneberger等人提出U-Net，U-Net使用對稱的編碼與解碼網絡，解碼網絡中使用上采樣加卷積的結構，同時使用特征復制思想減少池化層造成的位置信息丟失，該結構在數據量較少的醫學影像數據集取得了當時最優的圖像分割結果。U-Net結構雖然在一定程度上降低了位置信息損失，但卻仍然存在可優化空間。2015年，Vijay等人提出了SegNet，這是在FCN的基礎上進行了改進，并在上采樣和下采樣中加入了位置索引，且已在VOC12挑戰中取得了很好的效果。Pohlen等人提出了全分辨率殘差網絡（FRRN）。FRRN使用一條獨立的殘差流以全分辨率處理特征圖，處理低層像素信息以保證分割模型可以捕獲良好的位置信息，同時在池化流部分使用卷積池化的層疊結構提取深度語義信息進行語義分割。FRRN更適合數據量較多的自然圖像，在生物醫學影像數據集的處理上容易造成過擬合。2018年，Zhang等人提出了Residual U-Net。Residual U-Net將殘差網絡和U-Net結合起來，在Massachusetts roads dataset的表現優于之前的其他 算 法。2019年，Nabil等 人提 出 了MultiResUNet，MultiResUNet在一個multiblock結構中構建了多級卷積層來實現不同尺度的特征提取并進行了concatenation拼接，同時將并行結構替換為串行結構，并在輸出端增加殘差連接，再用該結構去替換原有的卷積層，可以較好地處理圖像的不同尺度問題，且在EM segmentation challenge中有著優異的表現。Fraz等人提出了R2U-Net，R2UNet使用了循環殘差卷積神經網絡，在Retina Blood Vessel Segmentation、Skin Cancer Lesion Segmentation和Lung Segmentation上取得了較好的效果。

綜上，本文在U-Net結構和Residual U-Net基礎上，結合模型融合思想構建多分支U-Net和Residual U-Net。各分支U-Net和Residual U-Net共享深層編碼與解碼網絡，極大減少多分支網絡的參數數量，同時可以在不破壞原有U-Net分割輸出的基礎上使用模型融合方法提高模型的總體分割效果。本文的創新貢獻如下：

（1）針對如何構建差異輸出，使用不同的位置權值掩膜與相應的正負標簽統計比例構造互異的加權逐像素交叉熵損失函數。

（2）針對如何進行模型融合，使用相應的位置權值掩膜來加權各分支網絡，輸出得到融合分割圖像。

（3）用本文提出的模型，在細胞和乳腺兩個數據集上進行了實驗，并與Unet網絡和Residual UNet網絡結果進行了對比。

實驗證明，本文的多分支模型融合可以在原有分支模型基礎上提高圖像分割效果，本文方法在小樣本的生物醫學圖像分割任務中可以提高模型泛化性能。

1 方法

實際分類任務中，訓練時需要進行超參數調優，由于樣本中包含了客觀規律和采樣誤差，需要特定的模型大小來均衡兩者以達到最優的泛化性能，單個模型很難設定這一超參數。而通過將各個互異模型的輸出進行一定的融合，卻可以提高總體模型的泛化性能。

針對如何進行像素級別分類的分割網絡模型融合，本文提出共享深層特征提取結構在達到共享網絡對各個分支網絡具有一定正則化效果的同時，大大減少了多網絡輸出的參數數量。由于U-Net在”U”型結構底部會使用大量的卷積核，如果分別對各分支網絡獨立構建該部分卷積核，整體模型參數會成倍增長，本文采用共享策略則很好解決了這一問題。

1.1 位置權值掩模

位置權值掩膜是對輸入圖像的不同位置進行不同的權值設置，本文通過該權值對各分支網絡的損失函數進行改造，從而達到各分支網絡的差異性輸出。由于ISBI2015數據、INBreast圖像數據label在各個位置上很難設計權值位置分布以適應所有數據，在折中參數數量與模型整體性能基礎上，提出如下權值掩碼方案。將圖像以田字形式均分為4個區域，每一區域占比圖像大小1／4，如圖1所示。

圖1 各分支模型位置權值掩膜Fig.1 The mask of the weight location at each branch

通過加大各個區域的位置權值，可以增加各分支網絡對于特定區域的注意力，旨在使各分支網絡對于特定位置進行更加專門化的權值更新，從而達到各分支網絡的差異化輸出。而當差異化輸出較大、但模型表現接近的時候，融合模型可以在一定程度上提高性能。

1.2 基于位置權值掩膜的交叉熵損失函數

本文不對輸入圖像做位置加權，而是對損失函數的逐像素交叉熵做位置加權。研究中為了構建更合理的損失函數，使用訓練集label中各區域正負類別的統計比例作為第二個加權項的參考因子，具體加權系數的計算可用到如下公式：

其中，表示區域索引；α表示各個區域訓練集中正類別像素占比；表示整張圖像所有訓練集label中正類別像素占比。各區域相對于整張圖像的正負類別像素比存在差異，該公式對各區域與整張圖像正類別像素統計信息的比例進行了數值化處理，再通過訓練集上的先驗信息，從而達到提高網絡泛化性的目的。

由于生物醫療數據較少，訓練集上各區域正類別像素統計信息與測試集數據存在一定差異，但實驗顯示模型融合結果仍然得到了一定改進，當樣本數據增多時，訓練集的統計信息能夠更加準確地預測測試集的像素類別占比，模型性能在理論上會得到進一步提升。本文提出的基于位置權值掩膜加權交叉熵損失函數見式（2）：

其中，表示批樣本數目；表示圖像中的像素數目；表示樣本索引；表示像素索引；w表示像素的位置權值，大小由1.1節中定義的位置權值掩膜給定。

1.3 模型網絡結構

本文共享U型網絡底端多數目卷積核卷積層，在編碼部分構建各分支輸入，在對稱的解碼部分構建各分支輸出，各分支網絡具有相同的網絡結構，模型整體結構如圖2所示。

圖2 模型網絡整體結構Fig.2 Architecture of the model

各分支網絡基于不同的加權交叉熵損失函數產生差異輸出，本文使用位置權值掩膜作為權重進行模型融合。將各分支網絡對應的位置權值掩膜與預測輸出逐項素相乘，各加權結果求和取均值作為融合輸出，融合方式如圖3所示。

圖3 模型融合示意圖Fig.3 Model fusion

1.4 訓練步驟

針對如何確保共享網絡權值對于各個分支網絡具有通用性，本文采用分級訓練的方法。首先使用交叉熵損失函數預訓練encodernet1＋sharednet＋decodernet1，在驗證集最低處保存模型，然后加載所保存的模型，固定sharednet參數，初始化各分支encoder和decoder參數，使用各分支網絡對應的位置權值掩膜加權交叉熵損失函數多優化器同時訓練各分支網絡，當融合后模型損失函數達到最低點時保存模型，這里對訓練流程可做闡釋如下。

為［，，，］的圖像（）和為［，，，］的標簽（）

圖像的分類結果

采用U-Net模型或Residual U-Net作為分支模型訓練模型1。

模型1的訓練結束后，保存模型1，并固定share層參數，初始化兩端encoder和decoder參數，使用4個優化器，同時利用第1節給出的逐像素交叉熵損失函數來訓練4個模型。

對4個模型輸出后的結果求平均。

2 實驗結果與分析

2.1 實驗平臺

本文涉及的圖像語義分割實驗使用基于Tensorflow后端的keras深度學習框架進行神經網絡模型搭建，使用Tensorflow進行模型訓練。實驗平臺采用谷歌深度學習平臺Google Colab，該平臺GPU型號為NVIDIA Tesla T4，基于最新圖靈架構，半精度浮點運算峰值性能65 TFlops，4位整數運算峰值性能260 TOPS，包含2560個CUDA核心，320個圖靈張量核心，支持多精度推理，提供16 GB顯存。

2.2 實驗評價指標

在語義分割中，感興趣的地方通常是整幅圖像的一小段。因此，若僅僅利用精確度、召回率等指標卻大多都會導致錯誤的結果，究其原因就在于放大了對背景的檢測結果。因此，本文另行引入了系數和系數作為本文實驗的評價指標，并使用以下字母表示度量公式中出現的變量：表示模型輸出結果和實際標簽均為正樣本，表示模型輸出結果為負樣本，實際標簽為正樣本；表示模型輸出結果為正樣本，實際標簽為負樣本；表示模型輸出結果和實際標簽均為負樣本。以此為基礎，對文章選用指標的數學含義及公式將給出探討分述如下。

（1）相似系數。主要用于衡量2個樣本的相似性。系數可以很好地衡量2張圖像的重合率。其計算公式具體如下：

當模型輸出結果與標簽完全重合時，系數為1；當兩者沒有交集時，系數為0。

（2）系數。當使用較高的閾值進行分類時，可以得到較高的查準率，使用較低的閾值時可以得到較高的召回率。系數，又稱分數，可以更好地均衡召回率和查準率，當召回率與查準率都較高時，才可以得到較高的系數。其計算公式具體如下：

2.3 ISBI2015細胞邊緣圖像數據集實驗

本文使用ISBI2015細胞邊緣圖像分割數據集、INBreast乳 腺 圖 像 分 割 數 據 集進 行 實 驗。ISBI2015細胞邊緣圖像分割數據由30張512×512×1有標簽顯微圖像組成，為了增加訓練圖像的多樣性，減少模型過擬合問題，對數據圖像進行圖像增強。使用keras中ImageDataGenerator類進行圖像增強，原始輸入數據以及使用數據增強后標簽分割圖像如圖4所示。圖4中，（a）為原始輸入圖像，（b）為數據增強圖像。

圖4 ISBI2015細胞邊緣圖像數據集原始輸入與數據增強對比Fig.4 The comparison between the source images and images with augmentation

隨后，本文對增強后的數據集進行了訓練，并在驗證集最低處保存模型。各分支網絡驗證集部分圖片的獨立輸出結果如圖5所示。相應地，細胞邊緣分割數據結果見圖5（a）、圖5（b）。為表示方便，圖5中F-U-Net為網絡分支采用U-Net時的結構，F-Res UNet網絡分支采用Residual U-Net的結構，由于各分支網絡在損失函數上的差異導致差異性輸出，各分支網絡的總體分割性能相近，融合后會得到性能提升。

圖5 各分支圖像輸出結果Fig.5 The outputs from different branches

本文在驗證集上挑選出較難分割圖像，將模型融合后分割結果與融合前U-Net、和Res U-Net分割結果進行對比，細胞邊緣數據集分割結果對比結果如圖6所示。將模型輸出以0.5作為分割閾值，對比結果見圖6（a）、圖6（b）。分析后可以發現，融合后的結果比融合前的結果更接近于label。

圖6 細胞邊緣數據集分割結果對比Fig.6 The comparison of the segmented results

U-Net和Residual U-Net是目前醫學圖像分割的最經典的模型之一，在實驗中取得了較好的效果，利用本文的思想分別在2種模型上進行實驗，細胞邊緣分割數據集訓練過程中系數和系數變化如圖7所示。由圖7可以驗證，融合后的模型在細胞邊緣分割數據集上表現得更好。訓練過程中，系數變化和系數變化見圖7（a）、圖7（b），研究發現融合后的模型表現得比融合前的模型要更好。

圖7 細胞邊緣分割數據集訓練過程中Jaccard系數和Dice系數變化圖Fig.7 The changing of Jaccard and Dice during the training

2.4 INBreast乳腺圖像分割數據集

本文使用的INBreast乳腺圖像分割數據集經過文獻［23-25］中進行提取、尺寸縮放，包括58張訓練圖像及58張測試圖像，圖像分辨率為40×40。原始標簽分割圖像及使用數據增強后標簽分割圖像如圖8所示。通過翻轉、平移、隨機剪裁進行圖像增強，輸入如圖8（a）所示。圖8（b）與（c）為數據增強圖像。

圖8 乳腺分割數據集增強Fig.8 The augmentation on INBreast dataset

各分支網絡驗證集部分圖片的獨立輸出結果如圖9所示。圖9（a）表示各分支網絡為U-Net時各分支網絡的輸出結果，圖9（b）表示各分支網絡為Residual U-Net時各分支網絡的輸出結果，其中、、、為4個分支網絡的輸出結果，為融合模型輸出結果。由此可以發現，各分支網絡盡管總體分割精度接近，但仍存在差異，進一步證明了各分支網絡在損失函數上的差異會導致差異性輸出，而由于各分支網絡的總體分割性能相近，因此融合后模型性能會得到部分提升。

圖9 各分支網絡乳腺分割數據集驗證集分割結果Fig.9 The segmented results on INBreast dataset from different branches

本文在驗證集上挑選出較難分割圖像，將模型融合分割結果與原始U-Net、和Residual U-Net分割結果進行對比。將模型輸出以0.5作為分割閾值，乳腺分割數據集結果對比如圖10所示，通過指標結果可以發現，融合后的模型相較于融合前有了部分提高。

圖10 乳腺分割數據集結果對比Fig.10 The comparison of results on INBreast

由圖10分割結果進一步證明了本文提出的多分支融合策略，應用在U-Net和Residual U-Net模型可以得到更加接近label的分割結果，通過融合多分支U-Net和Residual U-Net，提高了模型的泛化性。仿真實驗訓練過程中，驗證集平均的系數變化和系數變化如圖11所示，相比融合前的U-Net和Residual U-Net，融合后的模型表現得更穩定，并且優于融合前的結果。

圖11 乳腺分割數據集訓練過程中Jaccard系數和Dice系數變化圖Fig.11 The changing of Jaccard and Dice during the traning on INBreast

3 結束語

本文通過引入深層權值共享策略，同時構造對稱的編碼與解碼結構，將分支網絡的模型融合策略應用在U型網絡中，并且使參數的增量控制在合理范圍。使用位置權值與各區域正負像素類別的統計比例對逐像素交叉熵損失函數進行加權，增加各分支網絡對各個區域的注意力，構造差異化輸出，使模型融合方法提高了總體泛化性。針對如何保證共享網絡權值對于各分支網絡的通用性，采用不加權逐像素交叉熵損失函數進行預訓練，對各個分支網絡起到一定的正則效果；針對如何進行模型融合，本文使用對應的權值掩膜對預測輸出進行加權。實驗結果證明，多分支融合預測輸出在多數指標上優于融合前U-Net和Res U-Net，模型分割性能得到進一步提升。