基于特征復用網絡的醫學圖像分割

吳天宇

（唐山職業技術學院后勤及國有資產管理處，唐山 063000）

0 引言

隨著數字成像技術的發展及圖像分割技術［1-2］的持續改進，醫學影像在臨床診斷中的應用越來越廣泛，已成為醫生診治的首要根據。通過計算機技術對醫學圖像中感興趣區域（ROI）進行定位和分割，識別出ROI區域的像素點，獲得ROI的特征參數，以便為后續的分析病情、評估治療提供可靠的參考信息，輔助醫生進行診斷治療。醫學圖像分割是醫學圖像處理的關鍵步驟，對于下一步的診斷治療至關重要［3］。

經過多年的研究，許多學者將大量的圖像分割方法應用于醫學圖像分割并取得了較好的效果［4-6］。張濱凱等［7］提出了一種醫學圖像聚類分割算法，利用字典作為聚類分割的聚類中心，通過稀疏表示確定聚類歸屬，實現醫學圖像分割；房巾莉等［8］提出了一種水平集模型，該模型將整體信息與局部信息結合來分割醫學圖像，可以得到較完整的邊界曲線。

近年來，深度學習算法在圖像處理中展現出了強大的能力，對于醫學圖像的分割效果要優于傳統的分割算法。Ronneberger等［9］提出U-net網絡架構，已應用在對神經元、細胞瘤和HeLa細胞的醫學圖像分割任務中。Rathiba等［10］將幾個網絡結構結合，組成深度殘差全卷積網絡，可以自動分割皮膚圖像上的黑色素瘤；楊兵等［11］為了解決特征信息易丟失的問題，提出了一種用于腦圖像和眼底血管分割的深度特征聚合網絡，有效的提高了分割精度；閆超等［12］總結了利用深度學習進行醫學圖像分割的發展過程，并對當前面臨問題的解決提出了展望。

本文對U型網絡進行了優化，結合DFAnet［13］提出的特征復用結構提出了一種特征復用結構的編解碼器網絡RU-net，并采用可分離卷積搭建Resnet34為編碼器主干，利用旋轉、放大、平移、仿射變換等多種圖像增強方法擴充圖像數據集；最后把原圖進行不同角度的翻轉變換后進行預測，對預測結果進行反變換并求平均，可有效提高預測結果的準確率。在LUNA競賽數據集和EM競賽數據集上與U-net網絡對比可知，本文方法縮減了參數和計算量，同時分割精度得到極大的提升。

1 模型搭建

1.1 優化U-net網絡

U-net是U型對稱結構，原圖經過左側的五次卷積和池化進行編碼，然后通過右側的五次上采樣和卷積進行解碼，同時采用跳躍連接將左側的包含更多細節信息的每個卷積層和右側包含語義信息的上采樣合并通道進行卷積從而可以使得最終所得到的特征圖中既包含了高級的的語義信息，也包含很多的低級的細節信息，實現了不同尺度下特征的融合，提高模型的結果精確度，因為模型為完全對稱結構，可以快速調整卷積核數量以應對多種多樣的數據集。

但是U-net網絡每個編碼層通道數多，各個特征圖之間聯系不密切，解碼的過程中也是采用簡單拼接的方式融合，導致了參數冗余、分割效率低、分割不準確的問題。文獻［12］提出了一種階段性特征復用結構如圖1所示。

圖1 階段性特征復用結構

在編碼器階段將深層的特征圖插值放大再進行下采樣，與此同時與前一個下采樣主干進行特征融合，采用此方法可以使得網絡在編碼的過程中不斷的融合不同階段的特征信息，因此可以適當縮減通道數，以節約計算量，深層特征圖插值放大再次進行下采樣加深了網絡的深度，提取到的語義信息更加豐富。為了發揮U型網絡在二分類方面的優勢本文編碼器部分借鑒了階段性特征復用結構，解碼器依然采用逐漸2倍上采樣的方式恢復特征圖，在恢復的過程中不斷的融合左側編碼器部分的特征圖，此時融合的特征圖為多個階段編碼器子網絡融合并采用卷積層提取信息后的結果，將特征復用結構改進U型網絡，加深了網絡各個階段的聯系，特征表達能力更強，RUnet結構如圖2所示，圖中特征圖大小均為輸出大小，“C”為合并通道并1×1卷積為下一個卷積層輸入特征圖通道數。

圖2 特征復用Ru-net

1.2 深度可分離卷積模塊

利用普通卷積對特征的提取可以對特征圖建立局部相關性進而共享參數，從而可以比全連接網絡利用的參數更少［14］，Xception［15］網絡中提出了一種深度可分離卷積，將空間相關性與通道相關性解耦，可以做到比普通卷積更少的參數完成對特征的兩種相關性的學習，如圖3所示為普通卷積核和深度可分離卷積示意圖。

圖3 深度可分離卷積

其中N表示輸入通道數，M表示輸出通道數，k表示卷積核大小，深度可分離卷積先采用N個k×k×1卷積核分別對每個通道特征圖進行采樣，產生N個特征圖，再采用M個1×1×N卷積核對各個通道建立相關性［16］。這樣普通卷積核需要N×k×k×M個參數，深度可分離卷積需要N×k×k+M×N，與普通卷積核的參數對比為（k2+M）/（M×k2），輸出通道M越大，參數縮減越多。

2 研究方法

2.1 實驗設置

本文采用的數據集是EM挑戰賽的公開數據集和（lung nodule analysis，LUNA）挑戰賽數據集，EM數據集分割任務是在電子顯微鏡記錄中分割神經元結構，訓練集包含30張512×512像素的灰度圖像，該數據集開始于ISBI 2012，至今一直為醫學圖像分割的經典數據集［17］，但是該數據集訓練集并不包含標簽，因此本次測試使用訓練集Dice系數；LUNA挑戰賽數據集包含264張圖片，本文將該數據集按比例8∶2分為了訓練集和測試集。

2.2 數據增強方法

在擴充的數據集時不能損壞原圖的語義信息，本文采用的方法是對多種數據增強方法的組合，其中包含的方法有：隨機旋轉90°～270°、隨機對圖像進行對比度和亮度調整、隨機放大圖片并隨機選取區域裁剪至原圖尺寸、隨機旋轉0°～90°、在水平方向和垂直方向隨機平移一定距離、仿射變換，具體組合方法如圖4所示。

圖4 數據增強方法組合

采用以上數據增強方法可以使得原數據集擴大許多倍，足夠使模型提取到更多的語義信息。如圖5和圖6分別為原數據集中一張圖像采用本文數據增強方法后的部分圖像和其對應的標簽。

圖5 數據增強后的圖片

圖6 數據增強后對應標簽

2.3 評價指標和損失函數

本文采用的評價指標為在醫學圖像分割任務中一個常用的指標Dice系數［18］，Dice系數是兩個樣例之間重疊的指標，這個值的值域為0至1，其中Dice系數為1時代表完全的重合，Dice系數的計算方法如下：

其中X，Y分別表示預測結果和真實的標簽，T P是真正例，F N是假正例。

采用的損失函數是基于Dice系數的函數，D C可被定義為Dice損失函數（DL）:

其中p∈{0,1}n,0≤?≤1。p與?分別為真實標簽和預測分類，＜·,·＞表示點積。

2.4 圖像預測方法

在深度卷積模型中由于卷積核每次都從左往右進行移動，因此原圖的位置不同，預測結果也會有一些差別。為了提高預測結果的準確率，防止單次實驗結果誤差過大，或者在某一類圖片上不魯棒，本文分別對原圖進行垂直翻轉、水平翻轉、逆時針旋轉90度、逆時針旋轉180度操作，并將變換后的四張圖輸入神經網絡進行預測；然后對四張預測圖進行對應的反向變換操作；最后將預測圖求平均值獲得最終的結果圖。

3 實驗對比分析

3.1 編碼器網絡選擇

為了尋找合適的編碼器網絡，本文選擇了Resnet-18，進行對比實驗，如表1為測試結果，可以看到隨著網絡深度的增加分割精度明顯增加，深層的網絡可以提取到更多的語義信息，對模型的推理能力有很大的提升，為此選擇了Resnet34作為編碼器網絡。

表1 編碼器對比實驗

3.2 模型對比實驗

如表2所示為U-net、Ce-net和RU-net的分割效果圖，可以看出RU-net相比于其余網絡參數量和運算量極大的減少，在兩個數據集上測試分割精度均高于U-net，略低于CE-net，但是也具有可比的分割性能。

表2 模型對比實驗

3.3 模型分割效果對比

如圖7所示為在EM數據集上的表現結果，可以看到相比于U-net，RU-net可以將一些難分的細胞邊界分割出，分割圖中細胞內錯分的點較少，U-net網絡中第一個卷積層參與了跳躍連接與解碼器融合，雖然會補充到細節信息，但是導致了計算量的增加，同時最后一個解碼器層連接的卷積層很少，導致了融合后兩個特征圖建立的聯系不強，而RU-net只將4倍下采樣后的特征圖參與跳躍連接，多次上采樣后學習到的關聯性更強，同時計算量極大減少。

圖7 部分細胞邊界分割對比實驗

如圖8所示為RU-net和CE-net在LUNA數據集下的分割效果，可以看到CE-net預測圖像中存在一些分離的像素點，而RU-net很少出現此類情況，CE-net在運行過程中只是在解碼器部分融合同尺度的編碼特征圖，并且是簡單相加的方式融合，在上采樣過程中造成了信息的損失，而RU-net則是融合多個階段的特征圖進行運算，空間信息和細節信息更加的豐富，在一些圖片上RU-net分割表現強于CE-net。

圖8 部分肺部分割對比實驗

4 結語

本文采用可分離卷積的Resnet34作為主干搭建階段性特征復用結構，并以此為編碼器優化U型網絡，由于特征復用結構在每個特征提取階段均融合了不同尺度的信息，因此在縮減通道數的情況下依然有良好的表現，與其他幾種U型網絡比較，參數量極大的減少，經過實驗驗證，其分割精度也有保證，同時由于網絡更加的深，提取的語義信息更加豐富。