改進型U-Net 網絡的左心室超聲心動圖像分割

葛 帥，嚴加勇，謝利劍，姜遜渭

（1.上海理工大學 醫療器械與食品學院，上海 200093；2.上海健康醫學院 醫療器械學院，上海 201318；3.上海交通大學附屬兒童醫院，上海 200062）

0 引言

超聲心動圖是臨床分析人體心臟功能的主要手段之一，左心室（Left Ventricle，LV）的形態特征是判斷心臟功能的重要生理參數。要對左心室形態特征進行計算和分析，首先要對左心室圖像進行分割。目前，臨床上基本采用手動或半自動方法對左心室圖像進行分割。醫生手動分割左心室輪廓不僅速度較慢，而且受醫生經驗等主觀因素影響，因此設計一種全自動的分割算法可為臨床醫生提供極大方便。心臟超聲圖像分割存在以下幾個難點：①與其他醫學圖像相比，超聲圖像存在大量斑點噪聲，給計算機的自動分割帶來較大困難；②心臟結構復雜，各個腔室形狀隨心動周期實時變化；③不同患者的心臟存在個體差異，需分割的區域形狀不規則。

許多科研人員對心臟超聲圖像分割算法進行了研究。超聲心動圖左心室分割方法可分為傳統方法和機器學習方法。傳統方法研究有：Ngo 等［1］提出基于水平集的方法進行左心室核磁共振圖像分割；侯彪等［2］使用小波域隱馬爾科夫樹模型進行圖像分割；張驥祥等［3］提出基于小波域隱馬爾可夫多尺度圖像分割；張建偉等［4］應用活動輪廓模型（Active Appearance Models，AAM）對核磁共振的左心室進行分割；徐艷等［5］提出基于Snake 模型的腦部核磁共振圖像分割方法；袁艷紅等［6］將T-snake 模型應用于超聲心動圖左心室心肌分割；Santiago 等［7］將主動形狀模型（Ac?tive Shape Models，ASM）應用于核磁共振圖像左心室的分割；樊崇皓［8］提出基于稀疏形狀組合模型對左心室外膜圖像進行分割。此類算法存在如下缺點：①需要人為設計圖像局部特征對像素進行聚類或分類；②由于不同患者的心臟大小和形態存在差異，易造成分割錯誤。

近年來，機器學習在圖像分類領域得到成功應用，由此應用于醫學圖像分割領域［9］。Akbari 等［10］提出用支持向量機算法在超聲圖像上進行分割；Yu 等［11］提出一種基于動態CNN 的方案對左心室輪廓進行分割；朱鍇等［12］提出在FCN 的基礎上加入關鍵點定位和求取圖像凸包方法應用于超聲圖像左心室分割；2015 年U-Net 網絡［13］被提出，之后U-Net 網絡在醫學圖像領域得到了廣泛應用，宮霞等［14］使用U-Net 對淋巴結超聲圖像進行分割，提高了分割精度；邢妍妍等［15］利用融合型U-Net++網絡對胎兒頭部的超聲圖像進行邊緣檢測。

綜上所述，U-Net 網絡在超聲圖像分割領域具有良好的應用前景，但是直接使用傳統U-Net 網絡在分割精度上與實際臨床應用需求還存在一定差距。為了提高分割效果，本文采用相應策略，如圖像增強［16］以及深度學習模型的改進等。在圖像增強基礎上，利用底層密集連接與傳統的U-Net 網絡相結合，有效增加了特征的復用，減少了梯度消失現象，從而提高超聲圖像的分割精度。

1 方法

本文提出的超聲圖像左心室自動分割算法包括圖像灰度均衡化預處理及引入密集鏈接的U-Net 網絡兩個部分。

1.1 圖像預處理

超聲的原始圖像通常是扇形束，因此圖片存在大量的黑色背景，為增加后續網絡訓練的效果、提高最終分割精度，本文對圖片進行灰度均衡化預處理。

首先統計圖片有效區域的各灰度級i的像素數目ni，0≤i＜256；然后計算圖像中灰度為i的像素出現的概率p(i)=ni/n，其中n為ROI 區域中像素點的總數；再計算p(i)的累積分布函數f(i)=；最后根據直方圖均衡化公式計算出ROI 的灰度分布，如式（1）所示。在原圖像的基礎上進行預處理得到灰度均衡化的圖像，如圖1（a）、圖1（b）所示。

Fig.1 The image gray level equalization of the fan-shaped area圖1 扇形區域圖像灰度均衡化

其中，i代表原始圖像的灰度值，h(i)是均衡化后的灰度值，m 代表圖像尺寸，fmin代表累積分布函數最小值，round 指四舍五入。

1.2 原始U-Net 網絡

U-Net 是基于全卷積神經網絡用于圖像分割的經典網絡，網絡上采樣階段與下采樣階段采用相同數量層的卷積操作，網絡左右對稱，且使用跳躍鏈接結構將下采樣層與上采樣層相連，下采樣層提取到的特征可直接傳遞到上采樣層，使得U-Net 網絡的像素定位更加準確，分割精度更高。

1.3 密集連接

在深度學習網絡中，隨著網絡的加深，梯度消失問題會愈加明顯，并且深層所得到的高階特征很可能存在表達不夠精確的問題。對此在U-Net 最底層采用密集連接[17]來改進傳統U-Net 網絡的卷積層結構。密集連接通過建立若干個跨層來連通網絡中距離較遠的前后層，是一種綜合長連接和短連接策略，其中C 代表卷積層，如圖2 所示。

Fig.2 Dense connection圖2 密集連接

1.4 本文網絡

本文利用密集連接改進了傳統的U-Net 網絡，模型結構如圖3 所示。每一個解碼器都包含3 個卷積層和一次下采樣，并且每次下采樣之后特征通道數量翻倍。最底層的解碼器包含4 個卷積層，這些卷積層均密集相連，其他解碼器包含3 個卷積層和一次上采樣。網絡總共進行4 次下采樣和4 次上采樣，并且每次上采樣之后特征通道數量減少一半。改進后的網絡具備以下3 點優勢：①每層的輸出特征圖都是之后所有層的輸入，加強了特征復用，更有效提高了特征利用率；②每一層都可以直接利用損失函數的梯度以及最開始輸入的信息，有助于訓練更深的網絡，防止梯度消失；③最低層的特征圖雖然尺寸最小，但是特征得到了復用。

Fig.3 A new network combining U-Net network and dense connection圖3 U-Net 網絡與密集連接結合的新網絡

2 實驗

2.1 實驗數據集

本文使用的超聲心動圖來源于上海兒童醫院心外科，數據在采集后進行了脫敏處理，在使用過程中不涉及患者隱私信息。每個視頻代表一個超聲心動圖，包含數個心動周期，每個視頻選取包含心臟舒張期與收縮期圖像。視頻圖像來自8 名不同患者，在每個患者數個視頻中各選取60張圖片，共480 張圖片。為了應對數據量不足問題，本文對圖像進行剛性變換，如旋轉、翻轉、錯切和平移，以及彈性變換，對訓練集的超聲圖像進行數量擴充。圖像尺寸為800×600。實驗用其中360 張圖片作為訓練集，剩余的120張圖片作為測試集。

2.2 網絡訓練

實驗在CentOS 系統上進行，采用Python 語言，在Ten?sorFlow 和Keras框架下實現，GPU型號為NVIDIA Tesla P100。實驗首先對超聲圖像有效區域進行灰度均衡化，并利用圖像擴增算法令訓練數據量提升4 倍。網絡訓練采用自適應學習率，Adam 優化器，損失函數為Dice 系數的負數，訓練迭代次數為100。

2.3 結果與分析

本文模型得到的分割結果如圖4 所示（彩圖掃OSID 碼可見）。金色輪廓是真實標注結果，紅色輪廓是模型輸出的自動分割結果。從分割結果可以看出該模型能較好地分割出左心室區域。

Fig.4 Part of the results圖4 部分分割結果

本文主要采用Dice 系數對分割精度進行評估。Dice系數用于度量兩個集合的相似程度，Dice 系數表達式如式（2）所示，其中A 代表真實標注結果的像素點數量，B 代表模型預測結果的像素點數量，分子是A 與B 像素點的交集兩倍，分母是A 和B 的總像素點之和，所以它的范圍在0-1之間。

本研究采用密集連接與U-Net 網絡結合的分割方法，最終的Dice 系數為91.76%±1.78%。

本文與Graph Cuts、傳統U-Net 以及FCN 方法進行對比［18］，結果如表1 所示，可以看到本文分割結果大幅優化，更加接近真實情況，可為后續臨床提供重要信息。

Table 1 Comparison of results with traditional methods表1 與傳統方法結果對比

3 結語

本文提出一種密集連接與U-Net 網絡相結合的超聲心動圖左心室自動分割方法。通過數據擴增得到較為充足的訓練集，利用圖像灰度均衡化作為預處理，在分割網絡中引入密集連接以提高分割效果。實驗證明，本文提出的超聲心動圖左心室自動分割方法具備較高的分割精度，對后續心臟功能分析等具有重要意義。后續研究計劃增加標注圖像的樣本數量，并在本文模型的基礎上引入其他結構單元如ResNet 等，以進一步提高圖像分割精度。