基于全卷積網(wǎng)絡(luò)的胎兒腦部超聲圖像分割算法

葉海，馮開平，謝紅寧

（1.廣東工業(yè)大學(xué)計算機學(xué)院，廣州510006；2.廣東工業(yè)大學(xué)藝術(shù)與設(shè)計學(xué)院，廣州510090；3.中山大學(xué)附屬第一醫(yī)院婦產(chǎn)超聲科，廣州510080）

0 引言

胎兒中樞神經(jīng)系統(tǒng)（Fetal central Nervous System，CNS）是世界上最為常見的胎兒先天性疾病之一，相關(guān)研究[1]表明出生兒中中樞神經(jīng)系統(tǒng)的畸形發(fā)生率高達3-4%，僅次于先天性心臟病。隨著超聲技術(shù)的不斷發(fā)展，胎兒超聲技術(shù)由于其獨特的優(yōu)勢被廣泛運用于產(chǎn)前診斷，有效地減少和預(yù)防缺陷兒的出生，提高了人口質(zhì)量。但胎兒中樞神經(jīng)系統(tǒng)的發(fā)育是一個十分復(fù)雜的過程，尤其是胎兒腦部的病變特征十分細微難以分辨，而有豐富臨床經(jīng)驗的產(chǎn)科醫(yī)生和超聲設(shè)備在基層地區(qū)十分稀缺。所以，利用深度學(xué)習方法為醫(yī)生提供一個可靠的輔助診斷工具是十分有意義的。

近年幾年來，胎兒超聲圖像處理有一些已發(fā)表的工作。Yu Z 等人[2]提出一種基于深度學(xué)習的胎兒超聲標準切面的識別方法，Baumgartner 等人[3]利用深度學(xué)習方法實現(xiàn)了標準切面的實時檢測，用以輔助醫(yī)生作為臨床診斷的工具。醫(yī)學(xué)作為臨床診斷的一個重要步驟在深度學(xué)習領(lǐng)域已經(jīng)有越來越多的研究和成果，目前如何利用深度學(xué)習方法實現(xiàn)胎兒疾病診斷將成為下一個研究的重點和難點。

胎兒超聲圖像中存在大量的噪聲，不利于異常疾病的分類和診斷。有別于通用其他醫(yī)療影像分類，胎兒超聲圖像識別的實質(zhì)是細粒度圖像識別，需要對相似度極高的病變區(qū)域進行分割。目前已有許多針對不同部位和種類醫(yī)療影像分割方法，周成禮等人[4]提出基于最大熵的股骨分割方法，王恒立等人[5]提出和本文類似的全卷積網(wǎng)絡(luò)對乳腺癌進行分割，而對于胎兒腦部區(qū)域細粒度圖像的分割方法少有相關(guān)的研究。本文提出基于全卷積的圖像分割方法對顱骨光環(huán)進行分割，并加入空洞卷積進行改進。此分割方法也可輕易地擴展到其他醫(yī)療圖像分割領(lǐng)域，作為消除噪聲和目標區(qū)域提取的一種手段。

1 方法

1.1 數(shù)據(jù)組成及預(yù)處理

本實驗數(shù)據(jù)集由16209 張18 至32 周正常胎兒腦部超聲圖像組成，為了提升模型的魯棒性和可靠性，使用3 種不同格式的圖片作為本次實驗的數(shù)據(jù)集。分別是由影像歸檔和通信系統(tǒng)（Picture Archiving and Communication Systems，PACS）導(dǎo)出的單幅圖超聲圖像、雙幅圖超聲圖像以及由視頻切割出的幀，同一格式的所有超聲圖像都是來自各種各樣的生產(chǎn)環(huán)境和機器型號，以保證本次實驗的結(jié)果對真實生產(chǎn)環(huán)境有一個相對準確的評估。不同格式數(shù)據(jù)組成見表1。

表1 不同格式數(shù)據(jù)訓(xùn)練集和測試集劃分

在進入模型之前，將所有原始圖像從三通道的彩色圖像轉(zhuǎn)化為單通道的灰度圖像，并對每張圖像做一次z-score 標準化操作，即每張圖片減去所有圖片的均值并除以他們的標準差，將有數(shù)據(jù)分布差異的圖像轉(zhuǎn)化為統(tǒng)一的量級，以保證數(shù)據(jù)集的可比性，增強網(wǎng)絡(luò)的穩(wěn)定性。z-score 標準化可表示為：

其中x 為原圖像素值，μ 為數(shù)據(jù)集像素均值，σ 為數(shù)據(jù)集像素標準差，經(jīng)z-score 標準化的數(shù)據(jù)集將被resize 成256×256 大小作為模型的輸入。最終將所有數(shù)據(jù)劃分為訓(xùn)練集和測試集。訓(xùn)練集和測試集的劃分結(jié)果見表1。

1.2 U-Net網(wǎng)絡(luò)模型

U-Net[6]是全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）[7]的一種改進模型，它由一個256×256 尺寸的灰度圖像作為輸入，同樣256×256 尺寸的特征圖作為輸出。整個U-Net 架構(gòu)可分為兩個部分，伴隨下采樣的特征提取過程和伴隨上采樣的特征擴張過程。下采樣過程中，原始輸入圖像將通過兩個3×3 大小，步長（stride）為1，填充（padding）為1 的卷積核，每個卷積核后都跟隨著一個線性整流函數(shù)（Rectified Linear Unit，ReLU）作為激活函數(shù)，隨后經(jīng)過2×2 的池化層下采樣。在下采樣過程中，采用上述操作后的每組特征圖數(shù)量變?yōu)樵瓉淼膬杀叮叽缱優(yōu)樵瓉淼囊话搿Ｉ喜蓸舆^程中，被壓縮成8×8 大小的1024 張?zhí)卣鲌D通過2×2大小的轉(zhuǎn)置卷積[8]進行上采樣，此外每次上采樣后的特征圖將與下采樣過程中相應(yīng)大小的特征圖做級聯(lián)（Concatenate）操作用以融合未采樣之前的特征信息，再通過與下采樣過程中同樣的卷積，重復(fù)五次后最終得到一個原始圖像尺寸的單通道圖像作為模型的輸出。本實驗U-Net 模型結(jié)構(gòu)如圖1 所示。

圖1 空洞卷積在不同擴張率下的感受野

1.3 空洞卷積

大多數(shù)DCNN 中都有一個明顯的缺陷，即采樣是一個不可學(xué)習的過程。采樣（向上或向下）特征圖后，會丟失特征圖原有的內(nèi)部數(shù)據(jù)結(jié)構(gòu)和空間層級信息，這意味著一組小區(qū)域的像素無法通過相反的采樣操作進行重構(gòu)。直觀地講，U-Net 模型在下采樣過程中圖像經(jīng)過數(shù)次池化（pooling）操作所丟失的信息在上采樣過程中無法被彌補，而分割顱骨光環(huán)區(qū)域不僅需要紋理、邊緣、顏色等局部圖像特征，還需要獲取腦部整體結(jié)構(gòu)和不同器官之間位置排列關(guān)系。為了更好地提取這種全局信息，對原始的U-Net 中添加了空洞卷積（Dilated Convolution）[18]，空洞卷積可以有效地提升感受野的同時不需要減小圖像大小，避免池化操作帶來的信息損失，是獲取廣泛信息的一種有效方法。

圖2 空洞卷積在不同擴張率下的感受野

空洞卷積的實現(xiàn)形式如圖2 所示，空洞卷積將卷積中連續(xù)的像素間隔開，從而擴大感受野。圖2（a）中卷積核大小為3×3，擴張率為1 的空洞卷積（Conv 3×3，dilation=1）和普通卷積操作一樣感受野為3×3。而圖2（b）中擴張率為2 的空洞卷積只對紅色像素點做卷積操作，實際卷積核大小還是3×3，但感受野已經(jīng)增大為藍色區(qū)域的7×7。換句話說，經(jīng)過空洞卷積的特征圖可以比非空洞的那一層“看到”更多，對于需要處理大尺寸特征圖的初始卷積層來說，空洞卷積可以有效地忽略一些細節(jié)而更專注于整體結(jié)構(gòu)信息的獲取。

本次實驗經(jīng)過對比和分析，將原始U-Net 中下采樣過程的第二層和第三層卷積層替換為擴張率為2 的空洞卷積。

2 實驗與討論

2.1 實驗結(jié)果分析及對比

本文采用相似度系數(shù)（Dice coefficient）、精確率（precision）、召回率（recall）和兩者的調(diào)和平均數(shù)F1-score 評價原始模型和加入空洞卷積后模型的性能，即對給定的測試數(shù)據(jù)集，對兩種模型的分割結(jié)果分別做定量分析。精確率和召回率是一組相互影響的評價指標，精確率用來衡量正確分割的像素中屬于分割結(jié)果像素的比例，召回率用來衡量正確分割的像素中屬于人工標注像素的比例。在理想狀態(tài)下實驗追求兩者都高，但實際情況是精確率和召回率兩者相互制約，往往兩種標準難以對比。F1-score 是一種精確率和召回率的調(diào)和平均數(shù)，用來衡量精確率和召回率之間的總體平均分布程度，能夠利用兩者更好地評估模型的性能，F(xiàn)1-score 越高說明模型的總體性能越好。

原始模型和改進模型各個評價指標如表2 所示。由表2 可以看出，經(jīng)過空洞卷積改進過的分割方法在精確率上比原始方法更高9.6%，這表明改進后的方法會分割地更精細，會盡可能將冗余信息都排除在分割區(qū)域外，剔除更多的噪聲。但召回率的下降7.6%同時也意味著模型可能會過分割一些有效區(qū)域，例如本文中顱骨光環(huán)的顱骨區(qū)域。在標注時本實驗將橢圓區(qū)域盡可能擴大到顱骨光環(huán)外圍區(qū)域，以方便例如頭型異常等疾病的后續(xù)識別工作，低召回率對于腦部疾病診斷的負面影響并不大。但從整體上看，F(xiàn)1-score 和Dice 系數(shù)分別提升了1.2%和1.1%，實驗證明加入空洞卷積對于U-Net 分割結(jié)果取得了良好的效果。

表2 各結(jié)構(gòu)U-Net 模型分割評價結(jié)果比較

2.2 實驗結(jié)果分析及對比

圖3 不同切面和數(shù)據(jù)格式分割效果

圖3 隨機選取了不同切面和數(shù)據(jù)格式的超聲圖像，經(jīng)過分割模型后的結(jié)果。其中左圖為原圖，右圖中藍色橢圓區(qū)域為分割結(jié)果所擬合的橢圓，對擬合的橢圓區(qū)域做外接矩形框，將分割圖像提取，即可得到需要的目標分割圖片。

圖中（a）、（b）兩幅圖比較了小腦切面和雙頂徑切面在同一分割模型下的分割結(jié)果，（c）圖和（a）、（b）兩圖比較了視頻幀和單幅圖在同一分割模型下的分割結(jié)果。對比后發(fā)現(xiàn)，模型對于不同格式和切面的數(shù)據(jù)集有良好的分割結(jié)果，具有一定的魯棒性和穩(wěn)定性。同時分割結(jié)果中保留了胎兒腦部各個組織結(jié)構(gòu)和器官，剔除了無關(guān)的噪聲和聲影區(qū)域，達成了去除噪聲的目的。

3 結(jié)語

提出了一種帶有空洞卷積的U-Net 分割模型對胎兒腦部超聲圖像有效區(qū)域進行自動提取，訓(xùn)練后的模型使用測試數(shù)據(jù)集對不同結(jié)構(gòu)的模型進行測試并進行定量分析。對實驗結(jié)果分析發(fā)現(xiàn)，使用空洞卷積的U-Net模型會提高精確率提升并且降低召回率，擴張率的選擇對模型有很大的影響，若擴張率使用不當會導(dǎo)致改進模型比原模型分割效果差。實驗中所有模型的預(yù)測耗時并無顯著差異，表明加入空洞卷積的U-Net 能夠有效提升分割準確率和分割效率，同時實驗分割效果分析表明模型對不同切面和生成環(huán)境下的數(shù)據(jù)都具有良好的分割效果，具有良好的穩(wěn)定性和魯棒性。此方法能夠有效和可靠地去除醫(yī)療圖像噪聲，為提高后續(xù)胎兒腦部超聲圖像檢測和分類準確率打下良好的基礎(chǔ)。