基于深度遷移學習的心臟MRI圖像左心室分割

苑金輝，喬 艷，費燁琳，胡曉飛

(1.南京郵電大學 通信與信息工程學院，江蘇 南京 210003；2.南京郵電大學 地理與生物信息學院，江蘇 南京 210003)

0 引 言

心血管疾病已經成為當今社會影響人類身體健康的頭號殺手。據國內數據統計，心血管疾病造成的死亡人數已占到疾病總死亡人數的40%以上，在死亡構成中排名前列，高于腫瘤等其他疾病[1]，使得左心室分割引起了研究者的關注。用于心臟疾病診斷的醫療影像技術有很多，其中核磁共振成像技術(MRI)是使用較為廣泛的一種。心臟核磁共振能夠提供較為清晰的心臟結構、心肌運動以及組織學特征信息。因此國內外研究人員對心臟核磁共振進行了廣泛研究，在不斷更新算法的同時也得到了許多研究成果。

目前國內外廣泛應用的分割方法有多種，傳統的分割方法有基于邊緣的圖像分割、基于區域的圖像分割、結合特定理論的圖像分割等[2-7]。但隨著深度學習的不斷發展，人們開始將目光投向醫療領域，試圖用一些基于深度學習的方法來進行醫學圖像分割。近些年來，越來越多的研究人員嘗試將深度學習的思想應用到心臟左心室圖像分割的研究上來。他們致力于研究出一種全自動心臟左心室圖像分割方法，并且取得了比其他傳統方法更好的效果。M. R. Avendi等人[8]利用卷積神經網絡從心臟MR圖像中定位出心臟左心室區域，然后以棧式自編碼算法模型來勾勒出左心室的初始形狀，在此基礎上，經過可變模型分割出最終結果。J Long等[9]提出一種全卷積神經網絡的分割方法,使用轉置卷積把特征圖還原至原圖尺寸從而達到像素級別的分割，進而實現整幅圖像分割。Nasresfahani等[10]在圖像處理階段提取出ROI區域，采用全卷積神經網絡對左心室進行分割。2016，Poudel等[11]采用遞歸全卷積網絡(遞歸完全卷積網絡，RFCN)[12]分別對FCN和RFCN兩種方法的分割效果進行了比較。在對心臟MRI圖像左心室定位問題的研究上，Omar Emad等人[13]提出利用深度學習的方法來定位心臟MRI圖像中左心室的位置。此后，通過深度學習方法對醫學圖像進行分割的研究層出不窮，并獲得了良好的表現[14-21]。

該文基于遷移學習和多尺度判別的生成對抗網絡(transfer learning and multi-scale discrimination based GAN，TLMDB GAN)，用基于遷移學習的分割網絡(transfer learning based segmentation network，TLBSN)構建生成網絡提取特征，解決樣本數據不足、網絡難以獲得足夠的特征信息的問題，并通過構建多尺度的判別器以獲得局部和全局特征信息，提升分割的準確性。

1 文中方法

1.1 生成對抗網絡

如圖1所示，生成對抗網絡由生成器(G)和判別器(D)兩部分組成。

圖1 經典的生成對抗網絡結構

用于分割任務的生成網絡通過學習圖像與標注數據之間的映射關系盡可能生成能夠欺騙判別網絡的分割圖像，而判別器接收到分割圖像后對圖像進行判定，通過判定結果調整生成網絡的參數。通過大量的迭代過程使生成網絡和判別網絡達到一個平衡，獲得最優分割結果。

生成器(G)和判別器(D)使用下述價值函數進行極大極小化博弈：

(1)

其中，x是來自未知分布Pdata的真實圖像，z是來自概率分布(如高斯分布)pz的生成器的隨機輸入，G和D分別表示GAN中生成網絡和判別網絡的參數。

1.2 改進的生成對抗網絡

由于GAN對數據的特征具有良好的學習和表示能力，為了構建一個具有良好分割能力的模型，經過對GAN理論的進一步研究，該文提出了一種用于分割模型的生成對抗網絡，即TLMDB GAN。該網絡結構如圖2所示。

圖2 改進的生成對抗網絡

1.2.1 基于遷移學習的分割網絡

在醫學圖像分割的研究中，數據集往往是限制研究的一個重要問題，由于標注數據難以獲得，因此很多數據集往往只有幾十張或幾百張圖片，遠遠無法滿足研究需求。而大規模的數據集往往可以使神經網絡學習到更多的特征信息，獲得更好的泛化能力。所以可以在較大的數據集上預訓練，將得到的參數遷移到目標網絡，用來自源網絡的權重初始化目標網絡，然后目標網絡其他層將被隨機初始化，再通過逐步微調在目標網絡上訓練目標數據集，提升分割效果。

該文使用全卷積神經網絡做分割網絡。分割網絡由編碼模塊和解碼模塊兩部分組成，編碼模塊采用VGG16的結構，解碼模塊通過卷積層和上采樣層逐層對齊編碼模塊。為了獲得精確的分割結果，使用跳躍連接(skip-connection)學習目標的多尺度信息。

該文采用圖3所示的遷移學習方法實現左心室分割的分割網絡。首先嘗試將從ImageNet數據集學習到的自然圖像的特征信息轉移到目標數據集(即該文使用的左心室MRI數據集)的左心室分割目標任務上，但是由于自然圖像與醫學圖像相似度較低，分割網絡很難通過先驗知識學習到足夠的醫學圖像特征，所以需要將預訓練網絡在目標數據集上進行二次訓練，根據源域和目標域的大小和相似程度選擇對預訓練網絡進行逐層微調使網絡自適應地調整網絡參數，避免直接微調整個網絡導致產生過大的計算量。通過遷移學習可以在小目標數據集上訓練較大的網絡模型而不會出現嚴重的過擬合。

圖3 基于遷移學習的分割網絡

在經過參數遷移后，通過逐層微調方法對目標網絡進行自適應參數調整，以提高網絡學習特征的能力。如圖4所示，通過逐層凍結與釋放卷積層，微調釋放卷積層的參數，在微調過程中通過釋放各層后的分割效果確定微調的有效層數，選取最佳分割網絡。

圖4 逐層微調流程

1.2.2 多尺度判別器

為了準確地學習圖像的特征信息，很多方法通過具有不同輸入分辨率或者提取網絡各層間的特征信息實現多尺度的特征融合。在圖像分割方面，大多數Gans的判別器使用單純的全卷積神經網絡，輸出real/false。該文使用多尺度的判別網絡，用多尺度的損失監督分割網絡學習像素的局部與全局的特征信息，加強各個層間的特征學習，使分割網絡能夠更好地分割左心室區域。

通過實驗發現，將L1均方誤差損失函數與生成對抗網絡的目標函數相結合能夠得到更好的分割結果，L1均方誤差損失函數如下：

(2)

其中，F(xi)為分割網絡通過訓練后生成的分割圖像，Yi為分割網絡的目標圖像。

最終總的目標函數為生成對抗網絡目標函數與L1均方誤差損失函數之和：

(3)

判別器結構如圖5所示。

圖5 多尺度判別器

2 實驗及分析

2.1 實驗數據

實驗數據來源于多倫多兒童病醫院影像科[22]，該數據集由33名受試者的短軸心臟MR圖像序列組成，每位受試者都有8到15個序列，每個序列是一個20幀的心動周期，其中含有手動分割標簽5 011張圖像，使用其中4 009張圖像作為實驗的訓練集，剩下的1 002張圖像作為測試集。原始圖像大小為256×256，通過ROI提取128×128的大小以在保存左心室輪廓的情況下減少無用信息，如圖6所示。

圖6 Cardiac MRI dataset數據集的圖像

圖7為將專家手動分割輪廓和文中算法分割輪廓進行二值化后得到的結果。

圖7 不同左心室心肌分割結果二值圖

2.2 評價標準

該文采用Dice系數、Jaccard系數和靈敏度(Sen-sitivity)三種評價指標對分割準確度進行度量。

Dice系數表達式如式(4)所示，Dice系數值越大，代表分割后的結果與專家手動分割圖像越相似，準確率越高。

Dice=2|X∩Y||X|+|Y|

(4)

Jaccard系數表達式如式(5)所示，該項指標代表專家手工標注圖像與分割得到的左心室輪廓區域的交集區域面積與并集區域面積的占比。

J=|X∩Y||X∪Y|

(5)

靈敏度(Sensitivity)表達式如式(6)所示，靈敏度代表所有正樣本劃分正確的比例。

Sensitivity=|X∩Y||X|

(6)

其中，Y為專家手動分割左心室的目標和背景的像素集，X為實驗分割左心室的目標和背景像素集。

2.3 實驗結果

該文使用Pytorch實現，Batch Size大小設置為10，激活函數選擇ReLU，由于使用遷移學習，所以學習率要設置的比較小，設為0.000 2。分割網絡與判別網絡均使用Adam優化算法進行優化。

表1列出了TLMDB GAN、TLBSN、U-net網絡和研究左心室分割的文獻[10,23]的方法在文中數據集上得到的實驗結果。由表1結果能夠看出TLMDB GAN分割內膜和外膜的Dice系數分別為0.939 9和0.969 7，相比其他方法高出0.01；在Jaccard系數和Sensitivity系數上均超過了其他方法，達到了當前最高精度，比其他方法高出0.02。

表1 Cardiac MRI數據集的實驗結果

由表1結果可知，相較于其他方法，文中方法的分割結果更接近于專家手動分割結果，證明了其有效性。

3 結束語

針對左心室分割數據集有標注圖像較少時出現的分割精度較低、學習困難等問題，提出了一種基于遷移學習的心臟MRI圖像左心室分割方法。該方法使用全卷積神經網絡在自然數據集進行訓練，用學習到的特征信息調整網絡參數，再將這些網絡參數遷移至分割網絡用來訓練Cardiac MRI數據集，在此基礎上對網絡進行微調以學習更精確的細節特征。通過多尺度的判別器提取不同層之間的特征監督分割網絡更好地學習局部與全局信息。

實驗結果表明，該方法在左心室MRI圖像分割中，分割精度獲得了較大的提升。但是這種方法使用大量的自然圖像會導致網絡對圖像特征進行誤判，影響了分割精度，因此如何解決這個問題將是下一步的研究方向。