基于Non-local的腰椎間盤突出患者多裂肌分割方法

李 夏 ,胡 巍 ,王子民

(1.桂林電子科技大學(xué) 計算機與信息安全學(xué)院,廣西 桂林 541004;2.桂林市人民醫(yī)院 脊柱骨病外科,廣西 桂林 541004)

腰椎間盤突出癥(lumbar disc herniation,簡稱LDH)是臨床上常見的腰腿痛疾病。影像學(xué)研究表明[1-2]:慢性腰痛患者多裂肌的厚度和橫截面積明顯減少,多裂肌的脂肪含量明顯高于無腰痛的患者;慢性腰痛患者有多裂肌萎縮的情況,多裂肌的萎縮程度與病程和疼痛相關(guān)[2-3]。由于磁共振(magnetic resonance imaging,簡稱MRI)圖像的對比度低,脊柱和周圍結(jié)構(gòu)之間的界限不清楚,圖像數(shù)據(jù)的爆炸性增長等原因,人工閱片的缺點也逐漸顯現(xiàn)。因此,使用計算機自動識別多裂肌的病變部位,即多裂肌脂肪浸潤部位,輔助LDH 分析尤為重要。

傳統(tǒng)的圖像分割方法包括閾值法[4-5]、區(qū)域生長分割算法[6-7]和基于活動輪廓的分割算法[8]等。但隨著處理圖像數(shù)量的增加,分割耗時長,且易出現(xiàn)分割不足或分割過度的情況。

隨著計算機技術(shù)和人工智能技術(shù)的發(fā)展,醫(yī)學(xué)圖像處理方面出現(xiàn)了許多新的研究成果。2015 年,Long等[9]提出了用于圖像分割的全卷積網(wǎng)絡(luò)(fully convolutional network,簡稱FCN),該網(wǎng)絡(luò)用卷積層替換全連接層,并使用上采樣操作恢復(fù)圖像的維度。Ronneberger等[10]提出了采用編碼器-解碼器結(jié)構(gòu)的U-Net,還提出了跳躍連接,通過上采樣的特征映射連接到相應(yīng)的編碼器部分,用于語義信息的傳遞。Milletari等[11]提出了適用于三維圖像分割的V-Net網(wǎng)絡(luò),通過引入殘差結(jié)構(gòu)來避免梯度消失,加速網(wǎng)絡(luò)收斂。Zhou等[12]提出了U-Net++網(wǎng)絡(luò),將1到4層的U-Net全部連接在一起,讓網(wǎng)絡(luò)自動學(xué)習(xí)不同深度的特征。申亮亮等[13]提出了基于SOM-FCM 的腦腫瘤圖像分割算法。Tang等[14]開發(fā)了一種雙重緊密連接的U 形神經(jīng)網(wǎng)絡(luò),對CT圖像中的椎管、硬膜囊和椎體進行分割,以幫助診斷腰椎管狹窄癥。Kafri等[15]通過SegNet網(wǎng)絡(luò)對腰椎MRI進行語義分割來檢測腰椎管狹窄。DCSAU-Net[16]是用于醫(yī)學(xué)圖像分割的更深層次、更緊湊的分裂注意力U 型網(wǎng)絡(luò)。吳相遠等[17]提出了一種基于U-Net++的脊椎MRI圖像分割方法。上述方法解決了細節(jié)分割的問題,但在分割過程中出現(xiàn)了不同層次的圖片特征融合問題。Gu等[18]提出了CE-Net網(wǎng)絡(luò),該網(wǎng)絡(luò)用ResNet[19]作為特征提取器,引入了密集空洞卷積和殘差多尺度池化幫助融合信息,有效提高了分割效果。MA-Unet[20]是一種基于多尺度和注意力機制的醫(yī)學(xué)圖像分割方法,通過注意力機制將局部特征與其相應(yīng)的全局依賴性相結(jié)合,從而挖掘全局上下文信息。Su等[21]提出了用于醫(yī)學(xué)圖像分割的多尺度UNet(MSU-Net),該網(wǎng)絡(luò)對U-Net網(wǎng)絡(luò)的卷積塊進行了調(diào)整,將多個具有不同感受野的卷積序列組成多尺度塊,使網(wǎng)絡(luò)從圖像中獲取更多樣化的特征信息和更好的特征圖。Sinha等[22]使用引導(dǎo)式的自注意力機制來獲取更豐富的上下文依賴關(guān)系,該方法能夠?qū)⒕植刻卣髋c其對應(yīng)的全局特征結(jié)合起來,并以自適應(yīng)的方式顯示相互依賴的通道映射。基于U-Net[23]的網(wǎng)絡(luò)的連續(xù)池化和卷積會降低圖像的分辨率,導(dǎo)致部分空間信息丟失,難以提取更多的特征,從而導(dǎo)致分割精確度較低。

1 本方法

基于Non-local的腰椎間盤突出患者多裂肌分割方法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。首先以U-Net網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)并進行修改,網(wǎng)絡(luò)的編碼器由4個混合池化卷積組成,在網(wǎng)絡(luò)的中間部署了一個由2個級聯(lián)卷積組成的卷積模塊。解碼器由4個卷積模塊組成,每個模塊由Non-local模塊和一個3×3的卷積構(gòu)成。

圖1 基于Non-local的腰椎間盤突出患者多裂肌分割方法的網(wǎng)絡(luò)結(jié)構(gòu)

1.1 混合池化卷積模塊

由于連續(xù)的下采樣操作會降低特征圖的分辨率,同時也會降低全局特征與局部特征間的相關(guān)性。為了提高全局特征與局部特征間的相關(guān)性,構(gòu)造了混合池化卷積模塊(hybrid pooling convolution,簡稱HPC)來代替?zhèn)鹘y(tǒng)的卷積模塊。編碼器部分由4個混合池化卷積模塊組成。混合池化卷積模塊由1個卷積模塊和2個并行的下采樣分支組成,如圖2所示。首先,輸入圖經(jīng)過2個卷積層,然后輸入2個下采樣分支。在第1個下采樣分支中,將特征圖輸入2×2的平均池化層(average pooling),再經(jīng)過2個卷積層的處理,將特征圖再次輸入2×2的平均池化層。在另一個下采樣分支中,首先經(jīng)過2×2的最大池化層(max pooling),再經(jīng)過2個卷積層的處理,將特征圖再次輸入2×2的最大池化層。最后,將通過2個下采樣分支得到的特征圖進行合并,作為下一階段的輸入。下采樣操作可降低圖像分辨率,并保留圖像重要信息,但池化操作在提取圖像特征的同時也會丟失部分特征。平均池化可保留背景信息,最大池化可提取特征紋理,將2個下采樣分支得到的特征圖進行融合,可保留更多信息,減少空間信息的丟失,增強了網(wǎng)絡(luò)提取特征的能力。

圖2 混合池化卷積模塊

1.2 Non-local模塊

Non-local[24]的基本思想是某像素點處的響應(yīng)是其他所有點處的特征權(quán)重和,將每個點與其他所有點相關(guān)聯(lián),最終實現(xiàn)每個像素的全局感受野。其結(jié)構(gòu)如圖3所示。第一步,輸入特征圖為C×H×W,C是特征圖的通道數(shù),H是特征圖的高,W是特征圖的寬。特征圖分別經(jīng)過3個1×1卷積核,將通道縮減為C/2,得到C/2×HW。第二步,將第2個分支矩陣進行轉(zhuǎn)置得到HW ×C/2,與第3個分支得到的結(jié)果C/2×HW進行矩陣乘法,得到HW×HW的矩陣,然后經(jīng)過softmax進行歸一化。第三步,將歸一化得到的結(jié)果與第一分支的矩陣C/2×HW進行矩陣相乘,得到C/2×HW的結(jié)果。第四步,對矩陣C/2×HW再使用一個1×1卷積核,將通道恢復(fù)為原來的C,得到C×H×W的特征圖,它與輸入特征圖形狀一致。最后,將兩者進行相加。

圖3 Non-local模塊

1.3 損失函數(shù)

損失函數(shù)為Dice Loss,其計算式為

其中:pi為預(yù)測分割的第i個像素;gi為ground truth的第i個像素。

2 實驗

2.1 數(shù)據(jù)集

通過收集醫(yī)院腰椎間盤突出患者的腰椎MRI圖像得到原始數(shù)據(jù)集。該數(shù)據(jù)集包含311名腰間盤突出患者的腰椎MRI圖像,突出的腰間盤位于L4～L5腰椎區(qū)域。由于圖像來自不同時期和不同設(shè)備,數(shù)據(jù)不一致,需對圖像做預(yù)處理操作。第一步,將所有圖像的分辨率統(tǒng)一為224像素×224像素;第二步,為了使實驗中使用的數(shù)據(jù)更可靠,刪除模糊不清的圖像;第三步,由于患者在拍攝過程中的不規(guī)則運動會導(dǎo)致圖像模糊,圖像中出現(xiàn)較多的噪聲干擾,通過高斯濾波器減少圖像噪聲;第四步,多裂肌和周圍肌肉的灰度值相差較小,對圖像進行自適應(yīng)直方圖均衡化,增強圖像的對比度,使分割更易于觀察;第五步,通過鏡像和旋轉(zhuǎn)圖像,得到含有1 244張圖像的數(shù)據(jù)集,其中984張用于訓(xùn)練,108張用于驗證,152張用于測試。原始圖像與預(yù)處理后的圖像如圖4所示。

圖4 原始圖像與預(yù)處理后的圖像

2.2 實驗設(shè)置

實驗的程序基于Pytorch框架實現(xiàn),操作系統(tǒng)為Ubuntu 16.04 64。優(yōu)化器為Adam,初始學(xué)習(xí)率為1×10-3,總計訓(xùn)練120個epoch。

以在脊柱多裂肌數(shù)據(jù)集測試集上的分割結(jié)果作為評價標(biāo)準(zhǔn)。為了評估不同方法的分割性能,采用的評價指標(biāo)為Dice系數(shù)(dice similariy coefficient,簡稱DSC)、JAC card index(JAC)和Hausdorff distance(HD)。DSC 用來衡量重疊程度,HD 代表ground truth與分割邊界之間所有最小距離的最大距離。DSC和JAC值越大,網(wǎng)絡(luò)性能越好;HD值越小,網(wǎng)絡(luò)性能越好。

1) DSC的計算式為

2) JAC與DSC的關(guān)系為

3) HD的計算式為

其中:p為預(yù)測分割的像素集;g為ground truth的像素集。

2.3 實驗結(jié)果與分析

將本方法與其他方法進行對比分析,可視化結(jié)果如圖5所示。從圖5可看出,本方法的分割精度優(yōu)于大多數(shù)現(xiàn)有方法。

圖5 本方法與其他方法的可視化結(jié)果對比

表1為本方法與其他方法的對比結(jié)果,相較于U-Net[10],本方法在DSC上提升9.5%,在JAC上提升了11.3%,在HD 下降了74.6%。相較于CENet[18],本方法在DSC上提升11.4%,在JAC上提升了13.7%,在HD 下降了71.8%。相較于MSUNet[21],本方法在DSC上提升2.2%,在JAC上提升了2.1%,在HD下降了34.8%。實驗結(jié)果說明,文中的分割精度優(yōu)于大多數(shù)現(xiàn)有方法。

表1 本方法與其他方法的對比結(jié)果

第二組實驗是針對各模塊對實驗的影響分析,實驗結(jié)果如表2所示。實驗數(shù)據(jù)表明,在編碼器-解碼器中分別引入混合池化卷積模塊(hybrid pooling convolution,簡稱HPC)和Non-local模塊,可以提高網(wǎng)絡(luò)的性能。

表2 各模塊對實驗的影響

3 結(jié)束語

提出了基于Non-local的腰椎間盤突出患者多裂肌分割方法。一方面,將通過混合池化卷積得到的特征圖進行融合,可以保留更多的信息,增強了網(wǎng)絡(luò)提取特征的能力;另一方面,Non-local模塊將每個點與其他所有點相關(guān)聯(lián),最終實現(xiàn)每個像素的全局感受野。本方法優(yōu)于現(xiàn)有的大部分網(wǎng)絡(luò)框架,同時在分割可視化的結(jié)果上,本方法的分割精度優(yōu)于大多數(shù)現(xiàn)有方法。