基于深度學(xué)習(xí)的胰腺圖像自動(dòng)三維重建

紀(jì)建兵，張景林，楊媛媛

摘? 要： 胰腺圖像的三維重建對(duì)于輔助疾病診斷具有重要意義。提出一種全自動(dòng)的胰腺圖像三維重建方法，利用改進(jìn)的U-Net深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分割，并結(jié)合面繪制算法生成三維可視化模型。實(shí)驗(yàn)結(jié)果表明，該方法重建準(zhǔn)確度較高，執(zhí)行效率快，對(duì)輔助診療具有積極的作用。

關(guān)鍵詞： 胰腺; 深度學(xué)習(xí); 面繪制; 三維重建

中圖分類號(hào)：TP391.9? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2022）01-68-04

Automatic 3D reconstruction of pancreas image based on deep learning

Ji Jianbing1， Zhang Jinglin1， Yang Yuanyuan2

（1. College of Information Engineering， Fujian Business University， Fuzhou， Fujian 350012， China;

2. Department of General Surgery， Fujian Medical University Union Hospital）

Abstract： The 3D reconstruction of the pancreas images is of great significance for assisting disease diagnosis. A fully automatic 3D reconstruction method of the pancreas is proposed， which uses an improved U-Net deep learning network to segment the images， and creates a 3D visual model by surface rendering algorithm. The experiment results show that the proposed method has high reconstruction accuracy and fast execution efficiency. Therefore， it has a positive effect on assisting diagnosis and treatment.

Key words： pancreas; deep learning; surface rendering; 3D reconstruction

0 引言

胰腺癌的治療主要在于對(duì)局部腫瘤做有效的切除手術(shù)，但手術(shù)存在很大的風(fēng)險(xiǎn)。手術(shù)前讓病人做計(jì)算機(jī)斷層掃描（Computer Tomography，CT），對(duì)掃描圖像中的胰腺器官進(jìn)行三維重建，可以直觀地顯示出其立體空間結(jié)構(gòu)從而精準(zhǔn)判定出內(nèi)部的實(shí)際情況，這對(duì)于制定出有效的治療方案以及減少因判斷失誤造成的意外具有重要作用[1]。胰腺結(jié)構(gòu)復(fù)雜、形狀多變，利用Mimics、3D Slicer等軟件工具的人工重建方式存在很大的不確定性。因此，研究胰腺圖像自動(dòng)三維重建具有很強(qiáng)的現(xiàn)實(shí)意義，也是醫(yī)學(xué)圖像處理領(lǐng)域所關(guān)注的重要命題。

由于胰腺圖像的灰度信息難以概括出某種確定的屬性，通過(guò)閾值分割、邊緣檢測(cè)等傳統(tǒng)的圖像處理算法難以達(dá)到預(yù)期效果。近年來(lái)對(duì)胰腺圖像的自動(dòng)分割研究主要以深度學(xué)習(xí)技術(shù)展開[2]，其原理是通過(guò)構(gòu)建和訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像中的每一個(gè)像素進(jìn)行目標(biāo)和背景分類，從而完成整個(gè)序列圖像的分割。圖像分割結(jié)果僅顯示了二維層面的信息，無(wú)法全方位直觀地觀測(cè)到目標(biāo)的細(xì)節(jié)，因此還需要對(duì)分割后的結(jié)果進(jìn)行三維重建。面向醫(yī)學(xué)圖像的三維重建方法主要有面繪制[3]和體繪制[4]，其中體繪制方法存在計(jì)算量大、難以滿足實(shí)時(shí)性要求，而面繪制的方法只需要繪制出三維空間表面，因此成像速度快，更適合于胰腺圖像自動(dòng)三維重建的需求。

本文提出基于深度學(xué)習(xí)的胰腺圖像自動(dòng)三維重建工作系統(tǒng)。該系統(tǒng)利用改進(jìn)的U-Net[5]深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分割，并結(jié)合面繪制方法的移動(dòng)立方體（marching cube，MC）[6]算法對(duì)分割結(jié)果進(jìn)行三維重建。實(shí)驗(yàn)結(jié)果表明，所提方法重建速度快，準(zhǔn)確度較高，對(duì)手術(shù)引導(dǎo)具有積極作用。

1 基于深度學(xué)習(xí)的胰腺圖像自動(dòng)三維重建

1.1 方法流程

基于深度學(xué)習(xí)的胰腺圖像自動(dòng)三維重建整體流程如圖1所示。流程的關(guān)鍵節(jié)點(diǎn)在于圖像分割網(wǎng)絡(luò)的構(gòu)建及應(yīng)用。首先使用帶有胰腺真實(shí)標(biāo)記的CT圖像數(shù)據(jù)訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，然后通過(guò)已訓(xùn)練網(wǎng)絡(luò)對(duì)CT圖像中的胰腺進(jìn)行分割，最后將分割結(jié)果重建為三維模型。流程中對(duì)所有的CT圖像均采用統(tǒng)一的圖像增強(qiáng)方法進(jìn)行預(yù)處理。

1.2 圖像增強(qiáng)

由于CT圖像采集具體流程的差異，如采集設(shè)備及技術(shù)標(biāo)準(zhǔn)的不同等因素均會(huì)對(duì)成像產(chǎn)生全局影響，因此在將圖像數(shù)據(jù)導(dǎo)入深度學(xué)習(xí)網(wǎng)絡(luò)之前，需要使用圖像增強(qiáng)的手段對(duì)原始圖像做必要的統(tǒng)一處理，從而改善圖像視覺(jué)效果，便于網(wǎng)絡(luò)的分析和特征提取。

本文采用的圖像增強(qiáng)方式有灰度歸一化和直方圖均衡化。灰度歸一化算法為Max-Min歸一化，其本質(zhì)是將灰度值轉(zhuǎn)化為百分制的形式，可以避免過(guò)小值的像素點(diǎn)在深度學(xué)習(xí)網(wǎng)絡(luò)的計(jì)算中被忽略。直方圖均衡化用于調(diào)整圖像的灰階分布，通過(guò)提高圖像對(duì)比度來(lái)增強(qiáng)圖像細(xì)節(jié)，使網(wǎng)絡(luò)能更好地提取圖像特征。

1.3 胰腺圖像分割網(wǎng)絡(luò)

醫(yī)學(xué)圖像分割領(lǐng)域使用最為廣泛的深度學(xué)習(xí)網(wǎng)絡(luò)是由Ronneberger等人提出的U-Net，該網(wǎng)絡(luò)通過(guò)逐級(jí)的下采樣和上采樣，并在相同的層級(jí)上加入跳躍連接使得網(wǎng)絡(luò)在最終輸出的時(shí)候能夠同時(shí)考慮淺層信息和深層信息，因此對(duì)于大部分的圖像分割任務(wù)都能產(chǎn)生良好的效果。但由于胰腺在圖像中的占比小，以及位置不固定等原因，使用U-Net對(duì)胰腺圖像分割存在特征提取不充分和存在較多冗余信息，導(dǎo)致分割結(jié)果不夠理想。

為了獲得更好的胰腺圖像分割效果，本文在U-Net的基礎(chǔ)上進(jìn)行了分割網(wǎng)絡(luò)改進(jìn)。首先，在卷積單元中使用了由HE等人提出的殘差連接[7]，通過(guò)將處理前后的特征信息相加形成殘差卷積塊，使得網(wǎng)絡(luò)能夠保留更多的原始胰腺特征細(xì)節(jié)，從而豐富特征提取;然后，在跳躍連接中加入了由Oktay等人提出的注意力門控模塊[8]對(duì)冗余信息進(jìn)行過(guò)濾，使網(wǎng)絡(luò)能夠?qū)Ｗ⒂谝认倌繕?biāo)區(qū)域的學(xué)習(xí);模型最后的輸出由Sigmoid函數(shù)進(jìn)行歸一化，從而輸出每一像素的概率圖譜。網(wǎng)絡(luò)整體結(jié)構(gòu)如圖2所示。

在網(wǎng)絡(luò)模型訓(xùn)練過(guò)程中，由于胰腺區(qū)域和背景區(qū)域的像素量差異大，本文使用了Dice損失[9]進(jìn)行誤差計(jì)算，定義為：

[Loss=1-2×P×T+εP+T+ε]? ?⑴

其中P為網(wǎng)絡(luò)預(yù)測(cè)輸出的分類概率圖譜，[ Pi∈0，1]，T為真實(shí)標(biāo)記，[T∈0，1]，[?]為極小常數(shù)的平滑項(xiàng)，用于避免當(dāng)[P]和[T]都為0時(shí)導(dǎo)致分母為0的錯(cuò)誤。

1.4 基于MC算法的胰腺圖像三維重建

通過(guò)面繪制的三維重建是根據(jù)二維圖像序列生成可視化三維物體，得到的物體表面是一個(gè)閉合的灰度等值面。因此，使用MC算法實(shí)現(xiàn)胰腺圖像三維重建需要先將分割后的片層圖像組成三維數(shù)據(jù)場(chǎng)，然后提取出等值面，進(jìn)而繪制成三維可視化模型。算法的主要步驟是：

⑴ 將分割后的胰腺圖像序列按深度組成一個(gè)三維體數(shù)據(jù)，并將數(shù)據(jù)中兩組上下相對(duì)應(yīng)的四個(gè)頂點(diǎn)組成一個(gè)體元;

⑵ 通過(guò)體元中8個(gè)頂點(diǎn)的灰度值與給定閾值的關(guān)系狀態(tài)進(jìn)行查表（見(jiàn)圖3），得到等值點(diǎn)所在的邊編號(hào)，然后在邊上進(jìn)行線性插值得到等值頂點(diǎn)的坐標(biāo);

⑶ 用三角形將等值點(diǎn)連成三角面并以灰度差分法求取法向量，從而得到一個(gè)體元內(nèi)的等值面;

⑷ 把所有體元內(nèi)的等值面連接在一起，繪制出整個(gè)胰腺的三維可視化模型。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)在NIH胰腺公開數(shù)據(jù)集（CT-82）上進(jìn)行，該數(shù)據(jù)集共有82例有效3D腹部CT數(shù)據(jù)，掃描的分辨率為512×512像素，片層厚度在1.5mm至2.5mm之間，對(duì)影像數(shù)據(jù)中的胰腺區(qū)域進(jìn)行逐片層的人工標(biāo)注。該數(shù)據(jù)集是公開的，可用于方法評(píng)估。實(shí)驗(yàn)中將數(shù)據(jù)集解壓為二維圖像，隨機(jī)抽取70例用于模型訓(xùn)練，抽取12例用于結(jié)果評(píng)價(jià)。

2.2 評(píng)價(jià)指標(biāo)

評(píng)價(jià)指標(biāo)包括DSC（Dice Similarity Coefficient，集合相似度系數(shù)）、系統(tǒng)重建耗時(shí)以及與真實(shí)標(biāo)記重建結(jié)果的可視化對(duì)比。其中，DSC通過(guò)網(wǎng)絡(luò)預(yù)測(cè)的分割與真實(shí)標(biāo)記相交部分占總體的比值來(lái)衡量分割的準(zhǔn)確度，以P表示算法預(yù)測(cè)結(jié)果，Y表示真實(shí)標(biāo)記，則DSC定義為：

[DSC=2P∩YP+T]? ? ⑵

2.3 胰腺圖像分割結(jié)果

胰腺圖像的分割結(jié)果見(jiàn)表1。從表1可以看出，本文提出的分割網(wǎng)絡(luò)獲得了較高的分割準(zhǔn)確度，且相比標(biāo)準(zhǔn)U-Net，分割的平均DSC提高了10%，最好的分割結(jié)果提高了3.49%，在最差情況下的DSC仍高出11.48%。這些數(shù)據(jù)證明了本文對(duì)U-Net的改進(jìn)能夠更好的提高胰腺圖像分割的準(zhǔn)確度。

2.4 三維重建結(jié)果

胰腺圖像自動(dòng)三維重建結(jié)果與真實(shí)標(biāo)記的比較如圖4所示，圖中列出了測(cè)試集中3組典型樣本（CT-82中的第69、75和第77例）的重建結(jié)果對(duì)比。在結(jié)果較好的測(cè)試樣本中（如第69例），本文方法重建結(jié)果與真實(shí)標(biāo)記基本相同，且優(yōu)于使用標(biāo)準(zhǔn)U-Net的自動(dòng)重建;重建結(jié)果存在的較多誤差主要在于多預(yù)測(cè)了無(wú)關(guān)的組織（如第75例），其主要原因在于網(wǎng)絡(luò)存在多分割，但相比U-Net，本文方法的改善效果明顯，重建出的三維圖像主體明確，誤差明顯減少;而對(duì)于結(jié)果較差的樣本（如第77例），誤差主要表現(xiàn)在漏掉了一部份組織，但本文方法對(duì)于局部重建效果仍有明顯改善。因此，本文方法對(duì)于不同測(cè)試樣本的重建結(jié)果與真實(shí)標(biāo)記基本接近，能夠直觀反映出胰腺器官的實(shí)際情況，且三維重建結(jié)果優(yōu)于使用標(biāo)準(zhǔn)U-Net的方法，證明了本文方法的實(shí)用性。

表2中統(tǒng)計(jì)了通過(guò)兩組分割網(wǎng)絡(luò)進(jìn)行自動(dòng)重建的系統(tǒng)耗時(shí)。相比使用U-Net網(wǎng)絡(luò)，本文方法增加了1.2%的網(wǎng)絡(luò)大小，因此增加了少量的重建耗時(shí)，但沒(méi)有明顯影響到整個(gè)系統(tǒng)的計(jì)算效率。在效率最低的情況下，本文方法用時(shí)不到15秒即可完成整個(gè)CT樣本的自動(dòng)三維重建，證明了本文方法的高效性。

3 結(jié)束語(yǔ)

為更好輔助胰腺疾病診斷，本文提出基于深度學(xué)習(xí)的胰腺圖像自動(dòng)三維重建系統(tǒng)。利用改進(jìn)的U-Net網(wǎng)絡(luò)對(duì)CT圖像中的胰腺目標(biāo)進(jìn)行自動(dòng)分割，并結(jié)合MC算法實(shí)現(xiàn)三維重建。本文方法重建速度快，準(zhǔn)確度較高，能夠全方位、多角度地了解胰腺結(jié)構(gòu)，對(duì)輔助醫(yī)學(xué)診療具有積極作用。重建的準(zhǔn)確度與分割結(jié)果關(guān)系緊密，下步研究的重點(diǎn)是進(jìn)一步提升分割的準(zhǔn)確度。

參考文獻(xiàn)（References）：

[1] 周瑞泉，紀(jì)洪辰，劉榮.智能醫(yī)學(xué)影像識(shí)別研究現(xiàn)狀與展望[J].第二軍醫(yī)大學(xué)學(xué)報(bào)，2018.39（8）：917-922

[2] 曹正文，喬念祖，卜起榮，等.結(jié)合超像素和U型全卷積網(wǎng)絡(luò)的胰腺分割方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2019，31（10）：1777-1785

[3] 賀楠楠.醫(yī)學(xué)圖像三維重建面繪制算法研究[J].電腦知識(shí)與技術(shù)，2017，13（32）：210-211，213

[4] 易瑋瑋，陳子軒，徐澤楷，侯文廣.一種基于CPU的三維超聲圖像體繪制方法[J].生命科學(xué)儀器，2019，17（1）：32-36，31

[5] Ronneberger O，F(xiàn)ischer P，Brox T.U-net：Convolutional networks for biomedical image segmentation[J].CoRR abs/1505.04597（2015）

[6] rensen W E， Cline H E.Marching cubes：A high resolution 3D surface construction algorithm[J].Acm Siggraph Computer Graphics，1987，21（4）：163-169

[7] HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE，2016：770-778

[8] OKTAY O，SCHLEMPER J，LE FOLGOC L，et al. Attention?UNet：Learning where to look for the pancreas[EB/OL].[2019-04-13].https：//arxiv.org/pdf/1804.03999.pdf.

[9] Milletari F， Navab N， Ahmadi S A. V-net： fully convolutional neural networks for volumetric medical image segmentation [C]//2016 fourth international conference on 3D vision （3DV）. New York： IEEE，2016：565-571