基于U型卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的前列腺癌影像重建模型在手術(shù)導(dǎo)航中的應(yīng)用

顏 野，夏海綴，李旭升，何 為，朱學(xué)華，張智熒，肖春雷，劉余慶，黃 華，何良華，盧 劍△

(1. 北京大學(xué)第三醫(yī)院泌尿外科，北京 100191； 2.同濟(jì)大學(xué)電子與信息工程學(xué)院，上海 400047； 3. 北京大學(xué)第三醫(yī)院放射科，北京 100191； 4. 北京理工大學(xué)計(jì)算機(jī)學(xué)院，北京 100081)

前列腺癌是男性生殖系統(tǒng)最常見(jiàn)的惡性腫瘤，占2018年全球新發(fā)癌癥病例的7%，同年全球前列腺癌相關(guān)死亡人數(shù)高達(dá)359 000人[1]。而在國(guó)內(nèi)，隨著前列腺特異性抗原(prostate specific antigen，PSA)篩查的普及，近10年來(lái)前列腺癌的發(fā)病率也逐年上升。目前腹腔鏡或機(jī)器人輔助下前列腺根治性切除術(shù)已經(jīng)非常成熟，但對(duì)于一部分腫瘤局部腺體外侵犯，或者局部腫瘤輪廓外突的患者，仍然存在切緣陽(yáng)性、直腸損傷、早期生化復(fù)發(fā)，甚至術(shù)后早期遠(yuǎn)處轉(zhuǎn)移的風(fēng)險(xiǎn)，威脅患者中遠(yuǎn)期存活[2-3]。高精度的器官重建，配合手術(shù)過(guò)程中的實(shí)時(shí)導(dǎo)航，將能夠準(zhǔn)確、及時(shí)地向術(shù)者反饋前列腺本身、腫瘤大小、位置以及周?chē)匾R近結(jié)構(gòu)的解剖關(guān)系，降低切緣陽(yáng)性率的發(fā)生，并能更精確地保留神經(jīng)血管束等功能性結(jié)構(gòu)[4]。

在泌尿外科領(lǐng)域，國(guó)外一些學(xué)者從2010年起即做出了開(kāi)創(chuàng)性的嘗試，圍繞CT數(shù)據(jù)對(duì)腎臟等腫瘤臟器進(jìn)行建模，或進(jìn)一步通過(guò)3D打印進(jìn)行術(shù)前及術(shù)中認(rèn)知輔助導(dǎo)航[5]。近年來(lái),隨著達(dá)芬奇機(jī)器人的應(yīng)用和TilePro多屏融合技術(shù)的推廣，一些團(tuán)隊(duì)已經(jīng)成功實(shí)現(xiàn)了增強(qiáng)現(xiàn)實(shí)同步導(dǎo)航[4]。國(guó)內(nèi)目前在前列腺腫瘤3D圖像重建和手術(shù)導(dǎo)航方面的探索還處于起步階段，有研究基于多參數(shù)磁共振進(jìn)行前列腺3D重建，從而輔助提高前列腺穿刺活檢的準(zhǔn)確度[6]。隨著深度學(xué)習(xí)研究的全面發(fā)展，特別是卷積神經(jīng)網(wǎng)絡(luò)的研究得到了越來(lái)越多的關(guān)注，已有部分學(xué)者應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)對(duì)前列腺CT或磁共振圖像進(jìn)行整體分割[7]。本研究根據(jù)臨床手術(shù)需求，應(yīng)用U型卷積神經(jīng)網(wǎng)絡(luò)(U-shaped convolutional neural network, U-net)對(duì)前列腺磁共振圖像進(jìn)行結(jié)構(gòu)化自動(dòng)化分割，應(yīng)用自主研發(fā)的算法進(jìn)行三維重建，輔助術(shù)前及術(shù)中認(rèn)知導(dǎo)航完成腹腔鏡前列腺癌根治術(shù)，以期降低圍手術(shù)期并發(fā)癥風(fēng)險(xiǎn)，提高患者的非特異性腫瘤生存率。

1 資料與方法

1.1 圖像獲取及參數(shù)

前列腺穿刺前行多參數(shù)磁共振檢查，使用西門(mén)子3.0T磁共振掃描儀，應(yīng)用腹部相控陣列線圈接受信號(hào)，掃描包括周?chē)⑹笭钗患肮跔钗豢焖僮孕夭?turbo spin echo，TSE)T2WI以及軸位T1WI。使用單次激發(fā)平面回波成像(echo planar imaging，EPI)序列進(jìn)行彌散成像軸位掃描，磁共振掃描儀自動(dòng)計(jì)算生成ADC圖像，導(dǎo)出1 mm厚度的薄層DICOM數(shù)據(jù)，應(yīng)用RadiAnt DICOM Viewer V4.6.5隱去患者基本信息，以用于后期自動(dòng)化分割。

1.2 構(gòu)建U-net用于前列腺磁共振圖像的精確分割

1.2.1U-net的結(jié)構(gòu)設(shè)計(jì) 在Ronneberger等[8]2015年提出的經(jīng)典U-net基礎(chǔ)上，通過(guò)適應(yīng)性改良，構(gòu)建了一套結(jié)構(gòu)簡(jiǎn)單、性能優(yōu)秀的U-net(圖1)。首先將320×320像素的原始磁共振圖像進(jìn)行中心剪裁，成為256×256像素的圖像輸入網(wǎng)絡(luò)(input image tile)。網(wǎng)絡(luò)的左側(cè)為壓縮路徑(contracting path)，是由最大池化(max pooling)構(gòu)成的一系列降采集操作。壓縮路徑由4個(gè)塊(block)組成，每個(gè)塊使用了3個(gè)有效卷積和1個(gè)最大池化降采樣，每次降采樣之后特征圖(feature map)的個(gè)數(shù)乘2，因此有了圖中所示的特征圖尺寸變化，最終得到了尺寸為16×16像素的特征圖。網(wǎng)絡(luò)的右側(cè)為擴(kuò)展路徑(expansive path)，同樣由4個(gè)塊組成，每個(gè)塊開(kāi)始之前通過(guò)反卷積將特征圖的尺寸乘2，同時(shí)將其個(gè)數(shù)減半，然后和左側(cè)對(duì)稱(chēng)的壓縮路徑的特征圖合并。壓縮路徑中的特征圖尺寸稍大，將其修剪過(guò)后進(jìn)行拼接。擴(kuò)展路徑的卷積操作依舊使用的是有效卷積操作，最終得到的特征圖尺寸是256×256像素。

圖1 改良U-net的架構(gòu)Figure 1 Modified U-net architecture

1.2.2網(wǎng)絡(luò)訓(xùn)練 為了能讓網(wǎng)絡(luò)有分離邊界的能力，我們?cè)O(shè)計(jì)了帶邊界權(quán)值的損失函數(shù)：

其中，p(X)是$$softmax$$損失函數(shù)，:Ω→{1,…,K}是像素點(diǎn)的標(biāo)簽值，ω:Ω∈是像素點(diǎn)的權(quán)值，目的是為了給圖像中貼近邊界點(diǎn)的像素更高的權(quán)值。

其中，ωc:Ω∈是平衡類(lèi)別比例的權(quán)值，d1:Ω∈是背景像素點(diǎn)到距離其最近的分割標(biāo)簽(label)的距離，d2:Ω∈則是背景像素點(diǎn)到距離其第二近的分割標(biāo)簽的距離。ω0和σ是常數(shù)值，在實(shí)驗(yàn)中ω0=10,σ≈5。反之，從分割標(biāo)簽像素點(diǎn)到其最近及次近的背景像素點(diǎn)，再做一次上述操作。由此給實(shí)際情況(ground truth)提供權(quán)重，如圖2中的C圖所示，顏色越亮表示權(quán)重越大，網(wǎng)絡(luò)如果在對(duì)應(yīng)像素處做出錯(cuò)誤的決定時(shí)，其懲罰越大，從而可以大幅度提高邊緣分割的效力。

1.2.3解剖性結(jié)構(gòu)細(xì)分要求下的網(wǎng)絡(luò)改良 既往文獻(xiàn)報(bào)道將前列腺、精囊以及周?chē)苌窠?jīng)束作為一個(gè)整體進(jìn)行分割[9]，本研究為了滿足精細(xì)化手術(shù)導(dǎo)航的需求，對(duì)前列腺及其周?chē)噜徑Y(jié)構(gòu)(如雙側(cè)精囊腺以及直腸等)進(jìn)行了獨(dú)立化分割(圖2)。與傳統(tǒng)經(jīng)典型U-net相比，我們將“conv 3×3，ReLU”這一步優(yōu)化成“conv 3×3，batch normalization，ReLU”，以加快模型的收斂速度，并在一定程度緩解了深層網(wǎng)絡(luò)中梯度彌散的問(wèn)題，從而使得訓(xùn)練深層網(wǎng)絡(luò)模型更加容易和穩(wěn)定。另外，我們對(duì)ωc(X)進(jìn)行了開(kāi)平方根處理，從而使得網(wǎng)絡(luò)學(xué)習(xí)時(shí)既有側(cè)重，又不至于對(duì)背景過(guò)于忽視；同時(shí)，對(duì)ground truth中分割類(lèi)別輪廓的兩側(cè)都進(jìn)行權(quán)重的加強(qiáng)，并通過(guò)調(diào)整加強(qiáng)的程度，使得內(nèi)側(cè)的強(qiáng)度更大，這樣訓(xùn)練結(jié)果傾向于偏大的輪廓，在實(shí)際導(dǎo)航應(yīng)用中起到有效降低切緣陽(yáng)性的作用。需要特別指出的是，結(jié)合既往經(jīng)驗(yàn)，U-net通常僅需要數(shù)十幅圖像通過(guò)數(shù)據(jù)擴(kuò)增即可達(dá)到數(shù)百幅圖像，獲得良好的分割效果，本研究采用的訓(xùn)練集約含有201例病例(每例含有24～30幅圖像，共約5 000幅圖像)，為保證本研究網(wǎng)絡(luò)的真實(shí)可靠性而放棄了任何形式的數(shù)據(jù)擴(kuò)增，所有訓(xùn)練都基于原始圖像分割。

A, original magnetic resonance images; B, human segmentation; C, priority assignment; D, U-net segmentation圖2 U-net進(jìn)行前列腺及相鄰結(jié)構(gòu)分割示例Figure 2 U-net auto segmentation for prostate with adjacent structures

1.2.4網(wǎng)絡(luò)性能 對(duì)含有98例前列腺癌多參數(shù)磁共振圖像數(shù)據(jù)的測(cè)試集應(yīng)用中，在沒(méi)有任何預(yù)處理的情況下，我們用改良的U-net進(jìn)行自動(dòng)化分割，并計(jì)算翹曲誤差(warping error)、蘭德指數(shù)(Rand error)和像素誤差(pixel error)，本研究的網(wǎng)絡(luò)取得了0.000 340的翹曲誤差和0.036 0的蘭德指數(shù)，且Dice相似度系數(shù)達(dá)到90%，與人工分割和應(yīng)用既往報(bào)道的反卷積網(wǎng)絡(luò)分割性能對(duì)比見(jiàn)表1。通過(guò)人工校對(duì)發(fā)現(xiàn)，由于網(wǎng)絡(luò)設(shè)計(jì)了雙向邊界權(quán)重加強(qiáng)，因此，對(duì)體積相對(duì)微小結(jié)構(gòu)的分割存在一定程度的低效，例如神經(jīng)血管束及背靜脈復(fù)合體。

表1 U-net性能與其他分割效果對(duì)比Table 1 Comparison of U-net performance with other segmentation methods

1.3 高精度3D重建

將上一步全自動(dòng)U-net分割獲得的數(shù)據(jù)導(dǎo)入醫(yī)學(xué)影像處理交互平臺(tái)(Medical Image Interaction Tool Kit，MITK)[10]，以邊界輪廓線基本算法為核心編寫(xiě)三維重建算法進(jìn)行三維重建，由于磁共振原始數(shù)據(jù)層厚為5 mm，為提高視覺(jué)觀感，將重建后圖形進(jìn)行高斯平滑處理，平滑系數(shù)0.3，迭代10次，又因?yàn)槎啻纹交笃鞴袤w積坍縮，再進(jìn)行3.5%的整體放大以補(bǔ)償，最后將各部分結(jié)構(gòu)數(shù)據(jù)以獨(dú)立STL格式文件輸出。

1.4 術(shù)前認(rèn)知輔助及術(shù)中實(shí)時(shí)認(rèn)知導(dǎo)航

將STL數(shù)據(jù)導(dǎo)入安卓平臺(tái)平板，應(yīng)用STL Viewer V2.0 進(jìn)行瀏覽，要求術(shù)者術(shù)前結(jié)合磁共振對(duì)前列腺3D模型結(jié)構(gòu)進(jìn)行學(xué)習(xí)。術(shù)中助手根據(jù)手術(shù)視角，操控3D模型進(jìn)行實(shí)時(shí)展示。術(shù)者結(jié)合平板展示的3D模型，進(jìn)行精細(xì)結(jié)構(gòu)的分離與操作。

2 結(jié)果

腫瘤可視化演示如下。男性患者，73歲，體檢發(fā)現(xiàn)總前列腺特異性抗原 (total PSA，T-PSA)30.0 ng/mL，游離前列腺特異性抗原(free PSA，F(xiàn)-PSA) 3.87 ng/mL，F(xiàn)/T=0.13；磁共振結(jié)果提示，腫瘤主要分布于腹側(cè)，基底部腫瘤向上方突出，局部包膜模糊，考慮腺外侵犯可能(圖3)。穿刺提示7/14針陽(yáng)性，前列腺腺泡癌，Gleason評(píng)分4+5=9分；骨掃描陰性；臨床分期cT3aN0M0。手術(shù)順利完成，手術(shù)時(shí)間165 min，失血50 mL，術(shù)中因粘連嚴(yán)重，未保留雙側(cè)神經(jīng)血管束，術(shù)后留置尿管,2周后拔除，可自主控尿。患者總住院時(shí)間7 d。術(shù)后病理提示：前列腺腺泡癌，主要分布于腹側(cè)偏基底部分，累及左、右葉，基底部腫瘤凸向左上方，切緣陰性，清掃淋巴結(jié)陰性，Gleason 評(píng)分5+4=9分。全病理切片癌灶與3D重建模型高度吻合(圖4)。

圖3 患者前列腺磁共振T2WI圖像Figure 3 T2WI images of demo patients

A, U-net segmentations on original magnetic resonance images; B, left sagittal view of auto reconstructed 3D model; C, axil view of 3D model (cephalad to caudal); D, gross specimen (cephalad to caudal)圖4 分割重建實(shí)體標(biāo)本Figure 4 Segmentation, reconstruction model and gross specimen

3 討論

近年來(lái)，隨著深度學(xué)習(xí)研究的流行，卷積神經(jīng)網(wǎng)絡(luò)得到了廣泛關(guān)注。Lecun 等[11]于1998年首次提出利用多層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)手寫(xiě)字符的判別，這是卷積神經(jīng)網(wǎng)絡(luò)用于圖像處理的基石。經(jīng)過(guò)了幾十年的發(fā)展，越來(lái)越多的學(xué)者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到醫(yī)學(xué)影像數(shù)據(jù)處理中，通過(guò)“預(yù)先訓(xùn)練+結(jié)構(gòu)微調(diào)”的方式完成影像學(xué)器官的分割與識(shí)別[12]。Korez等[13]應(yīng)用三維卷積神經(jīng)網(wǎng)絡(luò)，對(duì)磁共振圖像的椎體進(jìn)行了分割。Brosch等[14]應(yīng)用深度三維卷積網(wǎng)絡(luò)，進(jìn)行多尺度特征融合，進(jìn)而對(duì)多發(fā)性硬化癥的病灶進(jìn)行了分割。Ranneberger等[8]提出了U-net，對(duì)海拉(HeLa)細(xì)胞懸浮液的病理壓片進(jìn)行了很好的細(xì)胞壁結(jié)構(gòu)分割。Martínez等[15]在Bayesian框架下，使用了預(yù)先設(shè)定的橢球形狀進(jìn)行約束，進(jìn)而對(duì)前列腺進(jìn)行分割。邵葉秦等[7]提出了基于隨機(jī)森林的算法，在CT影像上對(duì)前列腺進(jìn)行整體分割，取得了一定的效果。前列腺為一橢球型致密器官，與肌肉和筋膜密度接近，組織間對(duì)比度低，在傳統(tǒng)的CT影像上存在較大的分割困難。凌彤等[16]則利用U-net，綜合應(yīng)用CT與MR-T1WI數(shù)據(jù)，結(jié)合各自的優(yōu)勢(shì)，提高了3%的Dice(89.59%)分割精度。詹曙等[9]則基于50個(gè)樣本的訓(xùn)練集，利用反卷積神經(jīng)網(wǎng)絡(luò)對(duì)前列腺T2WI磁共振圖像進(jìn)行分割，取得了Dice相似性系數(shù)大于89.75%的效果。

既往的研究主要對(duì)包括前列腺、精囊腺、前列腺周?chē)窠?jīng)血管束等鄰近結(jié)構(gòu)在內(nèi)的整體器官進(jìn)行一體化分割，而臨床工作中，特別是前列腺癌根治手術(shù)中，臨床醫(yī)生更需要知道前列腺腫瘤和神經(jīng)血管束位置、前列腺與直腸是否粘連、精囊腺是否被侵犯等復(fù)雜的相對(duì)位置信息。本研究以此為切入點(diǎn)，提出了以臨床需求為導(dǎo)向的區(qū)域化多結(jié)構(gòu)精細(xì)自動(dòng)分割理念。通過(guò)既往的一套基于201例訓(xùn)練樣本的成熟U-net，實(shí)現(xiàn)前列腺腺體、主要瘤體、精囊腺、直腸和神經(jīng)血管束等重要結(jié)構(gòu)的單獨(dú)分割，并通過(guò)進(jìn)一步的三維重建，直觀地顯示各部分結(jié)構(gòu)之間的相互關(guān)系以及腫瘤侵犯程度。

隨著影像掃描精度的提高，人體內(nèi)部結(jié)構(gòu)的成像越來(lái)越清晰，通過(guò)對(duì)影像數(shù)據(jù)的再挖掘，實(shí)現(xiàn)了器官和精細(xì)結(jié)構(gòu)的分割與重建。隨著材料技術(shù)的興起和3D打印技術(shù)的普及，一些學(xué)者將3D重建模型打印出來(lái)，幫助臨床工作者加深認(rèn)知，從而提高操作精確度和指向性，這種非實(shí)時(shí)性的輔助技術(shù)被稱(chēng)為認(rèn)知輔助導(dǎo)航。Ebbing等[17]將3D打印的模型展示給放射科專(zhuān)家，取得了19%的解剖認(rèn)知度提高。王燕等[6]應(yīng)用3D打印技術(shù)對(duì)行前列腺活檢的醫(yī)生進(jìn)行輔助認(rèn)知導(dǎo)航，將穿刺陽(yáng)性率從系統(tǒng)性穿刺時(shí)的22.4%提高到靶向穿刺時(shí)的46.2%。本研究應(yīng)用高精度3D重建技術(shù)，對(duì)術(shù)者進(jìn)行認(rèn)知導(dǎo)航輔助，在術(shù)前和術(shù)中對(duì)一個(gè)外生性的腫瘤進(jìn)行了很好的展示和理解，術(shù)中通過(guò)實(shí)時(shí)觀察比對(duì)，實(shí)現(xiàn)了高難度腫瘤的完整切除，保證了切緣陰性及手術(shù)安全。

但需要進(jìn)一步明確的是，認(rèn)知導(dǎo)航并不是完美的導(dǎo)航方案。從導(dǎo)航的角度出發(fā)，大致可以把導(dǎo)航分為三個(gè)階段：第一階段，術(shù)者進(jìn)行閱片，將斷層信息經(jīng)過(guò)大腦的主觀重建后，根據(jù)記憶擬合到手術(shù)場(chǎng)景中，這需要依賴(lài)于術(shù)者高超的空間位置重建能力，對(duì)術(shù)者本身的素質(zhì)依賴(lài)較大，且潛在的偏差也較大；第二階段，根據(jù)斷層信息，重建出3D數(shù)字模型或打印模型，能基本客觀地反映實(shí)際病變和器官的物理信息，術(shù)者通過(guò)術(shù)前學(xué)習(xí)3D建模或術(shù)中實(shí)時(shí)展示，將體外模型擬合到手術(shù)場(chǎng)景中，相較于第一階段，3D建模的出現(xiàn)替代了人腦建模，在準(zhǔn)確度、精確性、相對(duì)位置關(guān)系上更為客觀可靠，但仍需要人腦主動(dòng)擬合兩個(gè)場(chǎng)景的信息；第三階段，將高精度重建的三維模型，實(shí)時(shí)準(zhǔn)確地映射到手術(shù)圖像(場(chǎng)景)中，從而實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)同步導(dǎo)航，這一階段可以同時(shí)克服人腦重建和人腦擬合的不準(zhǔn)確性。國(guó)外的諸多學(xué)者已經(jīng)在增強(qiáng)現(xiàn)實(shí)技術(shù)方面進(jìn)行了開(kāi)創(chuàng)性的探索。Volonté等[18]應(yīng)用基于顯示屏圖像重疊的技術(shù)，實(shí)現(xiàn)了肝臟部分切除術(shù)的增強(qiáng)現(xiàn)實(shí)導(dǎo)航。在泌尿外科領(lǐng)域，Teber等[19]應(yīng)用增強(qiáng)現(xiàn)實(shí)技術(shù)，通過(guò)手工配準(zhǔn)的方式，完成了高難度的腎門(mén)部腫瘤腎部分切除術(shù)。Ukimura等[4]于2013年美國(guó)泌尿外科協(xié)會(huì)年會(huì)上率先展示了應(yīng)用TilePro多屏融合技術(shù)實(shí)現(xiàn)的增強(qiáng)現(xiàn)實(shí)同步導(dǎo)航前列腺癌根治術(shù)。而Porpiglia等[20-21]報(bào)道了利用高精度磁共振實(shí)現(xiàn)的超精準(zhǔn)三維重建(HA3D)增強(qiáng)現(xiàn)實(shí)導(dǎo)航技術(shù)，有效降低了包膜外侵犯病例的切緣陽(yáng)性率，同時(shí)將3D模型與全病理切片的誤差降低到了3 mm水平。

本研究整合了圖像分割、識(shí)別、配準(zhǔn)、3D重建、神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)、病理校對(duì)等多方面的技術(shù)與努力，但現(xiàn)實(shí)中面臨的不足在各個(gè)環(huán)節(jié)中都有所體現(xiàn)，例如分割環(huán)節(jié)，目前神經(jīng)網(wǎng)絡(luò)與人工圖像分割的精度匹配度不足90%，如何優(yōu)化算法，或者加入多模態(tài)信息，提高精確度，降低錯(cuò)配率，是所有工作的重中之重。再如術(shù)后病理切片，由于切割角度與實(shí)際磁共振掃描角度存在差異，同時(shí)考慮到包埋和固定脫水后組織形變的影響，如何將術(shù)后病理切片信息與影像信息精確匹配，也關(guān)系到分割算法的核準(zhǔn)可靠性。此外，從認(rèn)知導(dǎo)航到增強(qiáng)現(xiàn)實(shí)導(dǎo)航的跨越中，涉及到多屏融合、視覺(jué)實(shí)時(shí)反饋以及自動(dòng)配準(zhǔn)等技術(shù)難題，這些都有待我們進(jìn)一步的探索和開(kāi)發(fā)。