混合現實技術在胰腺外科領域中的應用

翟建新 胡蘋蘋 楊超 王峻峰 晉云

1昆明理工大學附屬醫院 云南省第一人民醫院肝膽外科，昆明 650034；2云南省第一人民醫院數字醫學中心，昆明 650034

【提要】 混合現實技術是繼虛擬現實和增強現實技術之后出現的一種新的數字全息圖像技術，具有虛實融合、深度互動、實現異時空場景共存等特征，逐漸被各個學科所關注。近年來，隨著醫學數字技術的推廣發展，混合現實技術在醫學領域中的應用取得了很大的突破。本文主要介紹混合現實技術在胰腺外科尤其是教學領域中的應用現狀。

現階段無論是醫療技術的革新，還是臨床教學的發展，都越來越需要高新技術的加持。以虛擬現實(virtual reality, VR)、增強現實(augmented reality, AR)、混合現實(mixed reality, MR)技術為代表的智能化數字醫學技術迅猛發展，成功開啟了虛擬和現實的新紀元，使得醫療行為變得更加可視化。MR作為VR、AR從虛擬向現實的延伸，其突出的互動性特征在醫療場景中得到了充分的發揮，在解剖教學、醫療操作培訓、遠程醫療教育等方面發揮了巨大的潛力[1]，被選定為高等教育界最受關注的6項新興教育技術與實踐之一[2]。從2014年起，我國住院醫師規范化培訓制度建設正式啟動后，臨床教學規范化受到了越來越多的重視，傳統的醫學教育模式已不能滿足多樣化的現代醫學教育需求，MR技術利用其立體性、交互性、互動性特點，在心胸外科[3]、骨科[4]、肝膽胰外科[5]、泌尿外科[6]等臨床教學中的應用得到了業內人士認可。

一、MR 技術的概念

隨著計算機技術迅猛發展，“人機交互”學科建設取得了較為顯著的效果，如利用頭戴式設備，以純虛擬數字畫面代替現實世界的VR技術，以及將虛擬數字畫面疊加到現實世界中的AR技術，但二者均不能完成虛擬與現實之間的互動，MR很好地解決了這個問題。MR是在現實世界、虛擬世界和用戶三者之間搭建成具有真實性、互動性的可視化環境, 給用戶提供一種沉浸式體驗與交互，使用戶能夠通過縮放、設置透明化程度來突出重要方面而隱藏其他方面，并在物理世界中實現與數字世界交互，探索虛擬和現實的數字信息。

二、MR技術在胰腺外科領域中的應用

1．MR在胰腺解剖教學中的應用：胰腺屬于腹膜后位器官，位置深，周圍毗鄰的重要血管多，因此胰腺手術的要點及難點之一是術前腫瘤的精準定位，腫瘤位置不同，相對應的手術切除范圍也不同；難點之二是胰腺位置深，視野狹窄，周圍血管復雜，術中需依靠 CT、MRI 影像在醫師腦海中形成三維圖像來實施手術，做到R0切除的前提下保留更多的胰腺組織和避免損傷血管，以及預防胰瘺的發生[7]。傳統的胰腺解剖教學互動依靠教材、影像等在學生腦海中形成三維虛擬圖像，但鑒于上述胰腺解剖教學難點，學生很難形成直觀、深刻的認知，學習積極性不高。

經過多次改革和實踐，目前認為，相較于傳統的講授式教學，案例教學法(case based learning, CBL)聯合多學科診療(multi-disciplinary treatment, MDT)教學模式，可以顯著調動學生的主觀能動性，很大程度上提高了學員的學習興趣及實踐能力[8]。將MDT聯合CBL教學應用于胰腺癌專碩學生教學中，學生對于胰腺癌基礎理論理解更加深入透徹[9]；但CBL+MDT模式仍舊是以教授基礎理論為主，缺乏胰腺立體形象的直觀展示。將三維可視化技術應用于胰腺外科教學中，對于學生的臨床理論知識以及影像資料的理解有很大的提升[10]。尤其在以追求病灶清除、臟器保護和損傷控制為目標的精準外科的教學中，更需要數字化、個體化的虛擬解剖的靈活運用。將MR技術有效地結合到胰腺外科解剖教學中，很大程度解決了這一問題。基于三維可視化的MR技術允許教師任意添加胰腺三維可視化數字素材(虛擬解剖)到不同的物理空間(現實環境)中，學生可以多維度去觀察胰腺病變部位，對不需要的胰腺周圍解剖部分進行隱藏，實現輕松專注于特定的解剖部位，并使用縮放和添加不同顏色來辨別胰腺、占位病變以及脈管結構關系，增強器官的立體感，對學生的理解和記憶有很大的幫助。MR的應用不僅可以使學員通過視、觸、聽直接與胰腺虛擬解剖樣本和現實實物進行雙向互動，而且通過交互式應用多維度獲得胰腺相關解剖理論知識，并對相應的臨床技能有了初步的認識。國外有學者研究表明[11]，相較于傳統的人體解剖教學，將MR技術運用到解剖教學中可以有效減少教學時間。同時在這次席卷全球的COVID-19疫情中，美國學者Wish-Baratz等[12]發現，將MR技術運用到遠程解剖課堂中能夠極大地提高學生自主學習能力，學生可在線移動數字解剖模型進行學習。因此，將MR技術運用到胰腺解剖教學中將極大地提升教學效果。

2．MR技術在胰腺疾病診斷、術前手術規劃與模擬中的應用：MR利用其三維可視化特點，可以將胰腺周圍復雜的解剖結構直觀、清晰地展現在醫師眼前，通過體位的旋轉、不同解剖組織透視化程度的調整對比，清楚地將胰腺、占位病變部位、周圍血管及膽管的三維立體結構暴露出來，可準確顯示腫瘤的形態及侵及范圍，對于胰腺腫瘤的良惡性診斷以及侵犯程度的判斷有很大的幫助[13]。

3D打印技術可以實時全方位旋轉，清晰顯示腫瘤大小及與周圍血管、臟器空間毗鄰關系，還能行術前手術入路的多次演練，優化確定個體化手術方案[14]；但對于多個手術方案的演練，需要多個3D打印模型，造價高，打印時間長。而且3D打印多是一體化打印，很難拆分觀察腫瘤與血管關系，這是其未能在臨床培訓中心大規模普及的原因。

云南省第一人民醫院數字醫學中心自主開發的昆華微樂MR手術導航系統是基于zSpace技術開發的高精度、智能化系統，術前將薄層CT掃描的DICOM數據行三維重建，生成的可視化模型導入MR手術導航系統，該系統可實現術前顏色區分人體結構、改變臟器透明度、臟器切割、計算臟器體積、臟器內窺、臟器穿刺、三維消融等功能。利用三維空間坐標標記不同組織、器官的空間位置，添加多個數字操控手術器械，可以讓學生在術前進行預手術模擬，結合教師多維度的解析，行不同的手術入路方式，細化手術方案(圖1)。將模擬方案與術中主刀醫師實際操作相比較，總結自己的不足，真正調動學生的積極性，對提高學生的臨床操作能力有很大的幫助，同時也提高了手術小組醫師間的決策效率。

圖1 將三維重建模型導入到zSpace系統中，對不同組織設置透明度可清晰顯示胰腺鉤突占位性病變具體的位置(1A)；通過不同方位的旋轉、對不同解剖組織設置透明度對比，可清晰展示胰腺鉤突占位對門靜脈、動脈的侵犯以及腫瘤滋養動脈(1B、1C)；行不同的手術入路方式演練，精確計算出殘余胰腺體積(1D)

3．MR技術在醫患信息支持中的應用:醫患信息不對稱是導致醫患矛盾緊張的主要原因之一[15-16]。由于患者醫學知識的匱乏，往往對一些胰腺疾病認識不足，對醫師的期望過高。將MR技術運用到術前醫患病情溝通中，將患者與醫師同時置身于數字虛擬-物質現實空間環境里，通過對不同胰腺周圍解剖組織設置透明度，使患者能夠多維度了解胰腺占位病灶，對病灶有直觀、立體的認識；通過MR技術構建的手術環境，醫師對手術過程大致演練，配合講解，患者及其家屬可以對胰腺疾病以及治療方案有更加直觀、清晰的理解，對術中手術存在的風險也有了深度認識，很大程度上解決了醫患溝通矛盾[17]。同時，充分告知患者手術部位的恢復情況及預后，可緩解患者的術后焦慮心理，將會一定程度上縮短圍術期時間[18]。

近年來，國內已有手術中心將MR技術運用到胰腺外科圍術期，將計算機重建圖像與現實手術操作部位相融合，精準校對后，清楚地判斷出所需解剖的血管位置，對精確手術入路及達到理想解剖層面有十分重要的指導作用[19-20]。筆者所在數字醫學中心利用MR技術的跟蹤系統及圖像配準功能，將其運用于胰腺術中導航取得了良好的效果，對減少術中出血、保證術野清晰起到了很大的幫助(圖2)。Abhari等[21]研究也證明了MR技術在提高臨床醫師計劃腫瘤切除所需要的空間推理能力以及改善患者預后方面發揮重要作用。但MR技術所構建的數字虛擬圖像在術中導航時也會對手術區域有不同程度的遮擋，在因術中患者體位、氣腹壓、潮氣量改變造成相應器官的空間位置變化時，目前未能實現實時追蹤配準[22]。

圖2 胰頭占位性病變患者術前及術中混合現實技術運用情況。胰腺三維重建圖，可清晰顯示病灶和胰腺及周圍血管的關系(2A)；術中混合信息影像圖像與實際解剖結構配準，明確病灶的具體位置及胰管的走行(2B)；清晰顯示病灶及其周圍脈管走行情況，很大程度上減少解剖分離過程中出血(2C)；術中導航分離、結扎相應的血管(2D)

三、MR技術的未來與展望

MR技術臨床的應用仍處于起步階段，其未來的發展目標主要圍繞以下幾點：(1)MR技術的智能化，包括智能圖像配準以及跟蹤系統；(2)虛擬全息解剖影像信息實時動態與真實空間中的解剖病灶相融合；(3)多維觸覺反饋系統的升級；(4)與5G通訊以及機器人結合，實現遠程異地手術和遠程實例教學。相信不久的將來，胰腺外科專科人才培養建設將會有質的飛躍 ，胰腺外科也將真正邁入可視化、可量化、可控化的精準外科軌道。

利益沖突所有作者聲明無利益沖突