增強現實技術在脊柱外科中的應用研究進展

劉書中，張海龍，余可誼*，王以朋*

(1.中國醫學科學院 北京協和醫學院 北京協和醫院 骨科,北京100730；2.吉林大學中日聯誼醫院，吉林 長春130033)

增強現實(Augmented Reality,AR)技術是虛擬現實(virtual reality,VR)技術的一種新興分支，AR技術可以將計算機產生的虛擬信息融合于真實場景中，即將虛擬場景、模型或系統信息與真實場景相疊加，從而在真實世界、虛擬世界和用戶之間搭建起一個交互平臺，以增強用戶體驗的真實感，體現了對現實環境的增強理念[1]。AR技術是虛擬現實技術的延伸，是在VR技術基礎上發展起來的圖形學領域新技術，其理論基礎包括顯示技術、跟蹤和定位技術、界面和可視化技術、校準標定技術，其具備真實性、實時互動性、實用性的典型特點[2]。AR通過計算機技術將虛擬的信息應用到真實世界，真實場景和虛擬信息實時疊加到同一個畫面或空間中并同時存在，再通過硬件和軟件系統的協調作用，使得身處其中的用戶可以以更加自然的方式與環境中的真實和虛擬物體進行三維實時交互[1,2]。AR對人的視覺系統進行了信息增強與擴張,信息的顯示與用戶的所見、所聞、所感有機結合，實現了虛擬信息與真實世界的無縫鏈接，具有較虛擬現實更廣闊的應用空間和研發潛力。近年來，脊柱外科手術技術獲得了突飛猛進的發展，但由于脊柱結構和功能的復雜性、脊柱?？萍膊〉亩鄻有裕涫中g風險和難度依然較高。AR技術的不斷發展和成熟，為制定脊柱外科手術規劃、模擬手術入路、降低輻射劑量、提高手術成效、降低手術風險以及訓練青年骨科醫師等創造了有利的條件。本文就增強現實技術在脊柱外科手術規劃及教學培訓中的應用做一綜述。

1 AR技術及其在骨科領域的應用概述

AR技術通過計算機圖形技術和可視化技術將虛擬對象疊加到真實環境當中,真實環境和虛擬對象實時地顯示在同一個空間內。AR技術作為一種新型人機界面形式，能為體驗者提供虛擬世界和真實世界相互混合、疊加增強的交互空間，可將抽象的信息與直觀具體的物理模型有機結合，為體驗者的交互提供了包括視覺、觸覺和本體感受等在內的感知與認知系統，使用戶能夠更自然、更精準、更高效地進行體驗、學習、操作[1,2]。

近年來，AR技術在社會各領域迅猛發展，其涉及的應用領域日益廣泛，包括建筑學、軍事、醫學、人工智能、體育、工業設計、心理學、機械動力學等[3]。AR技術在骨科領域中具有極為廣闊的應用前景，包括術前規劃、外科手術、技術培訓、康復訓練、自主學習等，并可帶來豐厚的經濟效益和社會效益，進而更大限度地節約社會資源和人力資源[4,5]。研究內容涉及脊柱外科、關節外科、骨科創傷、骨腫瘤外科、康復醫學、技術培訓等亞專業。通過AR技術輔助的骨科手術模擬系統，骨科醫師在進行復雜、高難度手術之前可以先進行模擬、訓練、交流，反復探討實際手術過程當中的手術入路、操作要點、高難度步驟等，然后將訓練成果與操作經驗運用到真實手術中，進一步優化手術方案。AR技術可在術中指導手術操作，其實質是系統根據解剖大數據和患者個體化影像學資料精確擬合成三維立體模型，術前把患者的X線、CT、MRI、SPECT/CT、PET-CT、PET-MRI等影像資料和數據輸入AR系統，手術中計算機根據數據生成的虛擬場景與術者所處的真實場景有機結合，通過軟硬件系統的協調作用，使術者以自然的方式在虛擬和真實場景中進行三維交互，術者能夠在AR系統的實時引導下精準地完成手術操作，使手術更加精準、微創，降低手術對全身內環境的干擾和所造成的局部創傷，減少術中醫患雙方接受的放射劑量，提高手術治療的效果。此外，青年骨科醫師、研究生、醫學生也可以通過AR系統進行手術操作的學習、模擬和培訓。

2 AR技術在脊柱外科中的應用

2.1AR技術在脊柱外科中應用的優勢

AR技術將患者術前的影像學資料(如X線、CT、MRI、磁共振血管造影MRA、血管成像CTA、數字減影血管造影DSA、SPECT/CT、PET-CT、PET-MRI等)數據輸入工作系統中進行處理、分析、整合、輸出，形成個體化、客觀、精準的三維模擬圖像，以保證擬合出的三維圖像與手術中實際的解剖位置關系高度一致。再通過配準技術將虛擬和真實物體進行精確重疊并呈獻給術者，其疊加圖像清晰度高、分辨率高、結構化示圖、立體感強，術中可協助術者實時、快速、準確地識別解剖結構及其位置關系，分析病變特點及手術切除范圍，并可進行交互操作，可取得良好的手術效果。此外，術前通過AR系統對脊柱外科手術中涉及到的重要解剖結構(椎體、椎體附件、脊髓、韌帶、瘤體、神經、肌肉、血管、周圍組織、周圍重要臟器等)用不同顏色進行標識、匹配、呈現，從而更加準確、直觀地識別術野、確定手術路徑，提高手術的精準度和安全性，大大降低副損傷及其他并發癥的發生風險，由于手術時間的大大縮短，術者及患者所接受的放射線劑量也大大降低。

在脊柱外科領域，由于脊柱脊髓等重要解剖結構的復雜性，加之脊髓損傷的不可預見性，脊柱外科手術操作中極易造成神經和血管等重要結構的損傷，精準定位是脊柱外科手術的重點和難點，直接關系到手術操作的難易程度、手術時間長短以及手術療效優劣。利用AR技術進行個體化內固定物設計、模擬和置入，指導脊柱外科手術中穿刺針、穿刺套管或內固定置入物的精準置放，評估手術操作的精確性及手術治療的效果，可有效提升手術的精確性、安全性，縮短手術時間，減少術者與患者的輻射接收量[4,5]。在脊柱手術中，AR技術可協助完善脊柱立體概念，利用數字化技術、三維建模技術和術中導航技術，制定個體化的術前規劃，最大限度地降低手術的難度和風險，減少醫患雙方的輻射暴露，在脊柱外科中可根據脊柱的三維形態學信息，通過運動范圍模擬、術中定位和跟蹤，對選擇手術入路、提高定位的精度意義重大，亦有利于提高內置物的使用壽命[5]。在脊柱外科的康復治療中，AR技術可以日常常規動作為基礎，為患者的康復訓練提供可重復進行的目的性主動運動，有效喚醒神經元的功能，促使大腦對動作質量進行校對，最終恢復一定的運動功能并建立新的代償，實現功能重塑從而改善肢體運動能力和不適癥狀[5]。同時，多項研究表明AR技術在脊柱外科理論知識和實踐能力的自主學習、教學培訓過程中發揮著重要作用。

2.2AR技術在脊柱外科中應用的實例

隨著AR技術的發展，其在脊柱外科手術規劃、術中導航、骨科康復、教學培訓等方面展現出廣闊的發展空間及應用前景。隨著脊柱微創手術技術的發展衍進，基于AR技術的手術導航系統已逐步應用于脊柱微創手術當中，并具有較高的可行性、準確性和安全性。Elmi-Terander等[6]認為AR手術導航(augmented reality surgical navigation，ARSN)系統包含手術操作臺、可移動C型臂探測儀、術中2D/3D顯示裝置、AR技術所需集成光學鏡頭以及非侵入性患者體位運動感知裝置。在該項研究中，兩名術者分別在4具尸體模型上置入94枚胸椎椎弓根螺釘(其中一側均由兩名術者徒手置入螺釘，另一側由兩名術者在ARSN系統引導下置入螺釘)，研究表明相對于傳統螺釘置入技術，應用ARSN系統完成胸椎椎弓根螺釘置入具有更高的準確性(P<0.05)。Elmi-Terander等[7]進一步研究證實AR技術結合術中3D影像導航技術有望在胸腰椎椎弓根螺釘或穿刺針置入過程中替代術中X線攝片或透視，并且具有較高的準確度和安全性。Ma等[8]在研究中應用克氏針代替椎弓根螺釘，研究發現超聲輔助的AR脊柱手術導航系統可有效減少術中手術者及患者的接受輻射量，并且具備較高的置入精確度，該項技術有望在臨床中進一步開展。Wu等[9]認為在脊柱手術尤其是脊柱經皮椎體成形術中，利用AR技術可實現虛擬的3-D模擬人體圖像與患者真實人體的一體化呈現，既可提高穿刺套管置入位置的準確程度，同時也能減少操作時間，進而降低術者和患者的射線輻射量。但現階段的相關研究多選取虛擬人體模型、尸體模型、動物模型為研究對象，尚缺乏大樣本的臨床研究資料來深入闡明AR手術導航系統的重要臨床意義。陳宣煌等[10]采用Mimics軟件三維重建設計結合3D打印技術，設計了腰椎椎弓根螺釘置釘通道和支撐柱，在術中進行可視化導航置釘，其準確率可達97%，優良率達95%。

Fritz等[11]前瞻性地評估一種新型MRI引導下、可用于脊柱穿刺導航的增強現實圖像疊加系統。評價指標包括穿刺點位置誤差、角度誤差、深度誤差、目標位置誤差，實驗結果表明在60次穿刺過程中操作精度為1.6±0.8 mm，角度誤差為1.6°±1°，深度誤差為0.7±0.5 mm，目標誤差為1.9±0.9 mm。所有解剖目標均穿刺成功(包括20個關節面、20個椎間隙和20個椎管區域)，進一步證實了MRI引導增強現實圖像疊加系統可有效提高腰椎手術的精確度，具有較為廣闊的臨床應用前景。Fritz等[12]進一步將增強現實導航系統與1.5 T磁共振系統有機結合，在12具人體尸體模型上進行增強現實MRI導航系統介導下脊柱腰骶部注射操作共187次(包括硬膜外注射、脊神經根注射、關節面注射、內側支阻滯、椎間盤造影)，結果表明增強現實結合MRI手術導航系統有助于提高脊柱注射操作的準確性。Weiss等[13]研究證實新型MRI引導下、可用于脊柱穿刺導航的增強現實圖像疊加系統可以用來成功地實現腰椎小關節內置物的高精度置入，具有潛在臨床應用價值，但尚需進行更為充分的臨床效果評估。譚海濤等[14]采用了CT連續掃描重建頸椎三維模型，設計與頸椎椎板相吻合的反向模板，模擬最佳螺釘置釘通道，采用該項導航模板輔助置入椎弓根螺釘164枚，未發生動脈、神經損傷等嚴重并發癥，且可提高頸椎置釘的精確度和安全性。Wang等[15]研究證實AR導航系統的使用可大幅度提高骶髂螺釘置入的精準度，進而有效降低周圍血管、神經等解剖結構損傷的發生率，有望成為經皮骶髂螺釘置入手術的有效輔助手段。張元智等[16]利用CT三維重建和逆向工程技術，對標準骶骨前后位進行多層分析，確定經皮橫向骶髂關節螺釘最優置釘通道，以此治療骶骨縱行骨折患者12例，未發生血管、神經損傷和螺釘松動等并發癥。

臨床中，脊柱節段封閉治療、經皮脊柱穿刺術、脊柱開放手術均需要對脊柱椎體水平進行精準確認，以利于有效和安全地完成操作。目前，臨床上多采用觸診及X線定位來對脊柱節段進行識別，操作繁瑣且耗費時間。Hetherington等[17]研究發現AR技術可以有效解決上述難題，研究者開發一種新型實時位置識別系統，該系統采用深度卷積神經網絡(convolutional neural network，CNN)技術對脊柱解剖結構的影像進行分類識別，自動識別并準確顯示椎體水平并生成圖像信息，投射于患者脊柱的相應水平對術者做出提示，準確率可達90%，并且識別所需時間得以大大縮短。Bisson等[18]將增強現實技術應用于椎間盤切除術中輔助定位，術者可利用AR技術為人體解剖結構添加注解，有助于術者精確定位，研究表明人體實際位置與三維重建圖像的標定誤差距離僅為1.0 mm，AR技術可有效輔助骨科醫師完成微創椎間盤切除手術。

在脊柱畸形的矯形手術方面，Kosterhon等[19]應用AR技術在術前將患者的脊柱CT、MRI等影像學資料輸入3-D可視化軟件系統進行整合、分析，模擬生成術中擬定的切除平面及截骨范圍并導出至導航系統內存儲，即可使術者在實際操作中根據術前設計的切除平面及截骨范圍有的放矢地完成既定手術，有效提高了手術的精準度和安全性，并大大縮短了手術時間。Kosterhon等[19]將該項技術成功應用在一位胸腰段脊柱先天性半椎體患者的手術中，半椎體切除與椎弓根螺釘置入均按照術前設置的手術方案完成，手術效果良好。該技術對于脊柱疾病(尤其是復雜畸形)的外科治療具有重要的指導意義，有著廣闊的應用前景。樊勇等[20]采用術前計算機軟件設計了擬定截骨區域、范圍，術中采用三維導航技術進行實時精確截骨矯形，可提高矯正胸腰段骨折術后繼發角狀后凸畸形手術的有效性和安全性，有效提高復雜脊柱畸形的手術治療效果。

隨著針對AR技術的研究不斷深入，AR不僅可應用于常見脊柱疾患的診療，對于脊柱原發腫瘤及脊柱轉移癌的優化微創診療也體現出了重要價值。Abe等[21]設計出一種新型增強現實技術輔助3D導航系統VIPAR，該系統可用于經皮椎體成形手術(percutaneous vertebroplasty，PVP)中穿刺套管的軌道設計及實時置入導航。在應用40具脊柱模型模擬進行的PVP穿刺過程中，VIPAR系統可顯著降低軸位及矢狀位上穿刺針置入角度與擬定置入角度之間的誤差。此外，研究者選取5位臨床上確診骨質疏松性椎體骨折患者施行VIPAR輔助PVP手術，進一步在臨床應用中證實了VIPAR系統輔助PVP手術的穿刺置管準確性，5例患者均未發生椎弓根破壞及骨水泥滲漏。Fritz等[22]以人體尸體模型為實驗對象，評估了AR技術輔助MR導航骨組織穿刺的精準度，研究結果表明該系統可有效提高尸體脊柱及骨盆部位骨性病變活檢的準確性，但囿于實驗對象的限制，尚需積累臨床資料進一步評估其效果。

近年來，多項研究發現AR技術有利于神經系統疾病患者的康復治療和訓練。Villiger等[23]研究發現虛擬現實技術強化的神經康復訓練可在一定程度上協助不完全性脊髓損傷患者恢復運動功能并改善疼痛癥狀，使其有望成為脊柱脊髓損傷患者康復訓練的有效工具之一，但尚需結合更多的臨床對照試驗結果加以論證。Im DJ等[24]研究表明3D可視化增強現實系統可用于老年人群的康復訓練中，具有增強肢體運動能力及平衡能力的功效。Ortiz-Catalan等[25]證實AR技術可用于幻肢痛的治療，是一種非侵入性、非藥物性、安全有效的治療手段。

3 AR技術在脊柱外科教學培訓中的應用

隨著脊柱外科診治技術的飛速發展，各種新興亞專業(如經皮脊柱內鏡、脊柱腫瘤、脊柱矯形等技術)逐步開展，也給青年骨科醫師等提出了更高水平的要求，需要更扎實地掌握骨科解剖、生理、病理、影像等專業知識，并能與臨床手術、病例特點、影像學資料等充分結合，進而為掌握操作要點、施行手術操作奠定良好的基礎。AR技術便捷、虛擬與現實場景相結合、節約資源、可重復應用等特點使其有望成為脊柱外科教學培訓及操作模擬中的新型手段，借助AR技術可提高脊柱外科醫師、青年骨科醫師、研究生和醫學生對醫學基礎理論的理解及對臨床技能的掌握。AR技術可以將脊柱外科中的系統解剖、局部解剖、生理、病理、影像、外傷、腫瘤、感染、血管、微創技術等教學模型融合在一個數據庫中存儲并實時呈現給體驗者，生成逼真的集視覺、聽覺、觸覺等多種感官在內的環境，增加了體驗者的主觀能動性，是對傳統醫學教學模式的有力補充。

AR技術能清晰、立體地呈現解剖結構及病變情況，明確毗鄰關系，提供給骨科醫師直觀、可視化操作環境，尤其是病灶影像解剖與實際解剖的對照與融合，傳統上對脊柱外科醫師進行解剖訓練時，需要不斷地培養空間想象力，反復進行術前病灶影像資料的認識和理解，術中才能與真實解剖建立起合理的對應關系。隨著AR技術的應用，利用重建脊柱的三維立體結構，可以使青年脊柱外科醫師從多角度并直觀地在術中透視病灶與血管神經的位置關系，促進了青年醫師的成長。Luciano等[26]提出具有觸覺反饋作用的高分辨率增強現實模擬裝置有助于青年醫師學習、演練胸椎椎弓根螺釘置入操作。George等[27]提出了一種基于AR原理低成本的脊柱穿刺活檢手術操作培訓裝置，該系統可實時指導操作者完成擬定的脊柱穿刺活檢操作，最大限度地保證穿刺位置和角度的準確性。由于該裝置不需要借助于紅外跟蹤定位系統，使得該系統在教育和培訓方面具有更為突出的實用價值。Keri等[28]在研究中將24名住院醫師隨機分為兩組，結果發現應用超聲引導AR技術導航下的操作者相比于僅在超聲引導下完成的操作者，在完成異常結構脊柱模型穿刺的過程中其穿刺位置準確性顯著提高，穿刺時間顯著縮短。

文獻報道脊柱小關節綜合征可導致15-45%的慢性腰背痛，該病的治療主要依賴于小面關節注射藥物治療。但該項技術要求操作精度較高，操作者需根據超聲顯示的二維圖像來進行精細操作。因此，Moult等[29]將AR技術應用于脊柱關節面注射技能的指導和培訓，在對26名醫學生進行的訓練研究中，Moult等發現AR技術可顯著提高醫學生操作的精度和效率。Sutherland等[30]提出了一種以增強現實為原理、應用于脊柱穿刺導航模擬的觸覺仿真系統，該系統是由軀干模型、MicronTracker2光學跟蹤系統、幻影觸覺裝置和提供視覺反饋的圖形用戶界面所構成。該系統允許用戶在物理模型上進行模擬內置物置入操作，進而為臨床青年醫生提供了模擬真實手術場景的操作訓練機會。

因此，AR技術有效增加了青年骨科醫師動手操作、訓練的機會，極大地緩和了有限的醫療資源和實踐手術操作需求[31]。此外，AR技術亦可用于醫學院校組織的臨床操作考核等場景，AR系統不但有望替代監考教師對學生成績進行評分，還可以通過數據統計分析出學生失誤率、失誤具體行為、與標準操作對比差距等數據資料，進而更好地掌握體驗者學習與實踐過程中的問題所在。

4 AR技術在應用中亟待解決的問題

近年來AR技術在醫學領域飛速發展，也同時呈現出一些亟待解決的問題與不足[32,33]，如：(1)AR技術在脊柱外科領域仍處于起步階段，尚需進一步完善技術；(2)降低虛實場景之間的配準誤差，進一步提高精準度；(3)患者及儀器位置變換時的移位跟蹤問題；(4)建立規范、統一、完善的效果評估體系；(5)AR技術挑戰傳統的認知觀念與方式，普及難度偏大；(6)缺乏大樣本、高質量的臨床研究，尚需積累更多的研發經驗和臨床經驗；(7)臨床應用過程中所涉及的法律倫理問題。

5 小結與展望

綜上所述，AR技術是一項迅猛發展的高科技模擬手段，其最終目標是協助術者精準地規劃與模擬手術操作，使手術更加精準、微創，降低手術對全身內環境的干擾和造成的局部創傷，減少術中醫患雙方接受的輻射劑量，提高手術治療的效果。AR技術對脊柱外科手術規劃、手術操作、康復、教學培訓等領域有著重要價值。

隨著AR技術與骨科診療新技術的有機結合，其在脊柱外科疾病診斷、手術、教學、培訓等方面將發揮越來越重要的作用。應盡早建立并完善基于AR技術的手術導航和培訓系統，早日形成完善的效果評估體系，更好的增進體驗者對脊柱外科?？浦R的掌握，提高手術操作實踐能力，完善術前規劃，制定并完成更為合理、優化的手術方案，進一步促進青年醫師的培養與訓練。AR技術代表了今后脊柱外科乃至骨科的發展方向，是精準醫學發展的突出代表。我們相信隨著高性能AR系統的進一步研發及其臨床效果得到進一步證實，AR技術有望在脊柱外科領域展現出更為廣闊的應用前景。