基于混合現實技術骨科教學模式的構建及應用

張里程 雷明星 張浩 魯通 尹鵬濱 劉建恒 陳華

隨著人工智能技術日新月異，混合現實技術（mixed reality，MR）備受關注。混合現實技術是一種全新數字全息影像學技術，是在虛擬現實技術（virtual reality， VR）和增強現實技術（augmented reality，AR）的基礎上進一步發展而來，可視為虛擬現實技術和增強現實技術的增強版[1]。混合現實技術在國內外醫學上的應用才剛起步，但運用前景令人矚目[2]，有可能將在臨床醫療、醫學教育、醫學科研以及醫患溝通等諸多領域帶來突破性革新[3-6]。目前，骨科教學培訓面臨諸多難題，教學環境不容樂觀，教學成本常年居高不下，教學成效也頗受影響。混合現實技術以其自身優勢和特點有望改善傳統骨科醫學教育中存在的缺陷，使骨科教學更加高效、精準和直觀。文章就混合現實技術在骨科教學培訓中的應用進行探討。

1 教學設計

1.1 教學病例的選擇

教學病例的選擇應達到以下標準：（1）為本專業的臨床常見病和/或多發病，可引出本專業的基本理論、基本知識或者基本操作技能；（2）教學病例必須兼備真實和完整性，同時具有一定的趣味性，能夠吸引學生的注意力；（3）病例中所涉及的問題具有進階性，基礎問題學生可通過老師演示和講解獲得理解和掌握；高級問題學生必須通過知識延伸、拓展、查閱輔助資料以圓滿解決。以此引導學生查閱英文原版教材和資料，了解本專業的新醫療、新技術，拓寬學生視野，提高學生醫學英語水平，激勵學生的前瞻性意識。（4）不同類別受教育者應個體化對待：本科生教學以基礎解剖教學為主，包括骨的形態、大體解剖以及運動系統的組成；研究生教學以骨科基本操作和一般手術教學為主，包括局部解剖形態以及骨科常規操作。規培生的教學則再進一步，以骨科力學穩定性分析、臨床分型以及復雜解剖關系為主。骨科專業以脊柱及四肢關節為主，同時涉及運動醫學和生物力學。根據上述原則，對于本科生教學推薦選擇簡單骨折進行教學，研究生教學推薦選擇脊柱畸形，關節周圍骨折進行教學，規培生則以復雜骨折脊柱畸形以及骨腫瘤病例進行教學。

1.2 混合現實教學模型的設計與制作

將CT/MRI設備采集到患者的DI-COM原始數據，導入Visual Volume三維重構軟件系統，制作出骨折、畸形及周邊解剖的三維病例模型（見圖1），并將STL格式的模型發布至混合現實影響系統星云MR云端協作平臺。利用Microsoft公司的HoloLens混合現實眼鏡，在MR技術星圖平臺支持下，老師與學生通過佩戴MR眼鏡針對病例的解剖，影像以及手術路徑的選擇等展開研究和討論（見圖2）。

圖1 構建脊柱混合現實解剖模型

圖2 髖臼骨折分型的混合現實教學

1.3 混合現實技術在骨科臨床教學中的應用方法

（1）課程頻率與學時：課程頻率：1次/周；學時：3～4個學時/次。

（2）課前準備：授課教師課前制定相關教學計劃，編寫2～3例經典教學病例，應包含患者影像學資料，設計與制作混合現實教學模型。此外，授課老師針對病例編寫中一些臨床實用性問題，引導學生進入診療情景，發散學生思維，了解他們對該疾病的多種診斷假設。學生們課前對對應患者進行病史咨詢，全面體格檢查，尤其是專科查體。自行整理病例，并對該疾病的治療進行最新科學英文文獻查詢。

（3）教學實施模式：①混合現實全息影像觀察：骨科模型以全息影像的方式進行呈現，可立體、空間、直觀或全角度觀察，也可進行放大、縮小、移動、旋轉以及改變各結構顏色、透明度進行觀察。②二維與三維疊加影像觀察：將原始CT/MRI影像與三維全息影像原位疊加觀察，可加深對二維影像平面結構的空間理解，冠狀面、矢狀面以及橫斷面任意切換。③混合現實技術與模擬人進行復合教學，按照虛擬模型與模擬人等比例復制，提高學習效率。④多人教學模式：多人處于同一網絡環境中時可在同一個虛擬空間下進行交互，通過第三視角錄制，大班課時可同時觀察示教者與全息模型。

（4）教學實施流程：首先，讓學生對患者的病史，體格檢查以及輔助檢查進行簡單匯報，老師進行補充與點評。而后，授課老師讓學生針對患者的臨床表現和影像學資料展開課間討論，對疾病做出診斷和鑒別診斷，并進一步提出下一步的檢查及治療方案。老師在這個過程中起引導作用，并不實質參與討論與點評。再后，學生討論獲得一致意見后，授課教師再取出事先準備的混合現實模型讓每個學生對其進行全方位的觀察，反思并修正之前所做出的診斷。通過對混合現實模型直觀地觀察，可了解病變的形態和位置，了解患者骨折、脊柱畸形的全貌。通過測量，選擇合適的手術入路，特別是選擇合適的內固定植入位置、角度和深度，以及內固定的尺寸。最后，通過混合現實模型讓學生在術前進行模擬預手術操作，制定出詳盡及個體化的手術方案，模擬手術操作過程，熟練關鍵手術步驟。

（5）課后總結：學生總結病例的重點與難點，授課教師進行補充修正，輔以介紹疾病相關最新診療技術進展。授課老師對授課效果進行評估，明確授課形式的優缺點。針對優點，繼續發揚光大；針對不足，是否可以采取相應措施進行補救與改進。學生們對課程進行溫習回顧，繼續深入挖掘問題，自行展開小組討論，不能解決的問題再次詢問老師的建議和解答。

2 結果

學生首先進行病史詢問、患者查體，結合影像學資料做出初步診斷和鑒別診斷，并給出治療方案。而后，再用學生運用病例的混合現實模型進行對比與反思，進一步明確或者校正之前的診斷。教學過程中，采用開放性思維，引導學生對患者的影像學資料有一個較深刻的了解，能基本掌握閱讀X線、CT和MRI等影像學資料。并且，通過能夠初步通過影像學資料判斷疾病的分型及嚴重程度。學生既往學習的是正常解剖結構，缺乏對病變骨骼結構的感性認識。通過混合現實模型的具體觀察，可以很清楚地了解病變結構的特點，還可以結合病變情況，對學生講解疾病發生的病因與原理。進一步，授課教師再對學生進行手術方法的講解與演示，學生可以在虛擬模型上進行手術模擬操作。混合現實技術使授課老師和學生穿梭在虛擬和現實環境，他們可對同一模型的進行學習和實時討論，彌補了解剖標本不足，場地限制等傳統的教學短板。此外，還能直觀地模擬各項臨床操作，最大程度減少對人體有害、有創和費用昂貴的操作，更加立體地進行信息交換，使學生理解解剖基礎知識顯得更為簡單而有效。通過運用混合現實技術進行骨科臨床教學實踐，學生普遍反映能直觀了解四肢、關節以及脊柱的解剖結構，以往難以掌握的關節周圍復雜骨折、脊柱腫瘤和脊柱畸形等知識點，通過該教學方法很快能熟識并加以應用。這讓醫學教育能擺脫場地的限制、大大提高了教學效果和學習效率。

3 討論

目前，骨科教學培訓面臨諸多難題，教學環境不容樂觀：（1）骨科專業本身解剖結構空間復雜，需要受教育者有良好的空間想象力；（2）人體實體標本短缺，成本高昂，尸體解剖并不能滿足教學要求；（3）理論教學與實踐操作脫節，缺乏以臨床診療為中心的理論融合手段。因而，教學成本常年居高不下，教學成效也頗受影響。混合現實技術以其自身優勢和特點有望改善傳統骨科醫學教育中存在的缺陷，使骨科教學更加高效、精準和直觀。

3.1 混合現實技術在骨科臨床教學應用中的優點

混合現實技術有三個主要的特征：（1）現實世界與虛擬世界結合：混合現實技術將現實世界的物理空間與虛擬空間放置于同一空間，兼備虛擬世界和物理世界的優勢，能夠營造出一種身臨其境的感覺，具有仿真性[7-8]。這種真實性在虛擬現實的基礎上又前進了一步：虛擬現實憑借電腦營造出一個虛擬空間環境，但是混合現實的空間是由虛擬空間和真實環境空間共同組成。因此，從感官上來講，混合空間更加具有真實感，能夠高緯度直觀立體觀察模型。醫學生們可以先在虛擬空間進行操作與培訓，避免在人體上直接進行有創嘗試。操作或培訓技術成熟后，再在人體上進行實時操作；（2）實時互動性：醫學生們使用混合現實技術并不是端坐一旁，靜靜地觀看設計者為他們提供的醫學模型。相反，醫學生們完全可以自由的在展示空間中活動，從任何一個角度觀看研究模型，并針對模型進行實時地模擬操作，操作的同時模型實時性地回應給操作者，增加了學習的趣味性。混合現實的互動性是建立在其真實性和實時性的基礎之上的。混合現實在既有的虛擬現實基礎上，還將感受延伸到具體可感的現實空間，成功地搭建起了虛擬世界與現實世界的橋梁。成功地實現了多人之間針對物理空間的虛擬模型進行實現交互交流[9-10]；（3）精確性：數字虛擬世界與物理真實世界融合的場景，真實物理空間與模擬空間精準匹配，學生們通過學習精準的醫學模型獲取醫學信息模擬空間實時精準與物理空間1∶1匹配，以獲取最直觀效果[11]。病變精確的定位及對暴露過程的引導至關重要，已有不少研究將混合現實技術運用于骨科的手術導航，均收獲了良好的效果；（4）廣泛性：每一個臨床經典案例都可以通過三維建模的方式制作成混合現實教學案例，省卻了實體模型制作的繁瑣流程，教學更加方便、經濟。

3.2 混合現實技術在骨科臨床教學應用中的不足

混合現實技術在骨科臨床教學的應用仍存在不足：（1）價格較昂貴：目前混合現實技術的輔助裝備價格不菲[7]，并沒有完全普及開來，因此不太可能讓每個學生都去具體操作演練。多由指導教師根據混合現實模型具體講述手術的方法，這在一定程度上可能會對教學效果產生影響，學生本質上獲得的動手機會并沒有增加；（2）沒有觸覺感知：目前的混合現實還是只限于視覺模擬，對于觸覺等其他感覺的強化還沒有相關報道。也就是說，在模擬手術操作的時候，并沒有觸感，這導致模擬的手術與真實手術過程的體驗仍存在不少差距；（3）軟組織的模擬還很欠缺：混合現實技術的數據來源主要基于CT或者MRI數據，生成的三維模型雖然可以進行著色與優化，然而對于軟組織的模擬還需要進一步改善。此外，混合現實技術需長時間佩戴眼鏡，導航過程中，繁雜的裝備容易遮擋術野，數據傳輸延遲，光照對導航影響大也是當前存在的問題。

4 小結

混合現實技術是在VR和AR基礎上進一步發展起來的一種新型全息數字影像技術。該項技術將虛擬物體與真實世界相互融合，為用戶展現出虛實一體的畫面，使物理的真實世界與數字的模擬世界之間的界限變得模糊。混合現實技術不僅可以有效彌補傳統教學模式的弊端，使醫學教學顯得更加高效、精準、直觀，還能逐步推動醫學教育培訓模式的革新[12]，也為骨科的規范化教學培訓提供強有力的技術支持。混合現實技術可作為一種創新型教學方法，在骨科教學培訓中的應用值得進一步探索和推廣。