醫學虛擬仿真教學環境的構建

譚 珂，潘新華，高 原

中國人民解放軍總醫院教育技術中心，北京 100853

醫學虛擬仿真教學環境的構建

譚 珂，潘新華，高 原

中國人民解放軍總醫院教育技術中心，北京 100853

分析了醫學虛擬仿真教學環境的特點，設計了一套醫學虛擬仿真教學環境的架構，并對其環境架構和系統功能模塊架構進行了討論，同時結合臨床教學，介紹了兩個具體的應用實例。應用結果表明，該仿真教學環境具有安全無風險、高效率、學習體驗真實、應用前景廣闊等優點。

醫學虛擬仿真;教學環境;沉浸感;架構

學習作為一個體驗式的過程，需要通過學習者的親身體驗來完成學習過程中的各種實踐活動，并將獲得的經驗轉化為他們的內部知識［1］。通過體驗式學習可以調動學習者學習主動性，發揮其主體地位。為提升學習過程的體驗，獲得理想的學習效果，虛擬仿真教學環境應運而生。這里所說的虛擬仿真教學環境是指:利用三維圖形生成技術、多傳感交互技術以及高分辨顯示技術，生成逼真的三維虛擬環境［2］，學習者通過特殊的頭盔、數據手套、力反饋器等傳感設備，或利用空間定位器、三維鼠標等人機交互設備，沉浸于虛擬空間內，成為虛擬環境的一員，采用實時交互的自然方式［3］，通過視覺、聽覺、觸覺甚至嗅覺等感知和操作虛擬世界中的各種學習對象，從而獲得身臨其境的學習體驗和感受。

醫學虛擬仿真教學環境是虛擬仿真技術和醫學教學訓練的高級、復雜結合，是信息化教學的高級應用［4］。隨著信息技術的飛速發展和軟硬件性價比的大幅提高，醫學虛擬仿真技術正逐漸從科研院所、實驗室走向實際教學應用。該文討論了醫學虛擬仿真教學環境的特點，提出了該仿真教學環境的系統性架構，并針對具體的實例進行了分析和介紹，通過臨床教學實際應用，獲得了較好的教學效果。

1 醫學虛擬仿真教學環境的特點

醫學虛擬仿真技術構建的數字化虛擬仿真教學環境是針對醫學數據建立的一體化環境，并通過專用的交互設備，實現對仿真人體器官在仿真手術器械作用下的各種變化的模擬和對學習操作人員的各種感官反饋的模擬，以獲得身臨其境的學習體驗。所構建的醫學虛擬仿真教學環境可廣泛應用于醫學解剖教學、手術操作技能訓練、手術方案設計［5］、手術規劃教學和術后效果評估等方面。與其他領域虛擬仿真教學環境相比，其主要技術特征是:

1.1 建模來源于醫學影像數據

作為醫學虛擬仿真教學環境，其幾何模型的構建來源于真實的人體醫學影像數據。CT、MRI、PET、超聲甚至人體冰凍切片數據，具有數據量大、個體化差異大、來源豐富等特點。例如:我國第一套數字化可視人體數據集全身共計有3 640個斷面，每個斷面的圖像分辨率為6 291 456(3 072×2 048)像素，整個數據集為131.04 GB。

1.2 逼真度要求高

衡量一個虛擬仿真環境的好壞，重要的一點就是逼真度。高逼真度的環境可為學習者提供身臨其境的沉浸感，需要在視、觸、聽覺等感知通道提供真實感的體驗。例如:利用人眼的視覺殘留效應，對虛擬場景的繪制刷新率一般不低于20幀/秒，這樣學習者看到的場景影像才是連續、不閃爍的。另外，對于環境中的各種幾何模型(如人體組織、手術器械)的紋理，可采用真實環境下實際拍攝的圖像進行處理。

1.3 人體幾何模型要求準確

醫學教育的目的是培養合格的醫務工作者，是為人提供疾病診治服務的。在仿真教學的過程中，各種學習和操作的對象均為人體組織器官的幾何模型，如構建的各種臟器、神經、血管等模型。所以，在對人體進行幾何建模時，在考慮個體差異的同時，需要精細、準確地表現人體的解剖結構。

1.4 體現人體的生物物理特性

與其他領域的仿真不同，醫學虛擬仿真教學訓練時，人體模型多體現為軟組織的生物物理特性。例如:在探鉤的按壓下臟器會發生彈性形變;使用手術刀切割會發生組織的撕裂和流血;以及仿真治療的過程中，人體的血壓、脈搏等生理參數會實時發生變化。這些生物物理特性的仿真是目前學術界研究的熱點和難點。

1.5 觸覺反饋的精確性和實時性

由于交互對象為人體模型，所以需建立復雜的模擬彈性力學模型［6］。在虛擬仿真教學環境中，讓學習者用他的手或身體的其他能動部分去操作虛擬物體，并在操作的同時能夠感覺到虛擬物體的反作用。這種觸覺和力學反饋是一個復雜的、與視聽覺等其他刺激有關的過程，通常外科醫生用手術刀進行精密手術時，他需要一個至少三自由度的力量感知裝置，當手術刀自由運動時，操作者并沒有負擔的感覺，且可以感覺到手術刀在不同皮膚上操作產生的摩擦阻力和彈力的高頻力量成分。所以，要求觸覺模型的精確，且觸覺刷新率不低于500 Hz。

2 醫學虛擬仿真教學環境的架構

2.1 環境架構

醫學虛擬仿真教學環境的重要特征是把學習者作為環境的核心，把學習者與三維虛擬空間和世界的多感知實時交互作為環境存在的必要條件。其環境架構主要包括視覺、觸覺與力學、聽覺、空間定位系統和開發實現與運行環境五大部分，其相互關系如圖1所示。

圖1 環境架構圖

2.1.1 視覺系統 由于虛擬仿真環境主要表現為三維虛擬空間，依據人體感知信息途徑的權重，視覺通道感知是最基本、最重要的。對于開放式操作(如直視下肝切除手術)的仿真還需要對生成好的三維場景進行立體顯示，通過專業顯示器、顯示頭盔(如V8)、立體眼鏡(如3D Vision)、三維投影儀或沉浸感強的CAVE系統等硬件設備進行展現。

2.1.2 觸覺和力學系統 觸覺通道解決學習者手上實時感知操作的彈力和摩擦力等體驗，常見的有筆式力反饋器、支持觸覺的數據手套以及針對具體應用專門設計的反饋設備，如PhanTom、Delta、5DT手套等反饋設備。由于醫學仿真操作時一般采用的是雙手，故教學環境應支持左右手雙通道的反饋計算。

2.1.3 聽覺系統 聽覺通道實時提供聲音反饋，如器械操作聲等。聽覺系統通常至少支持雙聲道的立體聲。在考慮學習者視覺、觸覺、聽覺等方面相互作用關系的同時，還要求幾個通道的反饋應保持同步、無延時。

2.1.4 空間定位系統 為依據學習者進行人機交互時的動作、位置和姿態使虛擬仿真環境顯示出相應的虛擬場景，需要空間定位系統能夠實時地檢測出數據回路中人肢體的位置和指向［7］，該系統從學習者端獲取數據，包括頭部、手指、器械手柄等。目前主要有基于機電、電磁及光學的不同技術方式，如NDI、Fastrack 等設備。

2.1.5 開發實現與運行環境 虛擬仿真的實質是在多維信息空間內創建一個更適應于學習者體驗的信息處理環境，所處理的數據包括:虛擬幾何模型、觸覺信息、位置信息等。對這種處理過程最本質的抽象就是把各種處理的客體都歸納為一種統一規范的“對象”，這種“面向對象”的方法也就成為開發實現虛擬仿真教學環境的基本方法。現有的虛擬仿真開發實現系統，幾乎無一例外地遵循“面向對象”的原理，底層的開發工具通常是采用VC++語言、OpenGL圖形庫等，常用的商業化、集成化虛擬仿真環境開發軟件有:WTK、Vegas、Virtools、OpenGVS 等。

虛擬仿真環境是以圖形工作站為核心進行數學計算和系統運行的。隨著計算機技術的發展，從早期的SGI的Onyx高端工作站集群到Wildcat系列，再到Nvidia的Quadro系列等通用工作站，其硬件成本大幅下降，從動輒上百萬的投入降低到了十萬以內，其核心性能指標是每秒多邊形的處理數量、像素填充率、GPU性能、邊緣抗混迭能力、圖像紋理深度等。

2.2 系統功能模塊架構

在醫學虛擬仿真教學環境架構的基礎上，需要設計整個系統功能模塊架構，通過各模塊實現數據信息傳遞和各軟件算法。我們設計的功能模塊架構主要由視覺場景繪制、觸覺力反饋計算與生成、聽覺計算與生成、交互控制與空間定位、碰撞檢測、形變和切割計算、特效計算以及教學評判等模塊組成(如圖2所示)。

圖2 系統功能模塊架構

2.2.1 視覺場景繪制 虛擬視覺場景是由人體組織器官幾何模型、手術器械模型以及操作場景模型組成。其中，人體組織器官模型核心［8］是通過對醫學圖像進行配準、分割、三維重建完成的。常用的醫學三維重建軟件有3D Doctor、Mimics、TGS等，完成的各種模型存儲在模型庫中，根據場景需要進行調度，并從紋理庫提取相應的紋理數據，通過模型繪制、紋理繪制和特效繪制完成虛擬視覺場景的繪制，最后經視覺顯示系統反饋給操作者。

2.2.2 觸覺力反饋計算與生成 觸覺力反饋計算模塊主要計算交互過程中的虛擬彈力和摩擦力。彈力是虛擬器械作用在組織模型表面讓學習者感知的反作用力，摩擦力是對組織模型表面摩擦和觸覺紋理的模擬。這些力學計算結果經合并疊加后傳遞給交互控制模塊，再由力反饋設備輸出，常見的計算模型有彈簧-阻尼器模型等。

2.2.3 聽覺計算與生成 聽覺計算與生成模塊用來計算和生成虛擬場景的立體聲。它針對每一個觸發事件調用聲音庫中的數據，從而完成和實現聽覺信息的生成，再傳遞到聽覺系統進行輸出展現。常用的聲音包括:器械操作聲、麻醉機等設備聲、病人的反饋聲等。

2.2.4 交互控制與空間定位 交互控制模塊主要完成對操作者動作姿態的獲取和空間定位，對定位精度和實時性的要求較高。作為人機交互接口的重要部分，還需要對學習者的雙手操作進程進行調度，并對計算完的力學數據進行反饋輸出。同時，定位信息也將傳遞到碰撞檢測計算模塊，為其提供計算依據。

2.2.5 形變與切割計算 形變和切割計算模塊是依據物理模型屬性，計算人體模型在虛擬器械的作用下發生的彈性形變、切割等拓撲改變，并把結果傳遞到視覺場景繪制模塊中。該模塊需要滿足計算的實時性、健壯性和精確性，常用的計算模型有:彈簧振子模型、有限元模型和混合計算模型。

2.2.6 碰撞檢測計算 碰撞檢測是形變和力反饋計算的基礎，同時也是軟組織切割模擬的先決條件［7，9］。主要包括虛擬手術器械與人體組織模型之間的碰撞檢測及幾種虛擬器械之間的碰撞檢測。其算法的穩定性和精確性將會對后續處理乃至整個虛擬仿真環境的性能產生巨大影響，常用的算法有:空間分解法和層次包圍盒方法等。

2.2.7 特效計算 為滿足虛擬環境的真實性，其特殊的視覺特效計算是必不可少的，特效模塊主要用來計算虛擬場景中組織器官的紋理高光、血液流動和擴散、氣泡、煙霧等視覺特效。常采用透明通道繪制、流體力學模型、粒子系統模型等方法計算實現。

2.2.8 教學評判 為滿足教學實際需要，虛擬環境應具有良好的擴展性，設計教學回饋功能，用于檢查和回顧演練虛擬操作的過程。還應包含教學評判，用于對學習者操作演練過程進行綜合評判，評判規則和內容可預先設定或從外部專家數據庫中導入。

3 應用實例

3.1 虛擬膝關節鏡手術仿真訓練系統

依托國家自然科學基金和科技部863計劃課題，針對膝關節鏡手術的臨床教學需求，應用醫學虛擬仿真教學環境架構，我們開發完成了一套虛擬膝關節鏡手術仿真訓練系統［9］。包含一臺Quadro FX 3400小型圖形工作站、兩臺PhanTom Desktop力反饋交互設備、一個液晶顯示器、一對立體聲音箱、一套仿真器械接口。虛擬仿真程序在Visual C++6.0環境下開發，圖形顯示使用OpenGL類庫，觸覺仿真進程采用GHOST SDK接口開發。由于是仿真腔鏡下的手術場景，采用了平面方式向用戶顯示虛擬場景和軟件用戶界面，兩臺力反饋設備提供左右手的操作力學通道并與圖形工作站相連。交互設備的端點設計了仿真器械接口由用戶操縱，用來模擬膝關節鏡以及其他手術器械，它們將用戶操作的位置和姿態信息傳送給工作站，并且將工作站對操作進行仿真計算得到的力反饋給用戶。這些觸覺信息結合工作站的顯示器提供的視覺、聽覺信息使得用戶產生一種正在進行真實手術的沉浸感(如圖3所示)。該系統在國家執業醫師協會培訓基地用于培訓關節鏡醫師，取得了良好的教學效果。

圖3 應用“虛擬膝關節鏡手術仿真訓練系統”培訓執業醫師

3.2 肝臟手術虛擬仿真教學系統

圖4 “肝臟手術虛擬仿真教學系統”環境結構

依托總部訓練模擬器材研發項目，我們初步開發完成了一套肝臟手術虛擬仿真教學系統，包含:一臺DELL T7500圖形工作站(配置Quadro FX 3700圖形卡)、兩臺PhanTom Omni力反饋交互設備、一個120 Hz的液晶顯示器、一套3D Vision立體顯示系統、一對立體音箱(如圖4所示)。由于肝臟手術不同于腔鏡手術，是開放式操作，學習者需觀看直視下立體影像，且肝臟解剖結構復雜，要求仿真訓練時顯示的虛擬場景立體感強、亮度高、實時性好，因此我們采用了基于OpenGL和3D Vision SDK的立體顯示方案［10］，并基于OpenHaptic軟件環境開發實現觸覺仿真，其中空間定位系統集成于力反饋設備手柄中。通過該虛擬仿真教學環境，能較好地展現出肝組織以及肝內管道之間的空間毗鄰關系，有效地提高了虛擬場景的沉浸感。

4 結論與展望

依據醫學教學的需求，我們設計了醫學虛擬仿真教學環境，并針對臨床實際手術訓練，開發完成了仿真應用系統，通過逼真、實時的視覺、觸覺和立體聲聽覺反饋，構建了以學習者為核心的、模型準確、集成效率高、穩定可靠的數字化虛擬環境，為學習者提供了身臨其境的感知體驗。通過在臨床手術仿真、操作技能培訓、模擬演練和解剖教學等方面進行教學應用，結果表明:醫學虛擬仿真教學環境具有教學訓練過程安全無風險、高效率、學習體驗真實、教學過程可調控以及知識庫多樣性等優點，對促進醫學教育與訓練模式的改革，提高訓練效率和質量有著重要意義，在醫學教育領域具有廣闊的應用前景。

［1］楊嘉玲.基于體驗式學習的虛擬教學環境構建［J］.廣州廣播電視大學學報，2011，11(3):10-14

［2］周全義，趙龍.面向應急系統的城市虛擬環境構建方法研究［J］.計算機與現代化，2011，15(5):168-171

［3］段新昱，朱杰杰，姜品.多媒體虛擬教學環境中的實時交互方法［J］.系統仿真學報，2004，16(9):1992-1998

［4］Bao CB，Wang BL.A Open Source Based General Framework for Virtual Surgery Simulation［C］.2008 International Conference on BioMedical Engineering and Informatics，2008:575-579

［5］Fuchs J，Warmann SW，Sieverding L.Impact of virtual imaging procedures on treatment strategies in children with hepatic vascular malformations［J］.J Pedia Gastroenterol and Nutr，2010，50(1):67-73

［6］Sieber A，Valdastri P，Houston K.A novel haptic platform for real time bilateral biomanipulation with a MEMS sensor for triaxial force feedback［J］.Sens and Actuat A 142，2008:19-27

［7］高明向，符丁，陳定方.虛擬環境及其行為建模技術研究［J］.湖北工業大學學報，2008，23(2):13-15

［8］黃穎，許梅萍，陳潔，等.斜視與眼球運動仿真教學軟件的研發［J］.中國醫學教育技術，2011，25(1):33-35

［9］譚珂，郭光友，潘新華.一種膝關節鏡手術仿真系統［J］.系統仿真學報，2007，19(20):4649-4653

［10］譚珂，潘新華，蔡守旺，等.三維立體顯示技術在肝臟手術仿真訓練系統中的應用［J］.中國醫學教育技術，2011，25(5):522-525

Construction of the medical virtual simulation training environment

Tan Ke，Pan Xinhua，Gao Yuan
Educational Technology Center，the Chinese PLA General Hospital，Beijing 100853，China

This paper analyzes the characteristics of the medical virtual simulation training environment and designs a framework of the training environment.Then it discusses the framework of the environment and system function modules，and introduces two application cases by relating to clinical teaching.Educational application shows that this simulation training environment enhances the advantages of risk-free security，great efficiency，genuine learning experience and wide application prospect.

medical virtual simulation;training environment;sense of immersion;framework

G434

A

1004-5287(2012)05-0535-04

2012-05-23

譚珂(1973-)，男(蒙古族)，長沙人，高級工程師，碩士，主要研究方向:醫學虛擬現實、計算機網絡、多媒體技術。