基于Kinect體感系統的虛擬現實技術在醫學教育中的可行性初探

陳 晨，王亞平，劉小鴻，楊 璐，李 森

第二軍醫大學教育技術中心，上海 200433

多媒體技術、網絡技術在醫學教育領域中的普及和發展，已經得到了廣泛的認可和好評。基于計算機仿真技術的“虛擬現實”教學形式，是一種新的教學模式，具有廣闊的發展前景，代表了教育的未來與發展方向［1］。研究者希望利用這項全新的技術來改變傳統教學模式，為醫學生創造良好的學習環境和全新的學習方式。

Kinect體感技術誕生之初便在醫學領域中得到應用。例如醫學影像操作中的無接觸操控，非觸摸體感方式的病患檢查、遠程外科手術等。因此，筆者認為Kinect體感系統具備的多種功能特點符合虛擬現實教學形式的實現條件，可以在醫學教育領域中進行應用實現。

1 Kinect體感技術介紹

Kinect是一種由微軟公司開發的3D體感攝影機，配套旗下家用視頻游戲主機Xbox360的體感周邊外設產品，具有實時動態捕捉、圖像識別、麥克風輸入、語音識別等功能。Kinect有3個鏡頭，中間的鏡頭是RGB彩色攝像機，左右兩邊鏡頭則分別為紅外線發射器和紅外線CMOS攝影機所構成的3D深度感應器，它依靠相機捕捉三維空間中人體的肢體活動甚至是面部細節變化。

其工作原理是，使用者面對體感設備而立，通過設備內一個紅外激光投影鏡頭將一組紅外激光點陣投射到使用者身上，另外兩個紅外線CMOS攝像頭對此進行X軸、Y軸、Z軸的3D深度信息掃描，通過光編碼技術，用近紅外光對場景進行編碼，形成一個具有三維縱深的“體編碼”(如圖1所示)。這種編碼來自于激光散斑，是當激光照射到粗糙物體或穿透毛玻璃后形成的隨機衍射斑點［2］。以此可分辨使用者、背景以及使用者的動作意圖，簡單說就是用光源照明給需要測量的空間編上碼，再通過三維解碼使之產生立體交互功能。為了使攝像頭更精準地對準使用者，Kinect還配備了馬達和加速度傳感器。

圖1 Kinect實物圖及組件說明

2 Kinect體感技術的應用探索

虛擬現實的交互性、沉浸性、構想性等特點需要建立在許多外部硬件設備的基礎上。例如:建模設備、顯示設備、聲音設備和交互設備。Kinect體感技術具備了多種硬件條件和技術功能，如動態范圍捕捉、影像識別、麥克風輸入、語音指令、體感控制等;還具備了多種實現虛擬現實技術的硬件指標，在實際教學中的應用將具有很高的價值。

2.1 課堂教學

CAI應用于現代醫學教育，尤其是課堂理論教學，具有較明顯的優勢，包括表達形式多樣，學習過程可自主調控，信息儲存量大，利于自主學習等［3］。但與Kinect所提倡的活動與教學、虛擬實境方式導入游戲式教學和特殊且趣味性的學習模式相比缺乏靈活生動性。運用Kinect手勢識別技術捕捉教師單手或雙手在現實空間中的動作，將之轉化成三維編碼，再由PC軟件進行解碼，辨識其操作內容，進而即時地通過投影儀等顯示設備呈現展示，免去了大量的板書及點擊鼠標時間，也解放了教師的授課空間束縛，靈活生動地展示操作也使得學生對知識內容能更加直觀地學習和理解。

2.2 臨床教學

傳統的臨床實踐教學中，主要以教師講述為主進行授課，學習內容往往流于書本和理論，學生實際操作和應用的機會較少。虛擬臨床結合CAI培訓模式的引入，通過建立三維的人工虛擬環境，可以模擬患者的一些病狀特點和應激反應，學生能夠運用多種交互設備來操作工具和對象。但在實際應用中設備的操作復雜和資源有限使得這一模式很難得到普及與推廣。

Kinect的動態捕捉技術可以通過掃描捕捉，對環境景深進行像素評估。利用紅外線發射器和紅外線CMOS攝像機獲取圖像深度圖，提供人體骨骼的捕獲功能［4］，運用分割遮罩將人體從環境中分離出來，隨即辨別人體的不同部位以及動作操作。學生只需通過顯示設備呈現的立體環境和病患建模，不通過任何額外設備，在現實環境中，以手勢、身體姿勢及語音作為輸入元素［5］，即可進行模擬實踐操作(如圖2所示)。

圖2 分割遮罩技術將人體從背景分離

美國華盛頓大學BioRobotics實驗室的學生們通過對Kinect的改造，讓它可以用來控制外科醫師的機器手臂，并利用其靈敏度高、識別性強等特點，實現無接觸操控和非觸摸體感，讓Kinect控制機器手臂執行手術(如圖3所示)。這一技術的應用，不但免去了大量操作設備的資源投入，而且還可以避免學生花費大量時間去掌握虛擬臨床操作設備使用方法的過程。

圖3 外科醫師用Kinect控制外科機械手臂

2.3 三維建模展示

醫學教學過程中會運用大量的示例圖片和實物標本給學生進行展示教學。通過虛擬現實技術，將靜態圖片、標本模型進行仿真三維化處理后，可以形成多角度、全方位的直觀展示。而展示方式的單一化，形成了教師展示學生看這一尷尬局面。學生更想直接的參與其中，由自己控制來觀察研究建模，形成概念。

通過Kinect的深度傳感器，在使用者的前后左右四個方位布置若干部Kinect，可以通過深度傳感器所捕獲的3D空間數據與RGB攝像頭捕獲的影像數據來進行3D建模，從而實現實時的3D捕獲與顯示［4］。

在三維建模演示方面，瑞士Bern大學的Virtopsy項目使用開發框架的ofxKinect系統，制作體感軟件。使用音控和體感控制來處理醫療設備中出現的OsiriX三維建模。Virtopsy項目使用非觸摸的體感方式，更加方便，也更節約時間，能夠更好地對三維建模進行展示，供醫學教學使用(如圖4所示)。

圖4 利用Kinect控制三維建模放大縮小旋轉等功能

Kinect語音控制技術工作原理是預先將指令語音儲存，將之轉化為操作系統可理解的命令，在利用Kinect進行建模控制演示時只要說出相應的指令即可實現對應建模的相關操作。例如:教師在展示三維建模時只需要對設備發出“放大、縮小、旋轉”等語音指令，設備便會將語音信號轉變為相應的操作命令，對三維建模進行相關展示，這一過程將極大地減少傳統建模展示中的復雜操作，增加了教學的靈活性，也可充分調動學生學習的積極性。

2.4 遠程教學

遠程教學是建立在多媒體技術、計算機網絡通信技術上的一種雙向信息傳送教學。與傳統的“面對面”授課相比，它使得更高水平的教學授課能在更廣的范圍內共享。

為了實現在遠程教學中需要的高質量視頻影像及語音，通常需要采購一些價格昂貴的高清攝像頭和聲音采集設備，并且這些設備不具備一體化特點，往往售價也較昂貴，性價比不高。

Kinect體感設備具有多點陣列麥克風，可以準確地進行聲音定位并幫助過濾環境噪波，免除了許多額外的音頻處理;同時Kinect的語音控制功能，大大提高了遠程授課中的交互性，讓用戶發出命令即可進行相關操作，減少了不便的操作。RGB攝像頭和兩個深度傳感器配合機械馬達底座進行移動圖像捕捉，實現了攝像及語音的一體化處理，并提供了深度攝像，可以在授課時自動識別舉手發言的請求，具有很高的性價比。

該文將基于Kinect體感技術的虛擬現實教學形式這一設想引入了醫學教育中，其優點是優秀的交互性、友好的操作性和廣泛的實用性。通過介紹Kinect體感技術的關鍵技術特點，說明Kinect體感技術具備了醫學教育虛擬現實技術實現的技術條件和硬件指標。

［1］宋宏泉.虛擬現實技術在現代醫學教育中的應用［J］.齊齊哈爾醫學院學報，2006，27(8):984-985

［2］Huang J，Ma Z，Hu Y，et al.Robotic 3D structured light scanning system based on external axle.International Conference on Intelligent Computation Technology and Automation［M］.Piscataway，NJ，USA:IEEE，2008:l126-1129

［3］鄭唯強，鄭建明，王建軍，等.教學媒體在病理教學中的設計及使用［J］.中國醫學教育技術，2004，14(1):44-45

［4］黃康泉，陳壁金，鄭博，等.Kinect在視頻會議系統中的應用［J］.廣西大學學報:自然科學版，2011，36(z1)，308-313

［5］呂開陽，葉華茂，李曉光，等.Kinect體感技術在動物外科實驗教學中的應用及展望［J］.中國醫學教育技術，2012，26(2):171-173