基于虛擬現實技術的體驗式學習系統實踐研究

王巍

摘要：課題是研究一個基于虛擬現實技術的體驗式學習系統，系統開發使用3Dmax、Unity3D、JavaScript、C#、MySQL等工具和技術，設計體驗式虛擬現實學習系統的具體功能模塊和體驗式學習演示場景。通過頭戴式虛擬現實顯示器、頭戴式3D手勢輸入設備、微型主機等組件組合便攜式體感硬件系統，并通過系統測試驗證基于虛擬現實技術的體驗式學習系統的開發成果。

引言：

嘗試通過虛擬現實技術建立一個學習者可以便捷使用的、具有浸入式體驗感的虛擬空間場景學習系統。該系統建立在對虛擬現實技術、體驗式學習理論、體感捕捉技術、圖形圖像渲染引擎研究與應用、虛擬現實成像技術、人體工程學、游戲開發等多個方面學科的綜合研究。研究實現一種全新的體驗式學習方式，通過計算機虛擬各種場景和互動方式來建立直觀的、逼真的、感同身受的學習經歷體驗。并通過這種偽真實的體驗來加深學習記憶，起到快速學習的目的，是和傳統課堂學習完全不同的學習形式和教育的方法。

研究具體要解決的問題總結如下：

1、研究建立三維虛擬現實環境的操控技術

研究實現角色在虛擬現實場景的自由運動和UI操作以及物體觸碰等控制。研究實現手勢控制，通過三維傳感器對使用者手部動作進行捕捉，匹配預設的動作模型來識別手勢命令。研究計算機通過三維手勢傳感器捕捉使用者手勢數據，來實現虛擬現實操控，研究結合虛擬現實設備實現在虛擬三維場景中的計算機操控。研究實現多種三維虛擬現實場景的虛擬物體碰撞代替傳統計算機系統的二維界面和元素。

2、研究建立便攜式的虛擬現實體感系統

研究使用頭戴式虛擬現實顯示器、頭戴式3D手勢輸入設備、微型主機等設備構建可便攜式體感系統，使用者可通過設備穿戴或便攜輕松使用該套系統。通過微型主機WIFI聯網模塊形成和服務器的數據交換。研究實現同一虛擬場景多個使用者交互。

3、研究實現基于系統上的體驗式學習場景

研究融合式虛擬現實技術，實現體驗式學習場景應用。研究在虛擬現實基礎系統上，實現體驗式學習場景應用的開發，結合基礎系統功能實現體驗式學習。研究全面融合游戲學習、體感學習理念，研究從學習的本質入手，顛覆傳統課堂學習形式，建立全新的感官學習體驗。

研究過程與目標：

1、建立一種體感式學習的方法

課題研究融合虛擬現實技術，實現體驗式學習場景應用。在虛擬現實基礎系統上，實現體驗式學習場景應用的開發，結合基礎系統功能實現體驗式學習。研究融合游戲學習、體感學習理念，從學習的本質入手，顛覆傳統課堂學習形式，建立全新的感官學習體驗。并研究通過三維虛擬現實環境的操控技術，實現角色在虛擬現實場景的自由運動和UI操作以及物體觸碰等控制。實現手勢控制，通過三維傳感器對使用者手部動作進行捕捉，匹配預設的動作模型來識別手勢命令。

2、建立一個軟硬件兼備的完整虛擬現實體驗學習系統方案

系統研究一種便攜式的基于虛擬現實和互聯網的體感系統，包括頭戴式顯示器、頭戴式陀螺儀、頭戴式3D手勢體感器、微型主機以及附件組成。頭戴式顯示器用于顯示三維虛擬場景，頭戴式陀螺儀用于定位頭戴式設備方向和水平仰角;頭戴式3D手勢體感器用于定位人體手的空間位置;微型主機用于處理輸入和輸出信息及存儲體感軟件。系統設計了一種計算機操作系統，更具體地說涉及一種基于三維手勢體感的計算機操作系統，計算機通過三維手勢傳感器捕捉使用者手勢數據，來實現虛擬現實操控;結合虛擬現實設備實現在虛擬三維場景中的計算機操控;實現多種三維虛擬現實場景的虛擬物體碰撞代替傳統計算機系統的二維界面和元素。系統建立了一個軟硬件完備的虛擬現實體驗學習系統。

3、課題開發一個基于系統技術的教育內容演示

系統開發一個K12教育階段的數學速算教學內容“數字王國”。內容演示部分開發內容場景、內容關卡、內容邏輯、內容情節等。內容場景包括數字王國場景和太空飛船場景。內容關卡包括速算關卡和練習關卡，內容邏輯包括學習邏輯和測試邏輯，內容情節包括數據魔術情節和用戶游歷地圖發現關卡。

4、課題實現VR虛擬場景內的虛擬操控技術

系統實現計算機通過三維手勢傳感器捕捉使用者手勢數據，來實現虛擬現實操控。并實現結合虛擬現實設備實現在虛擬三維場景中的計算機操控，實現多種三維虛擬現實場景的虛擬物體碰撞代替傳統計算機系統的二維界面和元素的具體技術。

5、課題實現VR設備的可穿戴技術

課題實現通過頭戴式虛擬現實顯示器、頭戴式3D手勢輸入設備、微型主機等組件構成的可便攜式體感系統，使用者可通過設備穿戴或便攜輕松使用該套系統。并且可以通過微型主機WIFI聯網模塊形成和服務器的數據交換。通過使用手勢即可進行場景內的虛擬操作。實現同一虛擬場景多個使用者互動。

研究結果與社會效益

1、通過課題研究過程建立黑龍江財經學院虛擬現實實驗室

課題研究通過黑龍江財經學院藝術系和哈爾濱寰維科技發展有限公司合作完成，黑龍江財經學院藝術系研究團隊主要負責虛擬現實學習內容的開發，哈爾濱寰維科技發展有限公司主要負責虛擬現實技術公關和系統開發。雙方建立基于黑龍江財經學院文化創意產業學院的項目研究實驗室，長期從事課題的研究和成果轉化。

2、設計并實現一種便攜式虛擬現實學習系統

課題研究領域涉及虛擬現實技術、體驗式學習理論、體感捕捉技術、圖形圖像渲染引擎研究與應用、虛擬現實成像技術、人體工程學、游戲開發等多個方面學科。課題結合虛擬現實技術的發展趨勢和體驗式學習的方式與應用研究，實現一種全新的體驗式學習方式，通過計算機虛擬各種場景和互動方式來建立直觀的、逼真的、感同身受的學習經歷體驗。

系統硬件部分設計并實現一種便攜式的基于虛擬現實和互聯網的體感系統，包括頭戴式顯示器，頭戴式陀螺儀，頭戴式3D手勢體感器，微型主機以及附件組成。

系統軟件部分采用C/S即客戶端和服務器的架構模式，根據MVC系統框架設計思想構建系統總體框架。研究通過三維虛擬現實環境的操控技術，實現角色在虛擬現實場景的自由運動和UI操作以及物體觸碰等控制。實現手勢控制，通過三維傳感器對使用者手部動作進行捕捉，匹配預設的動作模型來識別手勢命令。

研究內容部分通過3Dmax三維模型制作軟件設計并制作課題內容的虛擬場景，通過Unity3D虛擬引擎平臺以及JavaScript、C#、MySQL等技術，設計并開發系統的具體功能模塊和虛擬現實體驗式學習內容。

3、課題研究成果采用技術轉讓和應用產品開發的方式進行轉化。成果應用不限于教育學習，也可以應用于產品VR交互、會展VR交互、商業環境VR游歷交互等。

（作者單位：黑龍江財經學院藝術系）