基于STEAM的虛擬現實實驗室建設實踐

葛 巖， 楊 雪， 王藝潼， 孫 艷

（1.北華大學計算機科學技術學院，吉林吉林132013；2.吉林大學高等教育研究所，長春130012；3.吉林大學管理學院，長春130022）

0 引 言

虛擬現實技術被認為是21 世紀影響人們生活的重要技術之一［1］，如何將教學、科研和虛擬現實產業發展相結合，培養虛擬現實行業發展的高素質創新人才，是近年來高校重點關注的問題。實驗室是高校進行實驗教學和科學研究的重要基地［2］。結合虛擬現實實驗室建設的必要性，合理規劃和布局虛擬現實實驗室，提高數字媒體技術專業教學質量，對培養復合型人才具有一定現實意義。

1 虛擬現實實驗室建設的必要性

1.1 數字媒體技術專業發展的需要

數字媒體技術是融合了數字信息處理技術、計算機技術、數字通信和網絡技術的交叉學科，致力于培養UI設計、虛擬現實、影視等方向的復合型人才。一流實驗設備是做強專業的戰略資源［3］，建立虛擬現實技術實驗室，配置虛擬現實硬件設備，是支撐數字媒體技術專業發展的需要［4］。

1.2 虛擬現實行業人才培養的需要

《國民經濟和社會發展十三五規劃綱要（2016-2020）》中提出［5］，大力推進虛擬現實前沿領域創新和產業化。隨著虛擬現實產品的廣泛普及，虛擬現實行業人才的市場需求很大，僅國內VR ／ AR創業公司已超過1 500 家［6］。因此，建立虛擬現實實驗室，是培養虛擬現實行業人才的需要。

1.3 產學研一體化建設的需要

黨的十九大報告指出“必須深化科技體制改革，建立以企業為主體、市場為導向、產學研深度融合的技術創新體系”，上述表述為產學研合作指明了發展方向［7］。虛擬現實實驗室是集課程實踐、應用開發、科學研究為一體的綜合性實驗室，以虛擬現實實驗室為平臺，通過實踐教學，將學生制作的虛擬現實作品演化為系列化產品，進一步深化“產學研”一體化建設。

2 理論依據

2.1 STEAM教育的關鍵特征

STEAM教育作為全球性教育戰略，于20 世紀90年代起源于美國，是科學（Science）、技術（Technology）、工程（Engineering）、藝術（Art）和數學（Mathematics）的簡稱，其關鍵特征如下：①以學生為中心、多元主體參與的教育理念。STEAM教育強調不同學科的教師、公司人員共同指導學生，組織學生自由分組，鼓勵每位學生自由表達，完成以項目為導向的實踐教學。②跨學科整合的學習內容［8］。根據真實問題與情境的需要，利用科學、技術、工程、藝術和數學學科的知識，以矛盾觀點來考慮問題，以系統的視角來解決具體問題。③基于項目／問題的學習活動形式。STEAM強調把學習置于開放的、復雜的、有意義的問題情境中，根據自身的能力和團隊合作來解決問題，鼓勵學習者主動建構新知識。④依托工具和學習資源。STEAM教學的開展需要應用信息檢索工具來查找相關資源，利用概念圖、思維導圖等知識建模工具來表征活動流程，需要依托科學、技術、工程、藝術和數學學科的教學資料、課件、媒體素材等來進行自主學習。⑤創新意識培養的學習目標。STEAM教育以項目驅動，鼓勵學生主動地確認目標、尋找資源與解決問題，進而培養學生的科學探究和創新意識。

2.2 可行性分析

虛擬現實作品兼有藝術作品和文化產品的雙重屬性，對比STEAM 關鍵特征與虛擬現實作品創作的過程、內容基礎、形式、軟硬件要求與目標，可得表1 所示一致性對比結果。根據上述一致性對比結果，認為STEAM理論用于指導虛擬現實實驗室的建設、管理與運行是可行的，能達到預期教學效果。

表1 一致性對比

3 實施路徑

虛擬現實作品的形成需要經過建模、材質與貼圖、燈光與渲染、動畫、交互等5 個主要步驟。在STEAM教育理論指導下，以虛擬現實作品主要步驟為基礎，構建基于STEAM 的虛擬現實實驗室建設的實施路徑。STEAM教育指導虛擬現實實驗室頂層戰略規劃的制定，虛擬現實實驗室的運行需要硬件設備的支撐、資金的保障和運行監督，進而滿足教師的科學研究與相關課程實踐教學的需求，具體實施路徑概括為“一個思想、兩種機制、3 個工作室、4 種應用模式”，如圖1所示。

圖1 實施路徑

3.1 以學生為中心、多元主體參與

秉承“以學生為中心”的核心理念，激發學生的學習動機，培養學生勇于探索的創新意識和善于解決問題的實踐能力，強調不同學科教師、公司人員等共同參與來完成教學任務。虛擬現實相關軟件實際操作性強、技能點多、知識更新速度快，因此，虛擬現實相關課程由在校教師和公司程序開發人員共同來完成，在實驗室內同時進行理論講授和實驗教學。

3.2 推進兩種機制

為進一步加強虛擬現實實驗室的運行管理，需要推進兩種機制。①推進資金保障機制，以高等教育強省項目與中央支持地方項目資金為主，緊跟虛擬現實產業發展動態，根據教師對虛擬現實相關設備的調研情況，及時更新硬件設備，使其始終具備較強的實踐應用性。②推進信息化管理監督機制，采用研究生作為學生負責人，利用出勤管理系統，督查學生出勤時間，提高了虛擬現實實驗室的信息化管理水平。

3.3 建立三個工作室

（1）三維模型工作室。三維模型工作室的主要作用是實現建模、材質表現與渲染等，真實展現三維模型。三維模型工作室包括三維建模平臺、材質與貼圖制作平臺與渲染平臺，如圖2 所示，從硬件和軟件兩方面，總結了三維模型工作室的架構圖，高性能的圖形工作站、繪圖屏與磁盤陣列等硬件設備既滿足數字媒體技術相關專業學生的實驗需要，又滿足教師科學研究的需要。

圖2 三維模型工作室的架構圖

（2）運動捕捉工作室。運動捕捉工作室主要是在分析三維模型的基礎上，利用運動捕捉系統進行三維模型的動作設計與實現。三維模型的動作添加方式有兩種，①通過使用3dsmax 軟件中的調整關鍵幀的方法來實現，僅適用于簡單動作制作；②通過運動捕捉系統來獲得三維模型的復雜動作，節省了調整動畫關鍵幀的時間。因此，本工作室購置NaturalPoint公司研制的Optitrack 動作捕捉系統，用于實時采集模型的運動數據。

（3）虛擬交互工作室。虛擬交互工作室的主要工作是利用Unity3D 開發引擎，基于C＃腳本語言，配合虛擬現實交互設備和虛擬現實顯示設備，來完成虛擬現實作品的交互功能。配置的交互設備包括Leapmotion手勢識別、SoftKinect 姿態識別和光學位置追蹤系統G—Motion。Leapmotion通過紅外光反射，能夠追蹤約1 米直徑內的手及10 根手指的三維坐標信息，其支持多語言平臺，允許使用原始數據進行手勢分析與二次開發。SoftKinect 是能獲取深度圖像數據和骨骼運動數據的體感設備，與Unity3D結合，用于識別用戶自定義姿勢，來完成與虛擬場景交互。G—Motion［9］作為光學位置追蹤系統，包含MotionCamera紅外相機、帶有剛體的立體眼鏡、SpaceNavi手柄，可以實現多種人機交互功能（見圖3）。

圖3 G_Motion工作原理

顯示設備用于虛擬現實作品的交互式動態演示，包括Google Cardboard、Oculus、HTC VIVE、HoloLens和沉浸式虛擬現實顯示系統。Cardboard 是谷歌公司于2014 年開發的廉價VR 眼鏡，能夠將智能手機作為體驗虛擬現實的原型設備。Oculus 能追蹤用戶的頭部運動，使其更加身臨其境地體驗虛擬環境。HTC Vive由頭戴式顯示器、定位器、無線操控手柄組成［10］（見圖4），通過頭部的位移或操控手柄來控制畫面的同步變化。HoloLens是微軟推出的全息眼鏡，根據頭部的傳感器獲取用戶的位置和姿態信息，實時渲染出全息影像，用于制作虛實融合的視覺畫面。沉浸式虛擬現實顯示系統采用智能多核處理架構，將主機系統生成的視景投影到多LED屏幕上，生成具有較強沉浸感的虛擬現實環境，用于各類虛擬現實作品的展示。

圖4 HTC Vive實物圖片

3.4 虛擬現實實驗室的教學應用

虛擬現實實驗室在實際教學運行中，被應用于課程教學、開放性綜合實驗、科研基地、校企合作等。

（1）課程教學實驗室。教育部文件《高等學校實驗室工作規程》規定：高等學校教學實驗室的核心任務是承擔實驗教學任務［11］。虛擬現實實驗室作為專業教學實驗室，根據理論課教學的需要，以3 個工作室為實驗場地，承擔“三維動畫建模基礎”“虛擬現實技術”“人機交互軟件Unity3D”等課程的實驗教學工作。

（2）開放式綜合性實驗室。遵循以學生為中心的教育理念，實現時間、場地和實驗內容3 個維度的開放，提高虛擬現實設備的開放共享程度［12］。如圖5 所示，在實驗室時間管理方面，實現虛擬現實實驗室的全面開放。采用“線上＋線下”的管理模式，以QQ 群直播、微信群等，開展師生之間的實時互動交流，延長了工作室的運行時間。在場地管理方面，實現實驗室硬件設備開放共享，最大限度受益于學生［13］；在實驗內容組織方面，將實驗內容延伸到項目實踐、學科競賽、大創項目與畢業設計［14］。

實驗對象可以是工作室學生、畢業設計學生及綜合性項目團隊。目前開放模式有課程項目實踐、學科競賽和畢業設計。課程項目實踐基于具體的理論課程，以班級為單位進行，一般課內要求完成4 學時的課程，并提交設計作品及總結報告［15］，目的是考查學生對本門課程的綜合運用情況。學科競賽需要組建備戰競賽的創新團隊，其更關注作品的質量和創新性。在畢業設計環節，引入“雙導師”的培養模式，由學科教師和企業技術人員共同負責學生畢業設計的指導工作。上述開放形式有著交叉融合的學習目標，從認知感知、綜合應用到實踐創新能力的提高，內容、層次逐步上升，更好地培養學生對知識的靈活駕馭能力。

（3）教師科研基地。虛擬現實實驗室的指導教師是涵蓋計算機科學與技術、藝術設計、數字媒體技術等多領域的教學科研團隊，包括專任教師、研究員和實驗技術人員。虛擬現實實驗室的創建改變了實驗技術人員只能從事實驗準備工作的情形，使教學、科研和實驗技術3 支隊伍完美融合。教師帶領一批對數字媒體充滿熱情的學生，積極申報科研項目和教研項目，將教學實踐、科學研究延伸到虛擬現實行業中，打造產學研一體化的虛擬現實實驗室。

（4）面向企業開展合作。愛迪斯通（北京）科技有限公司依托在虛擬現實、交互設計、游戲開發等技術優勢，我校與其在課程開發、教師定向培訓、校企項目方面開展合作。①課程開發，依據數字媒體技術專業規范和虛擬現實行業發展現狀，以企業與高校相互配合的教學視角，與愛迪斯通公司合作開設“人機交互軟件Unity3D”“游戲引擎原理及應用”“Unity3D 跨平臺游戲制作”等課程；②教師定向培訓，愛迪斯通公司以“功能模塊化”的方式，提供游戲開發、虛擬現實、交互設計等方向的課程培訓；③校企合作項目，按照企業真實項目的業務流程，進行規范化指導。

圖5 開放實驗模式

4 實施效果

通過STEAM教育理念應用于虛擬現實實驗室建設和管理，激發了教師的工作積極性和學生的學習熱情。近5 年來，虛擬現實實驗室承擔的教師科研、學科競賽、畢業設計、大學生創新創業訓練項目數量明顯增加，STEAM教育理念在實驗室建設方面產生了一定的促進作用。①教學實驗室的虛擬現實相關課程開出率明顯增加。目前主要承擔數字媒體技術與教育技術學2 個專業的實驗教學任務，因虛擬現實工作室具有相關硬件設備和Unity 軟件運行環境的支撐，使虛擬現實相關課程開出率明顯增加。②開放綜合性實驗室，學科競賽獲獎級別升高。以虛擬現實實驗室為依托，學生在全國大學生計算機設計大賽、全國大學生廣告設計大賽、互聯網＋創新創業大賽等學科競賽中取得了豐碩的成果，獲獎級別與人數明顯增多。其中，“噴油泵虛擬裝配實驗”“回收對對碰”與“虛擬樣板間”等作品均獲得國家級獎項。③科研項目基地，教師科研項目數量增加，教師隊伍專業水平提高。以虛擬現實實驗室為平臺，教師獲得省級科研項目2 項、省級教學改革項目4 項與校級教學改革項目多項。選派3位教師參加“數字媒體專業骨干教師研修班”，提高了教師隊伍的專業素質。④通過校企合作，公司開發人員與教師共同帶領學生參加全國Unity 開發者大賽，現場計時制作虛擬現實作品，鍛煉了學生實踐動手能力，提升了學生學習成就感。

5 結 語

將STEAM教育理念融入虛擬現實實驗室建設、管理與運行中，搭建了課程設計、學科競賽、大創項目和畢業設計一體化的虛擬現實實踐教學平臺，提升了數字媒體技術專業人才培養質量和教師的科研能力，探索了虛擬現實實驗室的應用模式，為兄弟院校類似實驗室建設、管理及運行提供借鑒。