基于VR/ AR的互動式教學研究與實踐

丁飛 張登銀 師曉曄 許斌 劉寧

摘要：為培養學生創新思維，鍛煉學生實踐能力，采用虛擬現實和增強現實技術，將抽象的科學概念以可視化方式呈現，打破傳統授課方式，使教與學更形象具體，以符合人類認知習慣。通過對虛擬現實和增強現實技術的分析，基于虛擬現實和增強現實互動式教學特點，提出基于虛擬現實和增強現實的互動教學應用架構。通過基于位置服務的教學實踐，驗證了基于虛擬現實和增強現實的互動式教學效果，促進啟發性、協同式和情景式教學改革與發展。

關鍵詞：互動式教學;虛擬現實;增強現實;應用架構

Research and Practice of Interactive Teaching Based on VR/AR

DING Fei， ZHANG Deng?yin， SHI Xiao?ye， XU Bin， LIU Ning

（School of Internet of Things， Nanjing University of Posts and Telecommunications， Nanjing 210003， China）

Abstract：In order to cultivate students′ innovative thinking and exercise their practical ability， abstract scientific concepts?are presented in a visual way thanks to virtual reality （VR） and augmented reality （AR） technologies to subvert traditional teaching methods， make teaching and learning more concrete and specific， and conform better to the habits of human cognition. In the first place， through the investigation and analysis of VR and AR technologies， this paper summarizes the characteristics of interactive teaching based on VR and AR. Then， it explores the scheme of education reform by using the aforementioned technologies and puts forward the application framework of interactive teaching with the help of VR and AR. Finally， through the teaching practice based on position service， it demonstrates the beneficial effect of this new type of teaching and can promote the development of this new teaching method which aims to be enlightening， cooperative and situational.

Key Words：interactive teaching; virtual reality; augmented reality; application architecture

0?引言

隨著計算機圖形學、人機接口技術、多媒體技術、傳感技術和網絡技術等快速發展，虛擬現實（Virtual Reality，VR）和增強現實（Augmented Reality，AR）技術已進入應用階段[1?2]，開始對教育[3?5]、工業生產[6?8]、旅游[9]、建筑[10]、醫療[11]等領域帶來顛覆性影響，各公司紛紛布局該市場，如Facebook公司于2014年收購Oculus VR后，推出了全球首款VR眼鏡。美國第二大家居裝飾用品公司（Lowe′s）正在開發名為Holoroom的一款3D增強現實科技，客戶可自定義3D空間，并可在線體驗自己設計的空間。另外三星、索尼、宏達等公司都紛紛推出AR/VR相關產品或服務[12]。

在教育領域，由于存在教學課程的專業化、理論化、抽象化、復雜化等因素，傳統以理論教學為基礎的教學模式存在諸多問題[13?15]，對于專業化較強的學科，教師往往對某個概念和技術理論需要花費大量的時間進行教案準備并增加授課學時數，但還是存在部分學生難以理解的情況。抽象化概念往往很難用語言和文字表達，復雜的學科往往交織多方面知識，理解和提高都非常困難。在這種情況下，傳統教學亟需結合新一代信息化技術，如仿真系統、實訓設備、信息化技術等進行輔助教學。

VR/AR技術以多感知、存在感、交互性、自主性等優勢在教學輔助中占有非常重要的地位。文獻[16]提出了基于VR/AR的教學系統架構及教學體系建立方法，文獻[9]研究了在博物館文化教育體驗領域典型的系統設計與架構。在課程教學中，VR/AR技術可以更好地激發學習興趣，促進學生體驗應用場景和過程，掌握知識要點。同時，VR/AR技術為教師提供了便捷的輔助教學手段，將知識以更加直觀和立體方式傳遞給學生。文獻[17]設計了一種基于AR平臺及圖像識別系統的跨平臺移動終端，可在機械課程的教學過程中，通過展示立體模型及動態過程，手觸控制、多場景選擇等，強化用戶現實感官認知。

VR/AR技術催生了教育關聯產業的進一步發展，文獻[18?20]分析了AR在智慧圖書館個性化借閱、資源利用以及科普學習等方面的積極影響，文獻[21?22]研究了AR技術與出版行業結合的研發與應用。

物聯網是傳感網、大數據、人工智能、移動互聯、云計算等新一代信息技術的高度融合和綜合應用，該課程的授課知識點多、工程應用性強。現有教材主要采用線性教學為主，學生只能在教師的講授下獲得基礎概念、原理及邏輯關系，難以結合應用場景學習知識，主要體現在知識轉移能力弱、缺乏實踐性相關知識。

本文在物聯網課程授課實踐過程中，通過引入AR/VR技術，搭建互動教學的應用系統，利用AR/VR技術的場景增強和沉浸式體驗優勢，將物聯網多樣化知識點、復雜和抽象的應用場景相結合，為學生提供動態的、開放的結構化互動教學方式，便于學生獲得立體性知識，對傳統教學內容的結構及授課形式進行了改革與創新。

1?基于VR/AR的互動式教學特點

1.1?國外典型應用案例

國外在教育領域大量采用VR/AR技術進行教學。基于VR/AR教育培訓首先應用于安全教育，由美國紐約應急管理辦公室使用高級災害管理模擬器（ADMS）進行培訓。ADMS是Environmental Tectonics公司開發的應用，將人工智能融入其中。應急辦已建成紐約的城市虛擬副本系統，專注于指揮模擬，市民可通過操縱桿穿行于虛擬城市。指揮者引導他們通過目標點，并通過實時溝通滿足應急需求[6]。

美國科格威爾工藝學院 （Concordia University，Irvine） 在全球首先開設VR/AR課程，旨在讓學生學習VR/AR的認知和感知方面的知識，掌握開發人機界面及交互的設計原則及技能，以及VR/AR的故事敘述方式。格林內爾學院（Grinnell College）設立了沉浸式體驗實驗室（Grinnell College Immersive Experiences Lab），探索VR和AR以及混合現實（Mixed Reality， MR）技術以提高文化科學學習效率，探索VR技術應用于歷史場景復現的教學中[23]。

Barts Health NHSTrust （巴茲保健和國民信托） 的腫瘤外科醫生Shafi Ahmed博士是英國一流癌癥外科醫生之一，他在皇家倫敦醫院對一位結腸癌病人進行了手術，該手術直播給成千上萬的醫學院學生觀看，目的是改進醫學院學生訓練，這場直播手術展示了虛擬現實如何成為一個強大的教育工具[24]。

南密西西比大學負責籌建的Sportevac項目，為體育場疏散工作提供解決方案。通過觀察場內70 000人面對危險的第一反應，研究分析人類面對危險的行為。

1.2?技術特點與優勢

VR/AR技術在教學中具備其專屬特點和優勢。在物聯網教學中采用VR/AR技術，能夠為教師提供全新的工具。傳統方式傳遞的知識大多以文字和圖片的形式進行表達，而VR/AR課件可將知識以更加直觀、通俗的場景或游戲、卡通的方式展現，更容易讓學生理解接受，激發學生對知識的興趣。

VR/AR目標是在特定活動中鼓勵、激勵學生，教材的編寫與VR/AR技術之間的協調性決定其是否起到關鍵性作用，比如課件編寫、場景設置、多媒體制作等都至關重要;讓學生體驗動手學習的同時又毫無風險，如安全程序和醫療教學，不會涉及病人的安全等。

基于VR/AR的互動式教學作為一種新型教學模式，具有3個方面的特點和優勢[2， 13?16]：

（1）可視化、形象化。VR/AR技術仿真和交互的特性，能將抽象、晦澀難懂的知識以更生動、直觀、全面的方式呈現，用沉浸式體驗增強學生的代入感。

（2）可在各種環境下進行情景式學習。移動AR系統能夠基于真實環境中的虛擬物體幫助下，使無處不在的合作式和情境式學習得到加強，現實生活中的一切都能成為AR學習的道具，實現便捷性、交互性、情境性、連通性及個性化。AR系統能夠檢測到學生的當前位置和活動狀態，從而及時發出提醒和待選選項以集中學生的注意力。

（3）提升學生存在感、直覺和專注度。AR/VR提供一個虛擬的學習空間，讓學生感覺與其他人或事物同處一個位置。這種存在感可加強學生對學習社區的認知。所以，AR/VR在培養學習者直覺方面有巨大潛力，這種感覺也是一個人在綜合而真實的體驗中所擁有的主觀感受。

2?基于VR/AR的互動教學應用架構

基于VR/AR的互動式教學應用體系，是在傳統課本、課件、問答和實驗實踐教學基礎上，結合利用移動終端設備的攝像頭、WiFi、GPS、語音識別等豐富功能和移動互聯網絡的移動、廣覆蓋、實時在線等特性，通過條碼鏈接、信息識別3D建模、行為分析和智能評價等，形成結合移動智能終端的VR/AR系統化技術架構解決方案，如圖1所示。

在上述應用架構下，可以充分發揮VR/AR虛實相結合的優勢，將課堂教學與立體式知識環節關聯起來，形成“以技術鏈為主線”的課程知識體系。在VR/AR教材制作中，可對實際場景進行數據采集，然后通過后期制作，加上虛擬的教具（2D、3D模型）和交互性的人機操作，使學生更加深刻地理解授課的知識點。同時，AR教材可通過圖形識別技術，更加方便地呈現多媒體應用（如視頻、音頻、圖片、動畫等）。

有些特定的物聯網應用行業，如高危環境等進行知識傳達時，基于課本知識達不到預期效果，現場考察學習危險系數高。采用結合VR/AR的交互式授課方式，可以精確模擬真實環境，采用傳感器模擬視覺、聽覺、觸感、力量等，達到與高危現場一致的體驗，完成授課目標。

3?基于VR/AR位置服務的教學實踐

物聯網是大數據、人工智能、移動互聯、云計算等新一代信息技術的高度融合和綜合應用，其關聯知識點較多且知識點立體性更強。為獲得更好的授課效果，筆者院校在“基于位置的服務”課程中開展了融合VR/AR的教學實踐，取得了較好效果。

首期開發了基于位置VR/AR的原型服務系統，將智能手機識別應用與電子羅盤、GPS、3D展現等相結合，對基于位置服務的應用場景、POI （Point of Interest） 檢索、智能終端和VR/AR技術等方面進行協同教學。

圖2是基于智能手機實現電子羅盤VR/AR實現原理，在用戶終端上通過電子羅盤提供以攝像頭實景為背景的POI搜索展現。

周邊POI的VR/AR展示效果如圖3所示，包括餐飲、娛樂、交通、銀行、住宿、購物、生活7大類，7大類下又提供54小類周邊POI搜索服務。

基于位置VR/AR的周邊POI檢索方案，相比于傳統地圖POI檢索方式具有以下優點：

（1）將周邊POI在手機攝像頭上進行統一分類疊加展現，支持興趣點的二次點擊和動態移動。

（2）展現周邊POI的位置、朝向、距離等信息。

（3）實現實景化的目標導向和POI信息增強，提升用戶位置判斷和目標識別體驗。

（4）支持靈活參數配置（如檢索區域大小等），根據不同使用場景靈活配置。

4?結語

本文通過VR/AR技術的導入，將授課基礎知識點、課件、課堂問答和實驗實踐虛擬化，結合虛擬化場景的呈現和完整流程，為學生提供動態、開放的結構化認知形式，從而便于學生更好地理解課程知識，體驗課程體系和關聯知識，為卓越工程師培養提供了新的教學思路。

基于VR/AR技術，探索教師在教育教學上進行授課方式創新的新形式。將抽象的科學概念以可視化方式呈現，以及融入語音、手勢、體感等多種交互方式以創造沉浸感，使教與學更形象具體，符合人類認知習慣，有助于啟發性、協同式和情景式教學發展。

參考文獻：

[1]?RODRIGUEZ N. Teaching virtual reality with affordable technologies[J].Lecture Notes in Computer Science， Proceedings of Lecture Notes in Computer Science （including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics），2016（11）：89?97.

[2]?王培霖，梁奧齡，羅柯.增強現實（AR）：現狀、挑戰及產學研一體化展望[J].中國電化教育，2017（3）：16?23.

[3]?朱斌，曹漫祥.VR技術及其在現代教學中的應用[J].中國教育信息化，2007（5s）：62?64.

[4]?趙兵，韋薇，李紅宇.虛擬現實技術在風景園林教學中的應用[J].中國林業教育，2009，27（5）：72?75.

[5]?茅潔.增強現實技術在游泳教學中的應用研究[J].武漢體育學院學報，2018，52（5）：67?72.

[6]?鄭康，王小婷.讓VR技術貼近安全生產實際[J].現代職業安全，2017（5）：77?79.

[7]?成董浩，渾寶炬，靳凱.增強現實技術在礦井通風系統中的應用前景分析[J].工礦自動化，2018，44（8）：10?14.

[8]?萬艷敏，付瑩.增強現實技術在服裝領域的應用[J].毛紡科技，2018，46（5）：57?61.

[9]?余日季，蔡敏，蔣帥.基于移動終端和AR技術的博物館文化教育體驗系統的設計與應用研究[J].中國電化教育，2017（2）：31?35.

[10]?王廷魁，楊喆文.案例對比分析BIM與AR在施工現場培訓中的應用[J].施工技術，2016，45（6）：44?48.

[11]?潘雯，宮建.3D可視化、3D打印、虛擬現實、增強現實在醫學中作用的研究進展[J].實用醫學雜志，2017，33（17）：2969?2971.

[12]?美國：2016?2045年新興科技趨勢報告[EB/OL].http：//www.21ic.com/iot/smart/data/201701/699932.htm.

[13]?張四方，江家發.科學教育視域下增強現實技術教學應用的研究與展望[J].電化教育研究，2018，303（7）：64?69，90.

[14]?梁華勇.虛擬現實技術及其在高校中的應用[J].廣東培正學院學報，2005（4）：61?64.

[15]?蔡蘇，張晗，薛曉茹，等.增強現實（AR）在教學中的應用案例評述[J].中國電化教育，2017，362（6）：1?9，30.

[16]?李小平，張琳，張少剛.智能虛擬現實/增強現實教學系統構造研究[J].中國電化教育，2018，322（1）：97?105.

[17]?張海森，楊光輝，劉超見，等.基于AR技術的跨平臺移動終端的輔助學習系統[J].圖學學報，39（1）：85?90.

[18]?廖宇峰.增強現實（AR）技術在圖書館中的應用研究[J]，情報資料工作，2017（1）：62?66.

[19]?馬林山，趙慶峰.基于現實技術的圖書館空間參與式服務項目開設研究[J].圖書館理論與實踐，2018（2）：92?96.

[20]?張樹鵬，侯文軍，王希萌.基于增強現實虛實交互的科普知識學習方法設計研究[J].包裝工程，2017，38（20）：48?55.

[21]?段弘，吳琳.“出版+AR”：以出版主體為中心的增強現實技術應用研究[J].出版廣角，2017（12）：20?23.

[22]?周榮庭，孫松.增強現實出版物產業價值鏈分析[J].出版廣角，2018（8）：3?6.

[23]?ANONYMITY.What can virtual reality teach us about life on a plantation [EB/OL]. http：//www.grinnell.edu/news/what?can?virtual?reality?teach?us?about?life?plantation.

[24]?王同聚.虛擬和增強現實（VR/AR）技術在教學中的應用與前景展望[J].數字教育，2017，3（1）：1?10.