增強現實技術在高校創客教育中的應用

王德宇，宋述強，陳 震

(1.清華大學 基礎工業訓練中心，北京 100084；2.清華大學 信息化技術中心，北京 100084)

增強現實技術在高校創客教育中的應用

王德宇1，宋述強2，陳 震1

(1.清華大學 基礎工業訓練中心，北京 100084；2.清華大學 信息化技術中心，北京 100084)

增強現實(AR)技術是借助視覺、聽覺、觸感、加速度等感官通道，建立起一套接近于現實的虛擬仿真環境，并與現實環境進行匹配融合，為體驗者提供信息交互的一類技術。高等院校在教育教學活動中越來越多地采用實踐教學的模式，強調學生的體驗和參與。增強現實技術為教育教學提供了全新的可能性，一方面拓展了教學環境，將校園內外不同物理空間的內容編輯制作為AR內容，可以廣泛應用于小班或大班教學中；另一方面能夠將一些不適于進行實體交互的內容，通過AR仿真，讓學生親身參與體驗，甚至交互。該文以清華大學iCenter在工程實踐教學以及創新創業教育方面應用AR的規劃及案例，探討在未來課堂中應用AR新技術的前景。

虛擬現實；增強現實；創客教育；工程教育；創新創業教育

一、增強現實及其在高校創客中的應用

隨著圖形計算、數據傳輸、可穿戴顯示、人機接口等周邊技術的不斷發展，增強現實(Augmented Reality，以下簡稱 “AR”)的相關技術及應用日趨完善。AR通過軟硬件人機交互通道，從視覺、聽覺、運動、觸覺、味覺、嗅覺等方面建立一套感官刺激，與現實世界的感官融合，在現實世界中延伸出新的交互環境[1]。此外，區別于虛擬現實，AR更強調虛擬世界與現實世界信息的融合，并實時動態更新，能夠極大擴展現實環境交互中，操作者所接收的信息[2]。基于這一特點，在很多創客實踐教學中的場景中，AR在提高學習質量方面，都具有極大的潛力。

AR在娛樂游戲、工業生產、產品設計等領域的應用發展尤為迅猛。Arduino模塊式可編程開發板、Unity 3D建模引擎等工具加快了AR交互硬件及交互內容的開發速度，同時也促進了交互真實度的提高，以及更為復雜的交互邏輯和沉浸感更強的體驗方式的出現，如右表所示。AR已成為信息產業界和科技創新創業領域新的熱點。美國知名孵化器Y Combinator對近年來的申請項目進行的一項分析表明，從2014年開始，創業項目申請中提及AR的次數則出現爆炸式增長。今年AR繼續成為項目申請書中最常提到的術語之一[3]。產業界對AR的高度關注以及大量人才團隊投身此項技術及其應用的開發，預示著其將成為未來社會中重要的一種交互模式。

在教育領域中，遠程教學、虛擬仿真、虛擬實驗等教學形式正隨著基礎設施的完善而日益普及。針對一些具有較高成本、對條件保障有較高要求、高危險性、不可及等特點的設備、實驗、系統等教學場景，AR技術提供了一種接近真實、便捷的教學方式[4]。近年來盛行的創客運動，一方面在推動AR相關交互展示技術和內容制作的發展，另一方面從AR技術的快速發展中受益。高校創客教育，以學生為主體，以項目為導向，其教學內容的來源，具有跨學科、跨地域、形式多樣等特性。借助AR技術，可以將不同地點的教學內容或研究開發對象，進行異地實時交互呈現，實現協同設計、協同開發，甚至協同生產。

增強現實技術特點

AR技術與創客教育真正的融合，則需要從學習過程全生命周期，以系統觀角度進行研究和設計。與商業、娛樂應用不同，AR的教育應用設計，需要遵循教學活動設計的基本原則，其目標是提高綜合教學成效，而不僅僅局限于提高師生互動，或是增強課堂參與度等某幾個方面。筆者試圖從培養目標、成效度量、師資、教學設施等角度，分析AR在高校創客教學中應用的機遇與挑戰。

二、增強現實應用于創客教育中的意義及設計要素

(一)結合不同培養目標進行AR應用決策

培養學生在知識、能力、素養等方面所達到的目標，是決定教學活動中是否以及如何應用AR技術的要素。不同教學活動在三個方面的側重，是AR教學內容設計的主要依據。在知識層面，學習過程的目標是對一套知識體系的掌握，以及若干知識點的記憶。根據這個目標設定的學習大綱，是為學習過程制定的“合約”，因此也定義了AR教學的內容合約。AR場景中出現的知識點，在展示時長、展示方式、內容準確性、出現順序等方面，應遵循教學內容設計合約，并有利于學生掌握知識，利用AR交互多感官聯動的特點，促進長期知識記憶的形成。此外，隨著移動互聯網的普及，以及數據壓縮技術的提升，借助AR搭建虛擬實驗室，由個人移動終端進行接入，可以讓學生在課堂之外瀏覽課程內容[5]，這非常有助于課堂之外學生進行自主學習。

能力培養依靠實踐訓練，經過一定時間的積累形成。在創客教育中，通過開發平臺、綜合實踐場景進行動手訓練，真實性強，但限于各種因素，在特定情境下的實踐常常不能完成。在一些高危險、高成本、不可及的場景下，AR可以提供更為接近實際場景的交互體驗，從而對真實情境下所需要的技能進行訓練。

AR所創造的環境，接近于真實場景，并可以根據需要設置一些挑戰，例如災害、實驗安全事故等。這種場景，對于培養創客的基礎素養，具有更好的效果，能夠更為直觀地傳達信息。此外，依靠AR場景進行疊加信息，可以針對性地標示出需要特別注意的內容，從而加強素養的形成。因此，以創客實踐素養為目標的學習內容，可以更好地利用AR進行訓練，以形成更為強化的記憶。

(二)AR與成效度量方法的結合

創客教育中學習成效的度量，強調過程度量與結果度量并重。而AR教學內容中設置階段性考核點，并在內容制作時，定義好過程度量的數據采集格式，有利于分析掌握學生的學習進度，更好地實時度量學習成效。借助AR等信息化手段進行教學的優勢在于，教學過程可以更便捷地設定考核點，且過程數據多為結構化數據，便于后續分析。AR交互場景中，可以將創客任務分解為多個階段的子任務，并設置不同維度的度量點。在團隊協作中，也可以結合AR場景的實時交互性和信息疊加特點，有針對性地設置團隊成員間一定信息的共享，例如考察其他團隊成員的狀態等，不僅讓教學者能夠實時了解學習進程，更促進學習者同儕之間的交流。

另外，AR在行為度量與分析方面，也具有一定的優勢。利用AR進行快速部署，配合眼動儀等設備，對實踐創客實踐教學過程進行采集與分析，供日后進行分析，考察教學內容設計與學習成效之間的關系。

(三)師資建設

AR技術的應用，涉及信息技術、心理學、人機交互等多個學科，設計優秀的AR教學內容，不僅需要對學習過程的準確把握，還需要具備上述知識技能的專業人員配合。在AR內容設計環節，教學設計者與AR專業工程師配合，根據教學內容重點，設計AR交互。這一過程需要教學設計者梳理學習過程的各個環節，有助于教學內容質量的提升。此外，教學設計者也需掌握AR的基本原理和制作方法，從而更好地組織教學內容，以充分發揮AR交互提升學習成效的作用，并設計出利用AR特長進行學習評估的方法。

(四)AR教學設施

AR在各個領域都具有廣泛的應用前景。在教育領域，針對科學、技術、工程等方面的教學內容與實踐活動在日益增加。AR技術，在電子化教學基礎設施和校園網絡設施逐步完善的前提下，能夠很快進行部署[6]。創客教學過程中，以項目為導向，同時由于AR場景涉及虛擬與現實信息疊加融合，這種個人使用模式，要求AR設備應按照課堂學生數量進行規劃。

AR內容可以采用在線云端數據作為主要來源，對于具有獨特學科背景或技術領域、或將課程內容建設列入創客教育發展規劃的學校機構，則可以在本地建設私有云服務，從內容制作開始提供本地資源，縮短制作周期。

三、AR教學模式

(一)以AR技術為教學工具

高校創客教育中，工程訓練是基礎教學內容重點，學生可以利用AR進行零部件識別、模擬設備裝配等指導性實踐操作[7][8]。學生通過移動設備自主瀏覽和操作已經預制好的虛擬現實模型。此類互動模式簡單，學生可以按照教學設計者規劃好的信息進行交互。

對于生產系統、車間等級別的教學內容，常見于針對工業系統、企業、產業為對象的教學環節，同時更加關注系統中不同元素之間的組合及互動。例如，通過虛擬現實搭建生產線模型，配合工業系統仿真軟件，可以更好地還原工業現場，學生進行設計與部署，并可觀看虛擬世界的系統仿真結果[9]，還可通過AR直接作為交互界面，控制實際機械臂完成工件夾持和上下料等操作[10]。這類交互情境中，需要學生獨立對虛擬世界中的元素進行操作。為了保證學生的體驗及課堂效率，每位學生通過個人終端、可穿戴設備(如頭戴顯示器等)、數據手套等設備進行操作輸入。顯示設備也以可穿戴設備為主，如頭戴顯示器、增強現實眼鏡等。

(二)以AR技術為教學內容

結合高校對人才培養的要求，可圍繞AR技術原理、產品研發、內容制作、模式設計、應用開發等方面開設相關課程。AR技術包括計算機圖形學、攝影攝像、圖像處理、立體視覺生理學、人機交互等方面的知識與技術。教學內容的組織大致可分為四個模塊：(1)虛擬現實理論及應用；(2)前期制作；(3)后期編輯；(4)交互設計。其中理論及應用模塊主要引導學生認識AR技術的基本原理，了解常見的應用場景，啟發設計靈感。前后期制作部分，圍繞建模、虛擬場景制作、信息疊加等技術。交互設計則會介紹系統仿真、AR交互硬件原理及開發、Web交互、可穿戴設備交互、動作捕捉等[11]。

(三)AR應用于創新創業產品開發

高校創客教育著眼于創意創新創業項目實踐。傳統產品導向教學中，由于實體產品的定制化制造過程既耗時，成本又高，因此教師往往通過簡化任務目標，或延長課程時間來進行彌補。增材制造技術的快速發展和應用，一定程度上縮短了原型產品制作的周期，但對于寶貴的課堂時間來說，仍然難以趕上教學進度的節奏，同時原型產品的材質選擇大大受限于設備本身。AR技術的引入，則可通過更為真實的呈現方式，為教師和學生開發產品原型提供更快捷的方式，甚至比實物產品更利于進行查看和修改。

產品開發涉及對空間形體更為復雜的操作，因此常配備專用輸入設備，如空間3D操作筆、數據手套、空間3D手柄等[12]。此外，一些虛擬現實系統，可以提供動作捕捉功能，讓使用者可以直接通過肢體動作，對虛擬世界中的元素進行操作。有些則利用聲音識別進行操作指令的輸入[13]。

針對某一專門行業或領域設計的AR交互，可以通過更加豐富的現實設施，加強交互的真實性。例如，面向汽車設計的AR開發平臺，能夠借助成品車輛，通過疊加方式進行定制化改造，將虛實結合的增強現實界面，呈現給使用者，以形成更接近實物原型產品的效果，幫助設計師準確把握設計方案[14]。

利用虛擬現實或增強現實進行產品設計過程的支撐工具，不僅可以為創新團隊提供更加快速的原型制作體驗，并結合全球網絡中的現有資源進行開發，還對學生形成協同化產品開發的理念起到幫助。

四、AR對教學過程的影響

AR的出現，源于通過仿真技術，提供一種安全、低成本、便捷的交互體驗模式。在教育領域，這項技術有助于學生在與虛擬世界互動的過程中，建構自己對教學內容的理解，同時整個交互過程中，易于對操作、行為進行采集和分析。這種交互過程中，各個信息通道中呈現的內容，可以根據教學內容進行設計，并在可控的條件下進行呈現，利于學習者的注意力更為集中在有效教學內容上。此外，接近于游戲的交互模式，還能夠幫助學生提高探索問題、定義問題、解決問題、交流溝通、團隊合作等能力。

AR交互模式的豐富程度，對學生的參與度會產生影響。這種參與度來自多個方面。一方面，虛擬場景交互有助于建立起使用者與場景提供方之間的認同感，并當交互模式更加豐富，這種感覺也會隨之增強[15]。基于課堂中更強的師生關系，教學內容整合到AR交互中，并結合可互動操作的虛擬場景，學生能夠在交互中獲得一定的成就感，這也有助于加強學生的參與度。另一方面，復雜的虛擬現實交互任務，過多的信息，會造成使用者認知負荷增加，降低在學習方面的認知資源，從而對學習效果造成負面影響[16]。在以實踐為主要內容的課程中，虛擬現實有助于提升學生的實踐技能[17]。尤其是在培訓一些復雜操作前，通過虛擬現實進行培訓，配合適當的指導，可以讓學生更快地掌握技能。不過，值得注意的一點是，由于虛擬現實對危險因素的呈現有限，同時使用者會以更加放松的心理從事虛擬世界中的任務，因此對于實驗安全意識的培養，相較實物操作會有所欠缺。

五、結語

虛擬現實與增強現實技術，已經不僅是實體交互的一種替代。AR在工業、娛樂、醫療、軍事等各個領域的廣泛應用，如同電子化閱讀取代印刷品閱讀的過程一樣，正在逐漸改變人們與世界交互的習慣。然而這種交互模式中，仍有很多問題值得探索和改進，例如怎樣更有效地傳遞期望使用者得到的信息，如何消弭虛擬世界與現實世界融合的鴻溝，如何減少虛擬世界漫游產生的不適等。對于高校教學來說，無論是作為研究對象，還是作為支撐工具，AR技術無疑將具有廣闊的應用前景。借助這些技術培養未來創新人才，也將對教學內容變革的方向產生影響。

[1]鄧志東,余士良等. 通用虛擬現實軟件開發平臺的研究及其應用[J].系統仿真學報, 2006,(12): 3438-3443.

[2]徐偉平,朱仲濤等. 增強現實硬件平臺的實現與應用[J].實驗技術與管理, 2003,(1):7-9.

[3]Friedman J. Reading applications to Y Combinator is like having access to a crystal ball [EB/OL]. http://themacro.com/articles/2016/05/the-startup-zeitgeist,2016-05-15.

[4]Potkonjak V, Gardner M, Callaghan V, et al. Virtual laboratories for education in science, technology, and engineering: A review[J].Computers & Education, 2016,(95):309-327.

[5]王萍.基于增強現實技術的移動學習研究初探[J]. 現代教育技術,2013,(5):5-9.

[6]趙士濱.虛擬現實技術進入高校教學的研究與實現[J].電化教育研究, 2001,(2):30-35.

[7]Michalos G, Karagiannis P, Makris S, et al. Augmented Reality (AR)Applications for Supporting Human-robot Interactive Cooperation[J].Procedia CIRP, 2016,(41):370-375.

[8]Mura M D, Dinia G, Faillia F. An Integrated Environment Based on Augmented Reality and Sensing Device for Manual Assembly Workstations[J]. Procedia CIRP, 2016,(41):340-345.

[9]張偉,馬靚等.基于運動跟蹤和交互仿真的工作設計[J].系統仿真學報, 2010,(4):1047-1050.

[10]劉國現,于蓮芝等.空間遙操作機器人增強現實系統設計與實現[J].微計算機信息, 2010,(2):148-149.

[11]趙沁平.虛擬現實綜述[J].中國科學, 2009,(1):2-46.

[12]張偉,張為涵等.協同式虛擬產品外形設計與快速試制系統研究[J].系統仿真學報, 2004,(9):1974-1977.

[13]Chu C P, Dani T H, Gadh R. Evaluation of virtual reality interface for product shape designs[J]. IIE Transactions, 1998,(30):629-643.

[14]張林鍹,辛獻杰等. 面向汽車產品設計的虛擬現實服務平臺研究[J].系統仿真學報,2014,(10):2407-2411.

[15]Scholz J, Smith A N. Augmented reality Designing immersive experiences that maximize consumer engagement[J]. Business Horizons,2016,(59):149-161.

[16]Cheng K H, Tsai C C. Affordances of Augmented Reality in Science Learning Suggestions for Future Research[J]. Journal of Science Education & Technology,2013,(22):449-462.

[17]Ak?ay?r M, Ak?ay?r G, Pektas H M, Ocak M A. Augmented reality in science laboratories: The effects of augmented reality on university students’ laboratory skills and attitudes toward science laboratories[J].Computers in Human Behavior,2016,(57):334-342.

Application of Virtual Reality and Augmented Reality in Maker-driven Education in Universities

Wang Deyu1, Song Shuqiang2, Chen Zhen1
(1.Fundamental Industry Training Center, Tsinghua University, Beijing 100084; 2.Information Technology Center,Tsinghua University, Beijing 100084)

Augmented reality(AR)use visual, auditory, tectile, spatial cognition channels to build a simulated environment and to integrate the environment with the real world, where users can have various kinds of interactions. As practical, hands-on, experiential learning activities are included in more courses in higher education, AR can be used in a wider range of scenarios. On one hand,AR can help extend the learning context, connecting different physical spaces to a classroom. On the other, some interactions with tangible objectives that are not applicable to classrooms can be converted to virtual interactions where students can experience. In this article, we will discuss about how to apply AR technologies into higher education, based on the experience in Tsinghua University.

Virtual Reality; Augmented Reality; Engineering Education; Entrepreneurship; Maker Education

G434

A

王德宇：碩士，助理工程師，研究方向為高校創客教育、工業與系統工程(wdy@tsinghua.edu.cn)。

2016年8月29日

責任編輯：趙興龍

1006—9860(2016)10—0112—04