基于AR技術的跨平臺移動終端的輔助學習系統

張海森，楊光輝，劉超見，王繼隆，李繼璇，郎 宸

?

基于AR技術的跨平臺移動終端的輔助學習系統

張海森1，楊光輝2，劉超見1，王繼隆1，李繼璇1，郎 宸1

(1. 北京科技大學計算機與通信工程學院，北京 100083；2. 北京科技大學機械工程學院，北京 100083)

為了解決現行單一的課本教學、課件教學等傳統教學方式存在的局限性，將增強現實技術與現有教學方式相結合，利用3Ds max、Unity、NodeJS、MySQL等軟件和技術，基于Vuforia增強現實平臺以及EasyAR圖像識別系統開發出了一款跨平臺移動終端的輔助學習類應用“POU繪——立體課堂”軟件系統，即立足機械制圖等課程的教學過程，以多環節、多學科、多領域為出發點，具有能夠自主識別、即時展示立體模型以及動態形成過程，手觸控制、多場景選擇等功能的軟件系統。

增強現實；工程圖學；應用軟件；教學輔助

國家教育事業發展“十三五”規劃中，將大力發展“互聯網+教育”和教育信息化納入了國家戰略，MOOC課程、新型教材等層出不窮。教育部《教育信息化十年發展規劃(2011—2020年)》中指出：探索現代信息技術與教育的全面深度融合，以信息化引領教育理念和教育模式的創新，充分發揮教育信息化在教育改革和發展中的支撐與引領作用[1]。提高教學質量和學習效率是現代教育的基本要求，課堂是人才培養的主戰場；課堂教學結構的根本變革應體現在課堂教學系統的4個要素[2]，即教師、學生、教學內容和教學媒體。教學媒體作為提高教學質量和學習效率的4個要素之一，起著重要的作用，但現行的平面教材的傳統教學方式有著明顯局限性。現階段普遍存在學生感知差的現象，隨之帶來的一系列影響也很廣泛。目前，對教學媒體進行了一些革新，如采用二維碼等方式鏈接到各種網頁上的輔助資源，但學生的接受度普遍不高，還需要尋找更切合當今學生需求和習慣的方式來解決這一問題。

增強現實技術(augmented reality，AR)是在虛擬現實基礎上發展起來的一項新技術，其將計算機生成的場景融合到真實世界中，擴張和補充真實世界而不是完全替代真實世界，從而強化用戶對現實的感官和認知[3-5]。針對大學生接近100%的手機等終端設備的持有率，AR技術與傳統教學媒體的結合能恰好迎合學生的需求。本著改進當前教學方式的目的，北京科技大學立體課堂團隊開發了基于AR技術的輔助類移動學習平臺體統——“POU繪——立體課堂”(簡稱“POU繪”)。

1 平臺系統簡介

基于AR技術的跨平臺移動終端的輔助學習系統由跨平臺移動終端應用APP、Web端管理后臺以及云服務器構成。“POU繪”是一款基于Vuforia增強現實平臺以及EasyAR圖像識別系統的輔助學習類應用。手機端應用可以通過手機攝像頭將課本、課件上平面的圖形變為“3D模型”或“注解視頻”來幫助圖學學習者更好地理解立體圖和平面圖之間的關系。教師或出版商可以將制作好的學習輔助資料(三維模型、視頻動畫等)通過平臺系統的網頁上傳，進行簡單設置后學生便可通過手機利用攝像頭拍攝相應位置以實時追蹤并呈現立體效果圖形畫面。

平臺可以自由操控，實現了通過自助識別平面圖形展現立體模型以及形成過程動畫等。采用了MVP(Model-View-Presenter)的架構，由跨平臺手機應用終端、Web端管理后臺及云服務器、數據庫3大部分組成。具有科目選擇、自主識別、自由操控、過程展示等功能。

(1) 科目選擇。跨平臺移動終端應用APP用學科的識別集合作為分類，從教學到實驗，涉及多學科、多領域(如機械工程、醫學、建筑學等學科)。多學科的學生，都能立體直觀地理解教學要點。

(2) 自主識別。通過攝像頭自動追蹤平面圖形，不需要人工選擇識別區域，經過自動精準的圖像識別，實現即時的AR的立體呈現。

(3) 自由操控。使用者可以手動操控模型，360度全方位無死角觀看三維模型或注解動畫。

(4) 過程展示。將課本的平面圖形變換成3D模型，甚至也可以將模型拆解的過程展示出來。

2 系統架構及實現

2.1 MVP架構

本輔助類移動學習平臺系統主要用于輔助教學，目的是為了加強學生對立體圖形的想象能力，提高學生在空間和平面之間的思維轉換能力。MVP系統架構如圖1所示。

圖1 系統架構

跨平臺移動終端應用APP和Web端管理后臺使用戶可直接接觸到View的部分，跨平臺移動終端應用APP實現即時AR識別展示，Web端管理后臺用來上傳和調整模型資料。

2.2 跨平臺移動終端應用APP

跨平臺移動終端應用APP實現功能并設置有登陸界面、課程選擇界面等多個界面，其中登錄界面如圖2；課程選擇界面如圖3。

圖2 跨平臺移動終端應用APP登陸界面

圖3 跨平臺移動終端應用APP課程選擇界面

2.2.1 功能

跨平臺手機APP共有5個模塊協調同步實現用戶交互、服務器通訊、AR識別等功能。具有科目選擇、自主識別、自由操控、過程展示等功能，每個場景中可實現分享模型、動畫，暫停、截圖等功能，還可實現判題糾錯功能，即只有畫出正確答案才可以出現對應模型。跨平臺移動終端應用APP功能模塊見表1。

表1 跨平臺移動終端應用APP

2.2.2 邏輯流程

緩存管理模塊和云服務器通信模塊與AR識別模塊相配合，當用戶選擇使用場景時，跨平臺移動終端應用APP就可調用緩存管理模塊搜索這個場景需要的識別數據，若沒有緩存數據，則自動向服務器發送請求下載數據；當攝像頭識別到識別點時，判斷是否為判題模式，若是，判斷是否正確，是則顯示正確模型，不是則出現錯號；若不是，調用緩存管理模塊，查找識別點對應的展示模型，若有，則將模型添加到當前視圖并綁定到平面圖片上來展示；若沒有，則向這個服務器發送請求并下載模型。

通過與云服務器通信，跨平臺移動終端應用APP實現了即時識別、即時下載的功能，減少了客戶下載大量模型的數據用量。相比市面上的AR產品，其模型是即時獲取的，不是緩存的，減少了安裝包的大小，方便后端更新和管理模型庫。

跨平臺移動終端應用APP邏輯流程圖如圖4所示。

圖4 跨平臺移動終端應用APP邏輯流程圖

2.2.3 開發流程

(1) 首先使用Unity進行初次開發。將Vuforia增強現實工具包以及EasyAR的工具包導入Unity，將camera方向、光照系統等一系列初始值設置完畢。

(2) 編寫Unity攝像頭識別代碼以及創建Prefab預制件，調用EasyAR的識別功能，完成AR識別模塊。

(3) 編寫模型受控旋轉的C#控制腳本。

(4) 將Unity項目導出為Android的工程項目，在Android Studio中進行手機APP的二次開發，完成UI設計、緩存管理模塊的設計。

(5) 引入Socket包，編寫與服務器通訊的模塊，完成登錄注冊、下載識別數據以及即時下載模型資料等。

2.3 Web端管理后臺及服務器開發

2.3.1 Web端管理后臺流程圖及服務器架構

Web端管理后臺流程圖如圖5所示；服務器架構如圖6所示。

圖5 Web端管理后臺流程圖

圖6 服務器架構

2.3.2 開發流程

Web端管理后臺及云服務器使用NodeJS、MySQL作為后端服務器的核心，前端使用Bootstrap。通過網頁后端，教師和出版商可進行增刪教材、AR資料識別、3D模型的操作。服務器通訊方面，由于除賬戶信息外數據不需要加密，開放GET與POST方式與跨平臺移動終端應用APP進行通訊。

2.4 數據庫

采用了MySQL作為主數據庫，SQL是一個通用的、功能性極強的關系數據庫語言。其優點有：綜合統一、高度非過程化、面向集合的操作方式。并且只要在初期設計好數據庫表單后期也較易拓展。

3 關鍵技術與創新

3.1 關鍵技術

(1) AR。AR是一種實時地計算攝影機影像的位置及角度并加上相應圖像、視頻、3D模型的技術，其目標是在屏幕上將虛擬世界嵌套在現實世界并進行互動。使用AR技術來實現旋轉屏幕則可以與嵌套在屏幕中的3D建模模型進行互動，就像在現實中旋轉3D模型一樣來更好地觀察3D建模模型。

(2) Unity+Andriod。Unity3D是由Unity Technologies開發的一種讓玩家輕松創建諸如三維視頻游戲、建筑可視化、實時三維動畫等類型可互動的多平臺的綜合型游戲開發工具，是一種全面整合的專業游戲引擎。Unity類似于Director、Blender game engine、Virtools 或 Torque Game Builder等利用交互的圖形化開發環境為首要方式的軟件。其編輯器運行在Windows和Mac OS X下，可發布游戲至Windows、Mac、Wii、iPhone、WebGL(需要HTML5)、Windows phone 8和Android平臺。

可通過3D MAX建模，導入到Unity中，并進行整合開發，實現手指旋轉查看模型的功能。發布至Andriod平臺，使得Android手機可以運行POU繪立體課堂。

(3) 圖像識別。是指利用計算機對圖像進行處理、分析和理解，以識別各種不同模式的目標和對象的技術。利用攝像頭采集圖片，然后通過軟件進行識別處理。

(4) 云服務器。實現了及時圖像識別，及時下載教學模型的功能。平臺的教學模型并不是繼承在軟件中，而是存儲在云服務器中，通過云查找來實現。

3.2 創新點

(1)利用當下熱門的AR技術，增添學習樂趣，幫助學生更加直觀地理解課堂內容。

(2)跨平臺移動終端應用APP中識別的數據可以即時地通過網絡后臺更改，不需要完全更新程序。通過網頁后端課本、課件設置模塊，教師和出版商可添加、刪除教材、課件的AR資料識別集。使用者可以通過輔助資料模塊上傳3D模型/動畫視頻作為AR識別后的內容，同時需要上傳識別點的數據。

(3)具有可分享性。模型展示出來可以共享，同學之間互相分享，讓知識更有趣，另外會增加其他互動模塊，讓知識做到共享。本系統既可以作為課堂輔助工具，也可以作為課下輔助工具。從課本，課件到習題冊，平臺可幫助學生全程掌握所學知識。

(4)引入習題判斷功能。通過對習題結果的掃描，可對學生繪制的作業圖案進行識別判斷。本功能可以幫助學生自測、查缺補漏，并輔助教師評判作業，自動形成作業習題完成情況報告，便于老師管理和教學，以減輕教師的工作量。

4 應用場景及實例

北京科技大學立體課堂團隊從2016年開始研究AR教育應用。這里介紹的3個典型應用場景案例均來自本團隊。

4.1 機械制圖課堂教學

傳統的課本加課件的教學方式存在一定的局限性，只能單一的展示平面圖片或固定視角的形狀效果。對于圖形深入理解不夠，需要學生具備很強的空間構象能力[6]。通過AR技術，利用圖像識別與立體呈現技術，通過建模等方式顯示出立體效果，直接將平面圖轉化為三維物體，增強了學習過程中的互動性。在課堂學習上，老師可以通過本平臺更好地展示教學內容，通過AR實現由二維講解到三維講解的轉換(圖7)。學生可以自行在書本上掃描自助學習。“課堂簽到”、“課堂練習”等小功能也相應增加了課堂的互動性。同樣，對于機械制圖教材和習題集上遇到的問題，也可以通過各個角度的立體展示幫助學生進行分析和理解，如圖8所示。

圖7 機械制圖課件

圖8 機械制圖習題集

4.2 建筑學

目前，國內建筑院校的本科教育雖然沿用包豪斯的“雙軌制教學”模式，提倡教授理論知識與培養實踐能力融為一體，但因為教學大綱的任務要求已經逐步轉變成為“先課堂教學，后社會實踐”的單向線性教學模式[7]，故教學與實踐的結合對于建筑專業學生有著不可忽視的作用。“POU繪”平臺亦在建筑學教學上有著重要應用。對于由于時間成本以及財力成本等造成的不能現場實踐的場景，可以通過AR技術三維重建后具體觀測。建筑學類似于機械制圖，尤其重視建筑內部的結構。以往的建筑學繪制模型，通常做法是用圖紙進行二維繪制。但是這樣只能體現出與地面平行的結構。為了在二維圖上體現出三維的參數，就不得不對二維圖進行一系列的符號化，來表示三維的參數。這對學生立體感要求極高，且一旦看錯，會造成不可估量的后果。而將模型按比例縮放做出，浪費財力、人力。

本平臺通過手機對圖紙一掃，即可實現從二維平面到三維立體的轉變，使建筑學教學更加容易。建筑系的學生可以通過本平臺更方便的觀察各種建筑結構以及實例(圖9)。

4.3 醫學

縱觀現在的醫學教育，大多數學校均是直接拿出立體的模型進行展示。立體模型固然有其好處，相對于純理論教授，其可以使教育變得更方便，且學生也可以更好地理解。然而實體模型帶來的問題也是顯而易見的。模型在使用過程中損耗很大，會增加學校的教學成本。考慮到使用頻率過大導致模型受損率極高及實體模型因成本問題，通常也只會在實驗室配備，或者是老師講解時配備；模型制作需要使用大量的生物資源以及化學資源，會給生態帶來一定的影響。

AR技術可在醫學領域發揮獨特作用，可幫助醫學學習者建立對人體系統的立體動態概念、觀察內部活動、模擬手術實踐等[8](圖10)，本平臺在醫學教育領域有很廣泛的應用前景。

圖9 建筑學應用

圖10 醫學應用

5 總 結

本文很好地解決了教師單一教學方式和學生難以建立立體感的問題；一定程度上避免了機械制圖等課程教育中用平面講立體的問題。基于AR技術開發的輔助類移動學習平臺系統，使用Unity、3Ds max等技術，從Vuforia增強現實平臺以及EasyAR圖像識別系統出發，充分利用了引擎強大的向下兼容性以及云服務器實時獲取模型帶來的輕量化的優點，并將其應用于機械制圖的移動教學領域。根據機械制圖教學特點和認知規律，設計實現了對立體模型進行縮放、旋轉的交互操作，方便學生隨時隨地進行學習。通過使用該平臺，用立體課堂取代以往課本、課件教學，得到師生的認可。本文是AR在教育領域應用的一種實踐探索，基于AR技術的移動學習模式具有傳統學習所沒有的交互性、移動性、分享性等優點。

基于AR技術開發的輔助類移動學習平臺還有很大的發展空間，下一步可以在交互功能等方面進行開發。信息技術對教育發展具有革命性影響，成為國內外教育改革的新浪潮，為教與學的進一步發展提供了新的思路。

[1] 中華人民共和國教育部. 《教育信息化十年發展規劃(2011-2020年)》[EB/OL]. (2012-03-13) [2017-05-20]. http://www.moe.edu.cn/publicfiles/business/htmlfiles/moe/ s3342/201203/133322.html.

[2] 張宗波, 王珉, 吳寶貴, 等. “線上+線下融合式”工程圖學課程建設與教學實踐[J]. 圖學學報, 2016, 37(5): 718-725.

[3] 李青, 張遼東. 基于增強現實的移動學習實證研究[J]. 中國電化教育, 2013(1): 116-120.

[4] 趙守偉, 馬東璽, 張勇, 等. 增強現實輔助維修技術研究進展[J]. 圖學學報, 2014, 35(4): 648-654.

[5] 邱龍輝. 基于Android 平臺的工程圖學助教助學系統研究與實現[J]. 圖學學報, 2016, 37(6): 831-835.

[6] 趙莉. 淺談機械制圖教學創新探索[J]. 才智, 2013(7): 284.

[7] 楊兆奇, 董莉莉. “近身教學”——建筑學本科教學中學生創新性思維培養探討[J]. 高等建筑教育, 2011, 20(1): 59-63.

[8] 蔡蘇, 王沛文, 楊陽, 等. 增強現實(AR)技術的教育應用綜述[J]. 遠程教育雜志, 2016, 34(5): 27-40.

Aided Learning System of Cross Platform Mobile Terminal Based on AR Technology

ZHANG Haisen1, YANG Guanghui2, LIU Chaojian1, WANG Jilong1, LI Jixuan1, LANG Chen1

(1. School of Computer & Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China; 2. School of Mechanical Engineering, University of Science and Technology Beijing, Beijing 100083, China)

In order to solve the existing limitations of traditional teaching methods such as textbook teaching and courseware teaching, combining Augmented Reality technology with existing teaching methods, using 3Ds max, Unity, NodeJS, MySQL and others software and technologies, by which a cross-platform mobile learning application “POU drawing–stereo classroom” is developed, which is based on Vuforia and EasyAR image recognition system. It is established in the teaching process of mechanical drawing and other courses. The starting point of this APP is multi-link, multi-disciplinary and multi-field. “POU drawing” is a mobile application, with the functions of identifying pictures automatically, displaying stereoscopic models instantly, touching control and multi-scene selection.

augmented reality; engineering graphics; application software; teaching assist

TP 391

10.11996/JG.j.2095-302X.2018010085

A

2095-302X(2018)01-0085-06

2017-06-01；

2017-06-27

北京科技大學青年教學骨干人才培養計劃項目；北京科技大學2017年度本科教育教學改革與研究面上項目(JG2017M14)

張海森(1996–)，男，北京人，本科生。主要研究方向為虛擬現實與增強現實。E-mail：1204124268@qq.com

楊光輝(1977–)，男，山東諸城人，副教授，博士。主要研究方向為大型設備的力學行為與控制。E-mail：yanggh@ustb.edu.cn