基于AR技術的全息玩具兒童古詩詞移動應用系統設計與實現

陳幗鸞 高劉杰

摘要：隨著科技的發展，AR增強現實技術已經融入到當下的教育中。本系統是基于MergeCube全息玩具的兒童古詩詞教育系統，用戶將應用安裝到移動設備端，通過掃描Merge Cube全息玩具，能夠在移動設備中把原來的全息玩具變成不同詩詞對應的AR立體場景及動畫，旋轉全息玩具即旋轉全息的立體場景，并能與之交互，并能實現錄像，拍照，語音召喚等多種功能。

關鍵詞：AR技術;MergeCube全息玩具;Unity3D;古詩詞

中圖分類號：TS958.02 文獻標識碼：A 文章編號：1007-9416（2020）02-0177-02

中國家庭非常重視孩子的教育，并且對兒童學前教育的重視程度日益加深。但傳統的教育形式多為枯燥無味，難以讓孩子提起興趣。隨著計算機技術的發展，傳統的教育體系開始煥發出新的活力，未來的教育系統是與計算機科技、大數據技術、網絡技術等整合起來的一個完整的系統。[1]AR技術仿真和交互的特性，能將抽象、難懂的知識以更生動、全面、直觀的方式呈現，用沉浸式體驗增強用戶的代入感。這些增強現實的元素所產生的可視化效果，能夠大大加強學生對抽象概念和不可見現象的感知。在兒童學習詩歌領域，將傳統教育與AR技術相結合，在提升兒童認知能力的同時，又能賦予教育過程的創新性與娛樂性，實現寓教于樂的效果。[2]

本系統基于MergeCube全息玩具，采用Unity3D作為主要開發引擎，利用3dmax為三維建模工具，搭配MergeVR提供的SDK，進行二次開發實現基本增強現實效果。系統基本能實現增強顯示功能，搭配VR眼鏡更能實現虛擬顯示效果。另外具備UI交互，聲音系統，動畫系統等詩詞學習交互特色功能。

1 Merge Cube全息玩具

Merge Cube是MergeVR公司的其中一款產品，AR全息玩具。MergeCube是一個邊長為7cm的正方體，和一個標準魔方大小幾乎一致，它的表面帶有凸起花紋，花紋被漆成銀色（如圖1所示）。它必須搭配移動應用才能產生AR或VR效果。只要在移動端安裝相應的應用，攝像頭對準MergeCube，就會在移動端屏幕呈現AR或VR效果，三維模型呈現在移動端從而取代真實的MergeCube。

MergeVR公司為廣大開發者提供Merge對應的SDK，供廣大開發者開發應用使用，SDK可以放在Unity3D引擎上進行二次開發。Merge Cube是利用Vuforia的跟蹤識別技術，對立方體的穩定識別特性從而設計的立方體。該SDK包括了Unity和Vuforia的對接功能，立方體表面識別數據庫，還有VR/AR功能，實現了VR、VR兩種模式的切換，當把移動設備放置在VR眼鏡中時，能夠實現VR效果，并通過準心瞄準及觸摸板進行交互。AR功能則只需要移動端設備和識別物，用手指觸碰移動設備屏幕即可交互。該SDK還實現了拍照錄像功能。而且該SDK可以兼容開發IOS或Android版本的應用，為廣大開發者提供便利。目前有很多基于MergeCube全息玩具應用，例如：“MergeThings”、“The Body”等等。本文所開發的系統也是通過該SDK進行二次開發的兒童古詩詞學習應用。

2 三維建模技術（法線翻轉）

由于AR識別物體是一個正方體，為了讓用戶產生神奇的視覺效果，我們對場景的建模都是以等比例的大小相同的立方體場景，需要根據不同的古詩詞場景進行設計。并且為了做到景但是在真實使用中，立方體肯定是要旋轉的，為了更好的實現增強現實的震撼效果，我們使用了3dmax中的法線翻轉技術。通過對模型進行法線翻轉操作后，我們可以看到正方體空間內部場景以及直接對內部場景的模型進行操作。法線翻轉，可以讓我們既可以看到立方體其中兩～三個表面的背景貼圖，當旋轉物體一定的角度時，該表面貼圖就是變透明，從而讓我們看得到立方體內部的模型（如圖2所示）。實現了手握或旋轉立方體等于手握或旋轉不同立方體場景的視覺效果。

3 Unity3D實現交互功能

利用Unity3D的功能組件來實現相應的功能開發。

（1）UGUI用于實現界面的UI，例如朗誦詩詞、譯文功能以及顯示詩詞內容及譯文內容。UI設計盡量簡單清晰，使用世界坐標的UI，合理分布在場景中，并且做到當用戶移動圖片時，UI隨之調整位置及角度。[3]每次UI觸發后等待5秒才能重新觸發，只要重新觸發，上次的聲音或動畫就會結束，避免出現重復交錯的聲音或動畫。

（2）用圓形準心做為交互的觸發器，當準心移到可交互的對象時，準心會有填充，填充結束，交互觸發。這是利用Unity3D中的射線碰撞機制實現的，只要在可觸發的GameObject上面掛上碰撞體組件，通過腳本進行從Camera發射射線進行碰撞檢測即可實現該功能。考慮到用戶一只手既要握住MergeCube全息玩具，另一只手握住移動設備。此時，如果做成觸碰移動設備進行交互是有損用戶體驗的。因此利用圓形準心來觸發交互，會增加應用的合理性和用戶體驗。

（3）動畫交互功能。利用Unity的Mecanim的TimeLine動畫系統，根據每首詩詞對應的故事情節在Animator Controller里面設計動畫播放的狀態及觸發條件，再通過腳本進行邏輯控制，從而根據故事情節安排觸發對應的交互動畫，增加學習系統的學習性和趣味性（如圖3所示）。

（4）系統引入了dataset動態加載技術及Assetbundle動態加載技術，改進了存儲優化問題，從而使應用更流暢，用戶體驗更好。

4 結語

基于MergeCube全息玩具的AR功能特性，開發的兒童古詩詞應用系統，顛覆了傳統的學習教育模式，是一種全新的集學習、娛樂于一體的學習教具應用。本應用開發技術具有遷移性，可以開發除兒童教育類外，還對工業、制造業、汽車業等眾多領域的應用提供了新的思路。

參考文獻

[1] 汪騰浪，田元.基于AR技術的教育產品的開發研究[J].軟件導刊，2017，16（6）：82-84.

[2] 李婷婷，王相海.基于AR-VR混合技術的兒童智力開發系統研究[J].計算機工程與應用.2019（12）：8.

[3] 陳幗鸞，劉建翰，高劉杰.基于AR增強現實的古詩詞兒童教育系統的設計與實現[J].科技視界，2018，12（35）：6-7.

Design and Implementation of? Children's Poems Mobile Application Based on Augmented Reality

CHEN Guo-luan，GAO Liu-jie

（School of? Information Engineering， Zhongshan Polytechnic， Zhongshan? Guangdong? 528400）

Abstract：With the development of science and technology，Augmented reality has been integrated into today's education.This system is a application of Childrens Poems based on augmented reality.Download and launch Cube apps on your smartphone or tablet.Point your device at the Cube.Watch the Cube transform into a virtual object you can hold.The rotating MergeCube is the rotating three-dimensional scene. You can interact with it，and make Video recording， taking photos， voice calling and other functions come true.

Key words：Augmented Reality;MergeCube;Unity3D;childrens poems