基于AR增強現實的古詩詞兒童教育系統的設計與實現

陳幗鸞　劉建翰　高劉杰

【摘 要】本系統是提供給6-12歲少年兒童學習古詩詞的集交互式，娛樂性于一體的AR系統，便于培養小孩開心學習的習慣。系統包含移動端APP，精美詩詞圖形卡片。能給小孩提供美妙的學習古詩詞體驗，集AR古詩詞場景學習交互、游戲互動、錄像拍照轉發等功能于一體的移動應用系統。

【關鍵詞】AR增強現實；Unity3D；古詩詞

中圖分類號： G613.2 文獻標識碼： A 文章編號： 2095-2457（2018）35-0006-002

DOI：10.19694/j.cnki.issn2095-2457.2018.35.003

0 引言

當今，在計算機應用技術的影響下，傳統文化的教育方法也隨之添加了很多新元素，可以想象不久將來的教育方式是不同程度融合計算機科技、大數據技術、網絡技術、云計算技術等計算機技術。而隨著計算機視覺技術的發展，AR增強現實技術已經逐漸融入到現今的教育中。以“賞中華詩詞、尋文化基因、品生活之美”從古人的智慧和情懷中汲取營養，涵養心靈，這是兒童學習古詩詞的最佳時期。增強現實技術是將虛擬場景或模型“擺放（添加）”在真實場景中，讓用戶體驗到虛實融合的環境，使用戶感受到一個真實和虛擬混合的場景，并且能夠與虛擬的對象進行交互。在兒童學習古詩詞領域，將AR技術與傳統文化教育相結合，這樣不僅符合認知規律有效提升兒童的認知能力，又能增加教育過程的創新性、娛樂性，能夠達到寓教于樂、快樂學習的效果。

本系統嚴謹選取適合6-12歲兒童的學習的古詩詞，根據古詩詞的意境及歷史背景，結合兒童認知規律特點，設計一款兒童古詩詞AR學習應用系統，可在電腦，手機，平板等移動設備進行學習及游戲。

本系統采用Unity3d作為主要開發引擎，C#為開發語言，3dmax為三維建模工具，使用Vuforia實現基本的增強現實效果。系統基本實現功能包括：增強現實效果，UI交互，聲音系統，動畫系統，語音識別召喚，拍照錄像微信朋友圈轉發等基本功能以及詩詞學習交互游戲特色功能。

1 三維虛擬場景的建立

1.1 模型的建立

采用3dmax為AR古詩詞系統構建三維模型。針對詩詞的意境、歷史故事背景進行場景建模和人物建模，美觀要符合兒童認知特點，其次要求模型完整精美的同時盡量節省資源，讓應用更流暢。

圖1 《詠鵝》場景三維模型

1.2 模型的優化

項目中往往要在時效性和呈現效果中進行取舍。建立完場景模型后，需要比較多的面數來達到逼真的效果。但當模型中面數數目超過系統的計算能力時，虛擬場景將無法及時完成幀處理，從而破壞了場景切換的平滑性。為了提高運行系統的時效性，需要減少數據庫中的多邊形消耗并對模型進行簡化處理。

三維模型優化有很多的技巧，主流的有LOD技術優化模型，這種技術在圖形繪制中主要會通過計算目標視點的距離遠近而在這些模型細節中進行切換，從而隨時地改變場景的復雜度。運用LOD技術不但能滿足模型的視覺要求，并且使模型的繪制幀速度提高了，從而提高了系統的時效性。

1.3 預制體的制作

對于可以重復使用的人物或場景模型，應為它建立一系列的動畫，并做為預制體。對于可重復的創建具有相同結構的游戲對象，我們稱為預制體。在本項目中，為了節省資源，達到優化的目的。可以使用預制體功能，然后為模型制作一些列的動畫，在具體的場景和模型上利用Unity的Mecanim動畫系統，對動畫進行重定向，把動畫從一個角色模型應用到另一個角色模型上，從而實現資源的合理優化。

2 Vuforia與Unity的結合

2.1 增強現實效果的實現

Vuforia是由高通公司推出的針對移動設備擴增實境應用的軟件開發工具包，一款供開發者開發的AR SDK，移動設備平臺包括Android，IOS和通用Windows平臺（UWP）。它利用計算機視覺技術實時識別和捕捉平面圖像或簡單的三維物體，然后允許開發者通過調用照相機取景器，把虛擬對象放置并調整對象在鏡頭前真實背景上的位置。Vuforia通過計算、處理識別圖形（主要包括：灰度化、色階計算、錨點記錄等），然后將識別圖（jpg或png）上傳至Vuforia數據庫。這樣，每一張識別圖在Vuforia的數據庫中都有一個唯一確定的ID。在實際開發過程中，將特定的ID與特定的三維模型相映射，當運行程序的時候，攝像頭掃描到特定的識別圖，即可根據與ID的對應來獲得相應的三維模型。

在實際的開發中，我們主要使用到Vuforia的兩個功能模塊：Image Targets（圖片跟蹤）和Multi-Image Targets（多圖跟蹤）。

2.2 Image Targets（圖片跟蹤）

跟蹤目標為二維的圖像形式。Vuforia是能夠加以識別并捕捉擁有比特數據的目標。Vuforia使用自己的算法來計算識別圖的特征錨點，此外，Vuforia不需要識別圖的特征點完全符合數據中心的數據，只要目標圖片還在攝像頭的范圍內即可，從而增強了跟蹤效果。Targets是提前在Target Management System中輸入的JPG或PNG圖片。把這些數據保存在Vuforia數據庫中并在程序運行時加以提取。

在制作AR卡片的時候，即識別圖片時，應該盡量制作細節里棱角比較多，棱角分布較均勻，圖片單個元素很小。這樣獲得5星的識別圖，有以下好處：（1）識別圖越容易識別；（2）識別出來的物體（模型）不會出現抖動；（3）識別速度更快。另外我們在設計識別圖時應該符合每一首古詩AR的三維場景模型，做到高度對應，這樣產生的增強現實效果更為的驚艷。

2.3 Unity實現交互功能

利用Unity3D的功能組件來實現相應的功能開發。

（1）UGUI用于實現界面的UI，例如朗誦詩詞功能、朗誦譯文功能以及顯示詩詞內容及譯文內容。UI設計盡量簡單清晰，使用世界坐標的UI，合理分布在場景中，并且做到當用戶移動圖片時，UI隨之調整位置及角度。

（2）用圓形準心做為交互的觸發器，當準心移到可交互的對象時，準心會有填充，填充結束，交互啟動。考慮到用戶對象是6-12歲兒童，手部力量不大，因此需要兩只手握住移動設備。此時，如果做成觸碰移動設備進行交互是有損用戶體驗的。因此利用圓形準心來觸發交互，會增加應用的合理性和用戶體驗。

（3）動畫交互功能。利用Unity的Mecanim動畫系統，根據每首詩詞對應的故事情節在Animator Controller里面設計動畫播放的狀態及觸發條件，再通過腳本進行邏輯控制，從而把交互動畫符合故事情節安排，增加學習系統的趣味性和可觀感性。

（4）為了使用戶有堅持學習，互相分享。在Unity項目中導入微信接口，實現微信轉發功能。我們可以使用ShareSDK實現此功能。首先導入ShareSDK，創建一個按鈕UI作為分享按鈕實現分享鏈接，還有創建一個文本UI來顯示分享返回信息。給場景內的攝像機（或者其他任意Gameobject）添加ShareSDK腳本，同時創建一個腳本加載在攝像機上。可以去mob平臺官網注冊一個賬號，添加一個應用后獲得ShareSDK腳本需要填寫的AppKey和AppSecret。

（5）語音召喚功能。通過移動設備的麥克風獲取語音信息，識別語音信息來加載不同的詩詞場景，從而使得學習系統更多樣性，更豐富的交互性。本項目使用的是飛訊SDK，通過在Unity項目加載飛訊的語音識別SDK，實現語音召喚功能。

此外還使用了Unity的粒子系統用于實現粒子特效，例如火把，煙花，燭光等效果。

3 系統架構設計

本系統運行于Android或者IOS平臺。利用平臺的GPU實時渲染功能，將模型渲染到虛擬的三維空間當中。

將識別圖數據和模型數據都加載到移動平臺的內存中，在程序運行的時候，通過內存加載，來得到相應的數據，當詩詞場景比較多的時候，也可以把識別圖片及場景加載到Vuforia的云平臺，進行實時加載。

在Vuforia中通過攝像頭來獲取識別圖像，通過Image Target來匹配識別圖與場景模型，產生增強現實效果。

最后利用Unity3D游戲引擎實現交互功能。

【參考文獻】

[1]基于AR技術的教育產品的開發研究[J].汪騰浪，田元.軟件導刊.2017，16（6）：82-84.

[2]一種基于Unity3D的移動增強現實自動導覽方法[D].羅永東，張淑軍.計算機與數字工程，2015.

[3]基于HTC VIVE虛擬校園漫步系統——以中山職業技術學院為例[J].陳幗鸞等.2017，10，63-64.