金婷 楊潘藝 于鳳雪 賈振宇 張明璇



摘要:AR技術是能夠實現虛擬與現實世界交互的新興智能技術,其能夠大幅增加應用系統的沉浸感和體驗感,AR技術也因此在教育領域得到了一定重視和應用。本文針對AR在早期教育領域的應用,設計了以Unity3D和Vuforia為基礎的具有增強現實和交互功能的虛擬動物園。最終實現了一個基于移動端app的增強現實系統,具有易操作的AR展示功能,可以對生成的大量動物模型進行移動、放縮、旋轉、吼叫和動作觸發等交互操作,實現了原理和系統設計的真實應用,對早教等相關行業帶來一定積極影響。
關鍵詞:增強現實;Unity3D;Vuforia;AR
中圖分類號:TP391.9 文獻標識碼:A 文章編號:1007-9416(2020)07-0157-03
0 引言
近年來,AR技術發展迅猛,而如何使AR 技術更好地與場景搭建、構型設計相結合,使教育與展示更加生動有效,讓幼兒有興趣、能更清晰地認識世界是目前基于AR技術在教育領域面臨的一個主要問題。鑒于AR技術本身的特點,由圖片、三維圖形展示,轉變為模型化動態與聲形色元素結合呈現的場景化應用開發,成為主流。
縱觀國際國內,近年來,市場上都出現了不少優質的基于AR技術的早教產品,例如AR繪本和AR卡片等。通過Vuforia(2D圖片識別和跟蹤)和Unity(用于3D建模)無縫集成,AR技術運用于早教[1],使其更加便捷。
本文提出了一種情景式早教方式,尤其面向手機端APP的實現,既有動物的真實3D形象,還有動物的叫聲、行為動作,以及基本解說,系統完整,可擴展,增強興趣,促使對世界的立體化認知,也能夠使第三方快速進入系統并更新擴展,成為良好的開放平臺。
1 系統設計與原理
1.1 基本技術原理
AR(增強現實)技術,是利用三維跟蹤注冊技術,其通過計算虛擬信息的位置將計算機生成的虛擬圖像與現實世界相疊加,是一種新興技術。本項目使用Vuforia和Unity無縫集成實現增強現實技術在早教方面更加具有生動性、交互性的應用[2]。通過輸入設備采集現實場景中的圖像信息,包括顏色、輪廓、明顯特征等,對圖像信息進行預處理以辨別該圖像是否為需要增強的目標對象。如果是,則啟動目標跟蹤程序,在跟蹤位置顯示對應的虛擬信息;否,則不進行處理。
為提高用戶體驗,顯示虛擬信息需要實時、準確地獲取當前攝像機的位置和姿態,本項目使用基于計算機視覺的跟蹤注冊技術獲取攝像機的位置與姿態,使用Vuforia分析、處理輸入設備輸入的真實場景位置信息,從而與虛擬攝像機產生的物體無縫的融合顯示。
在這個過程中使用到的現實場景與虛擬物體結合需要使用三維物體建模技術,創造可視化輸出目標跟蹤顯示的虛擬物體,和真實場景有效融合在一起,將合成的圖像在顯示設備上輸出。輸出目標需要具有動作交互,需要使用建模軟件進行動作逐格制作或者骨骼綁定進行動畫制作。
Vuforia實現現實場景中圖像的定位以及虛擬三維模型與現實圖像無縫貼合,并與Unity結合實現用戶的交互。在Unity中創建按鈕以及動畫控制器、語音控制器通過一定的代碼控制使得用戶可以點擊屏幕中的按鈕控制三維模型的動畫、語音,從而展示動物的動作、叫聲以及相應的解說。最終,通過導出apk的形式進行系統輸出,實現虛擬動物園的app應用。
1.2 技術識別流程設計
如圖1所示,系統主要的流程如下:
(1)系統首先通過相關的輸入設備采集場景圖像,經過預處理后,檢測場景中是否存在需要增強顯示的目標,檢測到后啟動跟蹤程序,并在對應位置顯示虛擬信息。
(2)實時的跟蹤需要增強現實的目標,以達到三維注冊的目的使現實場景中的物體和虛擬攝像機產生的物體無縫的融合顯示。
(3)物體建模的過程是場景圖像與幾何模型相結合,創造可視化輸出目標跟蹤顯示的虛擬物體,和真實場景有效融合在一起,將合成的圖像在顯示設備上輸出。
(4)增強現實中的關鍵技術主要包括圖像識別技術、目標跟蹤技術、三維注冊技術和虛實融合技術,其中三維注冊是增強現實系統最為關鍵的技術,其目的是在虛擬世界和真實場景之間建立對應關系,使兩者之間能夠做到有效的融合,并在顯示設備上給使用者實時地顯示這種關系。
1.3 系統使用交互設計
攝像頭將畫冊上的動物圖像識別后,通過AR技術進行三維數據運算,按Unity中模型的具體數據進行與顯示場景數據的真實交互,還原相應模型。在系統識別后,進行相應的功能使用跳轉,如圖2所示。
系統具有增強對動物的立體認知,同時有配套的介紹音頻播放,進一步增加產品的教育性。使用者可以通過顯示器或者手機對模型進行操作,比如展示模型動作、移動、聽取聲音等。
以虎為例,通過本產品平臺對配套識別圖片進行識別后,呈現出具有完整骨骼和動畫功能的虎模型,通過手指進行觸屏交互,可實現對虎模型的放大縮小、旋轉、移動等基礎交互功能,此外,通過相關UI觸發識別操作后,可以實現虎發出吼叫聲和相關的動作,如行走、奔跑、跳躍、進食、攻擊等。此外,該款產品的具體使用操作十分簡單,完全符合面向低齡兒童這一群體的要求。
1.4 系統使用交互設計
綜合上述分析,系統需在Vuforia和Unity的基礎上添加音頻和UI模塊,主要實現系統的引用輸出實現和功能產品化[3]。在Unity中使用建立好的模型,實現選取的照片和AR模型對應的功能。
設定交互識別圖片,添加后進行特征識別和對應交互。在添加上模型的動畫作品的導出,通過調用收集攝像頭進行識別,生成對應3D動畫,從而實現AR的動態交互。最后在Unity中導出apk文件,下載后使用app,實現手機展示AR動物園功能。
整體系統架構如圖3所示。
2 項目實現
根據上文的基本原理和系統框架、功能的設計,通過C#進行腳本編寫,通過Vuforia結合Unity進行系統的實現。
該系統已實現,由于功能無法全部羅列,本文只對四個頁面進行展示。
系統首頁與動物介紹頁面如圖4所示,系統運行識別與動畫播放頁面如圖5所示。
3 結語
本文對AR的教育領域應用分析闡述,進行了在Vuforia和Unity技術基礎上的設計與開發,在系統中對增強現實進行了合理化實現與針對性應用。在“虛擬動物園”中實現了語音解說模塊、動物行為演示模塊,使卡通動物形象立體化、真實化,不僅能吸引興趣、豐富認知,更為家庭親子溝通提供了便捷可行的途徑。本文研究的系統以手機為載體,順應了目前智能化生活方式的需求,便捷了父母教育幼兒,對于幼兒而言在認知自然界的同時又接觸了信息技術時代下的前沿科技;此外,基于AR本身就是在推動本技術在早教領域的發展。
相比于簡單的AR繪本,本系統未來的研究方向不再只是拘泥于繪本上的圖片模型的簡單重現,將會有更加豐富的操作,具有更互動性,預計會有更好的學習效果,比如將會提供多種場景進行切換,相關模型的更多動作也會實現,趣味性大大提升。
參考文獻
[1] 楊濤.增強現實技術(AR)在教育中的有效應用[J].實驗教學與儀器,2019,36(2):79-80.
[2] 魯文娟,金一強.基于智能手機的Vuforia+Unity3D增強現實技術方案及其教育應用[J].現代教育技術,2017(5):20-26.
[3] 徐敏,童強.一種基于Unity3D+Vuforia的增強現實交互App的開發[J].現代計算機(專業版),2016(12):73-77.