基于EasyAR的聶榮臻元帥陳列館導覽系統研究

2023-07-29 00:30:30李傳帥申閆春

計算機仿真 2023年6期

李傳帥,申閆春

(1. 重慶工業職業技術學院,重慶 401120;2. 北京信息科技大學計算機學院,北京 100192)

1 引言

紅色旅游是以弘揚中華民族精神為主題旅游活動,不僅是參觀游覽紀念地,觀看陳列品,更強調傳承其所承載的紅色故事、革命精神,革命知識,培育新時代奮斗精神。因此,增強現實科技展示技術成為研究熱點之一,它能夠更加多感官、多層次、身臨其境的展示紅色旅游承載的內涵信息,它把計算機生成的豐富虛擬信息疊加到實景中,實現對真實環境的信息增強,實現虛實結合、實時交互的體驗,使旅游者通過手機屏幕就可以體驗紅色旅游的文字簡介、語音解說、視頻播放、三維場景瀏覽,更加有利于傳承中華民族的紅色文化和優良傳統[1]。

目前,AR系統開發應用技術主要有:高通公司的Vuforia、日本公司的ARToolKit、我國視辰信息科技(上海)有限公司的EasyAR。其中,ARToolKit僅支持PC平臺開發,Vuforia費用較高、開發難度較大,而EasyAR提供免費支持,其成熟度已經趨于完善,成為優秀的國產AR軟件。與Vuforia相比,具有高效、易用、簡單的優點。EasyAR讓增強現實技術變得簡單易用,更加方便的應用到展覽展示、旅游導覽、廣告推廣等活動之中。因此,EasyAR已經逐漸成為AR解決方案的最好選擇。但是,市場上應用的增強現實導覽系統,存在自然特征識別數據量大、計算耗時長、標志物識別準確率較低、受光照、遮擋影響大、易導致跟蹤失敗等問題[2]。

針對這些問題,本文提出了一種基于EasyAR的增強現實導覽方法,采用3DsMax對場景進行三維建模,采用Unity開發交互設計程序,采用EasyAR檢測和跟蹤標識物特征點,疊加顯示對應的增強現實仿真模型、播放視頻、動畫、音效。

聶榮臻元帥陳列館位于中國重慶市江津城郊,是全國愛國主義教育示范基地,館內陳列聶帥生平事跡照片近300張,文物、史料400余件,黨和國家領導人的題詞和書,畫名家創作的書畫近百件,此外還收藏照片3000余張,文物數百件,名家字畫500余件,聶帥生前藏書近萬冊。館內還陳列了聶帥為國防科技做出巨大貢獻的標志性成果,包括:兩彈一星、長征系列火箭、國產先進武器裝備、各種人造衛星等模型40余件[3]。因此,特別適合采用AR科技展示方法,開發聶榮臻元帥陳列館導覽系統,給人以身臨其境的體驗。

2 基于EasyAR的AR導覽方法

基于EasyAR的移動手機終端增強現實自動導覽方法,是把計算機系統制作的虛擬場景、三維模型、視頻、音頻、文字、動畫與真實環境、照片、模型相疊加而在手機終端得到的增強視圖場景。其關鍵技術是:采用3DsMax對虛擬場景和虛擬實體進行三維建模,采用視音頻、動畫等專業編輯軟件制作用于虛擬場景中的視頻、音頻、文字、動畫等需要疊加展示的信息,采用Unity3D進行場景實時交互設計,采用EasyAR引擎檢測和跟蹤標識物特征點,根據標識物的位置,顯示對應的增強現實場景、疊加虛擬信息、顯示文字解說、音頻解說、播放視頻、動畫、音效,采用人機虛擬交互方式進行導覽交互[1]。

以開發聶榮臻元帥陳列館增強現實自動導覽系統為實際案例,一個典型的AR應用系統通常由視頻采集、虛擬場景生成、視音頻制作、注冊定位、視圖識別、視圖跟蹤、視圖渲染、視圖增強疊加、真實場景疊加虛擬場景、手機增強視圖顯示輸出模塊構成。其系統框架如圖1所示。

圖1 增強現實導覽系統總體框架

視頻采集模塊用于實時獲取陳列館真實的照片、模型,實時追蹤定位、捕捉標志物。虛擬場景生成模塊用于實時產生增強的虛擬場景,以及其中的三維模型、視頻、音頻、文字、動畫等虛擬視圖。注冊定位模塊用于實時獲取相機焦距、寬高比、所采集真實視圖位置、方位等參數,以便確定實、虛之間的映射關系,將虛擬場景疊加至真實場景的合適位置。視圖識別模塊實時將采集視圖與目標識別視圖進行比對,以便確定是否疊加虛擬場景。視圖跟蹤用于實時追蹤定位、捕捉標志物。視圖渲染模塊用于實時渲染真實場景與虛擬場景視圖。視圖增強疊加模塊用于當確定虛、實疊加時,生成融合的虛擬場景疊加真實場景的視圖。真實場景疊加虛擬場景模塊用于實時產生融合的虛擬場景疊加真實場景的視圖。手機增強視圖顯示輸出模塊用于顯示虛實融合的增強視圖。

3 AR場景應用開發

采用EasyAR結合3DsMax、Unity3D開發AR場景應用,3DsMax對虛擬場景和虛擬實體進行三維建模,Unity3D進行場景實時交互設計,EasyAR實現檢測和跟蹤標識物特征點,將虛擬場景疊加于真實場景,顯示增強現實場景視圖。

3.1 EasyAR簡介

EasyAR是增強現實引擎,是為移動平臺的增強現實應用系統提供的感知真實世界能力的開發工具,提供一整套增強現實功能組件,使非計算機專業的開發人員也能輕松創建、編寫、發布增強現實應用系統。EasyAR 開發的AR應用能夠在真實世界中疊加虛擬場景,利用移動終端的顯示屏將虛擬對象和攝像頭捕捉的現實場景結合到一起顯示,從而實現對現實世界增強虛擬信息的作用[1]。

EasyAR提供的主要開發模塊有:平面圖像跟蹤(圖片識別)、3D物體跟蹤(物體識別)、運動跟蹤、稀疏空間地圖、稠密空間地圖、表面跟蹤、多目標識別與跟蹤、錄屏、透明視頻播放等。另外,EasyAR支持Android ARM64架構;支持Windows,Android,IOS;提供功能完善的Unity插件;支持WebAR和微信小程序應用的開發;并提供大量完善的開發案例、中文教程文檔和社區服務[4]。

3.2 AR場景應用開發流程

依據EasyAR的導覽方法,提出了基于EasyAR的增強現實導覽系統的開發方法,能夠在移動終端實現無縫切換虛實疊加的AR效果。該方法的總體流程如圖2所示。

圖2 開發AR場景應用總體流程

開發AR場景應用,首先要采集想要增強信息的圖像,制作AR識別圖像集,在Unity中安裝EasyAR,配置EasyAR的注冊碼Key,配置支持AR應用的手機,應用特征點識別算法,以便識別AR圖像,并疊加顯示增強的虛擬信息;然后,在Unity中交互開發AR場景應用,建立圖像識別AR程序,導入3DMax制作的模型及其貼圖,導入視音頻編輯軟件制作的視音頻文件,導入動畫編輯軟件制作的動畫文件;最后,編寫導覽代碼,開發AR各個功能模塊,生成并發布Android APK應用,在手機端體驗、測試,以便改進、完善。

在陳列館用手機查看圖片時,AR導覽系統會實時處理標識物圖像,直接在手機端的識別圖像集中進行比對,激活相對應虛擬場景、視頻、動畫、音頻、文字疊加到實景應用中,這一點比Vuforia技術更加實時、高效,經過人機交互控制,使用自己的手機便可以導覽整個陳列館。與之前的AR開發方法相比,該方法的主要優點是:可以實現多標識物的自動識別、無縫切換,具有光照變化和遮擋處理的自適應功能,支持多模式的虛實疊加功能(三維模型、動畫、視頻、文字等),具有豐富的交互性(虛擬按鈕、操作桿、縮放、漫游等),從而解決了自然特征識別數據量大、計算耗時長、標志物識別準確率較低、受光照、遮擋影響大、易于導致跟蹤失敗等問題[1]。

3.3 AR場景應用的實現

3.3.1 搭建EasyAR開發環境

1)采集圖像,制作AR識別圖像集。例如:在聶榮臻元帥陳列館拍照一張展出的氫彈照片。

2)下載EasyAR。在EasyAR官網(https:∥ www.easyar.cn)上注冊一個自己的賬號,以便獲得個人免費版。登錄EasyAR官網,單擊下載EasyAR。

3)在Unity中安裝EasyAR。以安裝到Unity 2018.4.36f1版為例,介紹安裝方法。解壓縮下載獲得的文件,產生一個文件夾package。啟動Unity 2018,在D:EasyAR創建一個新的項目EasyAR1,單擊Window,Package Manager,單擊“+”,選擇package中的 package.json。

4)在Unity中配置EasyAR的注冊碼(Key)。單擊EasyAR,Sense,Configuration,需要在EasyAR SDK License Key輸入你自己的注冊碼(Key)。獲得Key的方法:登錄EasyAR官網,開發中心,選擇“我需要一個新的Sense許可證密鑰”,選擇免費、個人版。輸入應用名稱:EasyARProject1,Package Name(Android)的命名需要按照Android開發的包名命名規則命名,格式是:執行.公司名稱.應用名稱,輸入Package Name(Android):com.syc.easyar project1,確認。單擊應用名稱EasyARProject1,得到授權的注冊碼密鑰Key,單擊右側的“復制”,再回到Unity中,粘貼Key值到Unity的EasyAR SDK License Key中。

5)配置Android SDK、NDK,切換到Android平臺。單擊Edit,選擇Preferences,External Tools,在SDK中配置Android SDK,例如:D:/Android/android-sdk。在NDK中配置Android NDK,例如:D:/Android/android-ndk-r16b。單擊File,Build Settings,Android,Switch Platform,關閉。

6)配置支持AR應用的手機。單擊Edit,Project Settings,Player,Other Settings,Mini mum API Level,設置成:Android 8.0 ′Oreo’ (API level 26)。在Unity中Package Name默認的名字為:com.DefaultCompany.EasyAR3,修改為Android網站上注冊的名稱:com.syc. easyarproject1,確認。

3.3.2 開發AR場景應用

以氫彈三維模型的AR場景為例。

1)建立基礎對象組AR Session,應用特征點識別算法。單擊GameObject,EasyAR Sense,Image Tracking,AR Session(Image Tracking Preset)建立了一個跟蹤預設圖像的AR基礎對象組AR Session(EasyAR)對象(結點)。

2)建立圖像識別AR程序。單擊Game Object,EasyAR Sense,Image Tracking,Target: Image Target(比對的圖像目標)建立圖像識別對象。選中Image Target,Source Type選擇Image File,Path Type選擇StreamingAssets,在D:EasyARAssets中,創建文件夾StreamingAssets,用于流式文件管理,實時跟蹤目標圖像文件,并拷貝圖片文件qingdan.jpg到其中。Path中輸入qingdan.jpg,Name輸入qingdan,Scale輸入0.2,跟蹤器Tracker將會自動找到一個唯一對應的識別圖像Image Tracker。

3)導入外部要展示的虛擬仿真模型。采用3DsMax制作一個虛擬三維氫彈仿真模型及其貼圖,導入到Unity項目面板的Assetsmodel中,再拖動到層級面板的Image Target里面,雙擊模型,可以聚焦看到圖片和氫彈模型。調節識別圖片與氫彈模型之間的位置關系:識別圖片在XOY平面上,模型應在z軸的負方向上。修改氫彈模型的Scale為:x1.8y1.8z2。拖動模型到z軸的負方向:z值為:-0.3。

單擊運行,但是,在Game中沒有看到圖片和模型,這是因為:EasyAR應用只是生成自己的對象,這個對象自動與主攝像機綁定在一起了,而主攝像機默認渲染的天空盒遮擋了AR對象,因此,需要去掉天空盒,才能看到AR對象。選中Main Camera,修改Clear Flags為Solid Color,并設置背景顏色為黑色,近平面為0.1。再單擊運行,識別手機上的qingdan.jpg圖片,便可以看到氫彈模型了。至此,一個基于EasyAR圖像識別的AR場景應用程序便完成了,如圖3所示。

圖3 EasyAR增強顯示氫彈仿真模型

4)導出Android APK包。發布為手機版的APK文件,以便安裝到手機上用作旅游導覽。單擊文件File,發布設置Build Settings,單擊選擇加入當前場景,選擇Android,單擊發布Build,導出文件夾需要選擇在項目文件夾外面,例如:D: