虛擬現實文化體驗系統設計與應用

付康 余日季

摘 要：近年來，虛擬現實技術作為一種新媒體技術，受到眾多研究機構的關注與青睞，應用文化領域的虛擬現實技術也成為研究熱點。以Unity3D為開發平臺，構建一種虛擬現實文化體驗系統，并重點分析其系統架構與關鍵技術。以黃鶴樓文化為實例設計并實現了基于虛擬現實的黃鶴樓文化體驗系統，對系統各模塊進行分析與測試，結果表明其穩定性比傳統系統更高。相比傳統虛擬現實結合文化的應用，該系統增加了虛擬現實交互體驗，為進一步推進大眾對虛擬現實技術的認知、推動虛擬現實技術在數字文化領域的交互體驗提供了案例參照。

關鍵詞：虛擬現實; Unity3d; 文化體驗

DOI：10. 11907/rjdk. 191922 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP319文獻標識碼：A 文章編號：1672-7800（2019）008-0096-05

Design and Application of VR Cultural Experience System

FU Kang1，YU Ri-ji2

（1. School of Computer and Information Engineering， Hubei University;2. College of Art， Hubei University， Wuhan 430062， China）

Abstract：In recent years， virtual reality technology， as a new media technology， has attracted the attention and favor of many university research institutions.virtual reality technology based on cultural field has also become a hot research topic recently. Taking Unity3D as the development platform， this paper constructs a virtual reality cultural experience system， and focuses on analyzing its system architecture and key technologies. Finally， a virtual reality based experience system of yellow crane tower culture is designed and implemented with the yellow crane tower culture as an example. The system modules are analyzed and tested， and the stability is better than the traditional system. Compared with the traditional application of VR combined with culture， the innovation of this paper has increased VR interactive experience， providing a case reference for further promoting the public's cognition of VR technology and promoting the interactive experience of virtual reality technology in the field of digital culture.

Key Words： virtual reality; Unity3D; cultural experience

基金項目：國家重點研發計劃課題項目（2016YFB1101702）

作者簡介：付康（1994-），男，湖北大學計算機與信息工程學院碩士研究生，研究方向為計算機技術;余日季（1976-），男，博士，湖北大學藝術學院數字媒體系教授、博士生導師，研究方向為AR/VR/MR數字交互設計與開發、動畫與數字媒體創意設計、數字媒體技術與產業化應用、文化遺產數字化保護。本文通訊作者：余日季。

0 引言

作為一項全新的技術，虛擬現實（Virtual Reality，VR）技術結合了計算機圖形學、人機交互技術、傳感器技術等多種技術與學科知識[1]。虛擬現實技術在視覺、聽覺、觸覺上給體驗者提供了一種全新體驗，而基于文化可視化技術的虛擬現實文化體驗系統主要解決人們無法實景體驗的問題[2-3]。目前大多數VR結合文化的應用基于虛擬現實技術還原歷史事件，集中于對歷史遺跡的保護和開發[4]。傳統文化體驗大多以紀錄片、實地參觀、照片瀏覽等方式實現。為了進行更深入的文化體驗，利用VR技術將文化以可視化方式呈現的文化數字化研究吸引了大量關注。

國外VR技術在文化領域應用的研究開始較早，如英國自然博物館以“科技+文化”為基準，利用三維掃描技術重建了文物數字模型，并實現了虛擬文化博物館;美國加州大學洛杉磯分校的William 教授帶領團隊在以色列展覽中心完成了古耶路撒冷部落虛擬重現[5]。相比之下，國內相關研究還處于初級階段，但在國家提出文化強國的理念后VR技術在文化應用方面的研究取得長足進步，并積累了一定的成果。為了響應國家“一帶一路”的號召，作為古代“絲綢之路”的延續，“一帶一路”以“科技+文化”的獨特新穎發展模式，將虛擬現實技術應用到文化傳承中[6]。通過虛擬現實技術，對歷史文化進行可視化呈現，便于更好地保存、弘揚和傳承歷史文化，如湖南省旅游業應用“文化+科技”模式宣傳當地旅游文化;由于自然因素、主觀因素、手工失傳等因素，閩南紅磚古厝文化未能得到有效傳承和保護，而借助虛擬現實技術一方面可以增加民眾沉浸感與交互性，另一方面將歷史文物以一種數字化的方式展現給民眾，便于更好地保存文化產物[7]。

本文在已有研究基礎上，結合VR技術的交互特點構建VR文化體驗系統，使體驗者既可以了解文化特色，還能進行VR交互操作。VR文化體驗系統新穎的體驗方式在一定程度上提高了體驗者對文化產業的興趣，同時也有利于文化發展和傳承。

1 VR文化體驗系統架構設計與關鍵技術

1.1 VR與VR文化體驗

VR是一種能夠體驗和創建虛擬世界的計算機仿真技術，其通過數字媒體技術生成一種多源信息融合交互式的模擬環境。VR仿真平臺是VR技術實現的載體，被廣泛用于工業仿真、房地產銷售、旅游教學、數字文化復原等多個領域[8]。

作為一項前沿技術，VR技術有獨有的特性：多感知性，即除了計算機具有的視覺感知，還有聽覺、觸覺、運動感知。理想情況下，VR技術還應該具有一些感知功能，包括：沉浸性，即體驗者在虛擬場景中有身臨其境的感覺;交互性，即體驗者與虛擬環境中物體交互的反饋程度;自主性，即虛擬環境中物體在物理運動定律作用下表現的物理動作程度[9]。

1.2 VR文化體驗系統架構設計

VR文化體驗系統層次架構如圖1所示。

圖1 VR文化體驗系統層次架構

第1層為數字化文化三維建模層，用于構建文化數字化模型;第2層為虛擬環境數據庫層，用于保存文字、圖片、動畫、影像等文化資源;第3層為三維跟蹤注冊技術層，用于定位體驗者位姿數據信息并構建虛擬三維空間到頭顯世界坐標空間的三維幾何參數模型;第4層為三維顯示輸出層，用于以可視方式展現數字化的三維場景、語音、以及人物動畫等數據，其中，輸出層包括場景漫游、語音導覽、動畫播放和物品交互;第5層為虛擬現實集成系統層。

1.3 VR文化體驗系統關鍵技術

VR文化體驗系統關鍵技術包括三維顯示輸出技術、三維跟蹤注冊技術和文化數字化三維建模技術[11]，這些關鍵技術是實現整個VR文化體驗系統的基礎。

1.3.1 文化數字化三維建模技術

隨著“科技+文化”模式的實施，文化數字化概念也隨之出現。在VR文化體驗系統中，文化數字化三維建模技術是整個系統實現的核心技術[10]。數字化三維建模方式主要有3D Max建模、三維掃描建模、實景三維建模。其中3D Max建模以影像為參照物，對影像實物的立體輪廓進行人工描述，并通過特定貼圖制作工具實現物體貼圖繪制;三維掃描建模是全自動高精度立體掃描技術，通過高精度掃描得到三維坐標數據，進一步獲取物體表面的點云信息，從而描繪出整個3D實物的立體輪廓。實景三維建模利用激光測量物體在空間中的深度信息以獲取準確位置數據[11]，根據獲取到的位置數據信息即可描繪出整個物體的輪廓及構造。

本文提出的文化數字化三維建模技術在三維建模基礎上發展而來，結合文化特征構建數字化三維模型。數字化三維模型構建以實際文化表征建筑或者場景為標準，根據實物基本信息，在建模軟件中創建數字化三維場景模型。數字化文化三維建模則將實際文化以一種數字化方式呈現給體驗者。

1.3.2 三維跟蹤注冊技術

三維跟蹤注冊技術通過構建虛擬世界到頭顯世界的幾何映射模型，結合三維圖像實時生成技術，實現在圖像世界中的三維顯示輸出。三維圖像生成原理由CPU與GPU相互協作完成，具體步驟是：CPU對渲染的狀態與隊列進行設置，當成功設置完相關狀態后，與GPU通信并發送渲染指令，此時GPU根據收到的渲染指令調用底層圖像渲染庫，實現圖像圖形的繪制渲染。渲染流程主要包含3個階段：應用階段、幾何階段、光柵化階段，其中涉及到世界坐標空間、攝像機坐標空間、成像平面坐標空間、屏幕坐標空間等一系列坐標轉換[12]。為保證實時性，圖像刷新率需達到15幀/s以上[13];若要實現更好的表現效果，刷新率需達到30幀/s。現階段研究重點是在不降低圖像質量的前提下，提高三維圖像實時生成的刷新率[14]。

1.3.3 三維顯示輸出技術

三維顯示是能實時顯示3D動態效果的技術。三維顯示技術主要分為體掃描技術和靜態體技術[15]。在體掃描中，一組含有二維圖像的光投影到一個旋轉的半球顯示器中，經過光學定位系統的擴展，最終以三維立體的形式顯示在旋轉的半球內。靜態體技術基本原理與體掃描技術相似，不同之處在于其無需半球體運動，直接將兩束光照射到半球體內即可形成三維圖形。為了實現更精準的動作捕捉，需要高精度的人機交互設備和穩定的傳感器。現階段由于設備獲取數據的精度問題還無法實現最理想狀態，所以對三維顯示技術仍需進一步研究[16]。

2 VR文化體驗系統應用實例開發

2.1 黃鶴樓VR文化體驗系統設計

黃鶴樓VR文化體驗系統層次架構如圖2所示[17]。

（1）第1層為模型創建層，通過數字化文化三維建模技術構建黃鶴樓主樓與辛氏酒樓三維數字化場景。

（2）第2層為數字文化資源層，用于存儲黃鶴樓主樓和辛氏酒樓場景三維數據、人物動畫以及音頻資源。

（3）第3層為三維跟蹤注冊技術層，用于定位體驗者位姿數據信息并構建虛擬三維空間到頭顯世界坐標空間的三維幾何參數模型。

圖2 黃鶴樓VR文化體驗系統層次架構

（4）第4層三維顯示輸出層，用于將黃鶴樓三維數字化場景、人物動畫等數據，以可視方式呈現。具體內容模塊為：①黃鶴樓歷史建筑造型藝術數字化復原VR展示，通過數字三維建模技術，對唐、宋、元 、明、清朝各個朝代不同的黃鶴樓建筑造型藝術進行數字化三維復原重構與VR展示; ②黃鶴樓建筑景觀藝術數字化VR展示，既包括對黃鶴樓公園與黃鶴樓外部景觀、勝像寶塔 、碑廊、山門、亭臺、雕塑等建筑藝術的數字化VR展示，也包括對黃鶴樓內部建筑細節的VR三維空間漫游展示; ③國家級非遺“黃鶴樓傳說”VR數字三維動畫藝術展示，通過數字化體驗的方式展現“辛氏修樓謝恩”傳說，深刻表現了天人合一、少貪寡欲、懲惡揚善的故事主題[18];④黃鶴樓代表性壁畫場景三維數字化VR展示。對黃鶴樓巨大的壁畫作品中的情景進行數字化三維構建與壁畫場景的VR三維空間展示，如二樓大廳的“孫權筑城”和“周瑜設宴”，三樓大廳的“人文菩萃，風流千古”等，以實現游客對壁畫場景身臨其境的文化體驗;⑤黃鶴樓代表性繪畫藏品VR水墨動畫藝術展示。對水墨畫中的場景進行數字化VR三維呈現，實現人在畫中游的水墨動畫藝術漫游觀摩體驗。

（5）第5層為功能應用層，用于實現場景交互、場景傳送、飛行軌跡、陸地漫游、坐騎導航等功能。

（6）第6層為虛擬現實集成系統層。

2.1.1 系統需求分析

系統需求包括用戶需求和系統功能需求[19]。其中，用戶需求指突破時間和空間的限制，實現黃鶴樓景區文化體驗。針對用戶需求提出基于VR技術的黃鶴樓文化體驗系統，可有效解決無法到場進行黃鶴樓文化體驗等問題，同時也有助于黃鶴樓文化推廣與傳承。系統功能需求根據用戶需求對整個系統應具有的功能進行分析。為實現用戶在無時間和空間限制的條件下進行黃鶴樓文化體驗，系統功能需求需實現景區漫游與文化物品的交互。

2.1.2 系統功能模塊設計

針對用戶需求與系統功能需求，對整個系統進行功能模塊設計，如圖3所示。整個系統由5個模塊組成：①陸地漫游。該模塊主要實現黃鶴樓場景漫游，使體驗者深度了解黃鶴樓文化，體驗者觸碰手柄上的Touch Pad即可實現場景游覽;②場景傳送。該模塊實現黃鶴樓場景至辛氏酒樓場景的傳送;③場景交互。在該模塊中，體驗者在場景中通過控制器發射射線實現文化物品交互;④飛行軌跡。該模塊主要讓體驗者以仙鶴視角從云端飛向黃鶴樓入口的牌坊處，為體驗者創建不一樣的觀賞視角;⑤坐騎導航。在該模塊中，體驗者乘坐白馬實現場景漫游，進入辛氏酒樓傳說中的故事場景，進行文化故事可視化體驗。

圖3 系統功能模塊

2.1.3 系統工作流程

系統工作流程如圖4所示。啟動系統之后，體驗者以仙鶴視角體驗從云端飛行到黃鶴樓牌坊的過程;在牌坊處觸發坐騎導航功能，體驗者切換視角至馬模型上，游覽黃鶴樓場景;接著體驗者通過手柄控制器上的Touch Pad操控，實現場景漫游;漫游完成后，體驗者通過觸碰控制器上的Touch Pad走動到傳送門處，觸碰傳送門觸發器實現場景跳轉;跳轉至辛氏酒樓后，體驗者通過頭盔體驗辛氏酒樓神話故事的起源以及發展過程;體驗完成后，體驗者可通過傳送門跳轉至黃鶴樓主樓，與主樓場景物體實現交互;最后，關閉系統結束體驗。

圖4 系統工作流程

2.2 黃鶴樓VR文化體驗系統應用實現

黃鶴樓VR文化體驗系統應用實現包括黃鶴樓文化數字化三維建模以及系統功能實現。

2.2.1 黃鶴樓文化數字化三維建模

三維建模在VR系統中占據主要地位。本文系統使用文化數字化三維建模。三維數字化指運用三維工具實現模型的虛擬創建、修改、完善等一系列數字化操作，從而達到用戶需要的效果[20]。本文系統以黃鶴樓為研究對象，因此，將黃鶴樓融入數字化建模概念中，即產生了文化數字化三維建模的概念。系統中文化數字化三維建模對象包括[21]：主樓模型、辛氏酒樓模型創建（見圖5、圖6），以及場景人物、黃鶴樓壁畫搭建。

圖5 黃鶴樓模型

2.2.2 系統功能實現

系統功能實現是系統的核心部分，其實現過程可分為6個部分。

（1）軌道搭建。飛行的首要條件是軌道搭建，需用到Track Rail插件。系統利用unity中自帶的cube作為軌道。為讓cube有軌道效果，需要綁定Track Rail插件中的Track腳本，加入腳本后，cube將作為軌道。軌道的建立需要將多個cube搭建在一起，所以本文系統應用多個cube根據場景需求調整cube方向。通過腳本的Toolbox調節軌道大小與方向，具體設置在Track Blender中進行。方向與大小調節完成后即實現了軌道搭建。

圖6 辛氏酒樓模型

（2）仙鶴飛行。軌道搭建完成，需要載體才能運行。本文系統以仙鶴為模型，為了實現軌道飛行，需在Track Rail插件中找到Track Cart腳本并掛載于仙鶴上，接著設置snap to track選項即可將仙鶴與軌道適配。為達到飛行效果，需要將軌道隱藏。所以，最后設置cube隱藏完成軌道設置。

（3）陸地漫游。陸地漫游是系統第二個部分，可讓體驗者實現在場景中自由走動和場景游覽。體驗者在場景中通過頭盔能看到黃鶴樓全部場景。在場景中，體驗者通過手柄控制器上的Touch Pad控制人物在場景中的行走。需要在Unity中加入Steam VR插件包和VRTK插件包實現虛擬場景觀看，將Steam VR插件包中Camera Rig導入Unity中，即可通過VR相機看到虛擬場景。在VRTK中導入VRTK_Controller Events與VRTK_Controller Actions完成人物走動。

（4）場景切換。場景切換也稱為場景跳轉。場景切換需要利用Unity Engine.Scene Manger中Scene Manager.Load Scene。該腳本需要掛載在cube上，為了讓傳送門實現跳轉效果，需要將cube放置在傳送門處。為滿足實際效果，需要隱藏cube。為完成場景切換的最后一步，需要在unity的Buildings and Setting中添加需要跳轉的場景，最后設置Scenes in build完成跳轉。

（5）背景音樂播放。神話故事場景中需要設置音樂播放功能。因此將音頻下載后以MP3格式導入unity中。音樂設置在Audio Source中，而Audio Source為unity自帶組件，從unity拖入即可。為了實現音樂自動播放，需要在跳轉之后的場景設置Audio Source 激活狀態，沒有進場景前為未激活狀態，進入之后通過場景設置為激活。

（6）坐騎導航。漫游部分主要是以馬模型進行。實現馬模型漫游需設置Navigation自動導航系統。自動導航系統設置需在馬模型中添加Navigation Mesh Agent組件，Navigation Mesh Agent組件主要設置漫游的起點跟終點。路徑設置完成后，需對全部場景進行烘培[22]。烘培是自動導航系統的首要條件，否則自動導航系統無法完成。首先需確定烘培范圍，系統烘培范圍指整個場景。為使馬模型在場景中有碰撞效果，增加逼真程度，還要設置可行走區與不可行走區。在可行走區域，馬模型能自由行走;在不可走區域中，馬模型將不會從該區域走過。系統自動根據最佳路徑設置可走區域。

（7）射線抓取。在辛氏酒樓場景中，體驗者可通過手柄扳機發射射線抓取場景里的物體，實現與模型物體交互。利用VRTK插件包實現物體抓取，還需給手柄添加腳本，Interact Grab和VRTK Interact touch腳本需要綁定在手柄游戲對象上，同時手柄也需要綁定VRTK_Controller Events腳本，這些是實現物體抓取的必要條件。

3 應用系統測試

3.1 功能測試

根據用戶需求和功能需求，功能模塊測試如表1。

表1 模塊測試

3.2 測試結果分析

如圖7（a）所示，體驗者在場景中以馬模型視角在場景內實現坐騎導航功能;結合圖7（b）、（c）所示，體驗者在場景中能實現跳轉場景功能，在辛氏酒樓場景能實現陸地漫游功能。不同于傳統方法的紀錄片觀看、水墨畫欣賞及實地瀏覽，VR技術體驗可提高體驗者對文化產業的興趣。結合需求分析，體驗者通過手柄控制，在計算機上能夠實時顯示動作;由于體驗者在室內操作，也可解決受限于天氣的問題，滿足了功能需求。

（a）坐騎導航? ? ? ? ? ? ? ? ? ?（b） 場景傳送效果? ? ? ? ? ? ? （c） 陸地漫游

圖7 在頭顯中不同場景體驗效果

4 結語

本文設計了以黃鶴樓文化為基礎VR文化體驗系統，結合三維虛擬環境，在虛擬場景中實現黃鶴樓游覽及交互。系統功能齊全，以沉浸式、交互式和多感知性等特性為基礎，可極大提高體驗者對文化的興趣，相信未來會有更多的科技融入文化應用[23]。隨著虛擬現實技術的進一步完善，“科技+文化”模式將產生更大的實用價值。

參考文獻：

[1] 肖建新. 虛擬現實技術支持下電機裝配培訓MCAI的設計與開發[D]. 長沙：湖南大學，2009.

[2] RONG W Q. Some thoughts on using VR technology to communicate culture[J].? Open Journal of Social Sciences，2018，6（10）：88-94.

[3] 楊平利， 王建國.? 虛擬現實的技術基礎[J].? 計算機仿真， 2005（s1）：44-47

[4] 陳晶. 當代革命文化傳播的新方式——以虛擬現實技術為例[J]. 閩南師范大學學報：哲學社會科學版，2018，32（4）：109-112.

[5] 趙能.? 虛擬仿真技術在建筑設計中的應用研究[D]. 長沙：長沙理工大學，2009.

[6] 李修彤. “一帶一路”背景下中國傳統文化的影像傳播——以VR虛擬現實技術應用為例[J]. 今傳媒，2018（7）：21-22.

[7] 楊歡，劉小玲. 虛擬現實系統綜述[J]. 軟件導刊，2016，15（4）：35-38.

[8] 姜學智，李忠華. 國內外虛擬現實技術的研究現狀[J].? 遼寧工程技術大學學報， 2004（2）：238-240.

[9] 周忠，周頤，肖江劍. 虛擬現實增強技術綜述[J]. 中國科學：信息科學，2015，45（2）：157-180.

[10] 莘月.? 女裝數字化設計及立體成型方法的研究[D]. 重慶：西南大學，2015.

[11] 畢碩本，張國建， 侯榮濤，等.? 三維建模技術及實現方法對比研究[J].? 武漢理工大學學報， 2010（16）：26-30.

[12] 王榆.? 基于多信息融合的移動機器人定位技術研究[D]. 西安：西安電子科技大學，2015.

[13] 熊紅凱，蘇輝，余松煜，等. 面向應用層QoS的實時視頻優化碼率控制[J]. 上海交通大學學報，2004（11）：1785-1791.

[14] 基于虛擬現實的數字三維全景技術的研究與實現[D]. 成都： 電子科技大學， 2011.

[15] 張屹東，饒鵬. 體三維顯示技術及其特點[J]. 紅外，2018，39（6）：34-39.

[16] 丁劍飛，劉永進.? 三維立體顯示技術綜述[J].? 系統仿真學報， 2008（s1）：132-135.

[17] 余日季. 基于AR技術的非物質文化遺產數字化開發研究[D]. 武漢：武漢大學，2014.

[18] 余日季，唐存琛，胡書山. 基于AR技術的非物質文化遺產資源產業化開發研究——以黃鶴樓傳說為例[J]. 湖北社會科學，2014（4）：50-54.

[19] 呂弘. 一種用于需求過程評估的需求分類法[J]. 微計算機信息，2008（6）：191-193.

[20] 饒金通.? 古建筑的三維數字化建模與虛擬仿真技術研究[D].? 廈門： 廈門大學， 2006.

[21] 賈智輝.? GIS下數字化校園的三維技術研究與應用[D]. 大連：大連海事大學，2012.

[22] 潘光洋，馬煥堅. 烘焙技術在X3D虛擬場景的應用研究[J]. 科技廣場，2012（1）：76-79.

[23] ASHLEY T. A scoping review of the use and application of virtual reality in pre-clinical dental education[J].? British Dental Journal，2019，226（5）：358-366.

（責任編輯：江 艷）