多設備交互和多用戶協作的虛擬現實劇場

（西安音樂學院，陜西西安市，710000）石茜睿 任思錦 趙璇 王延松

1 虛擬現實劇場

1.1 虛擬現實劇場的結構

虛擬現實劇場通常支持用戶在身臨其境的虛擬環境中進行交互。現在提出了一個支持多設備交互和多用戶協作的虛擬劇場系統的體系結構和實現方法。在這項研究中，系統配備了一個大的環形屏幕來顯示身臨其境的立體虛擬場景，以及多自由度平臺、仿真槍和智能手機等多種交互設備來支持用戶交互。這里介紹了一個身臨其境的虛擬現實劇場系統，它配備了6-自由度平臺、3-自由度座椅、模擬槍和智能手機等多種交互設備。為了實現用戶協作，根據不同的交互任務將用戶分成兩組。在應用中，一組采用6-自由度平臺控制視點，另一組通過仿真槍和智能手機與目標物體進行交互。漫游時，用戶通過6-自由度平臺或3-自由度座椅產生的模擬運動獲得逼真的飛行體驗。

1.2 虛擬現實劇場的多設備交互和多用戶協作

1.2.1 多設備交互

這種交互設備不僅獲得用戶的輸入，而且提供觸覺反饋。由于本系統交互的特點是多用戶協同工作的同時性和同位性，本系統由四種不同類型的交互設備組成：6-自由度平臺、3-自由度座椅、仿真槍和智能手機。根據交互設備的性能，可以將其分為兩類：輸入設備和輸出設備。對于輸入設備，6-自由度平臺獲取用戶的駕駛輸入，模擬槍和智能手機為其他用戶采集射擊信息。所有輸入將被發送到核心模塊。核心模塊完成數據處理后，輸出設備，包括6-自由度平臺和3自由度座椅，接收輸出數據，改變機械結構，為用戶提供觸覺反饋。核心模塊作為一個軟件控制器來管理交互式設備和系統顯示。一般來說，核心模塊處理輸入數據并生成輸出數據，包括用戶反饋和渲染結果。硬件支持核心模塊的平臺由高性能工作站和一系列服務客戶端計算機組成。對于軟件，核心模塊被實現為兩種相互通信的組件類型，交互管理器的主要功能是實現交互式設備的輸入輸出處理。交互管理器不斷地從輸入設備接收數據，分析和處理輸入數據，并通過網絡將結果數據發送到系統引擎。一旦系統引擎響應交互管理器，管理器立即將數據傳輸到輸出設備。

系統引擎包含系統的邏輯。引擎接收規范化的輸入數據，更新渲染，并與交互管理器通信。在渲染方面，系統引擎采用Unity游戲引擎生成并渲染虛擬場景，提供逼真的圖形。

為了實現多用戶協同交互，實驗環境中提出了一種新穎的設計方案。設計了一個基于第一人稱射擊游戲的飛行模擬場景，在這個場景中，用戶可以探索虛擬環境，沉浸在飛行體驗中。在探索過程中，用戶需要拍攝視角中顯示的目標。因此，可以歸納為三個基本的交互任務：旅行任務、射擊任務和飛行模擬。旅行任務的目的是允許用戶在虛擬環境中自由地移動自己的觀點；射擊任務是指射擊虛擬目標的行為，由仿真槍和智能手機完成；飛行模擬為用戶提供漫游時的運動感。

1.2.2 多用戶協作

實驗者緊接著建立了一個由基本交互任務組成的協同任務，并將不同的基本任務合理分配給用戶，實現用戶的協同。用戶分為兩組，分別有相應的任務，即G1和G2。G1的交互任務是射擊任務和飛行模擬。在這個小組中，每個用戶都配備了一把模擬槍或一部智能手機，坐在一個3-自由度的座位上。用戶被安排在一個區域內，面向投影屏幕。當目標出現在屏幕上時，用戶通過控制相應的十字準線來射擊目標。隨著用戶視角的移動，所有3-自由度座椅都會根據速度和方向定期模擬動作。G2的任務是旅行任務和飛行模擬。由于多用戶控制可能會引起混淆，G2中只有一個用戶。G2采用6-自由度平臺，幫助用戶完成任務。詳見表1。

表1 多用戶協作任務

通過這種方式，用戶可以自由地探索沉浸式虛擬環境，并與虛擬目標進行聯合交互。在評估中，探討了將不同種類的交互設備組合在一起以提高系統的協作能力的優勢。結果表明，適當的任務劃分有助于提高用戶體驗。

2 多設備交互和多用戶協作的虛擬現實劇場

虛擬和增強現實技術有望通過提供歷史上精確的重建和相關的信息來緩解這些困難，從而提供更豐富的游客體驗。在這個身臨其境的世界里，他們可以在一個歷史遺址中導航或被引導，這個歷史遺址通過虛擬再現缺失的特征，并通過講述其元素的意義和作用來增強。這樣可以豐富現場和非現場的經驗。在網站上，一個視頻流的實際（往往是部分破壞）網站可以覆蓋一個虛擬模型，擴大遺產地，以揭示缺失的歷史元素。在場外，可以用虛擬模型覆蓋實際站點的三維副本來重新創建歷史站點。比布洛斯羅馬劇院創造這種沉浸式增強體驗而開發的系統。

2.1 比布洛斯羅馬虛擬劇院

三維模型是使用Rhinoceros3D軟件建立的。“原樣”模型為創建最合適的假設模型提供了必要的證據。與理論上的維特魯維經典模型相比，網格的結合顯示了置換的Byblos劇院的多重變化和不精確性。5對于確定比布洛斯劇院的幾何結構和比例，殘存遺跡的精確復制至關重要。例如，由于“原樣”模型，人們注意到的第一個區域變化是管弦樂隊偏離中心，與羅馬的維特魯維亞模式不太一樣。管弦樂隊的中心從舞臺移到禮堂大約一米遠，這樣直徑就變小了，劇場的尺寸也相應地改變了。增強現實應用擴展并豐富了游客在場景中觀察到的實時信息；它們通過在現有廢墟上增強虛擬模型，提供了一種信息豐富的體驗。

在虛擬環境中與增強模型交互。虛擬現實世界是使用Unityengine開發的，這是一個跨平臺的游戲引擎，用于開發PC、控制臺、移動設備和網站上的視頻游戲。開發的應用程序允許用戶在三維真實網站的演練中可視化和交互。此外，為了使應用程序更具交互性，在場景中添加了一個向導，以吸引用戶的注意力并讓他們對網站進行虛擬游覽。

二維虛擬應用程序的開發首先是在一個統一場景中添加一個玩家預置；統一場景是一個包含所有“游戲”對象的虛擬空間，而玩家預置則是一個跟蹤“玩家”所有信息的游戲對象；它通過跟蹤來定義要在播放器屏幕上呈現的內容。

2.1.1 多設備交互

玩家的虛擬姿勢是通過用戶在鍵盤（改變位置）和鼠標（改變方向）或游戲控制器（x-box控制器）上的輸入來更新的。一旦播放器在場景中設置好，就將實際站點生成的紋理網格移植到場景中。用戶可以手動與模型碰撞交互。然后將虛擬模型添加到場景中，并與實際站點仔細合并。

為了使應用程序更具交互性，在場景中添加了一個虛擬向導。特定的poi（Point of Information縮寫，信息點）被選在歷史文物附近，比如劇院的祭壇。指南在預定義的檢查點周圍浮動，并等待用戶在離它很近的距離內到達，然后解釋感興趣的對象是什么。一旦用戶在對象附近，它就會發光，在指南開始講述關于該對象的信息音頻之前捕獲用戶的注意力。完成后，向導將移動到下一個檢查點并等待用戶再次靠近。為了幫助用戶知道要去哪里，使用了一個A*（通用的路徑查找和圖遍歷算法）路徑規劃算法，它確定了用戶和指南之間的路徑,并將其呈現在屏幕上供用戶遵循。

2.1.2 用戶協作

虛擬應用程序的開發首先是在一個統一的場景中添加一個用戶預設；一個統一的場景是一個包含所有“游戲”對象的虛擬空間,而用戶預置則是一個跟蹤“玩家”所有信息的游戲對象；它通過跟蹤來定義要在播放器屏幕上呈現的內容。提出了一個關于可能重建拜布洛斯羅馬劇院的區域指導假設，重建模型用于設計考古遺址中用于旅游目的的最終用戶虛擬和增強現實應用程序。對所采用的虛擬方法和增強方法的技術挑戰和局限性進行了詳細和系統的解決，產生了一種可擴展到其他站點的可擴展方法。

2.2 浙江省科技館臺風體驗劇場

2.2.1 設備交互

項目系統組成:（1）視頻影片。本項目分為兩個部分，360°環幕影片和虛擬現實視頻。環幕視頻，通過建立三維模型，動畫制作，實時重建臺風場景、各種氣象現象的模擬等。虛擬現實視頻通過虛擬現實技術提供與環幕視頻內容不同的內容。（2）動感模擬座椅。由電力驅動，座椅可以實時響應運動的視頻內容，并可以做三自由度的運動。它能真實地模擬臺風引起的船舶搖晃和車輛晃動的影響，從而擴展了經驗者的模擬場景，彌補了單一經驗模式的不足。（3）風力模擬系統。風扇產生的風速可以無限調節，提供類似于真實臺風的風體驗。（4）廣播系統。該系統由兩部分組成，分別是環幕投影系統和虛擬現實顯示系統，通過播放系統控制的子播放系統，用于虛擬現實體驗座椅的視頻播放。根據體驗的形式，展覽將體驗區分為兩個區域：一個是會場中心的環形屏幕體驗區，觀眾可以站在360°的環形屏幕上體驗，將觀眾置于風暴眼中。另一個是外環的虛擬現實體驗區。該設計充分利用了人體坐姿和站姿的高度差異，在不影響中央環屏體驗區效果的情況下，彌補了由前后蓋形成的上線觀看和站立的人數單一體驗，提高了場地承載體驗的能力，豐富體驗的形式，實現一個項目多種體驗模式。

2.2.2 多用戶協作

臺風體驗項目屬于情景式展示形式。該系統在保證虛擬現實體驗和環屏體驗的同時，還能保證展品的體驗。同時，解決了單一使用虛擬現實技術的弊端。（1）解決展品數量少的問題。通過環幕體驗區和6個動態座位，可以保證20多人同時體驗。（2）解決了傳統虛擬現實體驗操作不便的問題。在大多數情況下，展覽可以通過360°環屏體驗區進行。虛擬眼鏡作為環形體驗的補充，可為參觀者提供一個選擇，豐富展覽的呈現手法。

3 結語

在藝術教育中，通過使用VR技術渲染教室環境可以幫助學生提高對藝術的理解，激發他們的興趣，專注于教學內容，有效地增強他們的存在感并更好地實現教育目標，感受到豐富多彩的藝術知識，并不斷提高審美能力。