基于MR的電子游戲交互設計策略研究

邱鈺 章立

摘要：文章通過分析《碎片》，嘗試歸納和總結MR游戲的相關特征，思考MR技術在電子游戲領域的應用問題，思考的核心點集中在MR技術為游戲交互帶來的影響和改變，及混合現實技術與游戲玩法、場景構建、虛擬角色的關系，并嘗試提出MR交互模式在游戲設計中關于場景建構、感官體驗、交互流程、交互界面、交互方式方面的應用策略。

關鍵詞：混合現實；電子游戲；交互設計；虛擬場景建構

中圖分類號：TP317 文獻標識碼：A 文章編號：1004-9436（2022）11-00-05

混合現實技術是新媒體技術中的一員，其應用領域正逐漸擴展。如何合理運用混合現實技術，成為藝術探索的方向。在藝術領域，混合現實涉及物理空間和幻想空間的關系問題，混合現實技術旨在構建虛實結合且可交互的新型空間［1］?；诨旌犀F實技術的電子游戲通過空間映射的方式，使游戲環境由虛擬狀態延伸到玩家所處的真實空間，拓展了電子游戲的交互維度。在混合的新空間中，虛景和實景、虛擬角色和玩家、玩家和虛擬影像之間的交互成為新的游戲玩法。因此，探究混合現實游戲的設計理念和交互特征，能為混合現實游戲的創作實踐提供理論支持。

1 混合現實游戲概述

混合現實技術簡稱MR，是虛擬現實技術（VR）和增強現實技術（AR）的進一步發展。這一概念最早出現于1994年發表的論文《混合現實視頻顯示的分類法》中，文章提出“虛擬連續體”概念，MR是處于真實與虛擬之間，包括AR與AV（增強虛擬）在內的連續空間。MR將現實世界與虛擬世界融合，使真實世界和虛擬物體呈現在同一視覺空間中。如今，混合現實的應用程序不局限于顯示系統，還包括環境理解、自然交互、空間音效、物理和虛擬空間的位置追蹤與定位、MR空間的3D資產協作等。

在游戲領域，混合游戲的技術基礎是MR。MR游戲是指在MR支持下的游戲品類［2］。與MR游戲相比，傳統的電子游戲缺乏玩家與現實世界的互動，人與人的互動從面對面的方式轉變為隔著屏幕的間接方式，而MR游戲嘗試在保留電腦游戲給人帶來愉悅感的同時恢復與物理世界的自然交互。表1整理了市面上現有的MR相關技術與設備，梳理其功能與技術特征，并整理了相關設備能運行的游戲案例。

由表1可知，除頭戴式顯示設備外，部分應用于移動端的AR技術已經實現MR技術的核心功能，即真實場景和虛擬影像之間存在遮擋關系，因此文章將AR Kit與AR Core列入混合現實的技術范疇。

2 MR交互模式的特征

梳理混合現實技術的交互特征，有利于全面理解《碎片》的游戲場景建構和游戲玩法，并為MR電子游戲交互設計策略提供理論依據。

2.1 信息的實時交互

MR通過感知技術，使用戶在體驗過程中，通過手動、眼動、語音、手柄或其他輸入方式，實現高效率的交互行為，并實時獲取視覺、聽覺、觸覺等反饋信息。MR融合了自然交互方式，更符合用戶的認知和行為邏輯，系統反饋也更具真實性和及時性。

2.2 對用戶行為和環境構成的充分理解

MR通過空間映射的方式掃描并識別環境的幾何構成空間，深入理解現實空間中環境光、物理空間構成等信息，以此作為構建混合空間的基礎。同時，通過信息輸入識別用戶在現實空間中的具體位置，將其在真實空間中的運動轉換為虛擬世界中的運動，可以充分理解用戶的行為。

2.3 虛景與實景融合

MR作為溝通現實與虛擬的橋梁，將真實影像和虛擬影像在同一視覺空間內顯示，虛景與實景融合，可以帶給用戶虛擬影像在真實世界客觀存在的感覺。虛擬影像的空間錨定技術明確了影像的前后位置、遮擋關系；光線估計技術能塑造光照一致性、幾何一致性等，給予用戶身臨其境之感［3］。

2.4 信息的呈現方式由二維平面延伸到三維空間

MR突破了傳統人機交互模式的限制。信息呈現的方式不再局限于傳統的二維界面，而是轉變為有現實空間坐標的三維影像；信息讀取的方式不再僅依靠傳統媒介或隔著屏幕觀看，它擴展了影像的展示空間和展示方式，提高了信息讀取效率和理解效率。

2.5 多感官結合的信息引導方式

MR作為新興技術，在系統使用方面須詳細引導用戶，使用戶認識并體會到MR系統的特殊之處。與傳統人機交互不同，手勢、眼動、語音等自然交互成為MR的信息輸入方式，而MR系統也可以為用戶提供視覺、聽覺、觸覺等多感官反饋。

3 《碎片》游戲交互機制分析

3.1 《碎片》游戲

《碎片》是一款發布于微軟全息眼鏡上的MR游戲，游戲題材以解謎為主。在游戲中，玩家作為一名具有記憶調查能力的偵探，被卷入一起突發的綁架案中，進入記憶構成的犯罪現場，收集證據，抽絲剝繭，實現調查目標，一步步解開謎題，找出幕后黑手，最終將罪犯繩之以法。

《碎片》的游戲場景主要有3個，分別是“空中會議”“記憶”“取證實驗室”（見圖1）?！翱罩袝h”是虛擬角色線上集會的場景，主要用于推進游戲劇情。在“記憶”場景中，游戲提取角色記憶實現情景再現，玩家通過仔細觀察、尋找及分析線索或使用各種工具推進調查結果，以獲得兇手身份信息和位置信息。在“取證實驗室”場景中，玩家需要把在“記憶”場景中得到的線索在交互地圖上作出選擇，通過“過濾器”層層篩選目標人物所在地、罪犯、密碼等。

3.2 《碎片》游戲場景構建

3.2.1 基于現實空間構造游戲場景

混合現實技術借助先進的圖像處理技術和顯示設備，創造具備虛實融合特征的可視化環境，將影像嵌入真實空間中［4］。借助微軟全息眼鏡，《碎片》分析已經掃描的現實空間，識別構成現實空間的墻面、地面、天花板、突出的表面，并根據空間規模和各部分構成面積的大小，配置虛擬場景影像。

3.2.2 區域化游戲虛擬場景的視覺元素

現實空間會根據玩家所處地理位置的改變而變化，為適配不同空間，游戲虛擬場景不能制作整體且固定的虛擬數字影像，須對整體游戲場景作區域劃分，并分區投射到現實空間中。

《碎片》將構成游戲虛擬場景的視覺元素作區域劃分，在此基礎上使現實空間與游戲空間一一對應，這種立體環繞式游戲場景能迅速將玩家帶入特定的游戲環境中。同時，《碎片》每映射一個新的現實空間，其虛擬影像的位置和內容就會改變，進而影響游戲角色動作、游戲線索位置等，雖然游戲情節基本保持不變，但是現實空間和依據現實空間搭建的虛擬空間具有唯一對應性，這種特性創造了無限個性化的互動體驗。

3.3 《碎片》游戲玩法

3.3.1 真實空間掃描和記錄

圖2是《碎片》掃描真實空間的流程圖，在正式進入游戲前，會掃描玩家所處的現實環境，并存儲數據，玩家再次登錄時可以跳過掃描階段直接選擇已存儲的空間數據，這些空間數據會影響游戲虛擬影像的生成。

3.3.2 玩家與虛擬影像的實時交互

《碎片》從第一人稱視角出發，涉及大量角色間的配合調查，因此玩家的沉浸體驗十分重要。

在游戲中，玩家與虛擬影像的實時互動主要體現在以下三個方面。其一，在“空中會議”游戲場景中，虛擬角色的動作并非一成不變，角色可以根據現有物理環境選擇相應姿勢出現在場景中，即虛擬角色可以與場景中的家具產生互動，這種表現方式能增強玩家對虛擬角色真實存在的感受。其二，在虛擬角色與玩家交流時，虛擬角色的面朝方向和目光會跟隨玩家移動，使玩家較容易代入交流對象角色中。其三，當玩家與虛擬影像產生交集時，影像會分解為碎片化的狀態，并在交集消失后回歸正常狀態。

3.3.3 視聽引導

在混合現實游戲中，信息分布在空間內的各個角落，而人的視線范圍相對于整個游戲空間而言比較有限，因此會出現兩個問題：其一，游戲提示信息或虛擬影像脫離玩家的視線范圍；其二，游戲玩家現有位置與虛擬影像生成位置重疊。

《碎片》通過對玩家的視線引導、位置引導、語音引導，能有效避免以上兩個問題。視線引導的主要目標是通過引導玩家的注視方向，使提示信息或游戲目標出現在玩家的視野中；位置引導是通過指引玩家行進到指定位置，以獲取游戲最佳視角；語音引導可以作為游戲輔助提示，同時能提高信息的接收效率，推動游戲進程。

3.3.4 游戲交互中的視覺反饋

當游戲場景放置于真實空間時，交互方式以注視、手勢、語音為主，游戲反饋變得尤為重要。

以《碎片》游戲的可交互物體和游戲文字信息的視覺反饋為例。玩家的注視點靠近可交互的物體時，光標有一定的吸附感；注視點劃過可交互的物體時，光標會附著在物體表面；注視點與可交互的物體產生交集時，平面光標會變為立體光標，并圍繞物體運動。玩家手勢點擊可交互的虛擬物體時，物體會放大，將細節呈現在玩家面前，并處于懸浮狀態，跟隨玩家視線落點移動。當玩家觀察虛擬物體的細節時，其視線會觸發隱藏線索，并彈出文字解釋和語音提示。當玩家解讀大段的文字時，游戲會對關鍵詞作高亮標注和延伸提示。

3.3.5 自然交互體驗

微軟全息眼鏡主要通過注視與手勢或注視與語音的組合展開交互操作。注視是玩家與虛擬影像展開交互的第一步，用來確定玩家的交互目標；在語音交互方面，游戲按鍵上的文案可以作為語言指令被玩家激活。

在《碎片》中，操作無人機是唯一需要雙手操作的環節。玩家通過操作，使虛擬無人機躲避物理和虛擬障礙物，玩家的注視點可以控制無人機的位置，但不改變距離，而敲擊左手會使無人機接近玩家，敲擊右手會使無人機遠離玩家。在這個游戲環節，《碎片》建立了一套相對于玩家位置的移動系統，以模仿現實中無人機或遙控飛機的操控。

《碎片》借助自然交互，提高了游戲交互體驗和游戲信息傳播的效率，弱化了對交互設備的感知。游戲任務欄與游戲道具欄以三維面板的形式貼合場景墻面或隱藏，減少了不必要的界面元素。

3.3.6 貼近現實的玩法工具

《碎片》以解謎為主要游戲題材，以投射“記憶”影像的方式講述劇情，因此有大量調查取證的環節。《碎片》提供的探索道具是玩家在日常生活中熟知的痕跡檢測工具，包括X射線探測器、紫外線探測器、聲音探測器、熱量探測器等。使用工具時的畫面視覺效果也貼合實際工具的使用效果，并在此基礎上對音波、殘留熱量這類無形事物進行可視化表現。在尋找和調查游戲線索方面，游戲線索附著的物品通常是玩家熟悉的事物，如車票、筆記、捕鼠器、相框等。雖然游戲設定是對“記憶場景”的調查推理，但是調查過程更貼近現實調查取證的流程。

3.3.7 嵌套小游戲

《碎片》共有11個關卡，游戲體量較大，且游戲流程較單一，因此在解謎的過程中，《碎片》將還原破損物品的環節設計為拼圖游戲，將血液分析與物質分析環節設計為消消樂類型的小游戲，將潛入敵方陣營的環節設計為無人機操縱游戲，識別密碼環節借用了視錯覺的藝術表現方式等，豐富了游戲的玩法，可以使玩家保持對游戲的興趣。

3.4 MR交互模式在《碎片》游戲體驗中的作用

3.4.1 擴充玩家的感知維度

MR的交互模式將游戲元素以文本、圖像、視頻、模型等方式呈現在三維空間中，信息與影像在空間中有了具體位置。由于空間的遮擋和視線范圍的限制，玩家在探索過程中的位置不斷變化，產生了與物理空間和虛擬空間的雙重交互，擴展了游戲空間，充分調動了玩家的聽覺感官和視覺感官。

3.4.2 拓展玩家的認知深度

MR的交互模式可以突破時間和空間的限制，拓展游戲互動的范圍和深度，提升游戲探索的自由度和沉浸感，潛移默化地深化玩家對游戲空間的了解和提高對游戲的興趣。在《碎片》中，游戲角色根據真實空間自然地坐在某個位置，為玩家提供游戲線索，在一定程度上滿足了玩家與角色面對面交流的需求，這是傳統游戲無法帶給玩家的游戲體驗。

4 MR游戲交互設計策略

通過分析《碎片》游戲的交互機制，可以得知《碎片》在場景建構、游戲引導、游戲交互三個方面與傳統游戲有顯著差異。文章結合MR交互模式的特征，嘗試從空間建構、交互界面、交互流程、游戲引導、游戲玩法五個方面提出對應的MR游戲交互設計策略。

4.1 合理運用現實環境的幾何空間建構游戲場景

以微軟全息眼鏡為例，現實環境的幾何空間建構是指設備通過同步定位和映射（SLAM）算法，從攝像頭深度數據中實時重建三維場景，模型數據以幾何面片的形式對真實環境進行可視化顯示。因此游戲玩家所處的環境不同，MR游戲所顯示的游戲空間也會不同。MR游戲須適配不同規格的現實環境，游戲創作者需要對整體幾何空間作區域劃分，并對游戲視覺資源作優先級劃分，區分必要元素與氛圍元素，界定游戲適配的現實空間極值。

4.2 簡化交互流程，提高游戲引導效率

MR并未廣泛應用于游戲領域，部分玩家對MR游戲依然陌生，因此須在保證游戲玩法引導的同時，提升玩家的游戲體驗，簡化初始關卡的交互流程，將游戲教學與游戲背景融入游戲劇情中，以語音提示或視覺指示的方式替代文字彈窗，降低玩家的認知成本。

4.3 調動多感官的游戲引導與反饋

在玩MR游戲時，身體活動是玩家學習游戲規則的重要方式，信息更容易通過感官交互進入玩家的認知記憶［5］。因此在指引玩家的過程中，應注意結合玩家的視線、動作、位置展開引導，同時保證游戲視覺系統和聽覺系統的及時反饋，在此基礎上注重反饋形式的多樣化。

4.4 基于空間與自然交互的游戲交互界面設計

平面化的游戲菜單與圖標在增強交互過程的準確性的同時，削弱了交互的直接性。因此在MR游戲的交互系統中，參與交互的游戲視覺元素應更多地與現實空間結合，減少不必要的游戲界面，降低玩家的認知負荷，弱化玩家對交互設備的感知，允許用自然的方法體驗游戲。

基于空間與自然交互的游戲交互界面設計主要體現在以下兩個方面：其一，游戲任務欄、道具欄、菜單欄、三維面板的形式貼合在場景表面；其二，通過玩家手勢觸發交互界面，游戲道具按照其功能裝備在玩家角色身上，通過手勢完成交互，或通過語音輸入跳過界面顯示直接完成選擇。

4.5 豐富游戲玩法

按照游戲目標分類，電子游戲可以分為娛樂游戲和功能游戲。無論哪種電子游戲，游戲性都是游戲娛樂體驗的關鍵。但MR游戲流程相對于傳統電子游戲而言較單一［6］。如微軟全息眼鏡設備上的MR軟件主要分為三類，即環境增強式、環境融合式、虛擬空間式，MR游戲玩法在此類軟件基礎上演變。目前，MR游戲提升玩家游戲體驗的方法相對較少，應在保證游戲核心目標不變的情況下，通過改變游戲環節的先后順序或小游戲的方式，打破單一的游戲交互流程。

5 結語

自電子游戲誕生以來，各種游戲類型如雨后春筍般層出不窮，游戲的交互方式也不斷更新，在媒體融合時代背景下，電子游戲不斷融合其他媒介形式。隨著MR逐漸進入大眾視野，游戲創作的方式發生了變化?！端槠纷鳛樽钤绲囊慌旌犀F實游戲，無疑展示了解謎類電子游戲新的演繹方式，換言之，合理地將混合現實技術運用于游戲設計中，能為游戲創作者提供更廣闊的想象空間和展示空間，有利于拓寬游戲的創作領域。

參考文獻：

［1］ 黃鳴奮.藝術與混合現實［J］.東南大學學報（哲學社會科學版），2008（6）：74-78.

［2］ 黃鳴奮.多元共生、賦魅效果與混合現實：科幻影視視野中的游戲［J］.中國文藝評論，2017（5）：25-35.

［3］ 黃進，韓冬奇，陳毅能，等.混合現實中的人機交互綜述［J］.計算機輔助設計與圖形學學報，2016，28（6）：869-880.

［4］ 陳寶權，秦學英.混合現實中的虛實融合與人機智能交融［J］.中國科學：信息科學，2016，46（12）：1737-1747.

［5］ 黃紅濤，孟紅娟，左明章，等.混合現實環境中具身交互如何促進科學概念理解［J］.現代遠程教育研究，2018（6）：28-36.

［6］ 吳小金，王巨文，韓靜華.科普類教育游戲設計策略研究及開發實踐［J］.設計，2020，33（20）：129-131.

作者簡介：邱鈺（1998—），女，山東泰安人，碩士在讀，研究方向：混合現實。

章立（1971—），男，江蘇無錫人，碩士，副教授，系本文通訊作者，研究方向：虛擬現實、交互設計。