虛實交互技術在元宇宙中的應用研究

吳瀟偉

（中國電子科技集團第二十八研究所，江蘇 南京 210007）

元宇宙作為一個新興崛起的概念，近來受到了各大資本的追捧，也引起了業界和社會公眾的廣泛關注，國內外眾多公司紛紛在“元宇宙”領域布局。究竟何為元宇宙，各家企業眾說紛紜，仍未形成相對統一的界定，但公認的一點是，元宇宙能夠鏈接虛擬與現實，豐富人的感知，提升人的各類體驗，并延伸人的創造力。所以，虛實交互技術是構成元宇宙的基石，可以說，沒有虛實交互就沒有元宇宙。本文總結了近年來虛實交互技術的發展情況，并對虛實交互技術在元宇宙領域中的應用進行了總結與展望。

1 元宇宙的起源發展

元宇宙，實質上就是廣義網絡空間，在涵蓋現實物理空間、虛擬賽博空間以及社會和思維空間的基礎上，融合多種數字技術，用網絡、軟硬件設備將用戶聚合在一個虛擬現實系統中，形成一個相對獨立又能與現實世界相互映射的虛擬世界[1]。

早在1981 年出版的小說《True Names》中，作者VERNOR 教授就曾描述過一個通過腦機接口技術進入并獲得真實感官體驗的虛擬世界[2]；1992 年，美國著名作家NEAL 在他的科幻小說《Snow Crash》中，第一次將這個虛擬世界命名為元宇宙（Metaverse），他如是描述：“戴上耳機和目鏡，找到連接終端，就能夠以虛擬分身的方式進入由計算機模擬、與真實世界平行的虛擬空間”[3]。

1996 年，通過虛擬現實建模語言（VRML）構建的Cybertown，是“元宇宙”重要的里程碑。1999 年，以《黑客帝國》《異次元駭客》為代表的一系列影視作品，探討了基于互聯網構建高度虛擬社會的一系列倫理問題，引起了全人類社會的討論熱潮[4]。2003 年林登實驗室推出了基于Open3D 技術的虛擬世界游戲“第二人生”。2006 年，美國游戲公司羅布樂思，發布了沙盒世界游戲Roblox，集虛擬世界、休閑游戲和用戶自建內容于一體，是游戲元宇宙化的一個標識事件。2018年上映的科幻電影《頭號玩家》中，導演斯皮爾伯格則把元宇宙描述為一個與與現實世界本質趨同的虛擬世界，每個玩家都擁有自己的身份，可以在虛擬世界中還原社交、生活等場景[5]。在2020 年新冠疫情大流行的背景下，居家辦公、在線教育、線上娛樂等方式進一步深化了元宇宙的發展。2021 年10 月，Facebook正式宣布將品牌更名為“Mate”，并計劃在5 年內轉型為元宇宙公司，以此為契機，元宇宙成為了互聯網業界數值整個社會的關注熱點，因此2021 年被成為“元宇宙元年”。

現階段的元宇宙尚處于快速導入期，其涵義還在不斷演變和發展，尤其是伴隨著科技的發展，各種前沿技術以更高級的形態融合重組，技術更迭以及各行各業的參與者都會不斷豐富和深化元宇宙的內涵。

2 虛實交互在元宇宙中的重要性

元宇宙被視為互聯網的3.0 形態，它能夠模擬并復制現實世界，在網絡空間中構建一個沉浸式的虛擬世界，它不僅是現實世界的延伸，還可以反過來影響現實世界，最終將現實世界與虛擬世界緊密聯系起來，模糊虛實的界限。互聯網也不再只是傳統屏幕中平面的、與用戶主體割裂的抽象空間，而是上升為立體、可交互、與主體融合的沉浸式空間。

沉浸式的網絡體驗是元宇宙最重要的一大特點。所謂沉浸式體驗，從感受形式可大致分為以下4 個層次：①心理沉浸，即傳統意義上可以不借助外部科技就能獲得的沉浸體驗，如閱讀、觀影等形式；②外置技術沉浸，通過依靠VR（虛擬現實）、AR（增強現實）等虛實交互技術獲得的沉浸體驗；③內置技術沉浸，當技術足夠成熟，為了滿足便利性需求，外置設備終會向內置化方向發展，此時的虛實交互設備會被植入人體來為用戶提供沉浸體驗；④意識沉浸，如電影《黑客帝國》中描述的一樣，當腦機接口技術成熟到一定程度之后，直接通過腦電刺激，獲得沉浸感受。

正是有諸如VR、AR、體感、腦機接口等種種虛實交互技術的加持，才使得網絡與現實的體驗不斷拉近，元宇宙也不再遙不可及，極大地豐富了人類的感官，使網絡覺與虛擬覺成為除視、聽、味、嗅、觸等天然五感之外的人類新知覺，并以此提升人的各類體驗，延伸人的創造力。所以，虛實交互技術是構成元宇宙的基石，可以說沒有虛實交互就沒有元宇宙。

3 虛實交互技術發展與現狀

20 世紀90 年代以來，隨著信息化技術的普及，網絡用戶處理信息的數量呈指數級增長，因此，有學者提出了更加關注于用戶交互的Post-WIMP 界面概念，尤其是以三維界面、VR、AR、MR（混合現實）、多通道信息界面等為代表，迅速成為國內外研究的熱點。2008 年ACMCHI 會議發起者JACOB，在研究各種不同的交互技術的基礎上，提出了RBI（Risk Based Inspection）交互框架，將人的感知歸納為物理感知、身體意識、環境感知、社會感知4 個層次，如圖1 所示，為如何在虛擬世界中將交互操作與現實隱喻聯系起來提供了指南。

圖1 RBI 交互框架

為了使元宇宙的的沉浸感更加真實，勢必需要突破傳統網絡信息交互通道過窄的局限，讓虛實交互的過程更為自然真實，最終在虛擬世界中模擬出類似真實世界的物理學感知、本體感知、環境感知與社會學感知。因此，元宇宙對虛實交互技術提出了更高的要求。現階段，虛實交互方式大致可以分為以下5 種方式。

3.1 三維交互

為了更加貼近現實世界，模擬真實世界的交互體驗，首先在虛擬空間中構建一個擬真的三維世界。因此，脫胎于物理世界體驗的三維交互便成為了最基礎、最重要的一種虛實交互方式。相較于傳統以書面或屏幕為載體的二維交互方式，三維交互在操作上擁有更高的自由度，全景視野也提供了更大的設計空間，能夠幫助完成更加復雜的交互任務。

時至今日，各種三維交互技術已經初露鋒芒，并在游戲、視頻、新媒體藝術等領域得到應用，但是軟硬件技術短板所帶來的交互體驗感割裂，以及現有交互隱喻不能滿足虛擬環境下復雜、交叉任務的缺陷已成為三維交互技術在元宇宙領域進一步發展的瓶頸。

3.2 手勢交互

就像人與人之間通過手勢溝通交流一樣，手勢交互也是虛實交互的重要組成部分，是一種自然仿真、理想的交互方式。在元宇宙的虛擬空間中，用戶通過軀干和肢體的動作輸出特定指令，再通過傳感器和機器視覺等技術，跟蹤識別人體相關部位，將物理世界中的運動姿態作為虛實交互的輸入，這也是當前應用相對廣泛的一種虛實交互方式。

雖然體感操控、手勢交互等技術在一些簡單交互場景中的應用較為成熟，如手勢瀏覽、虛擬雕刻、體感游戲等。但是想要真正達到元宇宙虛實共生的目標，仍然面臨以下問題丞待解決：系統不能在連續的動作中篩選出有效手勢，或者判別有效手勢的開始和結束；用戶需要在完成相對完整的特定動作軌跡后，動作才會被系統識別；在不同的應用場景下，用戶需要學習和記憶不同的動作手勢，認知成本高。

3.3 語音交互

語音交互是一種理想的虛實交互方式，具有以下特點：相較于傳統鍵鼠輸入，語音交互使用的是聲音通道，能夠解放用戶的雙手；語音交互支持大量文本的高效、精確傳遞；最重要的是，語音交互是自然交互方式的一種，是用戶最習以為常的一種交互方式。

在虛實空間的交互中，語音交互可以傳遞大部分非圖形化的操控指令和文本信息。但是由于語音交互通常不具備可視化的圖形界面，所以對用戶來說是不可見的，這就需要采用語義句法過濾等識別技術實現糾錯，或采用形式化的對話模式來獲取用戶的真事意圖。

語音識別引擎是語音交互的核心，如今，諸如微軟、科大訊飛等科技公司都推出了自己的語音識別軟件，并且實現了非常好的性能，隨著元宇宙概念的興起，還需要更加強大的語音識別技術來支撐前臺應用。

3.4 力/觸覺交互

在虛擬與現實的交互過程中，除了視聽覺的感官刺激，觸覺交互也有著不可替代的作用，它能夠讓虛擬現實中的交互體驗更具沉浸感，是虛實融合必不可少的一環，也是未來虛實交互的重要發展方向和研究重點。

在當前信息人機交互過程中，力/觸覺交互既是一種輸出方式，如安卓手機的通用觸覺反饋效果、Immersion 公司的TouchSense 觸覺反饋技術等，同時也可以作為一種特殊的輸入方法，如蘋果的3D Touch技術等。

3.5 多通道交互

多通道交互能夠融合多個信息通道，充分利用人的感覺器官，使信息的傳遞更加高效；并且，就像在物理世界中認知事物一樣，人總是需要通過視、聽、觸、嗅、味等多種信息通道才能對它形成完整的認知，所以，運用多通道交互技術可以讓虛擬世界中的交互更加自然寫實，真正實現體驗上的虛實共生、虛實相融。

在多通道交互過程中，用戶能夠像在現實物理世界中一樣通過語音、手勢、動作等方式，與虛擬系統或其他用戶的虛擬角色進行交互，人機交互和人人交互都向著真實世界靠攏，傳統虛實交互的體驗割裂感得到彌補，這必將是虛實交互的最終形態。

多通道交互為實現虛實共生、虛實相融的交互體驗提供了一條有效途徑，多通道交互相關技術也已成為虛實交互研究的重點方向之一。但是，在現有技術條件下，還有多通道的任務建模、多通道信息交互支撐技術、多通道交互信息融合方法、混合交互技術、交互技術測試評估等幾個方面的問題需要解決。

4 虛實交互在元宇宙中的應用展望

元宇宙中所包含的最初級技術和內容機制已經有了雛形，并且為人類世界帶來了前所未有的變化，不過目前元宇宙還處在開發初期，其應用類型相對簡單，大多停留在視聽階段，并沒有為人類提供全方位的感官感受，虛擬體驗單一。若想建立一個能夠滿足深度沉浸的虛擬現實系統，就目前的研究來說，還為時尚早，僅僅是入門階段的早期技術積累。當下社會熱點的“人臉識別、運動目標分析、行為識別及視覺感知等問題”更多的還是集中在實際應用層面上，至于如何進行自然、有效的虛實互動的基本問題卻仍然沒有得到完全解決，這些基礎性問題恰恰是建設高級別“元宇宙”所關涉的最核心內容。

從目前技術狀況來看，要完成在虛擬空間下虛實互動還存在著感知、認知、反饋等方面的問題，具體如下：①感知，即用戶在現實虛擬環境中自然交互行為和對狀態認知的問題；②認知，即在虛擬現實環境中對人的交互動作和意圖理解的問題；③反饋，即通過虛實互動輸出反饋的自適應問題。

因此，未來還需要不斷推進虛實交互技術的研究，只有不斷增強技術創新能力，提高技術成熟度，才能補齊短板，切實推動元宇宙產業落地。

5 結束語

在新冠疫情大流行的背景下，元宇宙這一未來概念獲得了公眾的廣泛關注。但以目前的基礎技術，距離實現虛實共生的沉浸式網絡體驗還有很長的路要走，這也必將是一個艱難的探索過程。但是相信，在可見的未來，成熟的虛實交互技術將帶給人們極致沉浸的超現實體驗，生活、工業、社會、科技迭代將大大提升效率，元宇宙在各行各業中的應用也將遍地開花。