基于云XR的沉浸式游戲平臺(tái)關(guān)鍵技術(shù)與架構(gòu)研究

唐 勇 劉曉軍

1.炫彩互動(dòng)網(wǎng)絡(luò)科技有限公司；2.中國電信股份有限公司電信研究院

0 引言

XR（Extended Reality / Cross Reality，擴(kuò)展現(xiàn)實(shí)）是AR（Augmented Reality，增強(qiáng)現(xiàn)實(shí)）、VR（Virtual Reality，虛擬現(xiàn)實(shí)）、MR（Mixed Reality，混合現(xiàn)實(shí)）等多種技術(shù)的統(tǒng)稱。隨著5G技術(shù)的發(fā)展與大規(guī)模商用，云XR（Cloud XR）將復(fù)雜的渲染計(jì)算從終端側(cè)遷移至云端/邊緣端，充分發(fā)揮智能終端-高速網(wǎng)絡(luò)-云資源池之間的協(xié)同效應(yīng)，已逐步成為XR的主流。基于5G技術(shù)的高帶寬、低時(shí)延特性，以及云資源池強(qiáng)大的圖形渲染能力，云XR用戶可在各種終端設(shè)備上遠(yuǎn)程串流云服務(wù)器上的XR內(nèi)容，獲取高質(zhì)量的沉浸式體驗(yàn)。

云端協(xié)同渲染的模式，最大程度地屏蔽了XR終端碎片化的影響，可實(shí)現(xiàn)XR終端的輕量化，大幅降低終端成本，也為XR應(yīng)用打開更廣闊的市場(chǎng)；5G網(wǎng)絡(luò)的低延遲特性更好地切合XR應(yīng)用對(duì)時(shí)延極其敏感的技術(shù)特點(diǎn)，有效解決頭顯時(shí)間延遲等技術(shù)問題；5G特有的網(wǎng)絡(luò)切片與移動(dòng)邊緣計(jì)算（MEC）技術(shù)可為XR應(yīng)用程序提供網(wǎng)絡(luò)QoS保障，減少內(nèi)容匯聚、節(jié)省帶寬；多用戶共享AR/VR體驗(yàn)成為可能，可派生出多種強(qiáng)交互性的XR應(yīng)用。

沉浸式游戲是云XR技術(shù)落地應(yīng)用的典型場(chǎng)景，也是未來元宇宙虛擬世界的核心構(gòu)成，將起到加速超級(jí)數(shù)字場(chǎng)景生態(tài)構(gòu)建的作用。傳統(tǒng)的主機(jī)游戲、客戶端游戲及大型手機(jī)游戲?qū)K端設(shè)備依賴度較高，低端用戶的需求無法得到滿足，限制了用戶規(guī)模增長(zhǎng)與產(chǎn)業(yè)鏈發(fā)展；云游戲?qū)鹘y(tǒng)游戲業(yè)務(wù)模式進(jìn)行了創(chuàng)新，用戶以購買或租賃云服務(wù)的方式接入到云游戲業(yè)務(wù)平臺(tái)，無需下載、即點(diǎn)即玩，通過手機(jī)、TV大屏或PC終端體驗(yàn)到高品質(zhì)的3A精品游戲大作；沉浸式游戲是云游戲業(yè)務(wù)的進(jìn)一步拓展，通過云XR的云計(jì)算技術(shù)和可穿戴設(shè)備技術(shù)實(shí)現(xiàn)了真實(shí)世界信息和虛擬世界信息的無縫集成，為用戶帶來前所未有的沉浸式、可視化、實(shí)時(shí)人機(jī)交互的體驗(yàn)。

目前，基于云XR的沉浸式游戲還存在技術(shù)不夠成熟與優(yōu)質(zhì)內(nèi)容匱乏等問題。其中在終端層面，輕量化的顯示設(shè)備技術(shù)還不夠完美，頭顯的分辨率、紗窗效應(yīng)及佩戴舒適度都有待完善；在平臺(tái)服務(wù)層面，沉浸式游戲?qū)ΜF(xiàn)有的主流云游戲平臺(tái)進(jìn)行技術(shù)升級(jí)，解決以下問題：一是云端資源建設(shè)成本高、渲染能力不足，需要在有效提升云資源的算力的同時(shí)降低部署成本；二是單一的云端渲染模式無法與XR終端很好的匹配，容易在用戶移動(dòng)時(shí)因?yàn)閬G幀帶來眩暈或畫面模糊現(xiàn)象；三是交互模式需要優(yōu)化，以兼容多種操控外設(shè)。

針對(duì)以上問題，本文從實(shí)現(xiàn)商用化沉浸式游戲業(yè)務(wù)平臺(tái)的角度出發(fā)，研究分析了云端并發(fā)承載、端云異步渲染與遠(yuǎn)程交互映射等關(guān)鍵技術(shù)，并提出一種實(shí)用的沉浸式游戲業(yè)務(wù)平臺(tái)架構(gòu)，可作為后續(xù)的研發(fā)工作基礎(chǔ)，也可為相關(guān)技術(shù)人員提供借鑒和參考。

1 沉浸式游戲平臺(tái)關(guān)鍵技術(shù)

實(shí)現(xiàn)沉浸式游戲平臺(tái)的主要技術(shù)難點(diǎn)在于如何構(gòu)建一個(gè)低成本、高并發(fā)的云端資源池，支持多種終端類型的用戶接入，同時(shí)解決用戶移動(dòng)過程中出現(xiàn)的眩暈問題并提升用戶體驗(yàn)。對(duì)應(yīng)的關(guān)鍵技術(shù)包括云端并發(fā)承載技術(shù)、端云異步渲染技術(shù)與遠(yuǎn)程交互映射技術(shù)。

1.1 云端并發(fā)承載技術(shù)

沉浸式游戲需要提供全景的渲染能力，對(duì)CPU和GPU性能有較高的要求。實(shí)際應(yīng)用中，主流GPU往往無法支持精品XR游戲在高畫質(zhì)、高幀率條件下兩路同時(shí)運(yùn)行，若采用獨(dú)占運(yùn)行模式將造成較大的算力浪費(fèi)。業(yè)界常用的GPU虛擬化技術(shù)通過每個(gè)游戲?qū)嵗谝粋€(gè)虛擬GPU上運(yùn)行的方式，可針對(duì)不同的游戲需求分配相應(yīng)的算力，部分地解決了單片GPU支持多路游戲運(yùn)行的問題，但也帶來了算力調(diào)度不靈活、內(nèi)容運(yùn)營流程復(fù)雜的問題。此外，在平臺(tái)部署時(shí)還要支付較高的license費(fèi)用。

從降低云端部署成本角度出發(fā)，需要研究高效的云端并發(fā)承載技術(shù)，基于通用的圖形框架在云服務(wù)器上構(gòu)建應(yīng)用隔離的運(yùn)行環(huán)境，實(shí)現(xiàn)多用戶、多游戲應(yīng)用并行式運(yùn)行。構(gòu)建并行運(yùn)行環(huán)境是云端并發(fā)承載技術(shù)的主要表現(xiàn)形態(tài)，其關(guān)鍵是GPU算力池化技術(shù)及CPU多核能力與CPU虛擬化技術(shù)。隨著GPU能力的不斷提升及基于云原生技術(shù)的沉浸式游戲逐步成熟，云端并發(fā)承載技術(shù)也在不斷演進(jìn)中。如圖1所示，云端并發(fā)承載技術(shù)自下而上分為：

圖1 云端并發(fā)承載技術(shù)

（1）硬件層：由芯片和驅(qū)動(dòng)兩部分組成，包括CPU、GPU、內(nèi)存/硬盤、聲卡和網(wǎng)卡等硬件及其驅(qū)動(dòng)，其中與游戲運(yùn)行效果直接相關(guān)的是CPU、GPU與存儲(chǔ)性能。

（2）通用圖形框架：基于底層芯片軟硬件能力，專門為應(yīng)用層提供增強(qiáng)的圖形編程接口，包括3D功能庫、計(jì)算邏輯與渲染的銜接機(jī)制等。Direct3D、OpenCL、OpenGL等通用圖形架構(gòu)可有效利用各種主流芯片的軟硬件能力，降低上層應(yīng)用調(diào)用芯片底層能力的技術(shù)門檻、提高應(yīng)用研發(fā)效率，是游戲等圖形應(yīng)用開發(fā)的基礎(chǔ)。

（3）并行運(yùn)行環(huán)境：基于通用圖形架構(gòu)，面向每個(gè)沉浸式游戲應(yīng)用提供的相互隔離的運(yùn)行環(huán)境，實(shí)現(xiàn)游戲運(yùn)行、圖形渲染、數(shù)據(jù)采集、音視頻編碼等操作過程，滿足多個(gè)游戲用戶的并發(fā)請(qǐng)求。

1.2 端云異步渲染技術(shù)

目前云游戲平臺(tái)主要采用云端渲染模式，相關(guān)的渲染計(jì)算都在云端完成，終端側(cè)完成解碼、呈現(xiàn)及發(fā)送指令流。而沉浸式游戲平臺(tái)需要在全景/FOV畫面?zhèn)鬏斶^程中采用端云協(xié)同異步渲染技術(shù)來減少用戶的眩暈感，確保服務(wù)良好的用戶體驗(yàn)。具體而言，在云端完成渲染時(shí)，終端側(cè)采用異步時(shí)間扭曲（ATW）等技術(shù)根據(jù)用戶狀態(tài)的移動(dòng)和角度變化進(jìn)行一定的預(yù)測(cè)，提前按照云端當(dāng)前下發(fā)的畫面生產(chǎn)對(duì)應(yīng)中間幀，提高在沉浸式游戲應(yīng)用轉(zhuǎn)動(dòng)過程中的畫面精度，同時(shí)彌補(bǔ)在運(yùn)動(dòng)中因云端處理不及時(shí)或網(wǎng)絡(luò)傳輸性能問題而導(dǎo)致的游戲畫質(zhì)較差或者畫面部分缺失的現(xiàn)象，從而最大限度地避免用戶前庭系統(tǒng)、視覺系統(tǒng)和身體感覺系統(tǒng)無法協(xié)調(diào)造成的眩暈感。

圖2所示為傳統(tǒng)的云端渲染處理過程與端云異步渲染技術(shù)實(shí)現(xiàn)過程的對(duì)比。

圖2 傳統(tǒng)渲染與端云異步渲染流程對(duì)比

（1）傳統(tǒng)渲染技術(shù)：在云平臺(tái)完成沉浸式游戲的邏輯運(yùn)算、實(shí)時(shí)渲染以及編碼壓縮后，以音視頻流的方式下發(fā)到終端側(cè)解碼與呈現(xiàn)；同時(shí)終端側(cè)采集最新的用戶（XR頭盔等）姿態(tài)等信息，將采集的用戶狀態(tài)和操控指令，以數(shù)據(jù)包形式上傳到云端，云端再進(jìn)行操控指令的轉(zhuǎn)譯，從而實(shí)現(xiàn)操控響應(yīng)與互動(dòng)。

（2）端云異步渲染技術(shù)：針對(duì)傳統(tǒng)的云端渲染技術(shù)進(jìn)行了優(yōu)化。在云端處理時(shí)，終端側(cè)依靠其本地傳感器、重力計(jì)的信息獲取和設(shè)備視覺系統(tǒng)的位置感知能力，在數(shù)個(gè)毫秒內(nèi)快速感知，并在用戶開始移動(dòng)時(shí)進(jìn)行運(yùn)行方向、角度等適度預(yù)測(cè)。在用戶姿態(tài)與位置感知和預(yù)測(cè)基礎(chǔ)上，針對(duì)云端下發(fā)的幀圖片進(jìn)行適度的拉伸、扭曲等操作，以便在終端本地快速矯正由于用戶移動(dòng)或轉(zhuǎn)動(dòng)而導(dǎo)致的畫面缺失、模糊等現(xiàn)象，避免游戲畫面顯示不足與用戶體驗(yàn)不適。在終端增加圖形幀的實(shí)現(xiàn)方式包括異步時(shí)間扭曲等技術(shù)，當(dāng)游戲畫面無法保持足夠的幀率時(shí)，它能產(chǎn)生中間幀進(jìn)行彌補(bǔ)，維持較高的畫面刷新率。

1.3 遠(yuǎn)程交互映射技術(shù)

沉浸式游戲?qū)⒁粢曨l流通過網(wǎng)絡(luò)傳送到XR終端側(cè)，同時(shí)通過終端側(cè)的傳感器、重力計(jì)、操控設(shè)備（手柄、手勢(shì)/聲音等），完成針對(duì)游戲的操控，并將操控指令上傳到云端，云端通過適度解析后反饋到游戲應(yīng)用中，完成遠(yuǎn)程交互映射的過程。沉浸式游戲上云前需要完成適配，這是實(shí)現(xiàn)遠(yuǎn)程交互映射的先決條件。遠(yuǎn)程交互映射模式能夠在最大限度上兼容多種類型的操控外設(shè)，通過云端的映射和轉(zhuǎn)譯技術(shù)，從本質(zhì)上擴(kuò)展了XR終端設(shè)備的適應(yīng)性，不再局限于某一類設(shè)備特有的操控方式。具體如圖3所示。

圖3 遠(yuǎn)程交互映射框架

（1）終端側(cè)：首先完成針對(duì)各種外設(shè)操控指令的采集及用戶當(dāng)前各種傳感器相應(yīng)的數(shù)據(jù)信息獲取；之后將對(duì)應(yīng)的指令進(jìn)行操控鍵值轉(zhuǎn)換，與操控游戲內(nèi)容信息進(jìn)行對(duì)應(yīng)處理；然后終端側(cè)將獲取的操控指令和游戲內(nèi)容信息進(jìn)行打包，上傳到云端處理。

（2）云端：云端收集到終端側(cè)操控指令后，通過對(duì)比和查找游戲內(nèi)容操控映射庫，將終端上傳的操控鍵值進(jìn)行轉(zhuǎn)譯，轉(zhuǎn)化成為沉浸式游戲的操控指令，完成對(duì)應(yīng)的沉浸式游戲的操控過程。

2 沉浸式游戲業(yè)務(wù)平臺(tái)架構(gòu)

圖4所示為一種實(shí)用的沉浸式游戲業(yè)務(wù)平臺(tái)架構(gòu)，自下而上包括網(wǎng)絡(luò)資源層、運(yùn)營支撐層、業(yè)務(wù)管理層、終端層與應(yīng)用層，構(gòu)建了端到端的沉浸式游戲一體化解決方案。該架構(gòu)已在中國電信集團(tuán)級(jí)產(chǎn)品天翼云游戲/云VR業(yè)務(wù)平臺(tái)中得到應(yīng)用。其中，在網(wǎng)絡(luò)資源層面，沉浸式游戲平臺(tái)是云游戲平臺(tái)的升級(jí)，具備更強(qiáng)的并發(fā)承載能力與云資源調(diào)度能力；在運(yùn)營支撐層與業(yè)務(wù)管理層，支持端云協(xié)同的異步渲染模式，服務(wù)調(diào)度能力更強(qiáng)，同時(shí)支持云游戲/VR游戲/AR游戲/XR游戲及XR直播等多種類型的融合應(yīng)用；在終端層與應(yīng)用層，采用APP、客戶端或H5等形式將服務(wù)能力內(nèi)置到手機(jī)終端、PC、OTT/電視大屏與XR設(shè)備等運(yùn)行終端。

圖4 云化沉浸式游戲平臺(tái)架構(gòu)

2.1 網(wǎng)絡(luò)資源層

通過自建或網(wǎng)元租賃方式建設(shè)全國性的云資源池，實(shí)現(xiàn)GPU、云主機(jī)、存儲(chǔ)等云資源的富集，并利用5G網(wǎng)絡(luò)架構(gòu)優(yōu)勢(shì)，突破網(wǎng)絡(luò)傳輸?shù)募夹g(shù)瓶頸。

云資源池：部署在云端運(yùn)行沉浸式游戲業(yè)務(wù)的云GPU主機(jī)（或虛擬機(jī)、容器等）、管理用CPU服務(wù)器（含虛擬機(jī)），及防火墻、交換機(jī)等網(wǎng)絡(luò)設(shè)備；

基礎(chǔ)網(wǎng)絡(luò)：提供不同服務(wù)節(jié)點(diǎn)與中心管理節(jié)點(diǎn)間高速、穩(wěn)定的網(wǎng)絡(luò)鏈接服務(wù)，及業(yè)務(wù)能力層到用戶的高速、低延遲網(wǎng)絡(luò)服務(wù)，支持公眾用戶基于5G或?qū)拵ЬW(wǎng)絡(luò)接入并使用沉浸式游戲服務(wù)。

2.2 運(yùn)營支撐層

基于網(wǎng)絡(luò)資源層封裝出云渲染能力、流媒體能力與多屏能力等模塊，實(shí)現(xiàn)沉浸式游戲基于云端運(yùn)行并通過視頻流下發(fā)到用戶終端，同時(shí)響應(yīng)終端側(cè)操作指令請(qǐng)求的閉環(huán)，是沉浸式游戲運(yùn)行的承載保障。

云渲染能力模塊：該模塊是沉浸式游戲平臺(tái)的核心，實(shí)現(xiàn)各類應(yīng)用的虛擬化運(yùn)行與承載，同時(shí)還包括資源池內(nèi)與跨資源池的云資源管理、運(yùn)行控制與服務(wù)調(diào)度等，提供云端能力相關(guān)的管理與調(diào)度功能；

流媒體能力模塊：基于云端的計(jì)算資源池，完成相應(yīng)的實(shí)時(shí)轉(zhuǎn)碼服務(wù)、流分發(fā)服務(wù)、游戲運(yùn)行服務(wù)等，需要確保面向各種不同類型終端提供服務(wù)的可靠性；

多屏能力模塊：提供投屏管理、終端管理和交互控制等功能。

2.3 業(yè)務(wù)管理層

業(yè)務(wù)管理層是整體業(yè)務(wù)的管理中樞，主要提供業(yè)務(wù)認(rèn)證支付、運(yùn)維支撐和運(yùn)營分析等服務(wù)，同時(shí)提供統(tǒng)一業(yè)務(wù)管理入口，實(shí)現(xiàn)游戲內(nèi)容和內(nèi)容供應(yīng)商（CP）等不同維度的管理功能。

認(rèn)證支付：集中提供有關(guān)用戶和內(nèi)容鑒權(quán)認(rèn)證相關(guān)的用戶賬號(hào)管理，認(rèn)證鑒權(quán)計(jì)費(fèi)、支付結(jié)算等功能；

運(yùn)維管理：提供完善運(yùn)維管理功能，包括平臺(tái)管理、系統(tǒng)監(jiān)控和資源管理等，能夠有效支撐業(yè)務(wù)管理層穩(wěn)定、安全運(yùn)行；

運(yùn)營分析：通過收集業(yè)務(wù)數(shù)據(jù)、運(yùn)營數(shù)據(jù)等不同數(shù)據(jù)源，進(jìn)行數(shù)據(jù)深度挖掘；同時(shí)針對(duì)云資源流量進(jìn)行實(shí)時(shí)監(jiān)控；

門戶管理：面向用戶提供業(yè)務(wù)介紹、游戲內(nèi)容、用戶信息和社區(qū)互動(dòng)等功能；面向運(yùn)營管理人員提供內(nèi)容發(fā)布、內(nèi)容管理入口等功能。

2.4 終端層

作為沉浸式游戲業(yè)務(wù)用戶側(cè)的能力延伸，采用APP、客戶端或H5等形式將服務(wù)能力內(nèi)置到各種運(yùn)行終端，支持云游戲/VR游戲/AR游戲/XR游戲及XR直播等多種類型的融合應(yīng)用。

2.5 應(yīng)用層

本層主要構(gòu)建沉浸式游戲應(yīng)用資源庫，向用戶提供多種類型的融合應(yīng)用。游戲應(yīng)用資源庫包括按照游戲類型、游戲質(zhì)量、終端類型和計(jì)費(fèi)狀態(tài)等構(gòu)建游戲應(yīng)用列表。其中，游戲類型除了傳統(tǒng)的角色扮演、動(dòng)作格斗、體育競(jìng)技、益智休閑等游戲類型外，還包括游戲視頻、直播等泛游戲內(nèi)容；游戲質(zhì)量根據(jù)內(nèi)容來源區(qū)分為3A大作、精品、普通等；終端類型根據(jù)游戲內(nèi)容適配完成情況進(jìn)行區(qū)分，包括PC、手機(jī)、OTT機(jī)頂盒和XR獨(dú)立運(yùn)行設(shè)備終端等。

3 結(jié)束語

云XR通過云計(jì)算技術(shù)和可穿戴設(shè)備技術(shù)實(shí)現(xiàn)了真實(shí)世界信息和虛擬世界信息的無縫集成，為用戶帶來前所未有的沉浸式、可視化、實(shí)時(shí)人機(jī)交互的體驗(yàn)。為突破云資源計(jì)算能力與運(yùn)行機(jī)制等方面的限制，本文重點(diǎn)研究了基于云XR的沉浸式游戲在實(shí)際應(yīng)用中涉及到的云端并發(fā)承載、端云異步渲染和遠(yuǎn)程交互映射等關(guān)鍵技術(shù)，同時(shí)討論了其平臺(tái)架構(gòu)與模塊功能，對(duì)后續(xù)的技術(shù)研發(fā)工作具備一定的借鑒作用。