空間音視頻在輕VR元宇宙中的應(yīng)用探究

0引言

隨著VR技術(shù)的快速發(fā)展，國(guó)內(nèi)外VR廠商積極投入推廣，加之5G技術(shù)的商業(yè)化落地，全景相機(jī)與VR頭盔在用戶群體中迅速普及。海量VR內(nèi)容如潮水般涌現(xiàn)，這使內(nèi)容創(chuàng)作者和運(yùn)營(yíng)商不得不深人思考如何高效地將這些內(nèi)容觸達(dá)終端用戶。近年來(lái)，VR行業(yè)迎來(lái)了新的高峰，VR資深用戶數(shù)量達(dá)到數(shù)千萬(wàn)，全年VR頭顯銷(xiāo)量突破千萬(wàn)大關(guān)。與此同時(shí)，元宇宙概念成為科技公司的戰(zhàn)略焦點(diǎn)；Facebook更名為Meta，全面布局元宇宙；微軟推出MeshforTeams，將元宇宙概念融入企業(yè)協(xié)作；英偉達(dá)發(fā)布Omniverse，為元宇宙的構(gòu)建提供強(qiáng)大的計(jì)算支持；再加上云計(jì)算GPU算力不斷突破，人工智能與AIGC的快速迭代發(fā)展，進(jìn)一步推動(dòng)了元宇宙的發(fā)展進(jìn)程。

1輕VR元宇宙的發(fā)展

1.1元宇宙與虛擬現(xiàn)實(shí)技術(shù)

在朱利安·倫巴第與瑪麗蓮·倫巴第看來(lái)，元宇宙是互聯(lián)網(wǎng)發(fā)展的決定性一步，具備強(qiáng)化視覺(jué)表現(xiàn)與擬真能力，能夠營(yíng)造出近在咫尺、栩栩如生的臨場(chǎng)感。從宇宙層次看，元宇宙是比本宇宙更基礎(chǔ)、原始的背景宇宙層次，本宇宙在元宇宙基礎(chǔ)上演化生成[1]。對(duì)于虛擬空間體驗(yàn)，從空間技術(shù)構(gòu)造層面來(lái)看，虛擬現(xiàn)實(shí)技術(shù)是元宇宙的重要支撐；從體驗(yàn)形式推導(dǎo)，虛擬現(xiàn)實(shí)是理解元宇宙和虛擬技術(shù)的關(guān)鍵對(duì)立范疇。通過(guò)計(jì)算機(jī)生成多源融合的交互式三維仿真環(huán)境，虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)了用戶行為、高清實(shí)景與虛擬實(shí)體的動(dòng)態(tài)交互，創(chuàng)造了深度沉浸的全新體驗(yàn)范式。

1.2輕VR元宇宙

為方便用戶快速實(shí)現(xiàn)虛擬現(xiàn)實(shí)技術(shù)與計(jì)算視覺(jué)算法的結(jié)合，本文介紹一種交互式VR故事線構(gòu)建方法，即輕VR元宇宙。該方法打破線性敘事局限，為用戶提供全新故事線呈現(xiàn)形式。其分為創(chuàng)作端、云端和終端三層架構(gòu)。

輕VR創(chuàng)作端：輕VR元宇宙采用VR交互式編輯軟件Creator，通過(guò)導(dǎo)人素材、交互編輯、導(dǎo)出分享三步完成交互式VR內(nèi)容創(chuàng)作。交互編輯采用可視化交互圖，支持場(chǎng)景、連線及其嵌入內(nèi)容與屬性的實(shí)時(shí)編輯[2]。場(chǎng)景支持多種內(nèi)容嵌入，并擴(kuò)展支持直播、視頻、圖像摳圖與3D模型。構(gòu)造輕VR元宇宙需在素材構(gòu)成的場(chǎng)景交互圖〔見(jiàn)公式（1）中，結(jié)合熱點(diǎn)、嵌入、視角、導(dǎo)航、分享等功能，支持模板與基礎(chǔ)素材庫(kù)管理。

交互式創(chuàng)作 σ=σ 導(dǎo)入素材 ⊕ 交互編輯導(dǎo)出分享（1）（場(chǎng)景交互 =U （起點(diǎn)，（熱點(diǎn) ? 嵌入 ? 視角 ? 導(dǎo)航 ? 分享）模板）

輕VR云端：系統(tǒng)采用restful接口的PAAS云平臺(tái)，用戶無(wú)須管理底層基礎(chǔ)設(shè)施，只需控制部署在基礎(chǔ)設(shè)施中操作系統(tǒng)上的應(yīng)用程序，配置參數(shù)。

圖1輕VR終端七要素

輕VR終端：輕VR元宇宙要求具備身份、內(nèi)容創(chuàng)作、沉浸感、經(jīng)濟(jì)系統(tǒng)、低延遲、隨地登錄、社交網(wǎng)絡(luò)7個(gè)基本要素（見(jiàn)圖1。輕VR元宇宙采用跨平臺(tái)語(yǔ)言編寫(xiě)，實(shí)現(xiàn)在PC、頭盔、手機(jī)等設(shè)備上隨地登錄。它采用全景交互的音視頻內(nèi)容，以VR形式展現(xiàn)，實(shí)現(xiàn)用戶臨場(chǎng)感與沉浸感。在社交網(wǎng)絡(luò)中，不同的交互內(nèi)容需具備相應(yīng)的交互功能，用戶可通過(guò)評(píng)論、通話、視頻等方式進(jìn)行交流，并發(fā)起可被感知的動(dòng)作，從而實(shí)現(xiàn)內(nèi)容的二次創(chuàng)作和社交功能的拓展[3]。

1.3輕VR元宇宙的四大特性

輕VR元宇宙的目標(biāo)是讓每個(gè)人都成為元宇宙構(gòu)建師。其具備以下四大特性：

“輕”量級(jí)：輕VR元宇宙讓用戶通過(guò)使用瀏覽器，支持PC端、頭盔端和手機(jī)端內(nèi)容同步與一致，降低用戶使用門(mén)檻。

“輕”交互：輕VR元宇宙優(yōu)先運(yùn)用視頻、聲音、手勢(shì)動(dòng)作、輔助沉浸設(shè)備等基本人機(jī)交互實(shí)現(xiàn)輕度沉浸感，使全景和3D音視頻快速被用戶接受，提高用戶體驗(yàn)的便捷性。

“輕”成本：輕VR元宇宙無(wú)須復(fù)雜建模，普通用戶可通過(guò)一體式VR全景相機(jī)快速獲取VR內(nèi)容，用輕VR創(chuàng)作端快速生成交互性VR內(nèi)容并分享，以較低的成本實(shí)現(xiàn)沉浸式漫游，促進(jìn)VR技術(shù)的普及。

“輕”代碼：輕VR元宇宙讓用戶導(dǎo)入素材更加方便，在畫(huà)布上拖拖拉拉即可一鍵生成可交互的元宇宙界面，打破線性敘事局限，提供全新故事呈現(xiàn)形式，降低用戶創(chuàng)作門(mén)檻，

2全景三維聲與輕VR元宇宙

2.1全景三維聲增強(qiáng)沉浸感

在輕VR元宇宙中，全景三維聲空間定位技術(shù)起著至關(guān)重要的作用，極大地增強(qiáng)了用戶的沉浸感。全景聲音頻能夠模擬出真實(shí)世界中聲音從各個(gè)方向傳來(lái)的效果，讓用戶仿佛置身于虛擬場(chǎng)景之中。例如，在一個(gè)虛擬的森林場(chǎng)景中，用戶可以清晰地聽(tīng)到鳥(niǎo)兒在頭頂上方鳴叫、溪水在腳下潺潺流淌、樹(shù)葉在身旁沙沙作響。這種全方位的聲音體驗(yàn)，結(jié)合視覺(jué)上的全景畫(huà)面，能讓用戶身臨其境，仿佛置身于森林之中，感受大自然的美妙。

聲音定位技術(shù)則進(jìn)一步增強(qiáng)了這種沉浸感。通過(guò)精確計(jì)算聲音的來(lái)源方向和距離，系統(tǒng)能夠在虛擬場(chǎng)景中為用戶呈現(xiàn)出逼真的聲音定位效果。例如，在虛擬的戰(zhàn)場(chǎng)場(chǎng)景中，用戶可以根據(jù)槍聲的方向和遠(yuǎn)近，判斷敵人的位置，從而作出相應(yīng)的反應(yīng)。這種聲音定位的準(zhǔn)確性，能使用戶在輕VR元宇宙中的交互更加真實(shí)和自然，增強(qiáng)用戶的參與感和體驗(yàn)感。

2.2創(chuàng)作端與終端的聲音技術(shù)應(yīng)用

在輕VR創(chuàng)作端，創(chuàng)作者可以利用全景聲音頻和聲音定位技術(shù)，為真實(shí)全景或虛擬全景添加更豐富和逼真的聲音元素。通過(guò)導(dǎo)人不同方向和距離的聲音素材，并進(jìn)行精確的定位設(shè)置，創(chuàng)作者可以打造出極具沉浸感的虛擬世界。例如，在一個(gè)城市街道全景中，創(chuàng)作者可以導(dǎo)入汽車(chē)的行駛聲、行人的交談聲、商店的廣播聲等不同聲音素材，并根據(jù)它們?cè)趫?chǎng)景中的實(shí)際位置設(shè)置定位，使聲音與場(chǎng)景完美融合。在輕VR終端，用戶通過(guò)支持全景聲音頻設(shè)備，如具有3D音效的耳機(jī)或音響系統(tǒng)，能夠充分體驗(yàn)到這種聲音技術(shù)帶來(lái)的震撼效果，進(jìn)一步提升用戶的沉浸感和滿意度。

全景三維聲是一種通過(guò)技術(shù)手段模擬真實(shí)三維空間中聲音方位、距離及運(yùn)動(dòng)軌跡的音頻形式，使人耳能感知聲音在水平、垂直和深度方向上的立體定位[4]。全景三維聲采用高階球諧函數(shù)（HOA），通過(guò)球諧分解解析空間聲壓分布。空間音視頻空間定位如公式（2）所示。

其中， 表示空間中某點(diǎn)的聲壓； A （t）

是球諧系數(shù)（時(shí)間依賴）； j（kr） 是球貝塞爾函數(shù)，用于描述聲波隨距離衰減（ k 為波數(shù)， r 為徑向距離）； Y（θ） ，? ）是球諧函數(shù)，描述聲場(chǎng)方向分布。全景視頻分辨率為Width×Height ，像素坐標(biāo)（u，v）對(duì)應(yīng)球面坐標(biāo)： ?_v 為方位角， θ_v 為仰角。

HOA通過(guò)增加階數(shù)N提高空間分辨率，能夠更精細(xì)地捕捉聲場(chǎng)的空間細(xì)節(jié)，如聲音的方位、高度和擴(kuò)散特性等。在VR/AR等需要頭部追蹤的場(chǎng)景中，HOA可以支持跨設(shè)備渲染和真實(shí)環(huán)境聲學(xué)特性的精準(zhǔn)映射。當(dāng)用戶轉(zhuǎn)動(dòng)頭部時(shí)（可得Φ ，θ變化與深度變化），系統(tǒng)可以根據(jù)HOA模型獲取球諧系數(shù)B，實(shí)現(xiàn)實(shí)時(shí)跟蹤調(diào)整聲音的方位和強(qiáng)度，最終使用戶感受到視頻畫(huà)面與聲音隨著頭部的轉(zhuǎn)動(dòng)而聯(lián)動(dòng)變化，就像在真實(shí)環(huán)境中一樣[5]。這使空間聲音與空間視頻在虛擬場(chǎng)景中的表現(xiàn)更加自然和逼真，進(jìn)一步增強(qiáng)了用戶的沉浸感。

2.3全景三維聲的輕VR應(yīng)用

諸如《春天里的雙清別墅》這樣的空間音視頻項(xiàng)目中采用了12K3D影視級(jí)VR攝影機(jī)ObsidianPro和（N=3階）16聲道空間全景聲設(shè)備進(jìn)行拍攝[6]。Obsidian Pro 是全新打造的電影級(jí)VR全景攝像機(jī)，為專(zhuān)業(yè)的VR影像內(nèi)容而生，擁有多項(xiàng)全球第一的強(qiáng)悍性能。它支持拍攝 12K^?12K60FPS 的3D全景視頻，支持12bitRAW視頻、14bitRAW照片拍攝；搭載8個(gè)2400萬(wàn)像素APS-C超大面積圖像傳感器，配備8顆定制f2.8大光圈魚(yú)眼鏡頭，每個(gè)鏡頭包含10組14片多重鍍膜精密鏡片，保障電影級(jí)的成像效果。其采用16聲道空間全景聲設(shè)備，利用基于HOA技術(shù)構(gòu)建的三維聲場(chǎng)系統(tǒng)，核心是通過(guò)聲場(chǎng)諧波分解實(shí)現(xiàn) 360^° 沉浸式音頻還原。現(xiàn)場(chǎng)采集的視頻為8路超大鏡頭，采用光流與深度計(jì)算拼接而成的 12K^*12K 的3D全景視頻；3階全景聲設(shè)備采集的16路高保真麥克風(fēng)矩陣，通過(guò)對(duì)原始聲音A格式轉(zhuǎn)B格式，并進(jìn)行B格式編碼，獲得WXYZ三維聲場(chǎng)的空間全景聲數(shù)據(jù)[7]。

基于光流無(wú)縫拼接的 12K^*12K 3D全景視頻與全景聲音頻的素材用于在輕VR平臺(tái)上制作。用戶根據(jù)場(chǎng)景添加各種熱點(diǎn)、景點(diǎn)介紹、鏈接等各種實(shí)時(shí)編輯操作，最終導(dǎo)出分享到云端[8]。當(dāng)用戶在遠(yuǎn)端觀看時(shí)，沉浸式視頻 360^° 高清畫(huà)面配合主持人聲情并茂的解說(shuō)，能讓人瞬間置身于雙清別墅革命圣地，身臨其境般游覽雙清別墅的每一處景觀，給觀賞者留下深刻印象[9]。

通過(guò)輕VR元宇宙，用戶實(shí)現(xiàn)了無(wú)代碼設(shè)計(jì)一鍵分享。在輕VR元宇宙中，人與人之間還原到面對(duì)面直接對(duì)話和互動(dòng)狀態(tài)，構(gòu)成故事線發(fā)展的基礎(chǔ)。用戶不僅傳遞信息，一舉一動(dòng)、一言一行還真實(shí)、直接地作用和改變周?chē)h(huán)境[10]。

3結(jié)語(yǔ)

虛擬現(xiàn)實(shí)技術(shù)是元宇宙的技術(shù)支撐，虛擬空間體驗(yàn)是從對(duì)立觀念推演的體驗(yàn)形式。交互式VR故事線是輕VR元宇宙的構(gòu)建基礎(chǔ)，通過(guò)輕VR創(chuàng)作客戶端軟件，普通用戶無(wú)須復(fù)雜建模，即可實(shí)現(xiàn)VR交互式內(nèi)容快速創(chuàng)作、分享和使用，實(shí)現(xiàn)線上或線下沉浸式漫游。在輕VR內(nèi)容故事線中，用戶的選擇性分歧與互動(dòng)會(huì)構(gòu)造新的故事線流向，為用戶提供更加豐富和個(gè)性化的體驗(yàn)。

全景三維聲對(duì)輕VR至關(guān)重要，12K全景三維聲能增強(qiáng)沉浸感，通過(guò)聲音定位技術(shù)提升交互的真實(shí)性。創(chuàng)作端可添加豐富逼真的聲音元素，終端用戶通過(guò)特定設(shè)備可體驗(yàn)令人震撼的效果。在元宇宙發(fā)展初創(chuàng)階段，輕VR元宇宙具有諸多優(yōu)勢(shì)，如低門(mén)檻、高便捷性、低成本等，是適合當(dāng)下的可選途徑，為元宇宙在文旅、醫(yī)療、教育等各領(lǐng)域的發(fā)展提供了新的思路和方向。未來(lái)，隨著技術(shù)的不斷進(jìn)步和創(chuàng)新，輕VR元宇宙有望在更多領(lǐng)域得到廣泛應(yīng)用，為人們的生活帶來(lái)更多的便利和樂(lè)趣。

參考文獻(xiàn)：

[1」歐陽(yáng)玥.沉浸式球幕影院中沉浸聲系統(tǒng)的應(yīng)用[J」.現(xiàn)代電影技術(shù)，2022（4）：18-25.

[2]覃龍靖，胡澤.淺談空間音頻技術(shù)的發(fā)展與應(yīng)用［J].現(xiàn)代電影技術(shù)，2021（3）：26-31.

[3］馬超，馬琨，張爽澤.直播間音頻技術(shù)優(yōu)化與實(shí)踐剖析［J].家庭影院技術(shù)，2025（6）：28-32.

[4」王征.空間音頻技術(shù)在影院中的應(yīng)用［J」.家庭影院技術(shù)，2024（20）：60-63.

[5」胡澤.三維聲重放技術(shù)及應(yīng)用分析［J」.音樂(lè)與聲音研究，2021（2）：172-186.

[6」朱宇平.空間音頻技術(shù)在廣播電視領(lǐng)域的應(yīng)用研究［J」.電聲技術(shù)，2023，47（6）：115-117.

[7」李思佳，劉世光.基于視覺(jué)畫(huà)面的空間音頻合成及電影行業(yè)應(yīng)用研究［J].現(xiàn)代電影技術(shù)，2023（9）：4-10，45.

[8」邱音良，李知禹，王晶，等.面向空間音頻的個(gè)性化頭相關(guān)傳輸函數(shù)定位性能研究綜述［J].信號(hào)處理，2022（9）：1843-1852.

[9」劉文鑫，童棵.從身體流轉(zhuǎn)到場(chǎng)景再構(gòu)：元宇宙能否以虛興實(shí)賦能體育［J].體育科技文獻(xiàn)通報(bào)，2022，30（6）：268-271.

[10］段津麗.自媒體時(shí)代網(wǎng)絡(luò)直播與電視直播的音頻技術(shù)分析［J].家庭影院技術(shù)，2025（6）：24-27.