MR技術(shù)在線上共享直播領(lǐng)域的應(yīng)用研究

廖沂楠，汪慧晨，王儷穎，陸依秦，胡億蕓

（同濟(jì)大學(xué)浙江學(xué)院電子與信息工程系，浙江 嘉興 314051）

MR（混合虛擬現(xiàn)實(shí)）技術(shù)由三維圖形圖像數(shù)字建模技術(shù)、虛實(shí)空間3D坐標(biāo)同步解算技術(shù)和角色場(chǎng)景實(shí)時(shí)合成與效果預(yù)覽技術(shù)組成。在人們的生活領(lǐng)域和學(xué)科專業(yè)領(lǐng)域衍生出了以用戶為中心的數(shù)字化體驗(yàn)[1]，使得工作效率得以提高，改善了人們的生活環(huán)境。以CINEMA 4D圖形建模技術(shù)為技術(shù)支持的三維圖形圖像數(shù)字建模技術(shù)在實(shí)際應(yīng)用過程中有著渲染效率高和建模渲染視覺效果突出的特點(diǎn)[2]，可以得到更好的渲染效果，提高了渲染效率，使得虛擬物品更加真實(shí)，極大程度上減少了人們視覺上展示物品與實(shí)物的差距。

MR技術(shù)已在博物館文化傳播中起到作用，采用MR設(shè)備構(gòu)建的數(shù)字虛擬博物館實(shí)現(xiàn)了觀眾與展品的互動(dòng)，例如中國(guó)的故宮線上博物館[3]，且目前已有MR技術(shù)應(yīng)用于線上購(gòu)物領(lǐng)域的案例[4]；利用CINEMA 4D圖形建模技術(shù)可以很好地構(gòu)建大型場(chǎng)景及商品模型，該技術(shù)經(jīng)驗(yàn)證可用于大規(guī)模雪景及單個(gè)雪花模型的構(gòu)建[5]，但該技術(shù)在線上共享直播領(lǐng)域的研究相對(duì)較少。

1 硬件基礎(chǔ)及相關(guān)

1.1 HoloLens

HoloLens設(shè)備為虛擬物體標(biāo)記了真實(shí)世界中準(zhǔn)確方位（包括其位置與方向）。以定位真實(shí)環(huán)境下的虛擬世界，HoloLens提供了一個(gè)空間坐標(biāo)體系。在這一坐標(biāo)體系中，按照與真實(shí)空間相同的大小比例來建立的虛擬空間，其空間坐標(biāo)系中的一個(gè)單位長(zhǎng)度對(duì)應(yīng)于真實(shí)空間中的1 m[6]。

除了提供準(zhǔn)確的定位與坐標(biāo)體系之外，MR設(shè)備需要對(duì)真實(shí)環(huán)境建模以提高混合現(xiàn)實(shí)體驗(yàn)。HoloLens的空間映射功能可以以掃描空間映射數(shù)據(jù)的方式對(duì)周圍的環(huán)境進(jìn)行建模。所需環(huán)境需要被直播人員掃描完全，空間映射功能才能得以使用。

1.2 空間錨點(diǎn)

空間錨點(diǎn)可以標(biāo)記一個(gè)現(xiàn)實(shí)世界中的點(diǎn)位，MR設(shè)備在這個(gè)點(diǎn)位建立一個(gè)以錨點(diǎn)為坐標(biāo)原點(diǎn)的錨點(diǎn)坐標(biāo)系，持續(xù)追蹤并記錄這個(gè)點(diǎn)位。HoloLens會(huì)不斷調(diào)整錨點(diǎn)以及錨點(diǎn)坐標(biāo)系相對(duì)于其他錨點(diǎn)坐標(biāo)系的位置，以保證錨點(diǎn)在真實(shí)空間中的確切位置[6]。

錨點(diǎn)自身的定位依賴HoloLen多個(gè)攝像頭的數(shù)據(jù)。即使虛擬物體和錨點(diǎn)的距離在3 m以內(nèi)，錨點(diǎn)坐標(biāo)系也需要當(dāng)直播人員在虛擬物體放置處時(shí)錨點(diǎn)處于直播人員視線范圍內(nèi)及在真實(shí)環(huán)境中錨點(diǎn)位置相對(duì)于虛擬物體位置是可見的才能準(zhǔn)確地定位虛擬物體。

1.3 適用于室內(nèi)MR應(yīng)用的實(shí)時(shí)渲染加速策略

本文基于數(shù)據(jù)結(jié)構(gòu)VorPa提出渲染加速策略[6]。根據(jù)HoloLens反饋的用戶點(diǎn)位，VorPa先將用戶定位到具體的行走子路徑上，然后，利用預(yù)處理過程得到的數(shù)據(jù)設(shè)計(jì)渲染加速算法，有效地減少實(shí)時(shí)渲染計(jì)算量，保證穩(wěn)定的渲染效果。

以下為本文的加速算法：①準(zhǔn)確地定位用戶到此路徑上并得到子路徑綁定的模型列表；②根據(jù)HoloLens視角實(shí)時(shí)計(jì)算用戶的可見區(qū)域，停止渲染不屬于子路徑的所有模型；③計(jì)算處于模型列表，并且處于可見區(qū)域的所有模型的復(fù)雜度；④根據(jù)用戶位置與模型位置之間的距離，從遠(yuǎn)到近調(diào)整模型的精度來保證復(fù)雜度小于復(fù)雜度上限。

2 虛擬場(chǎng)景構(gòu)建的技術(shù)關(guān)鍵

2.1 大范圍室內(nèi)空間下MR應(yīng)用構(gòu)建方法

現(xiàn)有的混合現(xiàn)實(shí)設(shè)備，是以為用戶提供掃描的方式來了解真實(shí)的實(shí)際環(huán)境，以實(shí)現(xiàn)場(chǎng)景的構(gòu)建與注冊(cè)，來為應(yīng)用場(chǎng)景提供虛實(shí)融合的混合虛擬現(xiàn)實(shí)環(huán)境，但是對(duì)于類似直播室等類型的室內(nèi)結(jié)構(gòu)復(fù)雜的空間，利用這種掃描的方式，需多次進(jìn)行不同角度的掃描與重新構(gòu)建真實(shí)的環(huán)境，這樣的過程非常耗費(fèi)時(shí)間和人力。

此外，目前構(gòu)建混合現(xiàn)實(shí)場(chǎng)景的方式，通常需要專業(yè)人士進(jìn)行構(gòu)建和操作，要求構(gòu)建者擁有扎實(shí)的專業(yè)基礎(chǔ)知識(shí)與豐富的相關(guān)實(shí)踐經(jīng)驗(yàn)，普通用戶難以獨(dú)立完成相關(guān)的構(gòu)建和制作。對(duì)于以上問題，本文所提出的MR應(yīng)用構(gòu)建方法要考慮滿足以下幾點(diǎn)要求：①該構(gòu)建方法可以在相對(duì)復(fù)雜的室內(nèi)空間中提供一種便捷的方式來構(gòu)建MR環(huán)境，同時(shí)使得真實(shí)事物與虛擬事物之間有合適的遮擋關(guān)系；②該構(gòu)建方法交互方式較靈活、簡(jiǎn)單；③構(gòu)建后的場(chǎng)景，可以保證直播者后期實(shí)時(shí)體驗(yàn)和查看。

2.2 虛擬場(chǎng)景構(gòu)建的技術(shù)關(guān)鍵

2.2.1 定位與跟蹤

在進(jìn)行直播的過程中，攝像機(jī)的狀態(tài)變化十分關(guān)鍵。直播室的專用數(shù)字?jǐn)z像機(jī)通常不止一個(gè)，且攝像機(jī)配有運(yùn)動(dòng)跟蹤器。將檢測(cè)到的攝像機(jī)傳感部位的運(yùn)動(dòng)數(shù)據(jù)通過傳感裝置傳輸至校準(zhǔn)裝置。使得現(xiàn)場(chǎng)攝像機(jī)與虛擬演播室中虛擬的攝像機(jī)在理想情況下被鎖定在一個(gè)相對(duì)位置上。于是，虛擬攝像機(jī)可以與現(xiàn)場(chǎng)攝像機(jī)保持實(shí)時(shí)的同步。

2.2.2 鎖定

對(duì)于直播而言，另一個(gè)關(guān)鍵的問題是攝像機(jī)間的位置關(guān)系。當(dāng)直播室有不少于2臺(tái)攝像機(jī)進(jìn)行切換時(shí)，須維持虛擬背景物體和現(xiàn)實(shí)演員在直播室中的位置不變。否則在切換時(shí)，觀眾會(huì)看到演員從背景中偏移或是大幅度移動(dòng)，造成在視覺上的不實(shí)感受。由于真實(shí)物品與演員是由真實(shí)攝像機(jī)給出，而背景由虛擬攝像機(jī)給出，所以需要對(duì)虛擬攝像機(jī)進(jìn)行位置鎖定，即虛擬攝像機(jī)之間的距離必須與真實(shí)攝像機(jī)之間的距離相等，且推拉、搖移的初始量（原位矢量）與真實(shí)攝像機(jī)的位置方向關(guān)系保持一致，才能進(jìn)行切換[7]。

2.2.3 綠幕摳圖

綠幕摳圖的實(shí)現(xiàn)需要確保綠色背景的顏色是均勻的，且在相關(guān)平面交接處不能有接痕。OBS的摳像功能，可以摳除純色背景，實(shí)現(xiàn)虛擬直播廳的效果。最終實(shí)現(xiàn)效果如圖1所示。

圖1 場(chǎng)景綠幕摳圖效果圖

3 系統(tǒng)設(shè)計(jì)

3.1 功能模塊設(shè)計(jì)

如圖2所示，本系統(tǒng)可分為3個(gè)模塊：行為捕捉模塊、分析計(jì)算模塊、內(nèi)容場(chǎng)景模塊。其中行為捕捉模塊主要是用深度傳感器、麥克風(fēng)、攝像頭等設(shè)備實(shí)時(shí)采集人的行為狀態(tài)。分析計(jì)算模塊主要是對(duì)捕捉到的行為狀態(tài)進(jìn)行智能識(shí)別，根據(jù)識(shí)別結(jié)果動(dòng)態(tài)生成并更新場(chǎng)景內(nèi)容[8]。內(nèi)容場(chǎng)景模塊則是通過顯示屏等設(shè)備，在實(shí)際空間中輸出并顯示各類數(shù)字化的多媒體內(nèi)容，從而將虛擬現(xiàn)實(shí)技術(shù)融入到現(xiàn)實(shí)環(huán)境之中。通過這些設(shè)備，在三維空間中真正實(shí)現(xiàn)虛擬模型與現(xiàn)實(shí)環(huán)境的自然融合。

圖2 系統(tǒng)功能結(jié)構(gòu)圖

3.2 系統(tǒng)搭建流程

如圖3所示，搭建基于MR技術(shù)的線上平臺(tái)共享直播系統(tǒng)需要經(jīng)過多個(gè)步驟。首先用CINEMA 4D完成對(duì)商品及場(chǎng)景模型的搭建與優(yōu)化，將模型導(dǎo)入U(xiǎn)E4完成對(duì)場(chǎng)景的燈光制作與渲染，并制作場(chǎng)景模型貼圖及寫入藍(lán)圖，再進(jìn)行程序的打包和調(diào)試，之后打開OBS直播系統(tǒng)，將建模得到的圖形作為場(chǎng)景（即直播背景），打開攝像頭、麥克風(fēng)等設(shè)備，并對(duì)圖像進(jìn)行人物的摳圖，最后利用UE4實(shí)現(xiàn)人與物品的實(shí)時(shí)交互、場(chǎng)景內(nèi)容實(shí)時(shí)更新。

圖3 系統(tǒng)搭建流程圖

4 總結(jié)

本文設(shè)計(jì)了一個(gè)基于混合虛擬現(xiàn)實(shí)技術(shù)的線上共享直播系統(tǒng)，相對(duì)于傳統(tǒng)直播方式，該系統(tǒng)在一些方面有所創(chuàng)新，且具有一定的實(shí)用價(jià)值。

在理念方面，顛覆傳統(tǒng)直播模式。傳統(tǒng)直播多采用實(shí)物展示，由于直播間條件以及商品的屬性限制，直播帶貨品類受到了極大的制約，而虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用可以極大地拓展帶貨范圍，該作品顛覆了傳統(tǒng)直播模式，創(chuàng)新了直播帶貨理念，為大型商品直播帶貨提供了最佳解決方案。

在技術(shù)方面，實(shí)現(xiàn)用戶沉浸式體驗(yàn)。基于混合現(xiàn)實(shí)的線上平臺(tái)共享直播技術(shù)利用CINEMA 4D三維圖形圖像建模技術(shù)，提高了渲染效率和建模渲染視覺效果，使得人與物品狀態(tài)的實(shí)時(shí)交互，實(shí)現(xiàn)了虛擬和現(xiàn)實(shí)的自然融合。

在應(yīng)用方面，助推直播經(jīng)濟(jì)發(fā)展。當(dāng)今在線上銷售領(lǐng)域，直播經(jīng)濟(jì)興起。該作品深度融合了創(chuàng)新理念和前沿技術(shù)，應(yīng)用于直播領(lǐng)域，助推了直播經(jīng)濟(jì)發(fā)展。

5 展望

在混合現(xiàn)實(shí)應(yīng)用構(gòu)建方面，本文仍有許多地方有待提升：①渲染加速算法的深入研究。本文在渲染加速部分通過預(yù)先的實(shí)驗(yàn)測(cè)試，得到了保證系統(tǒng)運(yùn)行效果的場(chǎng)景復(fù)雜度上限。但是，這一上限并不能反映系統(tǒng)實(shí)時(shí)的運(yùn)行情況。在未來的工作中，可以設(shè)計(jì)一個(gè)算法自動(dòng)計(jì)算不同后臺(tái)程序下，不同存儲(chǔ)空間下場(chǎng)景復(fù)雜度上限。②構(gòu)建虛擬模型庫(kù)。在本文提出的工具包Rotbav中，用戶可以便捷地設(shè)計(jì)虛擬場(chǎng)景，但是用戶可以選擇的虛擬模型有限。因此未來工作中，可以設(shè)計(jì)云平臺(tái)虛擬模型庫(kù)，在線獲取最新的模型。