XR沉浸式虛擬演播室應用與研究

劉杰 楚志剛

摘要：中國氣象報社根據自身需求設計了XR沉浸式虛擬演播室，該演播室依據XR虛擬技術的工作原理進行系統設備搭建，將LED屏幕和虛擬擴展畫面相結合，通過虛擬引擎為新聞、科普視頻內容的呈現提供了更加豐富的想象空間。

關鍵詞：XR演播室；虛擬演播室

引言

隨著互聯網技術和信息傳播手段的發展，短視頻已經逐漸成為人們日常生活不可缺少的傳播信息資訊的一種方式，且比例越來越大，對信息呈現和交互性體驗的要求也不斷提升。XR沉浸式虛擬演播室作為新興的數字化視頻節目制作工具，為人們提供了前所未有的沉浸式視聽體驗和全新的交互溝通方式，已經逐漸在行業中廣泛應用。中國氣象報社結合自身業務需求設計搭建了XR沉浸式虛擬演播室，為新聞科普短視頻制作及直播帶來全新的創作手段。

1. 虛擬演播室的發展

Orad公司在1995年開發了Cyberset可移動攝像機圖形識別系統，并使用這種技術推出了全球首個真三維虛擬演播室。它通過將計算機生成的虛擬三維場景與攝像機現場拍攝的人物活動圖像進行數字化的實時合成，使人物與虛擬背景能夠同步變化，從而實現了兩者完美融合，直接輸出合成畫面，早期主要應用于電視節目的制作[1]。早期的虛擬演播廳主要是應用“綠幕摳像”技術，然而，由于表演者處在綠幕環境中，缺乏真實的情境感受，場景的互動主要依賴于后期制作或主持人的表演技巧。從實景演播室到背景演播室，再到虛擬演播室，演播室作為視頻節目制作的重要場地，歷經多層次、多階段的發展。隨著XR技術的完善和進步，將多種視覺交互能力賦能給演播室，制造出高度逼真、互動性強的虛擬現實結合效果，誕生了XR演播室。廣義上講，只要在演播室里應用了XR技術就是XR演播室，而以三面LED屏幕作為背景的演播廳，特效更炫，沉浸感更強，通常稱為XR沉浸式演播室。

2. VR、AR、MR、XR虛擬技術

VR（virtual reality）指虛擬現實技術，通過計算機圖形技術和設備模擬人的視聽和觸覺，構建一個獨立的虛擬世界，讓受眾產生身臨其境的體驗。VR所產生的所有東西都是計算機生成的，都是虛擬的。

AR（augmented reality）指增強現實技術，將計算機生成的圖像用前景圖層形式疊加在實景上，把虛擬信息與真實世界巧妙融合，運用多媒體、三維建模、實時跟蹤等多種技術手段，將真實世界信息和虛擬世界信息“無縫”集成。實現虛擬信息超越現實的感官體驗，實現真實與虛擬同時存在，從而達到增強現實的效果。

MR（mediated reality）指混合現實技術，將真實世界和虛擬世界融合在一起，在現實世界中疊加虛擬物體和場景，完成兩個物體的自然融合后形成一個新的可視化環境，從而全面提升用戶體驗真實感。

XR（extended range）指拓展現實技術，利用硬件設備結合多種先進技術手段，運用場景搭建、攝像跟蹤、實時渲染、輸出合成等結合LED顯示，制作出一個全方位無死角的虛擬世界。同時XR也是一個總稱，包括任何能幫助我們整合物理世界和數字世界的技術。簡單來說，XR是AR、VR、MR等多種技術的統稱，通過將三者的視覺交互技術融合，為體驗者帶來虛擬世界和現實世界之間無縫轉化的“沉浸感”。在XR技術的加持下，主持人可以在三維場景中自由地穿梭，實現無縫轉換，呈現出沉浸式的表演，實現虛擬和現實的交互式的體驗。中國氣象報社采用的XR虛擬技術能夠在幾十平方米的真實空間營造出數百平方米的虛擬仿真環境空間感。

3. XR沉浸式虛擬演播室主要構成

一套XR虛擬演播室系統一般包括LED顯示系統、虛擬制作系統、演播系統、實時渲染引擎、攝像跟蹤系統、播控系統等，還有傳統演播室中的攝像機、燈光系統、音頻系統等[2]。本文對以下幾個系統進行介紹。

3.1 LED顯示系統

LED屏幕是像素點主動發光成像技術，相比傳統液晶投影等透射式出光成像技術，有光效高、視角大、亮度高、便于安裝維護等優點，是目前還原自然色彩最好的一種技術。LED顯示系統主要包括LED屏幕拼接器、LED發送卡、LED接收卡、LED屏體，通過顯示系統來接收渲染服務器輸出的實時渲染圖像進行顯示，系統支持不同點間距屏幕的拼接與顯示，支持不同比例與分辨率的圖像點對點顯示，使屏幕顯示效果達到最佳狀態。在中國氣象報社虛擬演播室方案中，采用了LED屏背景立屏1塊、側屏2塊、地面屏幕1塊，其中背景屏和側屏選用的是1.2毫米點間距屏，地屏使用的是2.6毫米點間距屏。地屏與背景屏和側面屏構成包圍式顯示空間，結合虛擬播控軟件基于攝像機視角的透視投射效果，以及虛擬引擎實時渲染的虛擬畫面，可實現基于真實環境屏幕疊加三維虛擬空間的沉浸式顯示效果。

3.2 演播系統

演播系統主要由XR合成服務器、XR渲染服務器及服務器配套XR制作軟件構成。XR合成服務器可接收渲染服務器實時渲染引擎輸出的畫面，并帶有畫面合成及調整功能，支持實際畫面與虛擬畫面合成、AR前景疊加、自動校正實際畫面與虛擬畫面間的色差、實時調節延遲，并且支持向多種顯示設備發送視頻信號。XR合成服務器接收虛擬引擎渲染的AR前景，將其疊加在實際畫面前，實現AR效果；接收虛擬擴展畫面，并與實際拍攝畫面縫合，實現XR效果；AR效果、XR效果可同時應用，實現混合現實，即MR效果；服務器可基于時間線同時控制音視頻和各種周邊設備，實現AR、XR、MR、聲、光、電、機械的綜合性協同應用；本方案中使用了8臺服務器，同時配置有硬件同步卡保證多臺集群渲染的畫面同幀輸出，每一臺渲染服務器配置了專業的外視頻輸入卡，可以接入4K分辨率60幀的外部視頻信號，可以進行異地連線或資訊的實時接入。

3.3 實時渲染引擎

實時渲染引擎根據攝像機軌跡數據實時渲染并輸出內容。內置三維實時渲染引擎：可進行三維空間渲染服務。三維空間位置可調整：屏幕上的三維空間可調整到任意位置，可以前后、左右、上下移動微調，并且具備26視點的視角切換功能[3]。隨著攝像機的移動，在LED顯示屏上投射內容也隨之移動，在屏幕上創造出一種虛假的深度感，同時也將虛擬場景延伸超越了LED屏幕的空間，并與攝像機拍攝內容進行合成輸出，虛擬擴展內容與LED顯示內容可以無縫銜接一體化過渡，能夠呈現近乎真實的視覺效果，讓觀眾體驗到更加精彩的影像世界。本方案中支持對接Notch、Unreal Engine 4、Unreal Engine 5等實時渲染引擎。

3.4 攝像跟蹤系統

攝像機跟蹤系統是XR虛擬演播室系統中的重要組成部分，主要作用是通過使用傳感器、接收器等設備，實時跟蹤和記錄主持人和物體的位置和動作，以及物體的移動和變化，使得虛擬場景和角色能夠與真實人物和物品精確匹配。同時為虛擬引擎中的虛擬攝影機提供三級位置信息及相關的鏡頭數據，來保障虛擬攝影機與真實攝影機的軌跡虛擬引擎中的虛擬攝影機提供保持同步。一般有圖像識別跟蹤技術、光學跟蹤技術、傳感器跟蹤技術等。

中國氣象報社在演播室屋頂粘貼了若干反光貼片，為跟蹤設備提供整個演播室的光學地圖錨點，實現對攝像機的位置跟蹤定位。跟蹤設備還可以將攝像機鏡頭參數傳輸給后站的渲染引擎，渲染引擎通過計算渲染，實時生成圖像傳送到LED屏幕上，使虛擬場景內容隨著攝像機移動而實時變化，顯示屏幕外的拓展影像也隨之變化，從而達到了所見即所得式的實景拍攝效果。

3.5 燈光系統

燈光系統在XR演播系統中也十分重要，直接影響節目的制作和播出，不能當作一個簡單的照明工具，而是根據場景模擬出真實世界中的光線情況，從而實現以假亂真。一套完善的燈光系統除了燈光本身，還需要一套優質的控制和調色系統。LED燈具功率低、效率高，搭載調光系統更加智能、簡單，也更加可靠、安全。中國氣象報社虛擬演播室燈光系統采用LED燈具，使用了20臺燈具圍繞主播人采用環形布光方式，每一組燈光的方向、明暗、色溫均可進行精細調節，可以實現利用面光、逆光、輔助光及背景光等燈光調節滿足不同節目、不同場景中的環境光線需求，使節目中的場景、人物和光線整體和諧統一，體現立體感、空間感。

4. 虛擬場景

XR虛擬演播室最大的優勢是可以實現所見即所得，實現場景自由轉換，調用不同樣式風格的虛擬場景就可以滿足各種欄目的快速制作需求，在有限的演播室空間內，展示無限的視覺效果。虛擬場景是虛擬演播室中非常重要的一個部分，場景的制作精細程度及效果直接關系到節目的最終質量，場景搭建是一項關鍵且復雜的任務，需要考慮到應用需求和實際情況，保證視覺效果的同時，實現更高實用性的表現。

中國氣象報社結合自身需求，制作了6套常用場景來滿足新聞發布、報道、訪談、解讀、科普、連線等多種業務需求。把演播廳場景設計為多功能虛擬演播廳，視覺效果可達到400多平方米，攝像機內主持人仿佛置身于一個現代化的充滿科技感的演播大廳。該場景用于錄制大、中型的視頻節目，同時也是實景大廳的一個有效補充。發布廳場景模擬新聞發布會現場，實現在演播室達到在新聞發布大廳的效果，尤其在線上進行新聞發布時，直接在演播室就可以達到預期效果，攝像人員無須再將大量設備運至發布會現場。

室外自動觀測站場景，使用3D技術模擬了一個具有顯著氣象特點的氣象觀測站場景，主持人足不出戶就可以氣象站背景來播報有關氣象類的節目。同時還模擬四季變化，可以一鍵切換到任意季節，讓觀眾能感受場景中春季的百花、夏季的綠蔭、秋季的金黃、冬季的白雪。訪談場景，專家訪談是常用的節目形式，通過主持人與嘉賓專家對話，讓觀眾更加深入了解與感受知識。模擬了書房場景，來提升整個節目的文化屬性。氣象科普解讀場景，結合氣象業務本身，通過內置虛擬沙盤來展示模擬各種天氣過程原理，更方便主持人結合AR等技術設計的多樣化氣象裝備模型進行節目制作和講解，實現虛實融合，提升了節目效果。

氣象災害防御場景，利用VR、AR仿真技術，預制了暴雨、城市內澇、臺風、沙塵暴、龍卷風等天氣現象，營造出逼真的災害場景，使主持人置身天氣現場，充分發揮了XR沉浸式演播的優勢。在實際使用中，前景中的主持人看起來完全沉浸于計算機制作的三維虛擬場景中，而且能在其中運動，創造出逼真的、立體感很強的實景演播室效果，使觀眾很難分辨，達到虛實結合互動的最佳效果。后續中國氣象報社將根據業務需求不斷完善場景庫，逐步建立起豐富多彩的虛擬場景庫。

5. XR虛擬演播室的應用

XR虛擬演播室可代替傳統綠箱演播室，傳統綠箱拍攝環境下，節目錄制完成后需要花費大量時間進行精細的摳像處理，而XR虛擬演播室不需要摳像，在錄制時通過渲染引擎播放3D 虛擬場景，工作人員可以在現場看到虛擬環境，還可以在現場進行錄制的調整與指導，錄制畫面即為節目播出畫面，減少了后期摳像處理制作耗費的時間和工作量。相比傳統綠箱演播室，XR虛擬演播室不僅節約了工作時間，而且還將節目的后期制作前置化，現場直接出鏡頭。新媒體時代，信息時效性更強，XR虛擬演播室大大節約視頻制作時間，從而使視頻生產更加高效。

另外，傳統虛擬演播室主持人只能通過想象，達到無實物場景的表演，節目前需要多次進行盲猜或者踩點，這樣對主持人的能力水平要求就變得很高，而平面記者往往不具備這樣的能力。而XR虛擬演播室主持人在逼真的虛擬場景或者虛實結合的場景中，利用渲染引擎播放虛擬場景打造出豐富場景與人物交互感，前景與背景搭配層次分明。實時呈現的內容可以讓主持人更好地與虛擬環境進行交流互動，仿佛在真實環境中完成節目錄制，實現了傳統記者向新媒體時代視頻主持人的過渡。

目前，XR虛擬演播技術應用廣泛，如新華社的新立方智能化演播室就是使用XR等技術打破了時空限制，使主持人“在”中國空間站與王亞平一起完成跨時空采集與制作對話，帶給觀眾沉浸式的體驗。2023年兩會期間，中國氣象報社使用XR虛擬演播室技術進行全國兩會報道，錄制《兩會云訪談》四期，在世界氣象日開放日當天，開展了《你好，氣象日！》《風云三號G星來了！一起見證我國首顆降水測量衛星發射》直播等活動，達到了良好效果，提升了節目的感染力，并讓觀眾感受到超越LED范圍的美妙世界。XR虛擬演播技術可以讓節目更加精彩紛呈，將視覺效果的傳遞提升到一個新的維度，提高了節目的科技感。

結語

為謀求先進技術為新聞采編業務賦能，中國氣象報社在媒體融合方面不斷尋求突破，由報紙到網站再到新媒體，如今短視頻業務已成為重要的采編業務，借助XR沉浸式虛擬演播室使視頻制作方式更加豐富和簡單，視頻視覺效果、互動效果得到了大幅提升，為傳統媒體單位的全媒發展帶來更多可能性和發展空間。

參考文獻：

[1]張化明.虛擬演播室的發展與應用[J].通訊世界，2016，（9）：248-249.

[2]張浩，王雪瑩.淺談XR沉浸式演播室[J].數字傳媒研究，2021，38（12）：49-51.

[3]秦艷艷.虛擬演播室系統組成及應用[J].電視技術，2023，47（6）：159-161.

作者簡介：劉杰，碩士，高級工程師，研究方向：軟件工程。