游戲引擎環境下4K虛擬演播室系統設計探討

浙江傳媒學院 黃河

近年來，游戲領域中超高清實時渲染、五花八門的特效及交互等新技術被逐漸引入到廣播電視行業中的電視圖文及虛擬演播室包裝，這些新技術的使用為該行業提供了全新的制作思路與方法，亦為廣播電視行業開啟了嶄新的制作前景。本文以Zero Density 公司的虛擬演播室/增強現實系統為例，探討了當前游戲引擎現狀，虛幻引擎（Unreal Engine）的優勢，以及游戲引擎環境下4K級別虛擬演播室、增強現實、混合現實的系統硬軟件構成。

虛擬演播技術自1994年國際廣播電視會議上首次出現至今不到30年的歷史，期間國內外大大小小的公司研發推出了具有各自特點的虛擬演播室軟硬件產品，從國外以色列ORAD 公司開發的基于圖像識別的Cyberset虛擬演播室系統到國內大洋公司的Vrset 虛擬演播系統，虛擬演播室產品可謂琳瑯滿目，其獨特的圖文包裝力在各行各業迅速應用。曾幾何時虛擬演播室一度被用作控制制作預算的一種手段，與實景相比虛擬場景更容易實現、修改，具有可以不斷的重復利用，使用成本低等特點，雖然虛擬演播室具有這些優勢，但也有首期投入大、虛擬場景、摳像不夠真實、攝像機跟蹤有延遲、使用復雜等缺點，技術上的限制使得虛擬演播室沉寂了一段時間。近年來隨著游戲領域中電影級別的視覺效果，超高清場景逼真的實時渲染、4K 級別優秀的畫質、令人嘆為觀止的特效及交互等新技術在電視圖文包裝及虛擬演播室行業中的推廣，為此行業帶來了新發展與新希望，從而打開了嶄新的應用前景，這些新技術正廣泛地應用于大型綜藝晚會(2021 春節聯歡晚會)、競選直播、體育轉播、電競比賽等各行各業。

1 游戲引擎與虛擬演播室技術結合

1.1 游戲引擎簡介

游戲引擎其實就是一個平臺，整合了完成游戲制作的各種系統，主要由以下部分組成：圖像渲染引擎、物理引擎、人體學接口設備引擎、網絡引擎、碰撞檢測系統、音效、電腦動畫、腳本引擎、人工智能以及場景管理等，它涉及到游戲制作中的所有元素，例如硬件調用、渲染、動畫、貼圖、交互等方方面面。游戲設計開發是一項多學科高度融合的工作，其中高度復雜的代碼開發只是最基本的技能之一，它涉及的內容還有計算機圖形學、三維數學、物理學等復雜的學科。若需要掌握這么多學科知識才能進行游戲制作開發，對大多數人來說是很難完成的任務，更談不上開發游戲。而游戲引擎是引擎開發者已編寫好一些代碼，然后把各種復雜的代碼封裝起來構成了一些基礎核心組件，這些組件可以被游戲開發者直接調用而不用考慮一些底層的東西，這樣一般的游戲開發者制作游戲就不用掌握游戲開發的各項細節，如此以來能大大縮短開發周期、節約開發成本，使得游戲開發不是那么的高不可攀。

目前比較主流的游戲開發引擎有國外的EPIC 公司“虛幻”即Unreal Engine 簡稱UE（開發過“絕地求生”“使命召喚”）、Unity Technologies 公司的“Unity3D”（開發過“王者榮耀”“神廟逃亡”）、Valve 公司“起源”(制作過“半條命”)、EA DICE“寒霜”（開發過“戰地”）。國內網易的“彌賽亞引擎”（開發過《天下3》）、搜狐的“黑火”引擎（開發過“代號x7”）、金山軟件西山居研發的“劍三”引擎，專門為《劍俠情緣網絡版三》打造的一款游戲引擎等。

1.2 Epic 公司的Unreal Engine 虛幻引擎被引入電視圖文制作

Epic Games 公司于1998年發布了首款虛幻游戲引擎（Unreal Engine 簡稱UE），至今最新版本為Unreal Engine5。UE 作為一款游戲引擎被引入到電視圖文及虛擬演播室制作，是因為它具有以下優勢：

（1）UE 從UE4 開始代碼是開源的，從而用戶可以從最底層開發，最大限度的發揮平臺的優勢。（2）UE 開發的游戲畫質能到達電影級，能渲染出極度逼真的超高清畫面。（3）UE 從UE4 開始它是免費的，可直接從EPIC 公司官網下載使用。（4）UE 既能利用C++從底層進行開發，又能當開發者對編程不是很熟悉的情況下也可以使用它的可視化編程，即獨具特色的藍圖（Blueprint），利用封裝的藍圖節點實現相應的邏輯功能。（5）UE 是跨平臺的引擎，支持從Xbox One 到Windows、Mac OSX、Linux 等系統。正因為以上優勢，它就具有了被引入到影視圖文制作的條件，目前國外比較好的把UE4 引入電視圖文及虛擬演播制作的公司有土耳其注冊的Zero Density公司，它于2016年全球首次推出了基于虛幻4 引擎的電影級虛擬影視制作系統Reality，它不光使用虛擬引擎進行場景的渲染，還包含基于節點的摳像、4K 級別的視頻輸入輸出、交互性播控、攝像機跟蹤系統的支持、API接口等，它充分發揮了虛幻引擎的優秀畫質，實時的圖形優化，它是個完善的實時電視節目及虛擬制作系統[1]。

2 虛幻引擎環境下4K 虛擬演播室/增強現實系統硬軟件系統

2.1 Zero Density 系統構成

Zero Density 作為全球首家推出虛幻環境下虛擬演播系統解決方案的公司在行業內具有一定的領先優勢，也是目前世界上畫質最好、最真實的系統。本文以此公司的Reality 虛擬演播室/增強現實系統為例探討UE4環境下硬軟件系統。此系統構成如圖1所示。

圖1 Zero Density 虛擬演播室系統圖Fig.1 Zero Density virtual studio system diagram

Reality Engine（渲染引擎）：Reality Engine 是一臺高性能的圖形工作站，主板插槽上運行高性能顯卡Nvidia RTX A6000 GPU，以及AJA88 視頻采集卡等硬件設備。渲染引擎的內核基于EpicGames 公司的Unreal Engine 引擎，能實時渲染輸出電影級的畫面，引擎包含了能利用GPU 處理能力的內置色鍵器進行16bit 實時摳像，可對所有輸入引擎的視頻進行摳像處理，并在引擎內部合成到虛擬場景之中，色鍵使用實時像素對比方式進行摳像，且能夠指定任意形狀（規則圖形和不規則圖形）的摳像區域和不摳像區，Reality Engine 支持行業標準的機械和光學攝像機跟蹤系統。

Reality Engine 可以實現虛擬演播室、增強現實、混合現實制作，主要負責節目制作中虛擬場景的實時渲染、攝像機實拍畫面和虛擬畫面的合成以及視頻的輸入和輸出，需要安裝運行Reality Engine Server。

（1）Reality Editor（編輯工作站）：虛擬場景及藍圖交互設計制作的工作站，安裝運行Reality Editor，此設計制作軟件實際上是UE 相應版本的改裝，增加了一些Reality 的封裝節點及功能。因為Reality Editor 基于開放且通用的UE4 平臺，而非封閉的獨家制作軟件，所以能從諸如C4D/Maya/3D Max4 這樣的通用制作平臺導入模型等對象。

（2）Reality Control（控制工作站）：Reality Control是Reality 系統的一個集成控制界面，用戶可以在臺式機或筆記本上操作、配置和監控系統中所有的引擎，對所有引擎進行統一設置和動畫觸發。它也可以通過網絡遠程控制節目的播出及引擎的管理。安裝運行Reality Control，設置引擎、Cooker 的網絡地址及端口，Control 中優化項目(Cook)，導入相應的打包項目，監控系統運行及狀態。

（3）R 盤（網路存取映射盤）：作為整個Reality 系統網絡的共享存儲空間，是系統中素材和資源的保存盤，一些必要的配置文件也保存于該盤。

（4）Cook Server（打包服務器）：負責對制作完成的場景進行打包優化處理，并將打包完成的文件保存于指定相應文件夾下，以供引擎運行時調用。

2.2 Reality 虛擬演播系統工作流程

運行Reality Engine Server，使用ZD 自帶的Reality Editor 或相應版本的UE4 制作好場景及藍圖，藍圖的GameMode 模式設置為ZD GameMode 點擊運行，打開Reality Control，設置或導入RGraph 文件，根據光照情況調整好摳像，調整好跟蹤信號等，然后可以控制藍圖節點從而控制場景中相應的對象。

2.3 核心硬件系統搭建

系統主要由渲染引擎（Reality Engine）、攝像機跟蹤系統、4K 攝像機和同步發生器等構成，如圖2所示。

圖2 Zero Density 虛擬演播室硬件結構圖Fig.2 Zero Density hardware structure diagram of virtual studio

以浙江傳媒學院4K 電競綜合實驗室為例：攝像機采用的是SONY HDC-3500 4K 超高清攝像機，攝像機上加裝了跟蹤系統，目前加裝的Mo-Sys 公司的StarTracker光學跟蹤系統，Reality Engine 虛擬渲染引擎可以支持Shotoku、Vinten、Stype、Mo-Sys、Ncam、Solid Track、Trackman、Gension、Ross Furio 等常見虛擬跟蹤設備品牌。當沒有跟蹤設備的時候，能夠以無軌跟蹤的形式模擬攝像機運動，所實現的虛擬機位和運動路徑沒有數量限制，同一臺引擎可支持多個來源的跟蹤數據接入[2，3]。

3 結語

游戲引擎環境下的虛擬演播室、增強現實、混合現實是目前最優的實時廣播合成系統，可在一臺機器上實現具有視頻I/O、鍵控、合成和渲染的實時視覺效果。作為最逼真的實時制作解決方案，可以創建最具沉浸感的內容，并徹底改變廣播、媒體和電影行業的敘事方式。廣電行業涉及的領域非常龐大，涵蓋從攝像機和演播室到網絡技術、后期制作服務和直播視頻的方方面面，近年來隨著游戲引擎在行業的引入，帶來了令人難以置信的進步，這些發展預示著全新的電視圖文包裝和虛擬演播室技術的興起。