虛擬現實技術在電視節目中的應用

智衛

【摘 要】基于虛擬現實技術的呈現形式和設備，闡述電視拍攝制作中運用的關鍵性的虛擬現實技術，以及虛擬現實技術在廣電領域的發展前景。

【關鍵詞】 虛擬現實；實時縫合；虛擬植入；增強現實；交互模式；沉浸式；互動

【Abstract】Based on virtual reality technology rendition and equipment，explained the virtual reality technology which used in the television production，and the development prospect in the field of virtual reality technology in radio and television.

【Key Words】virtual reality； real-time suture； the virtual implants； augmented reality； interactive mode； immersive； interaction

1 引言

虛擬現實（Virtual Reality， VR）技術是指用戶借助特殊的輸入/輸出設備與以計算機技術為核心的科技手段生成的虛擬環境中的物體進行交互。VR技術被稱為“下一代互聯網計算中心”以及“下一代移動計算機平臺”，帶來人機交互的內容、方式和效果的革新。它提供了除電視屏、電腦屏、手機屏之外的第四塊屏——即第一視角屏，通過各種交互設備使交互模式從單向轉為雙向互動，將體驗者帶入虛擬環境，獲得沉浸式的交互體驗。

VR技術以其沉浸式和互動式特點給傳統電視觀看模式帶來極大沖擊，同時為電視業創新與升級創造了難得機遇。2016年，VR技術在電視節目中得到了快速發展和應用，巴西里約奧運會的直播就使用了VR技術，為世界各地的觀眾提供一種獨特的視覺體驗。制作項目包括奧運會開閉幕式、籃球、體操、田徑、沙灘排球、跳水、拳擊等，每場比賽提供三個不同VR機位的視頻流，用戶可以通過APP觀看直播或點播。

雖然當前VR技術的發展和應用仍處于起步階段，供應鏈及系統配套還不成熟，但發展前景引人想象，國內外科技巨頭都在加速虛擬現實生態系統布局。整個VR技術應用的生態圈包括用戶、技術、硬件、內容等已初步形成，在電影、電視、網絡、紙媒等傳統媒介的基礎上構建出新的媒體形態。

筆者基于VR技術的呈現形式和設備，分析在電視節目制作中的所采用的關鍵技術及其運用。

2 虛擬現實技術的分類

VR技術創造的核心內容是構建一個虛擬的環境，圖1為VR技術的工作原理圖。比如采用VR頭盔，通過切斷體驗者輸入現實世界的視覺路徑，將用戶帶入創造的虛擬三維空間，打造“完全在場”的錯覺。

從VR技術的呈現形式可分為四類。

2.1 桌面虛擬現實

桌面虛擬現實利用個人計算機和初級工作站進行仿真，計算機屏幕作為觀察虛擬環境的窗口，通過鼠標、追蹤球、力矩球等輸入設備實現虛擬環境與現實世界的交互，操縱其中的物體。這種VR技術會受到周圍現實環境的干擾，參與者缺少完全的沉浸感。常見桌面虛擬現實技術有基于靜態圖像的虛擬現實QuickTime VR、虛擬現實造型語言VRML、桌面三維虛擬現實等。

2.2 分布式虛擬現實

分布式虛擬現實系統是通過計算機網絡連接使多個用戶同處于一個虛擬空間，共同體驗虛擬經歷。這種VR技術提升到了一個更高的境界，可以達到協同工作的目的。在中國中央電視臺（以下簡稱央視）音樂頻道《音樂公開課》節目中，為了讓更多的用戶同時體會音樂的魅力，采用VR技術對節目進行制作并通過計算機網絡將多個觀眾匯集在同一空間，共同感受同一個虛擬世界，參與同一場音樂公開課。

2.3 沉浸式虛擬現實

沉浸式虛擬現實系統的體驗，使用戶有置身于虛擬境界之中的感覺，是目前最常用的方式。它利用頭盔式顯示器或其他設備，把參與者的視覺、聽覺及其他感覺封閉起來，提供一個全新的虛擬感覺空間，并利用位置跟蹤器、數據手套等手控或聲音輸入設備，使參與者產生一種身臨其境、全心投入和沉浸其中的感覺。常見的沉浸式虛擬系統有基于頭盔式顯示器的系統和投影式虛擬現實系統。

2.4 增強現實性虛擬現實

增強現實（AR）性虛擬現實系統不僅模擬現實世界，而且要增強參與者對真實環境的感受，增強了現實中無法感知或不方便的感受。在央視綜合頻道《生活圈》節目中，主持人在介紹互動數據時面前出現實時數據板，數據的展示就是通過AR技術來實現的。在央視中文國際頻道《國家記憶》紀錄片中，也使用AR技術在嘉賓面前顯示相關的媒體數據信息，極大地豐富了熒屏效果。

3 沉浸式虛擬現實系統的主要設備

沉浸式虛擬現實系統設備主要包括拍攝制作、用戶體驗兩個部分。

3.1 拍攝制作設備

拍攝制作的設備包括多目VR攝像機和視頻縫合器、VR視頻切換、字幕機、編碼和推流服務器等。

VR拍攝制作流程如圖2所示。拍攝時通常在一個環境里布置多臺VR攝像機，每臺攝像機連接一臺VR視頻縫合器。攝像機可以安裝在固定位置，也可以安裝在搖臂或軌道上，以便提供移動鏡頭。VR視頻切換臺切出最終的一路信號經過字幕包裝后進入到推流編碼器直接推送到云端，最后分發到各播出平臺。

3.2 用戶體驗的終端設備

對于用戶體驗的終端部分主要分為與虛擬世界進行交互的輸出和輸入設備，如圖3所示。

（1）輸出設備

目前輸出頭顯設備主要分為三類。

外接式VR頭盔：外接個人計算機、智能手機、游戲機等設備作為計算與存儲設備，具有獨立屏幕，產品結構復雜，技術含量最高，代表產品有Facebook 的OCULUS和HTC的VIVE等。

一體式VR頭盔：自帶屏幕、計算與存儲設備，可獨立運行，此類產品較少，代表產品有戴爾BOSSNEL和小黑靈境等。

智能手機VR眼鏡：將手機放到盒子中，當作屏幕、計算及存儲設備的作用，產品結構簡單，制作成本低廉，國內大部分產品屬于此類，代表產品有Googlebox和暴風魔鏡等。

圖像的刷新率在很大程度上決定了VR頭顯設備體驗的好壞。因為高刷新率會降低延遲，從而減少暈動癥的發生，可為用戶獲得更為靈敏的體驗。目前要求VR顯示設備的刷新率至少在每秒60幀，市場上主流VR顯示設備會維持在每秒90幀以上。

（2）輸入設備

VR輸入設備是與虛擬世界進行主動交互時發出指令的控制器，主要包括手柄、手勢識別設備、動捕設備、跑步機、方向盤、傳聲器等。

4 電視拍攝制作中的VR關鍵技術

4.1 前端拍攝技術

VR攝像機均為無盲點全覆蓋拍攝，它通常由兩目以上朝向不同的普通鏡頭拼接而成，擁有360°全景視場。通過調研市面上的主要VR拍攝設備的性能及各項指標，將VR拍攝設備分為消費級、專業級、廣播級，如圖4所示。

消費級VR拍攝設備：以雙目180°魚眼一體相機為主流，可以達到實時硬件設備縫合全景畫面，分辨率為2K的高清畫質。

專業級VR拍攝設備：用多個GoPro（或小蟻等）級別運動相機組合而成，一般在4目～8目，拼接后的畫面可以達到4K的超高清畫質。

廣播級VR拍攝設備：一般采用專業單反相機進行組合，由于相機體積龐大，一般情況下多為4目相機組合，拼接后可達到6K的超高清畫質。

基于各項參數的對比，通常用于演播室類電視節目的制作時VR拍攝設備至少應達到廣播級VR產品要求，用于ENG外拍電視節目的制作時VR拍攝設備至少應達到專業級VR產品要求。

4.2 VR圖像縫合技術

VR圖像縫合技術是指將不同傳感器在不同視點和視角拍攝的具有一定空間重疊的圖像拼接起來，形成一個合乎視覺效果的大場景圖像，主要包括圖像匹配和圖像融合兩方面。其中，圖像匹配技術是VR圖像縫合的核心技術，直接關系到圖像拼接算法的成功和效率。

圖像縫合拼接按拼接的投影基準可以分為柱面拼接、球面拼接和正方體拼接。其中柱面拼接由于柱面坐標的變換比較簡單，并且投影圖像與其投影到圓柱表面的位置無關，用其描述的柱面圖像可在水平方向上滿足360°環視，具有較好的視覺效果而被廣泛采用。

在電視節目的運用中，圖像縫合分為實時縫合和后期縫合兩類。目前國際上主流的縫合軟件有Vahana VR（法國）、Kolor Panotour Pro（美國），國內也有GO PANO VR等軟件。實時縫合設備是將2目以上全景相機錄制的多個畫面實時拼合成全景畫面的設備，解決了全景拍攝不能用于直播的問題，同時也給全景拍攝者提供實時拍攝效果的預監功能。圖像縫合服務器主要包含多目攝影機拼接和多畫面視頻的實時縫合、全景縫合視頻的實時預覽、全景視頻實時錄制和聲音實時采集、RTMP實時推流和SDI信號實時輸出、拍攝安全距離可調整以及多目攝影機的手動曝光與白平衡調節等功能。

4.3 虛擬植入技術

結合廣電傳統的制作特點，節目經常將VR拍攝與虛擬植入（實時渲染）結合運用，尤其是在現場直播中，實時呈現植入的全景虛擬效果，無需進入后期制作合成，為傳統電視節目的制作提供更多的可能。圖5為虛擬效果植入的全景演播室的VR+AR解決方案。

虛擬植入技術可以在各類電視節目中得到應用：演播室節目中利用實時虛擬植入效果可以將導播間、攝像機位、頂部燈光等無效內容遮擋；在體育賽事直播中，可加入與運動員有關的數據等植入效果；在大型晚會節目中植入燦爛的光效或與節目有關的虛擬效果；在軍事節目中可以在四周同時植入軍艦、飛機、戰勝沙盤等效果；在節目中可以植入立體效果廣告內容，并可以為節目增加更多的廣告植入空間。

4.4 VR節目制作及分發技術

實時縫合技術的發展推動了VR節目的直播，用戶可以產生親臨其境的現場感受。VR節目直播首先需要通過多目攝像機在演播室或新聞發生現場進行VR拍攝，同時通過縫合服務器將多個畫面進行全景實時縫合，再通過虛擬渲染系統將縫合好的全景視頻疊加上虛擬植入的效果（縫合與虛擬疊加是同時進行），然后直接通過推流編碼器推送到云端，最后分發到播出平臺。VR節目可支持多平臺分發，包括VR頭顯設備、計算機、智能手機、電視機頂盒；也支持多種傳輸路徑的分發，包括RTMP推流云端分發、IP網絡傳輸、HFC寬帶網傳輸，并且支持高畫質、高碼率傳輸。VR視頻直播云端分發視頻格式為1 920×960，碼流為3M至8M。VR視頻格式高畫質、高碼率傳輸不僅需要通暢網絡、足夠帶寬，終端接收硬件設備也需要配置較高，圖6為基于IP直播和點播的VR節目方案。

5 VR技術在廣電領域的發展

央視2016年專門設立科研項目《虛擬現實技術在電視節目中的研究》，目的是跟蹤研究當前虛擬現實技術的發展及對電視節目制作的影響，通過節目制作的各個應用場景，提供VR拍攝、實時縫合、傳輸及呈現的完整方案。 目前，央視已經開始在融合媒體節目《中國輿論場》和2016年歐洲杯《豪門盛宴》中嘗試VR節目制作，并計劃在近期逐步應用到更多節目中。

圖7為央視音樂頻道《全球中文榜中榜》節目的VR制作系統圖。系統中有2臺拍攝近景的VR攝像機，1臺專業級8目一體化VR攝影機，用于近景固定機位的拍攝；1臺小型一體化4目VR攝影機，用于隱藏機位或近景運動機位的拍攝；1臺遠景攝像機，用于全景的拍攝；2臺外景拍攝攝像機；1臺帶有穩定裝置的運動型VR攝像機，采用7目及以上的運動型攝影機拼接成VR攝影機，配置陀螺儀自穩定系統，以便提高運動視頻的拍攝質量；1臺采用4目運動型相機拼接的VR攝像機。系統中縫合器均帶有4K SDI實時輸出，并支持最高8K文件形式輸出。

視頻切換臺使用10路以上小型4K切換臺，帶有1級ME和2路下游鍵功能，提供多畫面監看功能，并支持Tally輸出。系統配置4臺4K硬盤錄像機，其中2臺主要作為放機，另外2臺主要作為錄機使用，采用可插拔SSD硬盤作為存儲介質，便于素材交換和擴充。此外，配置1臺55英寸4K顯示器作為多畫面監看，并配置2臺17英寸4K監視器，用于PGM節目和PVW預選監看。配置2臺主備的VR字幕機用于直播中字幕信息的播出，支持4K SDI VR視頻輸入輸出，可以與互動信息系統連接，顯示多種交互信息。

VR視頻編碼器支持4K SDI VR視頻輸入，帶有上下黑邊自動裁剪功能，至少支持H.264和H.265編碼格式，帶有RTMP推流播出功能，可以實現多種分辨率同步輸出功能。圖8為演播室VR節目錄制效果。

目前，VR技術已經開始應用到各個電視臺，很多VR企業也有針對性地研發VR產品，但能達到廣電級的卻寥寥無幾，多數公司將消費級產品推向廣電領域，無法達到廣電標準和要求。造成此現象的原因有以下幾點。

（1） VR技術研發團隊不了解廣電領域中的應用特點

現階段很多VR技術研發工程師都是IT行業轉型，沒有廣電應用的經驗和意識，研發的很多產品只能達到民用級，同時其分辨率、清晰度、安全性都不具備廣電行業標準。

（2） 研發廣電級標準產品難度大

廣電級VR產品要求技術含量很高，研發周期相對較長，對技術人員也有一定的要求，而多數公司現在只是在做一些技術比較低端、容易實現的產品，通過低端產品達到短時間占領VR市場的短期目的。

（3）拍攝方式單一

大部分VR公司沒有廣電節目拍攝制作經驗，僅僅認為在舞臺中央架設一臺VR設備就能完成節目制作。所以要改變這種思維和應用模式還需結合廣電傳統的拍攝手法及經驗。

（4）偏后期少完整的直播方案

很多VR的公司都是從游戲或動畫的開發公司轉型，轉型后更多的是在做VR視頻的后期制作，而廣電節目直播性較強，需要完整的一套VR直播系統技術方案。

6 結語

VR技術帶來的絕不僅僅是媒體產品形態的改變，而更可能是一個全新產業的到來，且規模遠超現在的廣電行業。VR由于其沉浸式、互動式的特點，給了受眾接觸媒體產品的全新方式，并產生了巨大的吸引力，從而給傳統的電視觀看模式以極大沖擊，同時也是電視業創新與升級的難得機遇。面對這個巨大的機遇，包括Google、Facebook以及BAT在內的互聯網公司都在進行積極的布局與嘗試，都期待未來在VR的產業中占盡先機。作為電視媒體，發展VR的發力點是VR內容制作或者構建VR內容平臺，為此，要對新聞事件直播、體育賽事直播、綜藝娛樂節目進行VR制作的探索，同時要加快對VR人才引進與培養，只有這樣才能在VR領域搶得先機并獲得更大發展。

參考文獻：

[1] 中央電視臺發展研究中心. VR發展現狀及在媒體領域的應用[Z]. 2016.