Ross Video助力總臺(tái)央視數(shù)碼團(tuán)隊(duì)巧用AR

8月4日，中國(guó)電影電視技術(shù)學(xué)會(huì)圖像專業(yè)委員會(huì)在京主辦了“2022年AR技術(shù)應(yīng)用研討會(huì)”，本次研討會(huì)以“2022年北京冬奧會(huì)”和“2022年總臺(tái)央視春晚”兩個(gè)大型項(xiàng)目的AR制作為研討主題，總臺(tái)央視數(shù)碼AR團(tuán)隊(duì)在這兩個(gè)大型項(xiàng)目中立下了赫赫戰(zhàn)功。

研討會(huì)上，《傳播與制作》記者采訪了央視數(shù)碼AR技術(shù)負(fù)責(zé)人馮高潔老師，請(qǐng)他談?wù)効偱_(tái)AR技術(shù)歷程，并介紹ROSS虛擬制作系統(tǒng)在冬奧會(huì)開閉幕式和春晚直播中的應(yīng)用體會(huì)。

十年春晚

AR技術(shù)不斷創(chuàng)新

自2012年春晚首次應(yīng)用AR以來，AR技術(shù)已連續(xù)10年登上春晚舞臺(tái)，從最初的高清單機(jī)位AR應(yīng)用到現(xiàn)在的4K超高清多機(jī)位AR應(yīng)用、渲染引擎從最初的圖形渲染到現(xiàn)在的“次世代”虛擬引擎。

早期的A R應(yīng)用受限于當(dāng)時(shí)的技術(shù)發(fā)展水平，跟蹤手段單一、渲染能力較低、合成功能簡(jiǎn)單，在節(jié)目整體效果中處于輔助的位置，節(jié)目呈現(xiàn)也往往以“道具置景類”的虛擬元素為主，比如窗花、春聯(lián)、鐘表等，這一定程度上影響了AR內(nèi)容和實(shí)景內(nèi)容的進(jìn)一步融合。

在這樣的背景下，總臺(tái)央視數(shù)碼AR團(tuán)隊(duì)努力拓展AR應(yīng)用領(lǐng)域，盡可能地使視覺元素貼近節(jié)目主題。2015年春晚，團(tuán)隊(duì)制作了首個(gè)虛擬吉祥物“陽陽”，在春晚上首次將虛擬角色利用動(dòng)作捕捉技術(shù)與AR技術(shù)相結(jié)合；2017年春晚涼山分會(huì)場(chǎng)，虛擬吉祥物“火鳳凰”飛進(jìn)大涼山，將大范圍的鏡頭調(diào)度、多機(jī)位間的切換配合融入涼山群山之中。

2018年及以后，虛幻引擎（Unreal Engine）逐漸應(yīng)用在現(xiàn)場(chǎng)晚會(huì)中，其基于物理的算法和材質(zhì)極大地提升了AR場(chǎng)景的渲染質(zhì)量、豐富了AR內(nèi)容的類型，比如高仿真度的粒子效果、虛實(shí)內(nèi)容之間的陰影投射和反射等，極大地打開了團(tuán)隊(duì)創(chuàng)作的想法，拓展了AR應(yīng)用的范圍。“從此刻起，我們才敢于在春晚中使用水、火、隨機(jī)擾動(dòng)、碰撞等元素和功能。2019年總臺(tái)第一次實(shí)施了全要素的4K HDR春晚制作，可以說對(duì)于AR的效果起到一個(gè)全新的變革。”

“隨著可用手段的不斷增加，我們也經(jīng)歷了一個(gè)“由簡(jiǎn)到繁，去繁就簡(jiǎn)”的過程，也就是您所提到地“巧用AR”，這其實(shí)也是我們做AR多年以來的經(jīng)驗(yàn)積累。”馮高潔認(rèn)為，AR盡管位于畫面的最上層，但它的目的并非替代其他元素，而是節(jié)目創(chuàng)作的有力武器。所以，一個(gè)節(jié)目想要真正讓人印象深刻，就不能簡(jiǎn)單地炫技或者堆疊先進(jìn)技術(shù)，而應(yīng)該首先深入節(jié)目創(chuàng)作意圖，找到合適的切入點(diǎn)和展現(xiàn)形式，其次才是豐富細(xì)節(jié)、增強(qiáng)表現(xiàn)力、優(yōu)化性能。

春晚直播

Ross Video虛擬系統(tǒng)功不可沒

說到春晚AR直播技術(shù)，必須要提到Ross Video。六臺(tái)Ross Video Voyager超高清渲染系統(tǒng)和Ross Video Furio軌道機(jī)器人在今年春晚直播中表現(xiàn)亮眼，助力央視打造精彩紛呈、沉浸式體驗(yàn)的春晚舞臺(tái)。

“客觀地說，Ross Video有著極具前瞻性的戰(zhàn)略眼光，早在2016年，ROSS就意識(shí)到次世代渲染引擎之于影視制作的重大意義，隨即投身到Voyager系統(tǒng)的研發(fā)中，經(jīng)過多個(gè)版本的更新迭代，整合了來自包括央視數(shù)碼AR團(tuán)隊(duì)在內(nèi)全球廣電客戶的需求，打磨出目前我們?cè)谟玫腣oyager超高清虛擬系統(tǒng)。”

總臺(tái)春晚已經(jīng)多年采用ROSS渲染系統(tǒng)展現(xiàn)舞臺(tái)藝術(shù)之美。“我們和ROSS在多個(gè)大型紀(jì)錄片和重大活動(dòng)中有過合作，這不是簡(jiǎn)單的使用方和設(shè)備商的關(guān)系，而是內(nèi)容創(chuàng)作團(tuán)隊(duì)和解決方案研發(fā)團(tuán)隊(duì)的關(guān)系。很多時(shí)候，某項(xiàng)重大應(yīng)用需要二者相互支持方可推動(dòng)。Ross Video作為視頻制作應(yīng)用領(lǐng)域的引領(lǐng)者，一直是新技術(shù)、新設(shè)備、新理念的先行者。”

AR團(tuán)隊(duì)在今年總臺(tái)春晚AR的前期創(chuàng)意階段就制定了“巧用AR”的大方向，沒有使用傳統(tǒng)的依靠AR塑造環(huán)境的手法，而是讓環(huán)境成為AR，再讓AR成為節(jié)目?jī)?nèi)容。舞蹈節(jié)目《只此青綠》在前景設(shè)計(jì)了一個(gè)緩緩漣漪的水面，利用虛擬引擎的技術(shù)手段實(shí)時(shí)動(dòng)態(tài)反射舞臺(tái)環(huán)境。“ROSS系統(tǒng)內(nèi)置的實(shí)時(shí)調(diào)改功能非常實(shí)用，這使得對(duì)AR內(nèi)容的線上微調(diào)成為可能。在舞蹈《只此青綠》這個(gè)節(jié)目的直播過程中，Voyager能及時(shí)地對(duì)水面的位置做了線上修正，確保了水面和舞臺(tái)的無縫銜接。”

“另外，得益于ROSS核心矩陣的高可靠性，我們才能夠建成對(duì)播出安全和畫面質(zhì)量要求極高的春晚直播系統(tǒng)；同時(shí)，Ross Video Voyager超高清系統(tǒng)對(duì)內(nèi)容創(chuàng)作團(tuán)隊(duì)及時(shí)有力的提供研發(fā)和運(yùn)維方面的支持，非常符合央視數(shù)碼AR團(tuán)隊(duì)對(duì)于畫面設(shè)計(jì)制作方面的要求。”

作為2022年春晚AR技術(shù)總監(jiān)，馮高潔評(píng)價(jià)，ROSS公司的產(chǎn)品，無論從安全性，還有功能性，以及從藝術(shù)的展現(xiàn)方面，都是非常的優(yōu)質(zhì)。尤其是春晚這么一個(gè)大舞臺(tái)，工種眾多、流程復(fù)雜、現(xiàn)場(chǎng)直播，對(duì)系統(tǒng)高安全性還有可靠性都有非常高的要求。整個(gè)春晚錄制過程中，Ross Video的工程師都在現(xiàn)場(chǎng)保駕護(hù)航。“之所以選擇ROSS，也是基于以上的這些考量。”

北京冬奧

增強(qiáng)現(xiàn)實(shí)的開閉幕式精彩絕倫

北京冬奧會(huì)開幕式于2月4日晚在國(guó)家體育場(chǎng)盛大舉行，開幕式驚艷了全世界，100分鐘精彩絕倫的呈現(xiàn)一場(chǎng)數(shù)字技術(shù)與美學(xué)創(chuàng)新融合交匯的華麗盛宴。

負(fù)責(zé)開幕式AR系統(tǒng)設(shè)計(jì)的馮高潔回顧，在春晚籌備和直播的同時(shí)，團(tuán)隊(duì)中幾位同事也在另一塊“戰(zhàn)場(chǎng)”上揮灑汗水，這就是冬奧會(huì)開幕式。“說實(shí)話，這項(xiàng)任務(wù)對(duì)我們來說是一次全新的挑戰(zhàn)，在接到這項(xiàng)任務(wù)時(shí)我們有太多的疑問和不確定性。這里面包括怎么和OBS協(xié)調(diào)AR機(jī)位？如何保障AR系統(tǒng)平穩(wěn)運(yùn)轉(zhuǎn)？如何實(shí)現(xiàn)防疫閉環(huán)內(nèi)閉環(huán)外的信息和物資傳遞？等等。”

首先是布線，根據(jù)北京奧組委的需求，開幕式部署三個(gè)虛擬機(jī)位的4K超高清AR制作。“由于國(guó)家體育場(chǎng)面積大，導(dǎo)致傳輸距離過長(zhǎng)，傳統(tǒng)的設(shè)備不足以滿足跟蹤信號(hào)的傳輸。為了保證虛擬跟蹤信號(hào)的安全傳輸，使用了光纖線路作為跟蹤信號(hào)的傳輸介質(zhì)，分別在體育場(chǎng)內(nèi)和鳥巢外轉(zhuǎn)播綜合區(qū)架設(shè)光端機(jī)，將跟蹤信號(hào)由鳥巢場(chǎng)內(nèi)傳至鳥巢外轉(zhuǎn)播綜合區(qū)內(nèi)的AR渲染服務(wù)器。”

其次是鏡頭的設(shè)計(jì)，包括雪花的構(gòu)建和融入，紅絲帶飛入鳥巢構(gòu)成中國(guó)結(jié)等經(jīng)典鏡頭，AR團(tuán)隊(duì)和切換團(tuán)隊(duì)緊密合作，提前規(guī)劃，共同設(shè)計(jì)分鏡。

開幕式以“構(gòu)建一朵雪花”為主題，為了達(dá)到最佳效果，AR團(tuán)隊(duì)使用UE新一代粒子系統(tǒng)制作背景雪花，在大數(shù)量粒子模擬上效率提升巨大，能以較小的性能開銷實(shí)現(xiàn)更豐富的視覺效果。使用的渲染引擎來自Ross Video Voyager 4K超高清系統(tǒng)，片片虛擬的雪花紛紛落下，讓觀眾看到了“燕山雪花大如席”的壯觀場(chǎng)面。同時(shí)把隨機(jī)生成動(dòng)畫和人工預(yù)置動(dòng)畫結(jié)合在一起，使得標(biāo)有國(guó)家名字的雪花前景元素得到完整地展現(xiàn)。

閉幕式上，AR團(tuán)隊(duì)非常用心的思考怎么表現(xiàn)好中國(guó)元素，講好中國(guó)故事。最終呈現(xiàn)的效果是來自四面八方的紅絲帶匯集到鳥巢中央，編織成一個(gè)懸浮在空中的中國(guó)結(jié)。“這些創(chuàng)意的完美呈現(xiàn)得益于ROSS產(chǎn)品的高安全性，使得我們非常放心的使用設(shè)備。此外，Voyager基于Unreal Engine的底層架構(gòu)打造，LUCID跟蹤調(diào)試系統(tǒng)也在不斷打造，這一生態(tài)日益完善，兼容了業(yè)界通用的主流文件格式和數(shù)據(jù)協(xié)議。”

“在技術(shù)保障和技術(shù)支持方面，ROSS做的非常到位。”

“一個(gè)成熟的產(chǎn)品必須要緊貼一線生產(chǎn)，不經(jīng)過實(shí)戰(zhàn)的反復(fù)錘煉，是無法鍛造出真正適合行業(yè)中大多數(shù)用戶的軟件系統(tǒng)的。”馮高潔強(qiáng)調(diào)，總臺(tái)是Ross Video的重點(diǎn)客戶，對(duì)于央視數(shù)碼AR團(tuán)隊(duì)的訴求和痛點(diǎn)，ROSS向來都是用最快的速度給予響應(yīng)，組織最精良的工程師團(tuán)隊(duì)進(jìn)行技術(shù)支持。在這樣的大力支持下，央視數(shù)碼AR團(tuán)隊(duì)的創(chuàng)意才得以最大程度地施展，也成功地實(shí)現(xiàn)了4K春晚的首次全要素制作和XR技術(shù)在總臺(tái)的首次落地。

“在技術(shù)保障和技術(shù)支持方面，ROSS做的非常到位。”每次的重大活動(dòng)開始之前，ROSS公司都會(huì)針對(duì)這些重大的直播活動(dòng)，建立一個(gè)由國(guó)內(nèi)外工程師部門組成的一個(gè)應(yīng)急保障的團(tuán)隊(duì)，國(guó)內(nèi)工程師會(huì)親自到場(chǎng)提供技術(shù)服務(wù)，遇到問題一起分析、一起交流，提出一些現(xiàn)場(chǎng)的解決方案，還會(huì)通過微信、視頻、24小時(shí)電話待機(jī)等方式提供遠(yuǎn)程技術(shù)支持。除了國(guó)內(nèi)支持團(tuán)隊(duì)，公司位于加拿大總部的工程師也可以在必要的情況下參與到重大項(xiàng)目的實(shí)施過程中，線上視頻會(huì)議、多方溝通的機(jī)制更是早已建立起來。”這也是總臺(tái)非常信賴ROSS的原因之一。

馮高潔最后表示：“前進(jìn)的路上，有你有我，我們一起尋找下一個(gè)突破點(diǎn)；廠家和用戶是先進(jìn)技術(shù)落地的一體兩面、缺一不可。面對(duì)新技術(shù)不能望而卻步，要抓住每一次技術(shù)變革的機(jī)遇。”BP