虛擬植入技術(shù)在電視節(jié)目制作中的應(yīng)用

任 軍

（中央廣播電視總臺(tái)，北京 100142）

0 引 言

1978年，Eugene L提出了“電子布景”（Electro Studio Setting）的概念，同時(shí)指出，未來(lái)的節(jié)目制作可以在只有演員和攝像機(jī)的空演播室內(nèi)完成，其余布景和道具都由電子系統(tǒng)產(chǎn)生。這項(xiàng)技術(shù)于20世紀(jì)80年代獲得專業(yè)技術(shù)認(rèn)證，冠名為虛擬現(xiàn)實(shí)（Virtual Reality，VR）技術(shù)。

虛擬現(xiàn)實(shí)技術(shù)是伴隨計(jì)算機(jī)技術(shù)發(fā)展的時(shí)代產(chǎn)物。人們利用計(jì)算機(jī)技術(shù)，設(shè)計(jì)制作并生成與現(xiàn)實(shí)環(huán)境在視、聽以及觸感等方面高度近似的虛擬化環(huán)境。用戶可以借助相關(guān)設(shè)備與虛擬環(huán)境中的對(duì)象進(jìn)行互動(dòng)，產(chǎn)生與真實(shí)環(huán)境相同亦或相近的體驗(yàn)和感受。虛擬現(xiàn)實(shí)技術(shù)可以營(yíng)造出可媲美現(xiàn)實(shí)情境的超逼真場(chǎng)景，使體驗(yàn)者產(chǎn)生身臨其境的真實(shí)體驗(yàn)感。虛擬現(xiàn)實(shí)技術(shù)給人們提供了一種由數(shù)字信號(hào)構(gòu)筑的空間并在這個(gè)空間里展開實(shí)踐創(chuàng)作的基礎(chǔ)技術(shù)。虛擬現(xiàn)實(shí)技術(shù)具有沉浸性、交互性以及構(gòu)想性3個(gè)特性。

1 虛擬植入技術(shù)系統(tǒng)與虛擬演播室技術(shù)系統(tǒng)的應(yīng)用特點(diǎn)

虛擬演播室技術(shù)與虛擬植入技術(shù)都源于虛擬現(xiàn)實(shí)技術(shù)，有著相同技術(shù)基因和相同的系統(tǒng)構(gòu)造。它們都利用了計(jì)算機(jī)圖形處理技術(shù)和視頻合成技術(shù)，實(shí)現(xiàn)由計(jì)算機(jī)制作的三維虛擬場(chǎng)景與現(xiàn)場(chǎng)主體人物或其他元素的實(shí)時(shí)合成，使人物（主持人）與植入的虛擬場(chǎng)景建立互動(dòng)關(guān)系，虛實(shí)相互融合、同步變化，最終獲得符合節(jié)目方案要求的合成畫面。

虛擬演播室技術(shù)系統(tǒng)應(yīng)用的特征是：在藍(lán)箱（或綠箱）環(huán)境中，運(yùn)用色鍵技術(shù)，對(duì)主體人物摳像后與虛擬背景合成為可運(yùn)動(dòng)的、相互融合的且可實(shí)現(xiàn)互動(dòng)關(guān)聯(lián)的畫面。隨著節(jié)目形態(tài)的變化，原來(lái)一些在虛擬演播室執(zhí)行的節(jié)目制作需要結(jié)合實(shí)景來(lái)完成，這就需要一種完全可以在實(shí)景區(qū)域?qū)崿F(xiàn)三維場(chǎng)景植入的技術(shù)。因此，虛擬現(xiàn)實(shí)技術(shù)派生出一個(gè)新的電視節(jié)目制作技術(shù)——虛擬植入技術(shù)（RealSet或AugmentReality-AR）。虛擬植入技術(shù)系統(tǒng)是在虛擬演播室技術(shù)系統(tǒng)基礎(chǔ)上擴(kuò)展出來(lái)的電視節(jié)目制作系統(tǒng)。

在虛擬演播室制作系統(tǒng)中，虛擬背景在人物之后。而虛擬植入技術(shù)在實(shí)景環(huán)境下主體人物面前生成虛擬場(chǎng)景（或虛擬道具），虛擬場(chǎng)景投放在主體人物的前面，形成虛實(shí)結(jié)合的交互關(guān)系。這種技術(shù)制作形式具有很強(qiáng)的代入感，會(huì)使觀眾產(chǎn)生一種身臨其境的感覺，也使得節(jié)目?jī)?nèi)容更加生動(dòng)有趣。目前，在各類節(jié)目制作過(guò)程中，虛擬植入技術(shù)比虛擬演播室技術(shù)更受青睞。

2 虛擬植入系統(tǒng)的構(gòu)成

虛擬植入技術(shù)與虛擬演播室技術(shù)一樣源于虛擬現(xiàn)實(shí)技術(shù)，是虛擬現(xiàn)實(shí)技術(shù)發(fā)展的必然產(chǎn)物，也是影像合成技術(shù)發(fā)展的再一次革新和升級(jí)。

虛擬植入系統(tǒng)是在實(shí)景區(qū)執(zhí)行的虛擬場(chǎng)景的投放，無(wú)需運(yùn)用色鍵摳像技術(shù)，因此虛擬植入技術(shù)擺脫了傳統(tǒng)虛擬演播室技術(shù)基于藍(lán)箱的限制，適合在諸多實(shí)景節(jié)目中運(yùn)用。

虛擬植入系統(tǒng)的基本構(gòu)成包括圖形圖像創(chuàng)作系統(tǒng)、攝像機(jī)跟蹤系統(tǒng)以及圖形工作站，如圖1所示。

圖1 虛擬植入系統(tǒng)示意圖

2.1 圖形創(chuàng)作系統(tǒng)

圖形創(chuàng)作系統(tǒng)利用三維動(dòng)畫軟件在計(jì)算機(jī)中建立一個(gè)虛擬環(huán)境，在這個(gè)虛擬的三維世界中搭建模型及場(chǎng)景。設(shè)計(jì)人員根據(jù)設(shè)計(jì)要求設(shè)定虛擬攝像機(jī)的運(yùn)動(dòng)軌跡及其他動(dòng)畫參數(shù)，結(jié)合模型的運(yùn)動(dòng)，最終生成合成畫面[1]。

虛擬植入系統(tǒng)的場(chǎng)景通常為三維虛擬場(chǎng)景。這些場(chǎng)景可通過(guò)常用的3d Max、Maya等三維創(chuàng)作軟件來(lái)建模，由專業(yè)的圖形處理軟件編輯合成（包括建模、材質(zhì)分配、光調(diào)整以及物體運(yùn)動(dòng)等在內(nèi)的物體模型、效果及動(dòng)畫），一般由性能較高的電腦（如HP Z800）及專用圖形創(chuàng)作軟件配置而成。制作三維場(chǎng)景時(shí)需要照顧現(xiàn)場(chǎng)實(shí)景環(huán)境和燈光設(shè)計(jì)等因素，在4K/8K時(shí)代，處理好材質(zhì)的細(xì)節(jié)和色調(diào)的搭配，需要預(yù)演檢查合成效果。

2.2 攝像機(jī)跟蹤系統(tǒng)

攝像機(jī)跟蹤系統(tǒng)的功能是為圖形工作站提供處理現(xiàn)場(chǎng)各元素的位置信息和運(yùn)動(dòng)數(shù)據(jù)，以便圖形工作站能夠通過(guò)這些信息，構(gòu)建與現(xiàn)場(chǎng)攝像機(jī)運(yùn)動(dòng)一致、畫面內(nèi)容信息一致并能正確反映現(xiàn)場(chǎng)各元素之間位置透視關(guān)系的虛擬攝像機(jī)系統(tǒng)。

攝像機(jī)跟蹤技術(shù)有傳感器跟蹤技術(shù)、網(wǎng)格跟蹤技術(shù)、紅外跟蹤技術(shù)以及超聲波跟蹤技術(shù)4種。傳感器跟蹤方式有光學(xué)識(shí)別系統(tǒng)和機(jī)械傳感式系統(tǒng)兩種，目前使用較多的是機(jī)械光電傳感跟蹤方式。

攝像機(jī)跟蹤系統(tǒng)的工作原理是通過(guò)安裝在攝像機(jī)云臺(tái)和鏡頭上的諸多傳感器，識(shí)別攝像機(jī)運(yùn)動(dòng)和鏡頭焦距焦點(diǎn)變化過(guò)程和幅度，即通過(guò)采集攝像機(jī)推、拉、搖、移等動(dòng)作信息，獲取攝像機(jī)運(yùn)動(dòng)數(shù)據(jù)和鏡頭變化參數(shù)，并將這些信息實(shí)時(shí)傳送給圖形工作站，以便圖形工作站將攝像機(jī)跟蹤系統(tǒng)提供的攝像機(jī)綜合運(yùn)動(dòng)信息映射到圖形處理單元，形成與攝像機(jī)綜合運(yùn)動(dòng)數(shù)據(jù)同步變化的虛擬攝像機(jī)系統(tǒng)。這樣，虛擬攝像機(jī)與現(xiàn)場(chǎng)攝像機(jī)被相對(duì)地鎖定在了一個(gè)位置，當(dāng)現(xiàn)場(chǎng)攝像機(jī)運(yùn)動(dòng)時(shí)，虛擬攝像機(jī)受跟蹤器的控制可以實(shí)時(shí)地與現(xiàn)場(chǎng)攝像機(jī)保持同步運(yùn)動(dòng)。

由跟蹤系統(tǒng)提供的攝像機(jī)運(yùn)動(dòng)信息，經(jīng)過(guò)圖形工作站分析處理后，可以對(duì)包括主體位置、透視關(guān)系及景深在內(nèi)的諸多合成元素給出準(zhǔn)確的處置意見。例如，當(dāng)渲染工作站識(shí)別到傳來(lái)的攝像機(jī)鏡頭景別信息變化為近景或特寫時(shí)，如果信息中聚焦點(diǎn)是在跟蹤主體人物，那么渲染主機(jī)會(huì)給出背景虛焦的判斷，生成的畫面是前實(shí)后虛的效果；如果此時(shí)傳感器沒有識(shí)別到景別的變化，前景和背景聚焦一致，分不出前景后景，畫面會(huì)產(chǎn)生景深不自然感。

跟蹤系統(tǒng)需要能夠及時(shí)地進(jìn)行捕捉并處理現(xiàn)場(chǎng)攝像機(jī)微小的運(yùn)動(dòng)變化，這樣才能為圖形工作站提供實(shí)時(shí)的、準(zhǔn)確的運(yùn)動(dòng)變化信息。因此，虛擬植入系統(tǒng)對(duì)于跟蹤系統(tǒng)的傳感器精度有很高的要求。

2.3 圖形工作站

在虛擬植入系統(tǒng)中，圖形圖像的處理工作主要由圖形工作站（HDVG）來(lái)完成。除了處理由攝像機(jī)跟蹤器傳來(lái)的攝像機(jī)運(yùn)動(dòng)數(shù)據(jù)外，圖形工作站還負(fù)責(zé)調(diào)用和調(diào)整事先做好的3D虛擬場(chǎng)景，并向圖形發(fā)生器傳輸圖像數(shù)據(jù)。

在節(jié)目制作過(guò)程中，圖形工作站是最繁忙的程序化工作系統(tǒng)。在處理攝像機(jī)運(yùn)動(dòng)數(shù)據(jù)信息的同時(shí)，圖形工作站還要同時(shí)渲染加工處理動(dòng)畫、透明物體、燈光及材質(zhì)貼圖的模型文件，實(shí)時(shí)調(diào)用和調(diào)整虛擬三維場(chǎng)景。

由于每一幀虛擬場(chǎng)景只有20 ms的繪制時(shí)間，而且虛擬場(chǎng)景要求貼圖的質(zhì)感和光效要與實(shí)景保持高度一致，因此，對(duì)這些虛擬元素和模型的處理，需要比較強(qiáng)大的計(jì)算和渲染資源[2]。另外，隨著攝像機(jī)的運(yùn)動(dòng)，圖形工作站還需要實(shí)時(shí)計(jì)算出虛擬元素在場(chǎng)景中的空間位置、大小比例以及光感變化等信息，并能夠?qū)崟r(shí)渲染輸出，因此圖形工作站還需要具備較大數(shù)據(jù)量的處理能力和高強(qiáng)度的渲染運(yùn)算能力。如果處理能力達(dá)不到要求，就會(huì)出現(xiàn)運(yùn)動(dòng)畫面卡頓、虛擬元素與場(chǎng)景脫節(jié)等情況，達(dá)不到節(jié)目設(shè)計(jì)的效果。

3 虛擬植入技術(shù)在電視節(jié)目制作中的應(yīng)用

虛擬植入技術(shù)可以將三維虛擬圖形、主持人畫面以及三維動(dòng)畫整合到演播室實(shí)景中或者外景拍攝的任何地方，具有靈活性強(qiáng)的特點(diǎn)，對(duì)新聞、體育、天氣、財(cái)經(jīng)及娛樂等節(jié)目可以實(shí)現(xiàn)完美的現(xiàn)場(chǎng)包裝。近幾年，在諸多體育賽事和春節(jié)晚會(huì)的節(jié)目制作現(xiàn)場(chǎng)也能看到虛擬植入技術(shù)工作人員的身影。

對(duì)于不同類型的節(jié)目，虛擬植入的場(chǎng)景形態(tài)類型也不盡相同[3]。虛擬植入形態(tài)類型可以分為用于大型晚會(huì)和娛樂節(jié)目的奇幻形態(tài)、新聞專題節(jié)目的道具形態(tài)以及為配合建立現(xiàn)場(chǎng)互動(dòng)關(guān)系而植入的虛擬人物形態(tài)。

在晚會(huì)和綜藝類節(jié)目中植入虛擬場(chǎng)景元素，會(huì)給觀眾以絢爛奇幻的感受。如圖2所示，在2021年春節(jié)晚會(huì)武術(shù)表演中植入塞外場(chǎng)景，增加了觀眾的沉浸感。在體育賽事、訪談?lì)惞?jié)目及紀(jì)錄片類節(jié)目中植入虛擬場(chǎng)景，或者植入不能實(shí)現(xiàn)的虛擬道具，可以配合節(jié)目?jī)?nèi)容起到強(qiáng)化說(shuō)明的作用。如圖3所示，在轉(zhuǎn)播游泳賽場(chǎng)時(shí)，為賽道植入虛擬標(biāo)識(shí)可以幫助觀眾全面認(rèn)知賽事和輕松辨識(shí)現(xiàn)場(chǎng)環(huán)境[4]。

圖2 中央電視臺(tái)2021年春節(jié)晚會(huì)

圖3 2012倫敦奧運(yùn)會(huì)游泳比賽現(xiàn)場(chǎng)

有一些節(jié)目制作現(xiàn)場(chǎng)，結(jié)合LED大屏幕內(nèi)容添加虛擬場(chǎng)景，既可以將一些抽象內(nèi)容進(jìn)行寫實(shí)化處理，也能烘托現(xiàn)場(chǎng)氣氛。如圖4所示，在中央電視臺(tái)《心理訪談》節(jié)目制作現(xiàn)場(chǎng)，訪談區(qū)域的中間位置以LED大屏幕作為部分背景，大屏兩側(cè)分別制作了兩塊綠板與大屏拼接在一起。設(shè)計(jì)創(chuàng)作人員將投放在大屏兩側(cè)的虛擬背景內(nèi)容與LED大屏播放內(nèi)容串接在一起，形成一個(gè)完整的訪談背景和互動(dòng)場(chǎng)景，營(yíng)造出實(shí)景與虛擬場(chǎng)景渾然一體的視覺效果。設(shè)計(jì)人員還結(jié)合背景大屏設(shè)計(jì)了與之互動(dòng)的虛擬場(chǎng)景和模擬道具，將抽象節(jié)目?jī)?nèi)容進(jìn)行具象化處理。通過(guò)虛實(shí)結(jié)合的技術(shù)設(shè)計(jì)，實(shí)現(xiàn)了虛擬背景與LED大屏實(shí)景內(nèi)容的無(wú)縫連接，將實(shí)景與虛擬背景和植入場(chǎng)景建立了互動(dòng)關(guān)聯(lián)，也使主持人和嘉賓與虛實(shí)現(xiàn)場(chǎng)完美地融合在一起。這樣復(fù)雜的場(chǎng)景是虛擬演播室技術(shù)和虛擬植入技術(shù)相結(jié)合共同實(shí)現(xiàn)的，可謂設(shè)計(jì)巧妙、相得益彰[5]。

圖4 《心理訪談》節(jié)目虛擬植入效果圖

虛擬場(chǎng)景植入的原則是直觀和簡(jiǎn)潔，應(yīng)從場(chǎng)景設(shè)計(jì)的數(shù)量、尺寸、材質(zhì)、色彩及現(xiàn)場(chǎng)環(huán)境等元素給予充分考慮，既要準(zhǔn)確表達(dá)虛擬場(chǎng)景植入的意義，也要實(shí)現(xiàn)與實(shí)景自然融入的合成效果。

4 結(jié) 語(yǔ)

伴隨5G+4K/8K+AI技術(shù)的發(fā)展，虛擬植入技術(shù)系統(tǒng)也會(huì)不斷升級(jí)。基于虛擬植入應(yīng)用的靈活性，虛擬現(xiàn)實(shí)技術(shù)會(huì)越來(lái)越廣泛地受到影視制作平臺(tái)的關(guān)注，也會(huì)在社會(huì)更多領(lǐng)域得到推廣和應(yīng)用。