影視制作中虛擬制作技術(shù)的成因研究

劉陽

摘要：隨著半導(dǎo)體產(chǎn)業(yè)的飛速發(fā)展，集成芯片的運算能力常年成倍增加。在影視制作領(lǐng)域，算力進(jìn)步的春風(fēng)讓更多技術(shù)手段成為了可能。目前虛擬制作（Virtual？Production）技術(shù)正順著這股春風(fēng)逐漸被運用在影視制作領(lǐng)域。本文簡述了該技術(shù)的原理，并結(jié)合技術(shù)結(jié)構(gòu)，從LED顯示屏、計算機(jī)圖形算力等角度分析該技術(shù)在近年興起的原因。

關(guān)鍵詞：虛擬制作；影視制作；動作捕捉

2019年，在美國洛杉磯會展中心SIGGRAPH會議的一個角落里，EPIC GAMES公司為觀眾帶來了一場虛擬制作技術(shù)的首秀。攝影機(jī)正在拍攝著一位跨坐在摩托車上的男主角，而在他的身后的卻是四塊超大的LED屏幕。屏幕中的畫面隨著攝影機(jī)的運動而變化，實時顯示出與攝影機(jī)透視相匹配的背景場景。摩托車的高光面清楚的映著周圍環(huán)境的倒影。一旁的工作人員手指一點，場景的光線就由白天切換到了晚上。殊不知一場影視制作領(lǐng)域的革命性技術(shù)就此來臨。在不久前上映的《曼達(dá)洛人》第一季中，有超過一半的鏡頭使用了該技術(shù)進(jìn)行拍攝。

虛擬制作技術(shù)原理簡述

虛擬制作主要是以實時3D場景渲染為核心，LED墻面顯示屏為載體，動態(tài)捕捉技術(shù)為紐帶的新興影視制作技術(shù)。其主要實現(xiàn)的效果為：在碩大的墻面顯示屏上實時顯示與攝像機(jī)運動相匹配的背景畫面。該項技術(shù)的基本運行流程為：1.動態(tài)捕捉設(shè)備確定攝影機(jī)在空間中的運動方向、角度。2.計算機(jī)結(jié)合攝影機(jī)的鏡頭焦段、焦點、光圈等參數(shù)，實時渲染出與之匹配的3D場景。3.將的3D場景在LED墻面顯示屏上顯示出來。4.使用攝影機(jī)將被攝主體和墻面顯示屏上的背景一同拍攝下來。

一、虛擬制作技術(shù)形成原因分析

（一）LED墻面顯示屏技術(shù)的進(jìn)步

在早年，LED墻面顯示屏多以單色（紅色居多）大間距（像素點間距≥P10mm）為主。以顯示飛字為主要目的。隨著LED制造水平的發(fā)展，以及顯示IC主控芯片能力的增強(qiáng)。在單位面積內(nèi)，可受控的像素數(shù)量有了較大的突破。同時，可顯示的顏色也從原來的單色逐漸進(jìn)化成全彩（RGB）。并且在灰階響應(yīng)速度、刷新頻率、對比度、亮度和色深等方面都有著顯著的突破。近年隨著制造工藝水平的進(jìn)步，像素點間距由P10mm逐漸下降至P2.5mm，俗稱小間距LED顯示屏。單位面積內(nèi)像素點的間距P值越小其像素密度（Pixels Per Inch）就越高。通俗來說就是畫面更清晰。根據(jù)2019年TrendForce LED研究（LEDinside）報告，隨著高分辨率與高動態(tài)對比顯示需求爆發(fā)，預(yù)估2019～2023年小間距LED顯示屏（點間距≤P2.5）產(chǎn)值年復(fù)合成長率將達(dá)27%，而超小間距（點間距≤P1.1）產(chǎn)品由于目前出貨基數(shù)較低，未來成長動能最大，預(yù)估2019～2023年的CAGR為58%。這一報告體現(xiàn)出市場對于高質(zhì)量小間距LED顯示屏產(chǎn)品有著強(qiáng)烈的需求。在高質(zhì)量LED墻面顯示屏基礎(chǔ)上，虛擬制作技術(shù)中渲染出來的虛擬背景才有顯示的載體。

（二）計算機(jī)圖形處理器運算能力的增加

計算機(jī)圖形處理器（以下簡稱GPU）作為計算機(jī)圖形的計算單元，其能力直接決定了渲染畫面中模型細(xì)分的精細(xì)程度、貼圖質(zhì)量、圖像分辨率、幀率等重要指標(biāo)。隨著NVIDIA和AMD全球兩大GPU芯片廠商在新產(chǎn)品制程、架構(gòu)、算法等方面的研究貢獻(xiàn)。GPU的算力不斷提高。以NVIDIA分別在2014年、2020年推出的旗艦級顯卡GTX980和RTX3090為例。GTX 980擁有4.6T Flops/S的單精度浮點運算速度。而6年后的RTX3090取得了近8倍于前者的進(jìn)步，速度達(dá)到了35.7T Flops/S。同時依托于GPU技術(shù)的創(chuàng)新，先后涌現(xiàn)出HDR（高動態(tài)范圍）、DLSS（深度學(xué)習(xí)超級采樣技術(shù)）、RTX（光線追蹤技術(shù)）等新興處理技術(shù)。特別是RTX光線追蹤技術(shù)的誕生，讓GPU從原有的光柵化計算轉(zhuǎn)為光線化計算。畫面中的陰影過度更自然、倒影更真實、畫面如同讓人置身其中一般。這讓虛擬制作技術(shù)中的渲染內(nèi)容有了硬件基礎(chǔ)。

（三）游戲引擎技術(shù)的發(fā)展和普及

在擁有了強(qiáng)大硬件計算能力的基礎(chǔ)上，軟件技術(shù)的進(jìn)步也是不可或缺的因素之一。隨著近年來個人電腦的普及，游戲市場的用戶基數(shù)越來越大。隨之推動的即是游戲引擎的開發(fā)與運用。例如Unity Technologies公司的Unity系列、EPIC公司的虛幻（Unreal engine）系列以及Crytek公司的Cry Engine系列引擎等。在近年的產(chǎn)品迭代中，他們都展現(xiàn)出了驚人的畫面擬真能力。特別是在貼圖質(zhì)量、粒子特效、物理碰撞、毛發(fā)模擬和光線追蹤等方面。當(dāng)然游戲引擎和現(xiàn)實世界間“橋梁”的建成讓影視行業(yè)的從業(yè)者發(fā)現(xiàn)了一個全新的拍攝“影棚”。以虛幻4引擎為例，DMX512信號可以經(jīng)由引擎從電腦輸出到影視燈具，從而控制真實空間中的照明強(qiáng)度、方向、顏色。更是有時間碼同步等影視專業(yè)功能。再加上，各大引擎的個人版本多以免費的形式開放下載，這無疑大大降低了游戲引擎的學(xué)習(xí)成本。讓更多的影視制作人員了解和使用虛擬制作技術(shù)進(jìn)行創(chuàng)作。

（四）運動捕捉技術(shù)的發(fā)展和普及

在虛擬制作中另一項非常重要的環(huán)節(jié)就是確定攝影機(jī)在空間中的位置以及追蹤其運動。早在2000年的動畫電影《辛巴達(dá)歷險記》（Sinbad： Beyond the Veil of Mists）就已經(jīng)開始運用該技術(shù)來捕捉演員的動作，并將其動作映射到動畫的虛擬人物上。在此之后的20年間，運動捕捉技術(shù)得到了飛躍性的發(fā)展。逐漸形成了以紅外光學(xué)捕捉為主要技術(shù)手段的主/被動捕捉系統(tǒng)。目前在業(yè)內(nèi)以Vicon、OptiTrack和Mo-Sys的產(chǎn)品為主。其延遲和誤差分別在4.2ms和0.4mm左右。主要原理為1、在需要運動捕捉的主體上粘貼可反射紅外線的反射點。2、發(fā)射紅外線。3、通過多個攝像頭拍攝紅外線的反射圖像，結(jié)合多角度圖像分析，最終求出物體在空間中的坐標(biāo)和運動軌跡。該項技術(shù)已經(jīng)廣泛運用于影視特效領(lǐng)域。然而這類系統(tǒng)價格昂貴，以O(shè)ptiTrack公司的8支prime-13系統(tǒng)為例。其性能可在3m*3m的面積內(nèi)追蹤1個物體，售價為22萬人民幣。但是有賴于VR產(chǎn)品在消費級市場的發(fā)力。以2015年HTC VIVE為代表的Lighthouse室內(nèi)定位技術(shù)將運動捕捉徹底的平民化。與前面提到的OptiTrack產(chǎn)品原理不同，Lighthouse主要原理是從基站發(fā)出特定角度和頻率的紅外線，結(jié)合追蹤器上不同立面?zhèn)鞲衅鹘邮盏郊t外線的時間差異，最終計算出空間坐標(biāo)和運動軌跡。因為其銷量大，設(shè)計原理簡單，省去了攝像頭和圖像分析環(huán)節(jié)，所以單體成本較低。HTC VIVE1.0可在3.5m*3.5m的面積內(nèi)追蹤1個物體，其價格為5000元人民幣。而且它也有著較低的延遲（10ms）和不錯的追蹤精度（誤差在2mm左右）。這讓越來越多的人可以接觸到原本動輒幾十萬的運動捕捉技術(shù)。降低了虛擬制作的研發(fā)和使用門檻。

二、影視制作行業(yè)的主觀要求、探索

虛擬制作技術(shù)的諸多優(yōu)點能夠切實的幫助到影視制作工作。在影視制作中特效（VFX）的運用是非常普遍的。但是傳統(tǒng)的綠幕特效方案因為其“拍攝-剪輯-特效”的制作流程。無法讓導(dǎo)演在拍攝現(xiàn)場看到特效的效果，而只能憑空想象。這讓前期拍攝的容錯率變得很低。有時到特效制作階段才發(fā)現(xiàn)拍攝中的一些問題，成片質(zhì)量不是很理想。而虛擬制作“拍即所得”的技術(shù)特點徹底顛覆了這一情況。“特效-拍攝-剪輯”的制作流程讓導(dǎo)演在拍攝現(xiàn)場就能看到成片的效果，從而更好的把握影片的質(zhì)量。同樣因為制作流程的改變，虛擬制作技術(shù)將影視制作的成本大大降低。無需長時間的后期制作、特效合成步驟，縮短了制作周期。因為LED墻面可以顯示出任意場景，這就免去了一些場景攝制組出外景的必要，減少轉(zhuǎn)場時間，進(jìn)一步降低了拍攝預(yù)算。上一場戲在非洲大草原探險，下一場戲在東京街頭飆車，僅僅需要動一動鍵盤和更換影棚內(nèi)的前景即可在兩個場景間切換。也因為這一特性，顯著降低了影視制作中美術(shù)制景的工作難度和成本。以電影《八佰》為例，光場景投資就高達(dá)數(shù)億元人民幣。如果轉(zhuǎn)為使用虛擬制作技術(shù)這筆制景費用將會大大降低。

三、結(jié)語

目前，雖然虛擬制作技術(shù)為影視制作帶來了諸多便利，但該技術(shù)尚處于起步階段，仍有較多的問題有待解決。如運動捕捉-渲染-顯示的延遲問題；與演員產(chǎn)生交互的道具、地面無法虛擬化的問題；LED顯示屏成本較高的問題等。但是相信在未來透明顯示屏、人工智能等技術(shù)的加持下虛擬制作技術(shù)的缺點將會被逐步解決。影視制作行業(yè)將迎來一次發(fā)展的新契機(jī)。