VR全景影像編輯應(yīng)用探析

袁 雪

（作者單位：四川音樂學(xué)院）

電影《頭號玩家》的故事發(fā)生在未來的VR（virtual reality，虛擬現(xiàn)實(shí)）“綠洲”世界中，身著智能穿戴設(shè)備的主角們在現(xiàn)實(shí)世界和虛擬世界中穿行自如，電影中折射的未來世界是VR嵌入了現(xiàn)實(shí)并深刻影響著真實(shí)世界。從斯皮爾伯格的這部描繪未來的電影中，我們可以預(yù)見VR是影像發(fā)展的必然方向，傳統(tǒng)影像的內(nèi)容和體驗(yàn)將被打破。自2016年在我國被稱作“VR元年”開始，VR概念就一直受到市場熱烈追捧，逐漸被人們所熟知。這兩年間，在國內(nèi)經(jīng)歷資本泡沫消散后開始回歸理性發(fā)展，VR依然是被業(yè)界一致看好的新興領(lǐng)域，在游戲、影視、教育、醫(yī)療、建筑、工業(yè)生產(chǎn)等多領(lǐng)域都有所滲入。作為仍處于發(fā)展初期的技術(shù)形態(tài)，人們對VR創(chuàng)作的認(rèn)知還在積累中，技術(shù)與理念之間的適應(yīng)性和促進(jìn)性也一直在探索當(dāng)中。熱衷VR的人們在嘗試挖掘VR最大的可能性——如何向全景空間拓展并創(chuàng)造出更驚異、更真實(shí)的沉浸互動(dòng)體驗(yàn)。

1 VR對傳統(tǒng)影像制作經(jīng)驗(yàn)的顛覆

如今VR影像創(chuàng)作領(lǐng)域的從業(yè)者和藝術(shù)家們幾乎都接受的是傳統(tǒng)技藝訓(xùn)練，包括影像制作的理念、流程、敘事邏輯等都遵循電影講故事的方式。所有圍繞VR創(chuàng)作產(chǎn)生的挑戰(zhàn)，絕不僅僅是替換工具和轉(zhuǎn)化機(jī)位這類技術(shù)問題，還要求制作者們在思維上跳脫原有傳統(tǒng)模式，從而能在創(chuàng)作方式上適應(yīng)VR特點(diǎn)并能展現(xiàn)這一新媒介的獨(dú)特性。

越是熟悉傳統(tǒng)影視制作程式，在面臨VR時(shí)可能越容易無所適從。傳統(tǒng)影視制作初期，首先要確定主題創(chuàng)意和拍攝腳本。VR中打破屏幕的二維局限，畫面構(gòu)思和描述不再是平面圖景，就使得如何直觀描述六個(gè)象限——上、下、左、右、前、后六度的全景視角，變成了擺在編劇面前的新挑戰(zhàn)。編劇需要想象觀影時(shí)的“沉浸感”畫面如何表述、如何敘事、如何設(shè)計(jì)引導(dǎo)，等等。編劇需要重新審視在敘事中的“沉浸感”如何激活，然后將創(chuàng)作信息分別安排在六度視角的腳本中。一些編劇嘗試用不同顏色的文字表述不同的象限角色、場景和動(dòng)作，完成的劇本如何能更好被理解同樣需要顛覆傳統(tǒng)思維方式，但這才是挑戰(zhàn)的開始。

傳統(tǒng)影視創(chuàng)作基本都是有設(shè)定POV（point of view，視點(diǎn)），即將故事發(fā)生的場景和情節(jié)展現(xiàn)以某種視角在觀眾面前，攝影機(jī)取景拍攝即視點(diǎn)所在，也是觀眾可以被引導(dǎo)看到的畫面。這種創(chuàng)作手法帶來了非常強(qiáng)烈的代入感，傳統(tǒng)拍攝已經(jīng)有視覺心理學(xué)作為基礎(chǔ)，在畫面中設(shè)計(jì)視覺路徑，引導(dǎo)觀眾注意力的整套經(jīng)驗(yàn)，但這些經(jīng)驗(yàn)在VR中幾乎失效。沉浸感作為VR的核心體驗(yàn)，使拍攝不僅需要考慮六度方向的挑戰(zhàn)，還需要考慮敘事內(nèi)容呈現(xiàn)的方式，這些是全新的考驗(yàn)。也就是說，導(dǎo)演和工作人員不能在拍攝現(xiàn)場，也無法存在于攝像機(jī)背后，拍攝中的布景道具都需要真實(shí)存在。除此之外，攝像師還需要嘗試解決全景攝像機(jī)的位置、運(yùn)動(dòng)等新問題。

經(jīng)歷千辛萬苦拍攝的素材不會(huì)自動(dòng)組合在一起成為作品，后期編輯的再創(chuàng)作流程對于創(chuàng)作成敗有決定性作用。剪輯一直被視作影視藝術(shù)的獨(dú)有特征，但蒙太奇的影像語法對于VR360°“視點(diǎn)散焦”方式也面臨失效。VR的時(shí)空統(tǒng)一與連貫性是沉浸感的來源，傳統(tǒng)的剪輯方式基于的視覺暫留的生理基礎(chǔ)與完形心理的原理無法適用。面對六度方向的素材進(jìn)行后期編輯并非在于傳統(tǒng)的“剪和接”，而在于對拍攝的六度畫面的“縫合”。VR的有些縫合在拍攝過程中就已經(jīng)可以進(jìn)行，而有些則需要依靠后期軟件操作才能實(shí)現(xiàn)。在面對素材進(jìn)行全景縫合時(shí)也并不總是一帆風(fēng)順，計(jì)算機(jī)識(shí)別各類情況的素材也不是完全智能，人工手動(dòng)進(jìn)行合成與轉(zhuǎn)描總是難以避免的。

《阿凡達(dá)》的導(dǎo)演詹姆斯 卡梅隆三年前曾在采訪中明確表示不看好VR電影，但去年他修正了自己的觀點(diǎn)，“我每一天都在VR環(huán)境中工作。當(dāng)我完成這些訪談后，我將在今天剩下的時(shí)間里繼續(xù)在VR中工作。這種交互性是否可以創(chuàng)建一種新的藝術(shù)形式，一種新的電影形式……我正在等待它證明自己。”[1]對富有想象力和實(shí)驗(yàn)精神的卡梅隆而言，現(xiàn)在的技術(shù)距離他心里期待的真正屬于VR的性狀，還存在技術(shù)和硬件發(fā)展上的限制。創(chuàng)造高質(zhì)量的VR體驗(yàn)是革命式的、十分復(fù)雜的過程，視聽的設(shè)計(jì)預(yù)混合是實(shí)現(xiàn)完全沉浸的重要構(gòu)成環(huán)節(jié)。

2 VR影像的編輯制作現(xiàn)狀

360°視頻的后期編輯目前并不存在行業(yè)標(biāo)準(zhǔn)或者一種通用的固定方式，這和傳統(tǒng)后期制作有所不同。VR的全景視頻內(nèi)容根據(jù)不同的拍攝設(shè)備決定著后期采用何種方式來處理采集的素材。比如，入門級的一體機(jī)拍攝，基本可以實(shí)現(xiàn)拍完即自動(dòng)縫合，無需動(dòng)手再做編輯，還可以在手機(jī)上直接查看并分享。三星gear360和理光的ThetaS就屬于這類操作，但這類360°視頻的優(yōu)點(diǎn)是攜帶輕便、制作簡易，且無需后期縫合；缺點(diǎn)是分辨率低、畫質(zhì)不夠精細(xì)。再高一級的柯達(dá)Pixpro SP3604K或尼康KeyMission會(huì)解決一體機(jī)畫質(zhì)的硬傷，因?yàn)槭遣捎秒p鏡頭捆綁的方式，但后期需要縫合。縫合視頻的可操控性有限，在電腦上采用配套軟件進(jìn)行有限操作。常見的專業(yè)團(tuán)隊(duì)會(huì)采用6個(gè)GoPro的Hero4s攝像頭組進(jìn)行全景素材拍攝，但非常繁瑣的是有6個(gè)機(jī)器也就有6個(gè)電池與6個(gè)儲(chǔ)存卡且需要攝像師在拍攝時(shí)同時(shí)按下6個(gè)按鈕執(zhí)行拍攝。后期也需要電腦上將6個(gè)視頻進(jìn)行拼接和后期處理，優(yōu)點(diǎn)是視頻內(nèi)容的可編輯性大大增強(qiáng)，畫質(zhì)較為優(yōu)良，缺點(diǎn)是非常考驗(yàn)攝制團(tuán)隊(duì)的時(shí)間和體力，當(dāng)然，還有超強(qiáng)的視頻縫合處理能力。當(dāng)然，更專業(yè)的諾基亞OZO和facebook推出的Surround應(yīng)該可以減少一些繁瑣的工作量，但高昂的價(jià)格并不親民。大多數(shù)團(tuán)隊(duì)在實(shí)現(xiàn)VR內(nèi)容方面還需要自行建立適配的流程，比如，拍攝甚至用專業(yè)級別的RED、Canon EOS M3s、Sony A7Ss這類經(jīng)典器材實(shí)現(xiàn)高素質(zhì)畫面，然后交給后期完成全景拼接。

由于目前的VR拍攝硬件處于起步階段，大量的視頻素材依賴后期拼接實(shí)現(xiàn)360°視頻內(nèi)容。很多時(shí)候拍攝還是無法解決拍虛畫面的問題，在照明不足的情況下有效分辨率也無法保障，總體而言目前的360°拍攝設(shè)備還無法創(chuàng)建傳統(tǒng)影像帶給我們的專業(yè)級別的360°視頻，無論在形式上還是內(nèi)容上都還處于嘗試階段。拼接是非常精細(xì)化的工作，有相當(dāng)高的技藝要求，不同拍攝設(shè)備攝取的畫面的拼接狀況直接反映了拼接水平。

VR后期拼接使用的有Kolor Autopano，VideoStitch，OpenCV，Nuke以及ADOBE的Premiere與After Effects等不同的后期工具。筆者經(jīng)歷過8個(gè)機(jī)位的攝像頭陣列組成的360°視頻拍攝，通過OpenCV進(jìn)行縫合拼接，體會(huì)到做VR的后期拼接是一個(gè)吃力不討好的事。因?yàn)樵谄唇舆^程中會(huì)出現(xiàn)各種狀況，例如，出現(xiàn)接縫的空隙，拼接處的錯(cuò)位非常常見，這就意味著需要進(jìn)行大量的手工處理，而處理過程中最使人崩潰的是始終無法取得令人滿意效果的反復(fù)嘗試。令人沮喪的情況不止這些，哪怕是4K畫面拼接為360°視頻后，可視的全景視頻就不再是4K了，分辨率大打折扣，畫質(zhì)變差，觀看體驗(yàn)不佳。拋開畫面變形和虛化的部分，偶爾遇到一個(gè)機(jī)位的素材出現(xiàn)問題就可能全部前功盡棄，后期編輯充滿艱澀，所以目前在效率與效果上都是很難有大規(guī)模、高質(zhì)量的內(nèi)容產(chǎn)生。至于我們常在手機(jī)上看到全景圖像倒不是新鮮事物，靜態(tài)圖像的拼接相當(dāng)于精致地完成了視頻中的“一幀”內(nèi)容。

人工智能可能會(huì)是未來VR后期處理的解決方案，需要靜待技術(shù)發(fā)展進(jìn)程中的有效突破。例如，谷歌的AI后期編輯小助手平臺(tái)，通過讓人工智能學(xué)習(xí)大量圖像信息，積累各類算法使其學(xué)會(huì)精細(xì)化處理圖像。一旦谷歌能夠?qū)崿F(xiàn)完美批量處理圖像并適用于全景圖像視頻，屆時(shí)谷歌再開源算法，讓各款360°全景攝像機(jī)便可以獲取后期支持，將拍攝數(shù)據(jù)傳輸?shù)椒?wù)器上，由人工智能提供一套解決方案。

3 VR編輯中的深度信息應(yīng)用

360°視頻目前基本被分成兩種，一種是無深度信息的，如我們看到的全景地圖，家居環(huán)境等；另一種是含深度信息的，是通過分屏輸入也經(jīng)過3D渲染的真正立體視頻，如部分VR交互游戲。后者被業(yè)界視作真正的VR，深度信息是讓VR成為真正VR的一個(gè)重要條件。目前，通過創(chuàng)建三維場景，CG建模以及后期特效，深度已經(jīng)展示了其優(yōu)勢特點(diǎn)。所謂深度信息是拍攝的360°空間中所有的像素點(diǎn)都帶有距離信息，計(jì)算這些信息即可提供360°場景的結(jié)構(gòu)信息，不僅對于實(shí)拍場景，對CG制作的三維場景創(chuàng)作也是非常有幫助。深度信息幫助畫面中對象包含基本的透視以及縱深空間運(yùn)動(dòng)，是視頻更具有身臨其境的體驗(yàn)。畢竟對VR影像而言，深度信息是VR成為VR的關(guān)鍵，需要有認(rèn)知和思考。

首先，面臨影像的運(yùn)動(dòng)。影像的運(yùn)動(dòng)通常是由三方面構(gòu)成，拍攝對象運(yùn)動(dòng)，攝像機(jī)運(yùn)動(dòng)以及后期剪輯與特效產(chǎn)生的運(yùn)動(dòng)。傳統(tǒng)畫面中有近大遠(yuǎn)小的深度透視，如果伴隨運(yùn)動(dòng)則會(huì)產(chǎn)生視差。視差是由運(yùn)動(dòng)產(chǎn)生的現(xiàn)象，人眼在運(yùn)動(dòng)中導(dǎo)致物體投射到視網(wǎng)膜上的成像因?yàn)榫嚯x產(chǎn)生視覺差異。比如，坐在車?yán)锏娜丝吹铰愤叺臉淇焖匍W過的模糊成像，較遠(yuǎn)處的田野伴隨車的運(yùn)動(dòng)視覺上卻平穩(wěn)轉(zhuǎn)換，而天上的云朵和太陽則在視覺上停留時(shí)間更長，仿佛沒有變化。距離我們越近的物體，伴隨運(yùn)動(dòng)的產(chǎn)生，視差越大。在VR拍攝中，多個(gè)鏡頭在運(yùn)動(dòng)中拍攝的畫面，采集畫面時(shí)再通過相應(yīng)的算法進(jìn)行拼接，然而全景相機(jī)的鏡頭光心在物理上無法做到完全重合。由于鏡頭之間各自存在運(yùn)動(dòng)，會(huì)導(dǎo)致兩個(gè)鏡頭之間采集的視頻運(yùn)動(dòng)存在差異，而算法需要依據(jù)近處的物體或遠(yuǎn)處的物體來取舍處理，這就會(huì)導(dǎo)致重影或者跳變的情況。

其次，是拍攝的距離。視差問題同樣會(huì)在拍攝距離上體現(xiàn)。鏡頭越近，安全距離越小，出現(xiàn)接縫的概率越低。所謂安全距離是通過鏡頭靠近而減少成像視差的，因?yàn)殓R頭在一定距離中，物體成像的視差是小于一個(gè)像素。深度信息要解決視差問題，在于同一物體在攝像機(jī)中準(zhǔn)確的成像會(huì)投影到全景視頻中的同一點(diǎn)，由此解決拼縫的問題。一旦深度消除了視差導(dǎo)致的全景視頻拼縫問題，則可以生成完全無縫的全景視頻。

另外，全景視頻的另一個(gè)痛點(diǎn)是，用戶視點(diǎn)被固定，無法自由移動(dòng)產(chǎn)生更真實(shí)的深度運(yùn)動(dòng)感。這種真實(shí)的沉浸感受才是VR真正的魅力，如果用戶無法體驗(yàn)深度信息中移動(dòng)的“臨場感”，VR影像就缺失了重要的吸引力。同樣，這個(gè)難題也寄望未來人工智能通過算法能夠計(jì)算出場景中物體的深度，實(shí)現(xiàn)下一幀與上一幀深度變化的真實(shí)呈現(xiàn)。

4 VR編輯還有待解決的挑戰(zhàn)

后期剪輯是造就電影藝術(shù)的獨(dú)特手段，而VR的后期編輯中無處可剪似乎讓剪輯師不再存在。而事實(shí)上，與拍攝環(huán)節(jié)面臨的問題相同，后期中編輯處理影像依然十分重要，只是需要改變傳統(tǒng)的認(rèn)知，另外，還有待積累經(jīng)驗(yàn)和完善理論。技術(shù)發(fā)展會(huì)不斷為降低制作難度提供先決條件，這個(gè)過程也是讓人們?nèi)ヰB(yǎng)成VR思維的時(shí)間。現(xiàn)在可以認(rèn)識(shí)到360°視頻的影像范圍是“球形式”的，加上深度信息的內(nèi)容，則可以構(gòu)成同心圓球一般“圈層式”的視覺范圍。此時(shí)，傳統(tǒng)影像中前景、中景、背景的設(shè)計(jì)理念依然奏效，而對后期編輯而言，分別處理視頻中圈層內(nèi)容處理則變得有章可循。這樣的創(chuàng)作理念是全新的，移植傳統(tǒng)制作思路之外，是不是還有其他的全景思維有待發(fā)現(xiàn)，這有待藝術(shù)家們發(fā)現(xiàn)和探索。

另外，后期編輯所需要的資料儲(chǔ)存消耗巨大。所有的資料類型中，視頻無疑是最占用儲(chǔ)存資源的，而360°視頻使用的素材則是4K視頻內(nèi)容文件大小的六倍，也就是說，5min的全景使用的內(nèi)容文件可以輕松達(dá)到上百G。這樣，全景視頻的占用率更是使制作中的存儲(chǔ)成本激增，成為另一個(gè)后期編輯中面臨的困難。

不論VR廣告還是VR影視，目前都涉及大量繁瑣的制作工作，這也是VR內(nèi)容制作預(yù)算昂貴、效率低下、內(nèi)容量極少的現(xiàn)狀。并且，在VR這個(gè)剛剛起步的新領(lǐng)域中，無論是創(chuàng)意構(gòu)思、拍攝器材、后期軟件一系列軟硬件的發(fā)展，包括參與的拍攝人員、編輯人員等都是在這個(gè)空白領(lǐng)域中一點(diǎn)點(diǎn)摸索和嘗試。了解并接受這個(gè)發(fā)展初級階段的不完美甚至糟糕的一切，沒有傳統(tǒng)影像世界里積累的“大師”和“經(jīng)典”的參照標(biāo)準(zhǔn)，一切都有待創(chuàng)造。