VR敘事：從聲音開始的革命

沈皛

摘要：在當下VR影視中，新的視聽語言體系亟待建構。本文一反相關領域研究者從視覺研究出發的慣例，嘗試從聲音的角度破解VR敘事中的引導性、敘述性問題，并以聲音為主，重構VR敘事的視聽語言體系。

關鍵詞：VR;聲音;敘事;視聽語言

一? “度”的概念

隨著科技的進步，影視行業面臨一次重要、全新、徹底的革命。在2D電影中，物體處于同一平面，3D的出現增加了這一層平面空間的厚度，也就是后期技術中所說的“層”與“流”的概念。而VR技術的出現，使得作品中的事物與觀影者之間，出現了層級關系之外另一重要關系：“度”的關系。蘇珊·朗格曾說過：“所有的藝術欣賞——繪畫、建筑、舞蹈，不管哪種藝術都要求一定的超然態度，顯然，這就是所謂的‘凝神觀照‘審美態度，或欣賞者的‘客觀性。”①但是360度攝影，讓受眾從被動觀看變為了主動觀看，觀賞者凝神觀照的客觀性變為了體驗者（沉浸者）感同身受的主觀性。如果拋開一些刻意將劇情局限于引導性結局的作品，在未來大數據、云計算的支撐下，開放式劇情勢必將成為VR作品的主流。一千個讀者眼中將真實出現一千個不同結局的哈姆雷特。在VR創作視閾下，受眾第一次將觀看的角度握在自己手上。而這個“度”，才是真正推動劇情發展的關鍵因素。

在傳統影視中，這一重“度”的選擇，原本掌握在影片創作者手中。無論是前期攝影的景別選擇，還是后期剪輯的鏡頭選擇，受眾觀看故事的角度，都是由創作者制定的。“度”的選擇權，不僅關乎畫面的美感，更重要的是其潛藏著劇情的敘述能力。在傳統影視創作者話語體系中，“度”的選擇本身就包含在創作者設定的劇情中。每一組畫面的選擇，都是創作者精心安排的敘事角度。這使得“度”的概念在受眾觀看之前，已經停留在了創作者手中。但是，VR的世界中，“度”的概念被開放，創作者無權決定受眾觀看的角度，同時也喪失了推動劇情最有力的手段。在360度攝影的VR影視中，“度”這一概念的出現，讓蒙太奇敘事成為了一個地地道道的偽命題，相關文章甚至出現了“VR是反蒙太奇手法”的論述。這讓很多導演對其視聽語言產生了強烈的困惑。其實，這就像有人說人工智能是人類思維的提升一樣，表面上看來兩者似乎很類似，但就本質而言，這兩者根本就不是一類事物。VR這一種新興創作手法應該有其獨特的創作體系，在這個體系中，雖然一部分內容可以借鑒前者，例如電視藝術能借鑒舞臺藝術，但是這一部分的借鑒往往是非主干部分，否則這一創作手法的創新合法性便會受到質疑。我們如果承認VR影視是一門新的創作領域，那么就要拋開陳見，為其重新設立一個創作的坐標軸。其實這是一個升維的問題。原本處于二維平面空間（即便是3D電影其實也是在二維平面的熒幕上產生的）的影視作品，一下提升了維度，借用觀眾這一審美主體本身，來到了真正的三維空間。這一觀點十分重要，因為在當下絕大多數VR創作者眼中，無論視角怎么變化，“度”怎么變化，VR的創作空間仍然是雙眼面前那一塊屏幕上的內容， 殊不知屏幕上的內容已經和觀眾所處的自然空間合二為一。一些二維空間里約定俗成的規定，到了三維空間里一下被“降維”打破。但同時一些二維空間里無法解決的問題，在三維空間里卻能輕易“升維”突破。因此，VR該以何種全新規則敘事，成為了下一代創作者亟待解決的問題。

二? 視覺與聽覺

我們先來做一個比較。在2D與3D（我們統稱這兩者為傳統影視）影視中，導演主導的視覺敘事占據絕對主導，聲音往往成為了視覺的輔助。在筆者曾經的創作經歷中，有的創作者對聲音的要求甚至只是“有聲就行了”“音量要大”。出現這種現象并不奇怪，因為對于大多數傳統影視作品，其終端放映設備是電視或手機，而這兩者的聲音播放設備，大多數都是單聲道。從聲學角度講，聲音的三個重要指標是頻率、相位、增益。通俗講，頻率負責聲音的音色，增益負責聲音的大小，相位負責聲源的定位。從受眾聽感的角度講，音色、音量、定位，三者的關系是從感性到理性的漸變。音色是感性的，而定位是理性的。傳統影視的放映設備中，聽音設備絕大多數都是簡單的單聲道。從根本上講，負責聲音定位功能的相位已經消失。即便是立體聲，也只能滿足以屏幕為中心的120度范圍內的聲像定位。這一范圍恰巧與視覺效果的引導范圍相重疊。從某種意義上來講，傳統影視中聲音的引導作用之所以顯得不重要，并非其功能性不強，而是其單獨敘事的效果完全被視覺引導覆蓋。

同時，比起精良的視覺拍攝、播放設備，當下大多數錄音、回放設備較為簡陋。在視覺進入4K、8K的背景下，聲音采錄設備有時連較明顯的聲音頻率差異都不能產生。于是，在受眾耳中，衡量聲音的指標只有增益一項，也就是通俗講的“音量的大小”。在這種技術背景下，創作者的眼里，聲音的作用只是感性的“音樂+音效”，其功能在于抒情，或是增強故事中某一環節的感情力度，是依附于故事主干的“錦上添花”。因為傳統影視中鏡頭的景別已經固定，聲音所能實現的只是跟隨鏡頭景別調整。偶爾出現的聲音敘事其實更準確來講是音樂敘事。一般而言，故事的敘述是通過邏輯的環環相扣，也就是通過理性的推演逐步推進的。當聲音的作用只剩下感性的抒情功能時，自然無法實現理性的敘事作用。

其實，VR的概念是Virtual Reality，即虛擬真實。虛擬真實中本身是包括了視覺的虛擬真實與聽覺的虛擬真實兩個概念的。當下VR影視中，雖然終端觀影設備變更，但傳統影視的創作者仍然慣性地執著于以視覺敘事作為主導，希冀在視覺語言中尋找到故事劇情的推動力。但是，交出“度”選擇權的創作者們發現這種嘗試是徒勞的。在慣性驅使下，創作者仍舊在視覺領域不斷摸索。最難解決的問題就是不同場景之間的轉場問題，如何從一個場景進入下一個場景。我們可以試想，在現實生活中，如果一個屋子里有三個房間，一個人待在第一個房間里，如何吸引他來到第二個房間？如果用視覺來解決這一問題，只有兩種辦法，第一是作引導標記，第二是用視點聚焦。但是如果用這兩種辦法，絕大多數情況下都不符合待在屋子里那個人的真實感受?，F實生活中的真實感受應該是：這個人聽見有人在呼喚，于是便走出了第一間屋子，循著聲音來到了第二間屋子。

聲音敘事的一貫缺位，讓創作者不習慣從這一角度另辟門徑，進行思索。在傳統影視中，通過剪輯和特效，導演用鏡頭的視覺固化完成了作品的敘事。而環繞聲技術讓聲音從感性轉為理性的功能性固化同樣有了可能。在視覺虛擬技術未成熟時，單純的環繞聲技術如默片時代的攝影技術一樣，是只有場景的描述而缺乏敘事的感情。在傳統影視時代，無論環繞聲技術多么成熟，也只能是早熟。除了還原音樂會現場，創作者很難在視覺缺位的情況下敘述整個故事。僅靠聽覺完成的敘事作品條件十分苛刻，例如森海塞爾公司當年創作了一個環繞聲聲音作品，大致內容是一個理發師從遠處走到聽者身邊，讓聽者閉上眼睛，然后拿起電動理發刀為聽者理發，最后和理發者交流兩句后離開。在這一場景中，理發師讓聽眾閉眼成為了這一聲音敘事的關鍵。但生活中的絕大多數場景并不可能是在人閉眼狀態下發生的。環繞聲技術雖然已經實現了聲音的定位、定向功能，但是由于沒有視覺的配合，人耳對聲音大致定位后，并不能憑空想象接下來將要展開的具體劇情細節。可以說，環繞聲技術還沒有綻放出應有的光芒時，在傳統影視局限的環境中已經日漸枯萎。從最初的5.1環繞聲，到7.1環繞聲、15.2環繞聲，環繞聲一直在純粹技術的提升上打轉，陷入空洞的技術陷阱。

因此，其實相較于虛擬視覺技術，無法被“看”見的環繞聲技術其實早已走在了虛擬視覺的前面，提前進入了虛擬現實。隨著如今視覺虛擬技術的不斷發展，兩者終于可以齊頭并進。以環繞聲技術為主，完成敘事的推動，勢必將成為創作者手中的革命性的新視聽語言。

三? 放大與聚焦

VR影視與傳統影視的一個重要不同，就是觀眾所處視角。在傳統影視中，觀眾大多處于第三人稱視角，而在VR影視中，觀眾處于第一人稱視角。第三人稱視角不需要考慮仿生學，但第一人稱則必須從仿生學角度考慮觀眾的沉浸式體驗。第一人稱能讓創作者直觀實現以往只能意會的“感受”，因此第一人稱的創作是一場身心同步的仿真競賽。

從生理角度講，傳統影視中的攝影機其實并非仿生學設計。觀眾在觀看一個物體時，無論多么聚精會神，也無法像攝影機鏡頭一樣將物體放大，更不能隨意變焦、聚焦。因此，傳統影視中所展現的特寫，其實都是創作者為觀眾特意“勾畫”的重點。在虛擬視覺領域，觀眾被還原到盡可能接近現實生活的仿真狀態。沒有了創作者“勾畫”的重點，人的雙眼在仿真狀態中無法改變“焦距”，也無法改變“景別”。故事的主線由不同的情節點組成。在失去輔助“勾畫”重點的情況下，除非是“福爾摩斯”式觀影，否則觀眾很難抓住創作者想要表達的意圖要點，故事的敘述自然很難有一條主線。

但是，人的雙耳則截然不同。在自然狀態下，任何一個聲音的發出，由于到達兩耳的時間差，都能讓人分辨出聲源的位置。這是聲音的天然指向性，即使雙眼沒有看見，人也能知道聲音發出的方位。同時，無論周圍環境有多嘈雜，一旦人的注意力被一種聲音吸引，就會從生理上自主將其放大、聚焦，也就是人體聲學里俗稱的“雞尾酒”效應。其實，這個道理在日常生活中隨處可見。例如在一個喧鬧的聚會場里，突然有人叫你的名字，你就會循聲而望，同時在你的聽覺里就會自動“降噪”，降低其他干擾聲音的音量，提高你尋找音源的音量，并且逐步將其定向、定位，最終找到音源。這是聽者自己在眾多聲音之中為自己“勾畫”出的重點，并且沿著“勾畫”的筆跡完成了這一段敘事。

這里需要指出的是，即便筆者對VR作品中的環繞聲一再強調，也并不表示VR敘事中，視覺部分就會像傳統影視中聲音的作用一樣被弱化。聲音在VR創作中雖然重要，但其最重要的功能在于支撐故事的主線，推動故事的發展，情節的具體展開則仍要靠虛擬視覺來完成。就如同放煙火一樣，“嗖”地一聲，人們的注意力就會瞬間集中在天空，但要欣賞煙花的美，還是要靠雙眼所見。VR影視的敘事，靠的就是這樣一個個聲音的線索，為視覺劇情的爆發提供連貫而流暢的沉浸式體驗。

我們姑且稱這一套理論為“煙花理論”。可以想象，在“煙花理論”中，軌跡聲音與爆破畫面之間的時間、空間搭配將有無數可能，就像小孩子躲在安靜處嚇唬人一樣，“安靜”這一無聲的音軌被一個夸張的畫面瞬間打破，觀眾不知道這一事件將在何時何地發生。半秒的聲畫時間差，幾場聲畫錯位，都會更加真實地撼動觀眾內心，從而創造出一系列新的感官體驗，產生一系列新的視聽語言。

四?? 還原與重構

對于現有的VR視聽語言，一般時間線故事的敘述并不是難點。困難的是許多第三人稱專有的敘事方式，例如回憶、閃現等。這些在傳統影視中，只需要通過交叉剪輯即可實現。但在VR影視里，已經沒有了剪輯的概念，又該如何還原與重構這些效果？也就是說，交叉剪輯的“一步千里，一秒萬年”，如何在VR影視中找到替代？許多創作者面對這一問題的處理方式十分簡單粗暴：一鏡到底。用諸多機巧的設置，直接回避畫面的切換問題。這仍是用傳統影視的思維來解決VR影視的問題，有一種雞同鴨講的感覺。

比起不斷增強VR視覺效果，筆者認為可穿戴式設備、植入式設備所能提供的神經感觸，才是真正解決這一問題的關鍵。這一塊的開發，將成為VR影視突破性領域。神經感觸的引入，其實是在為原有創作手段增加新的感官維度。就如電影《盜夢空間》里的那樣，當劇情需要進入回憶狀態時，由神經模擬模塊發出電流信號，使人產生真實的幻覺。這才是VR影視最終需要達成的目標：讓觀眾徹底地感同身受。這一領域進一步涉及到沉浸式體驗，已經從人類外表的五官，進一步進入內在的心靈世界。對觀眾而言，“沉浸”意味著一種“被包圍的感覺”， 仿佛浸入某種液體一般，這種感覺針對人們的多種感官，模擬出各種刺激，打造出“包圍個體”的“完整的空間”。例如，影片的情節如果是“我的背后被一陣猛擊，暈厥了過去，醒來后發現自己在一間陌生的小屋?！蹦敲矗两襟w驗就會在VR敘事的基礎上，進一步增加多維度的感官，讓人真的設身處地地感受到“暈厥，之后清醒”。傳統影視中轉場的作用本來是為了縮短劇情中場與場之間的時間，讓創作者在盡量短的時間內完成更多敘事，避免劇情冗長，而不是為了引導敘事。但在沉浸式體驗中，要完成更多的敘事，就要在人感官上做文章?？梢哉f，VR技術的出現，讓我們對影視行業的發展有了一個更新的觀點：所有的影視發展，都是感官維度的提升。

因此，在當下階段，VR影視能完成的只是“煙花理論”，即在同一時間、同一地域里的表層單線條敘事?；谀壳坝布夹g條件下的交互式敘事、沉浸式體驗，往往都是感官維度不完整的研究。但筆者揣想，技術的發展是日新月異的，隨著神經模擬技術的提高，VR影視真正成熟將指日可待。

注釋：

①李恒基、楊遠嬰主編：《外國電影理論文選》上冊，生活·讀書·新知三聯書店2006年版，第275頁，第233頁。