VR紀錄片全景聲音頻制作技巧

李文勝 吳中 張炯

【關鍵詞】B格式 三維聲場 方位感 杜比全景聲

一.前言

2019年，四川廣播電視臺策劃制作的VR（虛擬現(xiàn)實）紀錄片《Panda with me》，正式上線。通過紀錄成都大熊貓基地飼養(yǎng)員工作狀態(tài)和大熊貓在保育室、戶外活動等生活環(huán)境，以VR錄制方式，360o全方位呈現(xiàn)在觀眾眼前，讓配帶VR眼鏡的觀眾，獲得身臨其境的真實感覺（如圖1所示）。

作為紀錄片聲音創(chuàng)作團隊，我們通過三維全景聲的制作，利用聲音最大限度地真實還原大熊貓與飼養(yǎng)員的日常生活工作狀態(tài)，讓觀眾體會到原汁原味的音效體驗。

VR紀錄片的聲音制作和傳統(tǒng)紀錄片類似，都包含前期錄音和后期制作兩個環(huán)節(jié)。除了與傳統(tǒng)紀錄片相類似的聲音設計和錄音、編輯、混錄之外，VR紀錄片的聲音制作在工藝流程上，主要考慮如何拾取三維聲場里的聲音、后期制作時如何讓聲音和畫面取得同步、如何處理聲音的空間感、方位感等等。

耳機監(jiān)聽是VR紀錄片聲音還放的基本模式，因此，音頻的后期制作，我們也是利用耳機監(jiān)聽來實現(xiàn)聲像定位，通過頭部相關傳輸函數(shù)（HRTF）編碼，3D環(huán)繞聲以兩聲道的虛擬環(huán)繞聲形式重放出來，使聲音不會隨著觀眾頭部的轉(zhuǎn)動而轉(zhuǎn)動，而是保持在與視頻對應的方位上，給觀眾帶來聲音獨立于耳機存在的幻覺。

二.前期拾音

在VR紀錄中，對聲音所處聲場信息的展現(xiàn)比傳統(tǒng)紀錄片的要求更高，VR紀錄片是采用Ambisonics方式錄制前期全景聲，再配以點、面MIC錄制相應的突出聲音音源。

全景聲話筒錄制熊貓現(xiàn)場聲場的三維環(huán)境聲，包括：觀眾聲效、熊貓聲效、飼養(yǎng)員的動效等同期聲，值得注意一點，VR錄像機的散熱風扇聲無法避免，在后期制作時，需進行降噪處理。

Ambisonics錄音制式是一種球形（Full-sphere）的環(huán)繞聲技術，經(jīng)過處理后得到的輸出信號稱為B格式（B-format）。B格式包含4個通道的信息（WXYZ），其中，W：全方向信號，聲音的空間感；X：聲音前后深度；Y：聲音左右寬度；Z：聲音上下高度，以獲得水平面和垂直面的三維信息，后期制作時，再解碼成不同的方位信息（如圖2所示）。

除了在熊貓基地現(xiàn)場直接拾取3D全景聲之外，紀錄片的同期錄音出于紀錄敘事的要求，往往還要補充更多的聲音細節(jié)。比如：利用超指向性話筒、領夾式話筒等，錄制熊貓吃竹聲、飼養(yǎng)員說話以及走路的聲音等等。后期制作時，這些單聲道聲音素材需要進行空間化處理，使之成為來自三維空間的聲音。

三.聲音的編輯與混錄

VR聲音后期制作軟件，需支持多路母線輸出的音頻工作站以及能完成三維空間聲音處理的插件。常用的音頻工作站有Pro Tools HD、Nuendo、Reaper、Pyramix等，我們使用Pro Tools HD 12編輯軟件，用于VR紀錄片后期音頻制作，插件選用的是B360。

VR紀錄片制作聲音時，其實就是為了能夠聽到來自更多方向的聲音，混音師在以聽者為中心的整個球形區(qū)域內(nèi)，來安排聲音的聲像（PAN）位置（如圖3所示）。

VR紀錄片后期制作，很顯然是不可能帶著VR頭盔完成聲音編輯的。因此，用于聲音編輯的3D參考視頻，最好是將球形視頻展開之后，導入Pro Tools視頻軌，確定畫面中聲音方位，使三維聲音編輯變得非常直觀、靈活，后期制作過程中，還可以實時了解還放效果。Pro Tools不僅能進行播放時間碼的同步，還能進行音視頻視聽角度的同步（如圖4所示）。

在確定某一方向基準后，畫面內(nèi)容與位于球形區(qū)域中心的聽者之間的相對關系也是確定的，這就跟上述的雙聲道立體聲、環(huán)繞聲定位方式差不多了，只不過多了聲音的在垂直方向上的高度信息。我們通過水平轉(zhuǎn)動（Pan）和垂直轉(zhuǎn)動（Tilt）兩個參數(shù)，就能控制聲音在視角360度球形范圍的朝向，對聲源進行空間化處理，以及通過聲壓級衰減來確定聲源的距離，以獲得聲音的方位感和空間感。

在音視頻視聽角度的同步的基礎上，我們使用B360插件，將聽音方位參數(shù)鎖定在一起。兩者在360°范圍內(nèi)的變化完成了三維空間里的視聽角度變化。參數(shù)鎖定之后，音/視頻的視聽角度就能實現(xiàn)同步轉(zhuǎn)換了，空間顯示界面能直觀地體現(xiàn)出這種變化。

因為沒有杜比VR全景聲工具的VR Renderer，無法實時渲染出帶頭部跟蹤的監(jiān)聽效果。目前，我們先生成DEMO樣片后，再結合VR頭盔顯示設備，來判斷三維聲音的空間感和方位感是否準確。經(jīng)過多次測試試驗，我們在Pro Tools時間線上所監(jiān)聽的三維全景聲，與配戴VR頭盔監(jiān)聽到的三維全景聲空間感、方位感基本一致。

四.監(jiān)聽及聲音導出

VR紀錄片多采用耳機監(jiān)聽，因此要對工作站的監(jiān)聽信號，是通過HRTF函數(shù)仿真計算，使耳機中的聲音重現(xiàn)，聲音在三維空間中所處的位置，當聽者朝向某一方向，來自各個方向的聲音與聽者頭部之間的關系是確定的，并模擬出聲音從某一方向傳來以及移動變化時的效果，并實時輸出給耳機監(jiān)聽。

以熊貓基地環(huán)境聲制作為例，常見的做法是用一個四聲道聲音作為環(huán)境聲鋪底，四條音軌分別映射到L、R、Ls、Rs四條聲道上；同時，加上在一定范圍內(nèi)隨機位置觸發(fā)的隨機音響效果來體現(xiàn)環(huán)境聲的方位感。在此基礎上，可以通過飼養(yǎng)員的腳步聲、熊貓的叫聲和吃竹聲、流水聲等點、線狀的單聲道聲源音效，來增加頭部轉(zhuǎn)向時，環(huán)境聲變化的豐富程度（如圖5所示）。

VR紀錄片編輯與混錄完成之后，需要導出聲音母版，我們選擇的母版格式是Ambisonics X（WYZX標準）格式，是4通道的ambisonics數(shù)據(jù)流。將該數(shù)據(jù)流解碼之后進行HRTF仿真，并軌生成一個Wave文件，就獲得了用于耳機監(jiān)聽的雙耳信號。

五.結束語

通過這次VR紀錄片《Panda with me》全景聲制作，我們積累了豐富的VR紀錄片音頻制作經(jīng)驗，隨著VR紀錄片的發(fā)展，我們還可選擇杜比全景聲軟件（Dolby Atmos for VR）等相關的制作工具，和Pro Tools HD同步在一起，制作VR全景聲，通過聲像定位（3D panning）和三維空間感處理（3D reverb），進一步完善和強化現(xiàn)有的制作工具功能，實現(xiàn)對VR紀錄片聲音的空間定位和電平動態(tài)，進行實時監(jiān)看監(jiān)聽。

同時，我們還可借鑒VR游戲聲音制作的工具和制作方式，應用到VR紀錄片聲音的制作中，實現(xiàn)從前期拾音、后期編輯混錄到母版輸出及平臺播放的一體化解決方案，為聲音的表現(xiàn)提供更加多元而便捷的途徑。B&P