演出現場3D聲像定位與跟蹤系統及應用

彭妙顏, 周錫韜

(1. 廣州大學 聲像與燈光技術研究所, 廣東 廣州 510006; 2. 廣東中南聲像燈光設計研究院，廣東 廣州 510006）

演出現場3D聲像定位與跟蹤系統及應用

彭妙顏1, 周錫韜2

(1. 廣州大學 聲像與燈光技術研究所, 廣東 廣州 510006; 2. 廣東中南聲像燈光設計研究院，廣東 廣州 510006）

結合 BOA、TiMax、D-Mitri、Iosono、WFS 和TTA等3D聲像定位與跟蹤系統的構成、功能和特點，舉出工程應用實例。

3D（立體）環繞聲系統；聲像定位；實時跟蹤系統；演出現場

演出現場3D聲像定位及跟蹤系統技術近年在歐美獲得較快發展，特別在歌劇院、音樂廳、主題樂園和實景主題劇場（或稱為旅游主題劇場）等表演模式中的應用效果突出。文中結合 BOA、 TiMax、 D-Mitri、Iosono、WFS 和TTA等3D聲像定位與跟蹤系統的構成、功能和特點，舉出應用案例。

1 概述

1.1 影視環繞聲和演出現場環繞聲

（1）影視環繞聲

從1986年杜比實驗室推出杜比SR四聲道環繞立體聲電影系統開始，30年來陸續出現了杜比SR/D、DTS、SDDS等包括5.1和7.1等多聲道的2D （平面）環繞聲，以及Auro、Iosono、Dolby Atmos 等3D（立體）環繞聲系統[1,2]。應當指出，上述各種制式的環繞聲系統均局限于環繞聲技術在電影和電視（家庭影院）領域的應用，其共同特點是所有節目都是預先在錄音棚、電視演播廳或演出現場通過錄音、錄像加上必要的編碼和信號處理等技術加工制作成電影片或DVD碟片，再提供給用戶（電影院或家庭）播放欣賞。使用者并不參與電影片或碟片的制作過程。依其運作的特點可歸類稱為“影視環繞聲”（Film and TV Surround）或“編碼式環繞聲”(Coding Surround)技術。

（2）演出現場環繞聲

近年隨著數字音頻技術的發展，人們逐步把影視環繞聲的理念和技術推廣應用到劇場、音樂廳，特別是在主題劇場和大型實景演出等現場，獲得巨大的成功。歸類稱為“演出現場環繞聲”（Performance Scene Surround）。該技術不僅運用了影視環繞聲同樣的理念和手段——設置平面和頂置等多個環繞聲道，并在此基礎上加以發展和提升，不再局限于左、中、右和頂置揚聲器，而是根據演出現場的環境、道具和演員的活動范圍等條件進行揚聲器布局，增加的揚聲器數量眾多（從數十路到數百路聲道），通過專用硬件和軟件的控制，從而達到更逼真和更精確的環繞聲效果。演出現場環繞聲的另一個特點是設計者和演出者都會直接參與節目的創作過程，因而亦稱為“現場創作式環繞聲”。

1.2 聲像定位的概念

音頻技術中常用到“聲像定位”的概念，下面作一簡介。

（1）聲像

演出現場中，在聽音者聽感中所展現的各個聲源（人聲、樂器聲、效果聲）的空間位置，并由此而形成的聲畫面，稱為“聲像”（Sound Image）。

（2）聲像定位

為使聽音者感受到聲音是來自于演員或樂手的真實位置，調音師要進行“聲像定位”（Sound Image Localization）的調控。

（3）聲像定位實時跟蹤

當演員或樂手的位置移動時，聲像能同步跟蹤移動，稱為聲像“同步跟蹤”或“實時跟蹤”（Real Time Tracking）技術。

早期的聲像定位調節僅局限于二維（2D）的范疇，是由調音師調控調音臺的PAN POT旋鈕，按照舞臺上演員或樂手實際所處的位置，將其傳聲器信號(或Line in信號)輸入通道的PAN POT 調節到相對應的位置。例如，吉他手站在舞臺左側，其對應的PAN POT就適當往左邊（L）旋動；而歌手站在舞臺中央，則其PAN POT 就放L-R的中點，如此類推。當演員或樂手在舞臺上移動時，熟練的調音師還可以隨時調節PAN POT使聲像與歌手的位置同步跟蹤。如果左右手同時操作，調音師通常最多能同時控制兩個聲源（兩名演員或樂手）的同步跟蹤。而整個過程僅局限于平面（X、Y軸）的控制。

1.3 演出現場3D聲像定位與跟蹤系統

近年在2D“演出現場環繞聲”技術的基礎上，結合聲像定位和同步跟蹤技術，開發出名為“演出現場3D聲像定位與跟蹤系統”（Performance Scene 3D Sound Image Localization and Tracking System），在歐美許多劇場、音樂廳，特別是主題樂園和實景主題劇場（或稱為旅游主題劇場）等表演模式中已獲得廣泛的應用。近年被引進國內，在武漢漢秀劇場、廈門閩南劇場和上海交響樂團音樂廳等開始應用。此類系統通常具有數十甚至數百個聲道的揚聲器和功率放大器，不僅有平面布局，而且加上垂直高度Z軸的控制，使聲像定位的精確度和逼真度大大提高。

早期開發相對簡單的3D聲像跟蹤是應用專門的硬件和軟件配合一臺iPad（或平板電腦），操作者在現場直接觀察演員的活動路徑和范圍，通過觸摸屏控制，達到對聲像定位的人工跟蹤效果。近年開發出更為先進的“3D聲像定位和自動跟蹤系統”，則可實現當演員在舞臺上移動，甚至走進觀眾席互動，以及吊“威亞”（鋼絲繩）騰空飛越觀眾席上空等復雜動作時，演員唱歌或念白的聲像定位能達到精確同步自動跟蹤移動的效果，使觀眾感受到，他們在座位上聽到的聲音是“真實”地從演員的嘴里發出來的，而不是從劇場分散布置的揚聲器中發出的。

此類系統目前的技術水平，可做到同時對二三十個直到六十個對象分別進行實時聲像同步跟蹤，適合應用于大型歌劇、主題劇場和旅游實景演出等現場，能營造出極其宏大、逼真且震撼的效果。表1列出“2D環繞聲像定位”和“3D環繞聲像定位與跟蹤系統”的對比。表2 列出“3D聲像定位與跟蹤系統”部分品牌的特點對比，供讀者參考。

下面對表2列出的6個系統的功能、特點和應用分別作一簡介。

2 布雷根茨開放式聲學系統（BOA）

奧地利布雷根茨藝術節（Bregenzer Festspiele）創辦自1946年，每年七八月舉行，主要演出歌劇或音樂劇，每兩年更換一個劇目。巨大的露天舞臺固定在離岸25 m的博登湖中，臺口寬達50 m， 7 000個觀眾席位設在岸邊，如圖1所示。

以2011年演出歌劇《安德烈·謝尼埃》為例，整個場地共配置了400多臺功率放大器和812只Kling & Freitag (K&F)揚聲器（參見圖2），按照場地實景和劇情，設計安排三維空間的布局。由超大型數字音頻矩陣系統組成空間效果模擬系統（方向混合器），通過運用早期反射聲和混響聲能表現出不同的聲學空間，使觀眾在露天劇場里也能感受到室內歌劇院的聲音效果；再加上聲像定位跟蹤系統，組成一個稱為“布雷根茨開放式聲學系統(Bregenz Open Acoustics，BOA)”[3,4]。

大型的舞臺演出通常會設置多種信號源。以2010年演出威爾第的歌劇《阿依達》為例，該場演出共配置了三種信號源：第一是部分效果聲和背景音樂聲，是預先錄制儲存于硬盤播放器，根據劇情的進展，由時間碼觸發播放；第二是大型樂隊演奏和合唱隊演唱，是安排在鄰近一間建聲效果極佳的室內劇場演出，通過多聲道擴聲系統傳送到觀眾席播放；第三種是最復雜的現場演員（或樂手）佩戴的無線傳聲器信號。

在露天舞臺演出的全過程中，“聲像自動跟蹤系統”不間斷地通過計算得到每個演員或樂手的空間虛擬聲源的位置，再分配給每個獨立聲道的功率放大器和揚聲器進行播放，使聽眾感受到的是一個自然空間及強烈的聲音包圍感。聲像定位跟蹤系統能使現場演員演唱、念白或樂手演奏的聲音在舞臺空間的聲像位置隨著演員或樂手的實際位置同步跟蹤移動，形成逼真的3D環繞聲效果，使聽眾可以更好地感受到演員聲音在場景區的準確位置，從而留下更深刻的臨場印象。

圖3是2011年～2012年歌劇《安德烈·謝尼埃》的演出場景，半浮在水中的人像上半身高達24 m，把整個博登湖演化成一個巨大的浴缸。演員在人像的左眼位置上演唱并移動到右眼位置，強烈的追光燈加上聲像跟蹤定位，使觀眾逼真地感受到演員在場景中的準確位置及其移動變化。

圖4顯示1999年演出威爾第的歌劇《假面舞會》的場景，一個巨型骷髏和一本巨型書作為舞臺。主角從舞臺右側上場，漫步走到骷髏的手指上坐下。主角與舞臺左側的群眾對唱，通過自動跟蹤系統使一唱一和的聲像移動給觀眾帶來逼真且震撼的聽覺和視覺享受。

3 TiMax 空間聲像控制與跟蹤系統

TiMax 空間聲像控制與跟蹤系統（Soundhub/Tracker System）[5]來自于英國的Out Board公司，它包含兩套系統：Soundhub主要功能是音頻演出控制與編輯；Tracker主要功能是聲像跟蹤。下面分別簡介其結構和主要功能。

3.1 Soundhub（音頻演出控制）系統

（1）內置混音矩陣音頻信號處理器和硬盤錄放系統。

（2）基本插件模塊是16入/16出，最多可插4塊達到64個通道。

（3）輸入/輸出接口為AES/模擬，加上擴展卡可兼容Cobranet、Ethersound、Dante和MADI等四種網絡信號，通過同軸或網線傳輸。

（4）內置GPIO、Midi、SMPTE和TCP/IP等演出控制（Show Control）接口，可實現外部演出遠程控制系統（如燈光、機械或視頻服務器）的編程和控制。

3.2 TiMax Tracker（TT）系統（跟蹤系統）

（1）TT系統組成

①佩戴在演員身上由電池供電的小型TT電子監控器

TT電子監控器在6 GHz～8 GHz頻段內發送UWB（超寬帶）脈沖，這些脈沖被置于舞臺周圍的TT傳感器接收。另有一套雙向2.4 GHz的線路，作為控制和遙測信道使用。這種雙向線路的信息交流功能可以使系統發出指令并能動態地管理電子監控器，改變其修正率以及監視電池壽命。TT電子監控器符合IP63的防水標準。

②安裝在演出區域周圍的TT傳感器

TT傳感器內含一組內部天線及超寬帶（UWB）射頻接收機。傳感器接收和檢測電子監控器發射的UWB（超寬帶）信號的方位角（AOA）和仰角，由連接傳感器網絡的計時線纜獲得到達信息的時間差（TDOA），從而計算出TT電子監控器的位置。每一個傳感器還有一種具有雙向的2.4 GHz控制和遙測技術線路，用于指令和檢測電子監控器。這種雙向線路的信息交流功能可以使系統發出指令并能動態地管理電子監控器，改變其修正率以及監視電池壽命。

這種獨特的AOA和TDOA聯合的測量技術提供了強大而又健全的定位系統，在僅有兩個傳感器接收到信號時，也能精確地決定其三維位置。由于采用多臺傳感器，本跟蹤系統的精確度在三維空間內可達到15 cm左右。而且在復雜的聲學環境下仍有優良的反應和可靠性。TT傳感器標配版本達到IP30的防水標準，并有全天候版本可供選購。

③軟件平臺

軟件平臺用于分析來自傳感器的數據，產生一種演員圍繞舞臺活動時的動畫影像，之后把控制數據發送給TiMax音頻矩陣(或其他媒體)。這些通過預編程獲得音頻的方位來匹配舞臺上演員的位置。

TT軟件包含有電子監控器編號(即TiMax的輸入)和它們的舞臺位置(即TiMax的聲像輪廓)等信息用MIDI信息方式，與TiMax音頻矩陣演出控制軟件相聯系。TiMax音頻圖像延時矩陣為每個聲源設置獨立的延時關系。這些延時關系會根據演員在舞臺上不同的位置而隨時改變，即應用哈斯優先效應延時心理聲學現象來確保所有的觀眾都能夠感知到歌劇演唱者的無線傳聲器放大信號是直接來自于演唱者的嘴里而不是來自于舞臺和觀眾席分散布局的多聲道擴聲系統。

軟件平臺還具有智能定位功能，在輸入幾個簡單的定位細節后，在數秒鐘內智能的校準向導將會自動確定每個傳感器的AOA（到達的角度）和TDOA（到達的時間差），跟蹤聲源的方位。

舞臺上安裝的傳感器經過網絡接回到一個POE路由器，再連接到運行著軟件平臺的 PC機上，軟件平臺上顯示舞臺的外形輪廓，以及用方形或橢圓圖形顯示跟蹤區域（見圖5），加上彩色圖標顯示演員在現場的位置和信號強度、電池量值等信息。

（2）TT系統的應用和冗余

每套TT系統可以容納多達60個電子監控器，工作范圍達到160 m，精確度在三維空間內可達到15 cm。每個電子監控器的刷新率可以分別調整，對于慢動作者可以減小頻寬，而對于滾軸滑冰者或舞蹈者等速度較快的跟蹤對象則需增加頻寬。在大型表演場合，系統可根據對整個活動的連續分析，自動地改變各個電子監控器的刷新率。

對于大型表演如圓形歌劇院和露天表演場地，一般需要6臺TT傳感器安裝在演出場所周圍。而對于傳統的鏡框式舞臺演出，通常只需要3臺/ 4臺傳感器。較小的鏡框式舞臺或演播室等只需2臺傳感器已足夠達到滿意效果。其實TT電子監控器只需要有2臺傳感器就可以保證在任何時間的三維空間內維持其準確性，而附加的一些傳感器則有助于覆蓋更大的演出場面，同時也可以消除由于群體的舞臺調度和舞臺布景等引起的跟蹤誤差。

對于特別大型的室外演出或主題公園，TT系統可以無限制地把相鄰的傳感器組合成為一個大系統，并通過以太網連接到一臺中央定位的計算機服務器上。服務器可以擁有多位用戶，使音響師、舞臺監督以及佩戴射頻傳聲器者在同一時間都能監視到舞臺的表演、電子監控器的信號強度和電池電量的多少等信息。

TiMax 系統在德國不來梅市音樂劇院、瑞士巴薩爾劇院和瑞典皇家戲劇院等[5,6]有應用。

4 D-Mitri 數字音頻平臺

D-Mitri 是Meyer Sound 開發的第四代多通道數字音頻平臺（Digital Audio Platform）[6-8]，是一套具備混音和信號處理的音頻演出控制系統，特別適用于劇院、主題公園、博物館、天文館和游輪等表演場所。該系統以千兆網絡為基礎的數字音頻處理及傳輸控制平臺，包括音頻演出控制系統（LCS）和電子建聲解決方案Constellation兩個功能。筆者只介紹其音頻演出控制系統（LCS）部分的結構、功能和應用。

D-Mitri采用96 kHz采樣率，64 bit的浮點運算精度，72路輸入72路輸出。網絡環境是D-Mitri的核心結構，它采用AVB協議標準，即實時媒體網絡環境的IEEE802.1開放標準。應用AVB網絡協議可以方便地建立分布式的D-Mitri系統，遠距擺放和控制傳聲器前置放大器，擺脫專有音頻網絡的限制和大量接線的麻煩。除了AVB格式以及模擬I/O之外，D-Mitri也兼容CobraNet和AES/EBU進行通信；并提供SMPTE、MIDI、RS-232、RS-422、Word Clock和GPIO等控制接口。

D-Mitri包含從傳聲器輸入到揚聲器輸出的整個音頻信號鏈路，包括：輸入/輸出（模擬和數字）接口，全信號處理、混音、多通道聲像定位、音效重放和揚聲器管理等功能，從而取代大型擴聲系統中傳統的傳聲器前置放大器、自動混音臺、揚聲器處理器、分配器或矩陣、音頻重放或錄音系統以及多通道環繞聲系統等。

通過系統中的CueStation軟件，只須按一個按鈕，即可把某個參數自動化，或把整個系統重新配置。

5 IOSONO 3D環繞聲系統

5.1 概述

開篇曾提及的IOSONO 3D是“3D環繞電影技術”，其在3D電影院中獲得相當廣泛的應用。經多年發展，人們發現IOSONO 3D環繞聲系統[9-11]在演出現場的應用有著更為廣闊的發展前景。

IOSONO 3D環繞聲系統是應用波場合成（Wave Field Synthesis，縮寫WFS）原理重新構建聲場的技術。最早是由荷蘭的Berkhout教授提出，其理論則是基于荷蘭物理學家惠更斯(Christiaan Huygens)于1678年提出的“惠更斯原理”。惠更斯原理指出：在波的傳播過程中，空氣中任意波前上的各點，都可以看作一個子波源，其后的任一時刻，這些子波源發射的波前的包絡線，就是聲波這一時刻的新波前。

人們在現實環境聽到的聲音都是在三維空間中傳播的，而這些聲波按物理聲學的分析，是由球面波、柱面波和平面波三種形式的聲波傳播方式所構成。當人耳接受到球面波的時候，雙耳效應導致的時間差和相位差就能夠對聲源做出水平面的前后左右定位；但人耳對于聲源縱向上下的定位則只能取決于柱面波和平面波。傳統的環繞聲系統一般只能播放球面波，而IOSONO 3D系統由于使用波場合成技術，可以還原自然聲場中的球面波、柱面波和平面波三種形式的聲波，因而能再現真實的3D空間。

IOSONO系統的揚聲器配置可采用三層式或五層式布局。圖6顯示IOSONO系統揚聲器三層布局的現場實景，其第一層（底層）52只揚聲器構成3D空間的X軸面，稱為環繞聲的“音床”；第二層34只揚聲器的任務是將X軸面的聲場進行縱向拉伸形成Z軸面；第三層（頂層） 8只揚聲器形成三角形布局，將2 000 Hz以上的高頻輻射至聽音區域，強化聲像定位。

3D音頻處理器IOSONO IPC 100對揚聲器位置進行設定和編程，將原始聲音信號根據使用者的需求重新編解碼，合成獨立的3D波形，再通過系統對合成音頻信號進行場景分配，把不同的波形通過不同的揚聲器進行播放，組合成3D環繞聲。

下面列舉IOSONO系統應用于現場演出的實例。

5.2 工程實例：悉尼歌劇院演出《死亡之城》

IOSONO技術進入歌劇演出領域的典型例子，是2012年6月應用于澳大利亞悉尼歌劇院的歌劇《死亡之城》（Die tote Stadt）演出。歌劇演出時，演員在歌劇院舞臺上面對觀眾演唱，而龐大的管弦樂隊并不在現場，而是在相鄰的演奏廳演奏，經由IPC 100處理器建立一個聲學的全息圖將IOSONO 3D信號傳送到劇院的現場，實現了“看不見管弦樂隊”的再創作。3D環繞聲洋溢于整個劇院，使觀眾仿佛置身于樂隊之中，獲得逼真的現場感。悉尼歌劇院的演出舞臺、樂隊和觀眾席現場實景參見圖7。

6 WFS聲學全息系統

WFS聲學全息系統（Holophonic System）[12-14]是由瑞士科學家團隊、法國聲學科技實驗室和巴黎聲學音樂研究院合作開發的。其理論基礎與前述IOSONO 系統近似，假設重建輻射源網絡能取代實際的輻射源，則重建聲場中應該考慮的問題是怎樣對二次聲源進行饋送才能取代原始聲源。基爾霍夫亥姆霍茲積分方程中包含了二次波源的幅度和相位，這些幅度和相位是頻率的函數，由于虛擬聲源和二次波源的位置已確定，通過數字信號處理技術可將定義在頻域的幅度和相位變換到時域，最終得出符合要求的“自適應濾波器”。

根據上述原理，以WFS WAVE-SYSTEM主機為中心，加上調音臺、外圍設備、功率放大器和有源揚聲器系統等組成演出現場3D環繞聲系統，如圖8所示。

2012年在法國巴黎投入使用的阿拉伯世界文化中心，采用兩層“皇冠”的WFS 3D環繞聲系統，主擴聲選用12臺8英寸同軸全頻揚聲器，加上6臺超低音揚聲器，另有7臺15英寸有源同軸揚聲器組成輔助擴聲系統，現場演出獲得逼真的3D環繞聲效果。

WFS系統的優點是可用較少的揚聲器（5只～64只）即能獲得良好的3D環繞聲效果，在價格方面也有相當的競爭力。

7 TTA舞臺聲像跟蹤系統

挪威TTA公司推出的舞臺聲像跟蹤系統（Stagetracker FX）[15]主要具備三個功能：對表演者的聲音跟蹤、音頻定位和音效處理，可同時跟蹤多達32位演員，并定位舞臺上的聲像。Stagetracker FX的系統構成如圖9，配置方式見表3。

TTA系統的 3D軟件可以在屏幕上實時顯示所有演員的活動情況和音響效果；在音效處理方面，包括音量控制，聲像自動控制、衰減器、高低頻切除和環路、EQ、音高調整等功能，采用“On the fly” 音效編輯，共有16個物理音效輸出。

8 結論

“演出現場3D聲像定位及跟蹤系統”及其所采用的技術近年在國外獲得較快發展，國內新建的漢秀劇場等應用類似系統相當成功。結合中國國情，在大型主題劇場、旅游景點和露天實景演出等領域應當有一定的推廣前景。

[1] 彭妙顏,周錫韜. 數字聲頻設備與系統工程[M].北京：國防工業出版社,2006.

[2] 彭妙顏. 主題劇場聲光像同步表演系統的控制模式及應用[J]. 電聲技術,2015(2)∶11-17.

[3] 奧地利布雷根茨藝術中心. 聲性自由[J/OL]. http∶//www.mycchina.com/upload/%E5%A3%B0%E6% 80%A7%E8%87%AA%E7%94%B1-%E5%A5%A5%E5%9 C%B0%E5%88%A9%E5%B8%83%E9%9B%B7%E6%A0% B9%E8%8C%A8%E8%89%BA%E6%9C%AF%E4%B8%A D%E5%BF%83.pdf, 2011年第一期.

[4] 中國公共藝術網. 布雷根茨藝術節瘋狂創意之——最美舞臺[EB/OL]. http∶//bbs.cpa-net.cn/ forum.php?mod=viewthread&tid=267&extra=page%3 D1,2014-06-26.

[5] sheriff Tech Ltd. TiMaxSoundhub[DB/OL]. www.outboard.com.UK.

[6] 金夢. 萬達漢秀劇場系統解析[EB/OL].

[7] D-MITRI數字音頻平臺說明書[Z].

[8] 劉舒,魏增來. 武漢萬達漢秀劇場音頻系統的設計及實施[C]. 2015年聲頻工程學術交流年會論文集.

[9] 彭妙顏. 基于空間定位的多聲道3D環繞聲數字電影還音系統[C]. 2012 聲頻工程學會論文集.

[10] 高杰,莊元. WFS 3D聲音技術在音樂會擴聲工程中的應用——上海北外灘景觀3D交響音樂會解析[J]. 演藝科技,2014(4)∶ 22-28.

[11] 莊元. 余音繞梁如聞天籟——3D環繞聲技術發展述評[J]. 演藝科技，2015(3)∶14-20.

[12] AES124_WFS_revisited_talk_.

[13] WFS_科普知識之Holophonics.

[14] “WFS聲學全息系統”技術. http∶//www.wfssound.com.

[15] TTA. Total Theatre Audio Control[DB/OL]. www.tta-sound.com.

（編輯 杜 青）

Functions and Applications of Performance Scene 3D Sound Image Localization and Tracking System

PENG Miao-yan1, ZHOU Xi-tao2
(1.Institute of Audio Video and Lighting Technology, Guangzhou University, Guangzhou 510006, China; 2.Central South Audio Video Lighting Design and Research Institute of Guangdong, Guangzhou 510006, China)

In this paper, the writer introduced the constituents, functions, and characteristics of 3D sound image localization and tracking system incluing BOA, TiMax, D-Mitri, Iosono, WFS and TTA, and gave some examples of engineering applications.

3D (stereo) surround sound system ; sound image localization; real time tracking system; live performance

10.3969/j.issn.1674-8239.2016.01.003