石窟中交互音畫舞蹈演出的音畫實現

申佳君，李曼妮

（浙江音樂學院音樂工程系，浙江 杭州，310000）

龍游石窟坐落于浙江省龍游縣城以北衢江北岸。它是一座大型地下洞室群，開鑿年代可能是2000多年前的西漢時期。龍游石窟是中國古代最高水平的地下人工建筑群之一，集人文、藝術、工程技術于一體。

“2019龍游石窟國際音樂盛典”①在龍游石窟舉辦，在不同的石窟內呈現了風格各異的15場演出。其中，4號石窟以“聲筑圖騰”為主題，采用全息影像技術，讓觀眾享受到特殊聲場環境下的沉浸式演出體驗。石窟作為一種特殊構造的物理空間，如何在傳統演出模式的基礎上，再結合影像和聲音的互動演繹，探索新的視聽體驗。

筆者以龍游石窟4號洞交互音畫舞蹈演出為例，探討石窟作為演出場地的優勢與困難，闡述音畫設計的意象，分析在石窟空間物理特性基礎上利用投影和互動技術實現音畫與舞蹈表演的交互，為國內同類型場地數字演出設計提供一定的借鑒和啟示。

1 石窟環境及舞臺布局

“2019龍游石窟國際音樂盛典”的一場交互音畫舞蹈演出地為龍游石窟的4號洞，面積約2000 ㎡，入口處是一個平臺，右側為陡峭石壁，左側是盤壁而下的石階，從窟口到窟底超過20 m，階道長度在50 m以上；洞內有3根擎柱，呈三角形分布，其中體積最大的一根擎柱加裝了鋼架減振系統，如圖1所示，為后續投影設備及擴聲設備的安裝提供了基礎保障。窟底地勢較為平坦，平坦的底部整體呈喇叭狀，擎柱及其防護圍欄低于整體底部20 cm，形成“凹”形。

圖1 四號洞空間格局

石窟場地可容納300位觀眾，每天下午和晚上進行兩場演出。龍游石窟的特殊場地形態給演出的聲場和投影系統的設計帶來了一些限制因素。經過實地勘測、現場環境分析，綜合演出需求，利用仿真軟件設計出了聲音和光影交互演繹的初步方案。場地整體布局及設備的擺位如圖2所示。

圖2 4號石窟的場地布局及設備擺位

2 擴聲系統的設計

美國斯坦福計算機與聲學研究中心（CCRMA）的創始人約翰·強寧（John Chowning）在翻閱了龍游石窟的一本相冊專輯后，對石窟如何改變人的感官與聲音之間的聽覺關系產生了極大的興趣，于是對石窟內部進行了數字聲學測試。

2.1 影響擴聲系統設計的因素

（1）4號石窟呈喇叭狀，聲源在洞底發聲時，會產生號角效應，可以讓聲音傳得更遠，特別是號角方位聲音投射得更集中、音量更大。同時，由于洞壁為石質且不規則，造成聲音擴散不均勻，混響時間偏長，洞內測得的混響時間為RT60=4.6 s。因此，這是擴聲系統設計時需要著重解決的問題。

（2）4號洞的晝夜溫差在4°左右；同時，濕度大，白天天氣晴朗時空氣濕度在60%左右，夜晚濕度加深。這種對濕度和溫度隨晝夜交替而改變的現象，對投影及擴聲設備的使用有一定影響，因此，這也是要考慮的問題。

（3）為防止擴聲設備進場后因大功率播放聲音，其特殊頻段與石窟的固有頻率形成共振，導致洞體坍塌引發安全事故。故在設備進場前，使用專業頻譜分析設備及音頻分析軟件對石窟的共振頻率進行測量和分析，得出結論：其共振頻率為212 Hz和415 Hz，為擴聲系統設計提供了精確的參考值，也為4號石窟的聲學研究提供了確切的數據參考。

2.2 擴聲系統架構

針對前期調研的結果及演出的實際情況、石窟管理方的要求，為保證觀眾聽音時不會產生聲音渾濁、染色、不平衡、聲像定位不準確等聲缺陷，可直觀感受到來自正前方舞臺的聲音效果，利用哈斯效應原理，使用補聲音箱，合理縮短聲音到達觀眾的距離，讓直達聲先于石窟內部的反射聲到達聽眾的耳朵，有效解決了長混響下清晰度不夠問題，以及聲音的特定頻率擴撒不均勻等問題。擴聲系統框架如圖3所示，設備配置見表1。

表1 擴聲系統設備配置

圖3 擴聲系統框架

對于揚聲器系統的設計，場內設計并布置了7只（含1只舞臺返聽）揚聲器，安裝位置見圖2。其中，Meyer Sound Up-4xp三分頻揚聲器4只，用于觀眾區左右兩側及前后聲場補聲；Clare Brothers KiT12兩分頻全頻揚聲器3只，用于立體聲主擴及舞臺返聽。

通過對石窟聲學環境的研究與數據分析，兼顧防范石窟建筑牢固程度可能引發的安全問題，結合觀眾區聽音響度的需要，選用了上述兩種可以滿足功率及頻響要求的揚聲器。其中，Clare Brothers KiT12兩分頻全頻揚聲器為現場提供立體聲擴聲，分別放置在中央水池的兩側，與觀眾區地面高度差110 cm。4只Up-4xp為觀眾區提供補聲，觀眾區呈倒轉“7”字形，在觀眾左側、右側及前、后各布置了1只 Up-4xp用于補聲。這種設計的主要作用是使聲音到達觀眾的距離盡量縮短臨界距離，使其以直達聲為主，減少臨界距離以外混響聲的影響。這也是臨界距離在擴聲設計中的應用。觀眾可以獲得清晰的音響效果。對于擴聲系統的調控，使用蘋果電腦上安裝的Avid Protools HD12進行設置。根據參演的作品的表現內容和形式進行了聲道設計，并結合場內揚聲器的點位布置進行IO聲道的設置，使觀眾欣賞清晰的、與觀看畫面吻合的音響效果。

3 投影系統的實施

3.1 空間環境對投影系統設計的影響

經過對場地空間環境的勘查及研究，發現以下問題對投影系統設計造成影響。

（1）非常規的空間限制了空間立面的延展。4號洞只有一面較完整的傾斜石壁可以作為投影區域，根據觀看視角，讓觀眾面朝傾斜的石壁落座；同時，觀眾區左右恰好分別為石窟出入口，便于觀眾入席路徑體驗。

下肢康復訓練后期，患者需要接受主動訓練來提高主動參與度并且進一步促進肌肉力量的恢復。因此，提出了基于模糊自適應阻抗的主動訓練控制，通過檢測人機交互作用力來判斷患者的主動運動意圖，基于人機交互作用力提出主動控制算法。在主動訓練時，引入阻抗控制保證康復機器人與患者下肢的相容性，并且采用模糊自適應邏輯對阻抗參數實時調整。

（2）石窟頂部呈45o斜面從底部伸，墻壁、巖柱壁和頂板布滿數厘米寬的條紋，每道條紋上規則地刻著與條紋垂直的刻線，構成了精美的圖案，見圖4。這樣的表面紋理在演出投影時是需要避免的，因為它將干涉影像的色彩、形狀。針對這個特殊的場地環境，為體現空間特色，專門設計了與表面紋理匹配的影像內容，讓虛擬圖像與現實空間交匯。

（3）在窟底中部有一矩形蓄水池，池的圍欄順應石窟地勢呈左高右低的“凸”字形，高度差為40 cm，池底安裝有照明燈具。但因池深較深，且燈光微弱，并不會過多映射到傾斜的窟頂，不會破壞投影所需要的暗空間環境要求。

3.2 投影系統的實施

場地條件和投影系統是實現演出作品呈現的重要因素。

對于投影系統的實施，采用的投影設備見表2，投影機的位置也根據測試效果進行了調整。為盡量使畫面與舞臺成為一體，而不是讓觀眾的視線在兩者之間有跳躍感，投影機的基座比設計方案有所降低，使其與地表的高度差小于0.5 m。設計方案中，為了有更佳的視覺效果，考慮用2臺投影機，根據預算情況，其中1臺采用16:9、分辨率1080P的高清投影機，用于播放從Mac導出的實時畫面，效果基本滿足。

圖4 石窟巖壁刀痕

表2 投影設備方案

由于石窟自然環境所限，與常規項目不同，空間投影搭建確立后，開始進一步確定舞臺、觀眾區、燈光的位置。舞臺根據投影位置而被限定，舞臺高1 m，左右寬度27 m，前后縱深為11 m～13 m，圖2中標注的4 m×4 m是舞臺Kinect②舞蹈捕捉空間。舞臺距離內測水池邊緣約3 m。觀眾區和舞臺區域的高度基本持平。燈具的數量與類型也在這一階段與舞臺設計一并考慮。演出時光環境要求為：投影區域避免燈光直射，避免使用泛光照明，不需要補充照明。考慮節目的需求，僅需要面光，因此，選用了幾臺成像切割燈，以及一些用于工作環境照明的燈具。在實際演出過程中，燈光設計則要結合投影畫面內容關聯編程。

4 交互系統的構成及交互音畫的呈現

4.1 交互系統的構成

作品影像的呈現投影及交互系統（圖5）實現。交互系統及制作包含Kinect的動態捕捉、體感設備及MaxMsp編程開發，交互聲音模塊，交互角色動態模塊，實時粒子系統，Mapping投影系統，電腦操控臺，以及交互界面、iPad界面的設計等。使用過程中需要注意一點，要為交互舞蹈節目的影像程序調試留出充足時間。

圖5 利用交互系統的制作

4.2 交互音畫的呈現

在石窟這個特殊形態場地設計交互音畫的呈現，關鍵是要構建出符合場地的音畫內容的意象創作，這種意象表達需要關聯現實空間，下面以4號石窟演出8個節目中唯一的交互音畫舞蹈節目《活水·幻象》（見圖6）為例來論述。

對于《活水·幻象》的互動音畫的設計與創作，石窟幽僻，上千年以水為伴，雖已將水退去，呈現的是斑駁、冷峻的紅色巖壁，但設計意向還是以“水”作為創作表現的核心，用“水”建構一個意象，讓“水”的音畫再次回到石窟中。

4.2.2 意象與現實空間的關聯實現

要將這種意象在物理空間中以實存景象呈現，需要采用新技術的手段實現創意設計的意蘊。尼葛洛龐帝在《數字化生存》[1]中認為，聲音、圖像等媒體元素之間可以通過數字信息進行相互轉換與融合。阿斯特科試圖用“連接主義”取代“藝術”一詞，所有涉及任何既定復雜性的電子通信系統與電子媒體藝術實踐從概念上說都是遠程通信的，連接性是它的核心[2]。交互技術為這種連接性提供了可能。該作品的創作分為兩部分。

（1）電子音樂

電子音樂《活水》③的創作，整體發展具有一種邏輯性、流動感。利用The mangle、IL gross beat、Kontakt等軟件，對采集的水滴聲、水中氣泡聲、水流聲等聲音素材，做Delays、Flanger、Distortion、 EQ和Reverse等處理加工，以及音高、音值、音強和音色等參數的處理，將水聲進行逐層的變形，但在變形后的每一個音色中仍保留水的一種特征，增強聲音表達力。

（2）影像創作及與舞蹈的交互

《活水·幻象》整個演繹過程中，利用數字交互技術，結合具體場地的獨特構造，探索創作契合環境的影像、聲音，并呈現動態的“交互”，實現場地自然做功的效果。通過Kinect體感攝像機采集和交互系統感知并轉換舞蹈者的體態表達，構造基于音樂的實時動態三維影像，并運用投影矯正技術將影像投射在表演者身體上，跟隨其運動，形成影像與人體的交互；同時，根據影像加入聲音設計，從而實現前期設計的意象。

演員表演時，運動生成的抽象圖形與石窟巖壁表面的刀痕紋理融合在一起，形成一種天然仿古的視覺效果。生成的影像與空間“拼融”在一起，在石窟巖壁上的發展、變化、消失，將石窟轉化為天然的視覺影像空間，這種虛擬影像延續了現實空間；同時，還解決了石窟表面紋理對影像干涉的潛在問題。

圖6 《活水·幻象》的現場視覺效果

5 結語

4號洞的交互音畫舞蹈演出，結合特殊形態場地的現場，構建交互演出的創意，利用交互技術使各種媒介連接為一體，動員起人體的各種感官，尤其聽覺和視覺，虛實結合，通過影像和聲音實現演出意蘊與特殊形態場地共生，產生一種沉浸在古老石窟時空環境中的感覺，讓表演更加具有可感知的詩性智慧。

注釋：

①2019龍游石窟國際音樂盛典是浙江省文化和旅游廳打造全省文旅融合IP的主要項目之一，它讓音樂在古老的石窟內華麗變身，融入“一帶一路”文化交流合作行動，深入沿線國家開展文旅推介，學術科研等交流合作。

②Kinect技術是微軟在2010年6月14日對XBOX360體感周邊外設正式發布的名字，它是一種3D體感攝影機，導入了即時動態捕捉、影像辨識等功能。該技術開發了動感系統和動作捕捉，計算機可以領會指令，執行動作，通過身體動作、語音口令就可以參與指令，開啟了人機交互技術的新紀元。

③電子音樂《活水》作曲者是浙江音樂學院音工系大三學生侯九亨。