多元共“聲”

2023 年首屆杭州國際電子音樂節以“元點”為主題，標志初始，昭示新生。這場音樂盛會從立足經典傳承到瞄準產業應用， 再到探索科技前沿，以開放的學術姿態和全方位的行業視角成功構建了一個電子音樂藝術創作與音樂科技研發的交流平臺。在音樂節的九場音樂會中，上演了七部由中國青年藝術家創作于2022 至2023 年間的交互音樂作品：馬仕驊的《初生》———交互式視聽電子音樂演出（2023），王馳的《緣源元》———為四個數據驅動樂器和電子音樂而作（2023），吳文釗的《煉金術》———為紅外傳感器、 燈光與電子音樂而作（2023），林舒瑜的《蝶之夢·夢之蝶》———為實時電子音樂與機械裝置而作（2022），《自由落體》———現場數字驅動交互電子音樂（2022），萬方、曾紫喬的《宋韻·運河詩路》———新 媒 體 實 時 音 畫 交 互 電 子 音樂（2023），馮金碩、孫華的《客廳戲劇》———交互音樂場景表演（2023）。這些作品突破了傳統音樂基于器樂或人聲表演媒介與形式， 利用不同的交互系統，創新音樂表演媒介，為作品定制個性化的表演行為與方案。七部作品的創作者是近年來中國音樂新媒體藝術的新生力量，有著敏銳的藝術洞察力與開拓的創新精神。在他們的創作中，傳統音樂思維與當代跨媒介藝術語言相互滲透；不同藝術形式之間跨界協作；音樂藝術與現代科技聯通交融，體現出了前衛、實驗、革新的創作意識。

一、交互裝置的多元

交互音樂在表演主體與媒介上顛覆了傳統音樂由演奏員進行樂器演奏（或人聲演唱）的媒介體系架構，不同身份的人———演奏員、創作者、觀眾，或某種設備———計算機、裝置等，皆可成為表演主體，特定的系統程序與裝置相結合可作為表演介質實現實時控制與表演。在一部交互音樂作品中，交互系統結構是重要創作內容之一，其通常包含輸入（傳感）裝置、輸出裝置與控制中心（程序）。其中，輸入（傳感）裝置作為交互系統前端硬件，主要功能是識別外界信號，生成驅動藝術內容的數字信息。

在作品的媒介交互設計中， 利用體感裝置、攝像頭或遠紅外測距裝置在身體或物體動勢與聲音、影像中架起一座媒介聯動橋梁的交互形式在近年來得到了較廣泛的運用。作品《宋韻·運河詩路》《蝶之夢·夢之蝶》《初生》與《客廳戲劇》均通過識別人體的姿態與動勢生成數字信息代碼，驅動聲音或影像的呈現?！兜畨簟糁返淖髡咴O計了一個由多個硬件連接而成的數字驅動樂器裝置， 包括電腦、便攜式攝像頭、歷動傳感器、打擊樂器（梆子與吊镲） 及用于觸發打擊樂裝置組。以歷動（Leap（Motion）傳感器結合Wekinator為表演傳感媒介，手勢姿勢一方面驅動打擊樂裝置演奏，一方面觸發電子音響與數字影像，從而形成聽覺與視覺的聯動表演。作品裝置結構的獨特性在于其利用一個復雜的機械裝置來演奏打擊樂器?！端雾崱み\河詩路》同樣以歷動傳感器為交互表演媒介，通過手勢動作來控制聲音與視覺內容。在現場演出中，實時交互信息由Max、Kyma與TouchDesigner共同進行處理，其中Max 負責處理歷動傳感器的實時數據，Kyma 負責對聲音進行合成處理，TouchDesigner 負責視覺影像的處理。作品《初生》采用具有內置陀螺儀的可穿戴式設備進行互動表演。通過OSC（Open1Sound1Control）通信協議，陀螺儀的偏轉角度和加速度信息被輸送給計算機端的Max/MSP 進行數據映射， 實現音視互控。作品《客廳戲劇》通過AI 攝像機實時、準確地識別舞臺中的物件、動作和場景位置，實現肢體與場景內物品的實時互動， 從而生成音樂和視頻，并以互動劇目的形式進行舞臺呈現。該作品的開發充分調用了人工智能算法技術， 通過數據集收集、標注以及參數調優的訓練過程來確保在不同演出場景中的穩健性和靈活性。作品《煉金術》的傳感裝置由兩個紅外測距傳感和兩個可變色聚光燈改裝制成。紅外測距傳感器負責感測聚光燈前的物體運動，測量物體與傳感器之間的實時距離。表演者在聚光燈裝置前的手部運動被生成一系列距離數據，通過Arduino數據連接中間件進行數據接收，并送入Max/MSP 程序進行數據分類， 再由AbletonLive111進行聲音實時處理，從而形成交互音樂表演。

上述幾部作品的媒介裝置在演出過程中處于“隱藏”狀態，被視作一種不具備藝術造型審美功能的表演設備。由于觀眾無法直觀且清晰地看到交互裝置的存在，因此需要在表演動作與藝術內容之間建立對交互關系的理解。但將媒介裝置作為一件具有藝術形象的數字樂器， 并通過直接觸控裝置，甚至控制裝置的自身運動進行交互表演的作品則提供了另一種交互欣賞體驗。作品《緣源元》的核心傳感裝置是微型芯片控制器。作者賦予傳感器“圓”的外形，并通過四根細鋼絲導線將四個圓形裝置相連接，固定在鈴鼓竹框架中心，使其形成一個整體表演裝置（見圖1）。通過表演者的觸控行為，微型芯片控制器持續輸出包括方向、亮度、電容式按鈕與加速度等數據， 并通過數據映射形成聲音交互表演，展現出多個數據驅動樂器形成復雜音樂控制傳輸網絡的整合能力和音樂表情演奏潛力。作品《自由落體》以平板電腦（ipad）作為表演與傳感裝置界面，其作為連續數據控制器使不同聲音之間的轉換與控制變成可能。

二、表演形式的創新

交互音樂中的多元藝術與技術媒介之間構建起的交互系統為作品表演形式的創新提供了土壤。交互系統可被理解為一個全新的表演系統，其媒介間的數據信息運作規律是設計作品表演行為與形式的底層邏輯。

在一些僅將媒介作為接收信號與數據映射裝置，而不賦予其外在藝術特征的作品中，創作者通常會側重對表演行為的設計。例如，在《初生》《宋韻·運河詩路》《蝶之夢·夢之蝶》《煉金術》與《客廳戲劇》五部作品中，交互媒介裝置僅負責識別實時手勢姿勢信息，在表演過程中不與表演者發生直接接觸。因此，表演者的肢體動作與姿勢設計便尤為重要。創作者必須設計一套完整控制姿勢，使其與表演內容之間建立起明確的交互關系，讓觀眾可以理解表演行為和藝術內容之間的邏輯，以便通過表演行為來理解作品藝術內涵?！兜畨簟糁返淖髡咴O計了三種不同的手勢來控制作品不同樂段的聲音或影像交互（見圖2）。三種手勢包括“單指手勢”“雙指手勢”與“蝴蝶手勢”。其中，“蝴蝶手勢”在通過歷動傳感器控制XYZ 三軸距離信息，完成音高、力度與速度數據映射的同時，還透過其手指與手腕富有詩意的舞動來意化蝴蝶紛飛，使表現行為直接指向作品主題。《煉金術》在傳感裝置媒介之外，通過使用幾個特殊表演物件（可透光的固體水晶、裝有水的透明水杯和條狀燈帶等）來輔助視覺內容的表現。表演者手持固體水晶或透明水杯與傳感裝置進行交互，在引發聲音交互的同時，利用物件可透光的特性來形成神秘、夢境般的光影效果?！犊蛷d戲劇》顛覆了傳統戲劇舞臺的表現形式，通過虛擬增強現實技術、AI 人工智能算法技術結合影像技術與聲音交互技術等呈現了一個虛擬劇場。它旨在給觀眾提供一個沉浸式扮演體驗，即把觀眾拉入到表演當中去，成為表演者。作品通過表演者對舞臺中的實物道具，如桌椅、水杯、餐具、書本、玩具與水果之間的交互完成聲音和影像控制，同時，通過人與道具之間的互動表演完成特定故事內容的敘述。

作品《自由落體》與《緣源元》表現方式是將表演者的表演行為直觀地與表演媒介聯系起來，根據作品結構與交互系統設計了一套完善的表演方法。同時，在表演過程中，表演者與表演媒介在不同程度上發生直接接觸，使作品呈現出更為直觀的交互關系。作品《自由落體》創造性地將平板電腦與乒乓球運動聯系起來， 發展出一系列獨特的表演行為，如基于多點觸控技術的觸控表演行為，通過改變平板電腦運動方向獲得偏角度與加速度信息變化的表演行為，多種投擲乒乓球的表演行為。作品《緣源元》中的每個圓形裝置可被視為一個“樂器”或是“聲部”，其表演方法是基于四個圓形裝置的一系列控制，如改變圓形裝置角度，用手連續沿圓形裝置觸控，同時控制兩個圓形裝置等。

三、音視交互的感知

音視交互一直是交互音樂領域重要的表演形式之一。兩種藝術形式利用各自的藝術語言對作品的主題進行呈現與發展，相互詮釋彼此的同時以不同的對話形式構成類似“重奏”的關系。二者的交互控制策略有多種形式，包括利用全部或部分聲音信號作為源數據來直接控制視覺變化，利用視覺信號控制聲音參數的變化，以及利用來自某種感應裝置的源數據同時驅動聲音與視覺的各自展開等。

作品《宋韻·運河詩路》的交互系統運用了三個程序。其中Max/MSP 分析由歷動捕捉到的演奏員手部位置信息，這包括檢測左右手的存在與否以及它們在X 軸和Y 軸上的具體位置。這些信息隨后通過MIDI.CC（連續控制）消息傳輸到Kyma 系統，用于聲音的合成和實時控制。Kyma 中的數據映射策略包含兩個主要方面，其一是聲音的開始取決于左右手的出現，或是位于特定坐標軸上；其二是音色的變化通過X、Y 軸上的位置進行控制。除了實時聲音合成及控制外， 這些數據在Kyma 里還通過OSC 通信協議發送至TouchDesigner，實現視覺效果的實時生成和控制。例如，手的出現映射到視覺呈現的開始，手的具體位置信息會影響粒子的流動速度等，從而創造出一種動作、音樂及視覺緊密結合的效果。作品《蝶之夢·夢之蝶》中控制視覺變化的源數據來自歷動傳感器，Max/MSP 中的Jitter 負責處理視覺數據映射。作品的影像素材取自現場演出場景中的表演者手勢動作與歷動傳感器，通過由點構成的集群形態的視覺造型，結合鏡像對稱構成的萬花筒視覺效果，數字影像將真實、具體的演出場景演繹成為抽象性的內容。作品《初生》基于Max 編程環境完成聲音與影像交互。其中，聲音部分的程序分為“基底”（Bed）和“對象”（Object）兩部分5PsCfkSFxz22Lnejllcq7rk2iW/zdtXX1K7uk+DqrME=，基底部分負責串聯各個部分并形成結構，對象負責呼應影像片段的運動，兩部分均包含了不同類型的聲音合成、采樣管理與調制技術，以保證多樣化的聲音處理與組織效果呈現。影像系統以不同形態的粒子云為主，其生成程序分為“渲染功能區”“矢量與引力場生成區”“粒子顯示區”三個主要部分。三部分結合產生了一個具有多重控制源的粒子系統，其核心部分是采用jit.gen 編寫的引力算法對象， 該對象可生成具有隨機形態的粒子云，在此基礎上，通過導入外部建模文件（jit.gl.model）、音頻信號、算法圖樣（jit.bfg）等數據對粒子云的形態進行塑造。結合粒子系統本身的控制參數， 粒子云本身的運動狀態（速度、方向）也會產生多樣的變化。因此，在多個控制參數的管理下， 粒子云的形態具有極強的可塑性，在視聽可視化設計中可以適應各類聲音數據的信號參數反饋，并實現藝術化的呈現?！犊蛷d戲劇》將舞臺演出場景與內容投射成為虛擬的影像。AI 視頻捕捉到的實時數據通過OSC 協議傳輸到Max 軟件中，為音樂生成創造了即時的數據流。Max 軟件負責接收和處理這些數據，并通過精心設計的算法將實時捕捉到的數據映射為音樂參數。這些音樂參數包括音符的控制、音樂表達形式的控制以及音樂進程的控制（CUE）。音符的控制涵蓋了音高、音量和持續時間等方面，而音樂表達形式的控制則允許對音樂的情感和節奏進行精準調整。引入音樂進程的控制系統使得作曲家能夠預先定義和編排一系列音樂進程，根據舞臺上發生的事件自動切換，從而創造出更加動態和多變的音樂體驗。

四、藝術內涵的體現

當代交互音樂以多元的媒介結構和形式，通過獨特的創作視角對客觀事物、社會思潮與傳統文化等進行審視和思辨。它們不僅期望通過藝術內容來折射作品的主題，還嘗試通過在媒介裝置、表演形式與技術路徑中去投射作品的文化內涵。

作品《宋韻·運河詩路》與《蝶之夢·夢之蝶》以中國古典文化為背景，通過不同的音樂風格與聲音形態來映射古典文化符號。在聲音材料選擇上，《宋韻·運河詩路》以中國傳統民族打擊樂器及具有濃郁地域特色與文化符號意義的越劇唱段采樣為創作材料，使作品在音色、節奏與音調組織方面具有典型的中國傳統音樂語言與符號特征。作品視覺設計以“宋代運河歷史為切入點，從詩詞與中國傳統繪畫中提取意象元素，結合地塊特點與舞臺空間的邏輯，設計實時變幻的影像，營造現代東方意境?！苯换ッ浇榈乃囆g形式突破了傳統民族樂器與越劇的表演局限，被人們熟知的原始藝術素材在媒介技術和語言搭建起的全新感知系統中被賦予新的藝術語態，其材料的變化形態與路徑體現出基于聲音變形技術與數字影像處理技術下的審美特征，讓作品以全新的視角和姿態展現出“在詩意化的視聽盛宴中體悟大運河古今敘事的起承轉合”?！兜畨簟糁返膭撟黛`感來自莊子的《莊周夢蝶》，作者通過在虛擬電子音響與現實聲音，虛擬視覺影像和現實場景表演邊界之間的探索，探討莊子提出的人不可能確切地區分真實和虛幻世界的這一經典哲學問題。 在作品的三個段落———“現實”“夢”“夢中夢”中，聲音與視覺均經歷了一場由現實到虛擬的變化歷程。

哲學一直以來是新媒體藝術領域的創作焦點，尤其是對生命、宇宙終極問題的思考。《煉金術》《緣源元》與《初生》三部作品的主題關乎宗教哲學與宇宙觀?！稛捊鹦g》的創作背景源自古希臘萬物本源的哲學思想?！肮畔ＥD的煉金術認為，所有物質都是由第一物質和‘素質’構成……作者使用的多面體‘水晶’被賦予‘第一物質’的意涵，不同顏色的燈光代表不同種類的‘元素’。”作品《緣源元》表達著作者對于生命起源的思考與理解?！捌鹪?、輪回和時空延伸的抽象含義可以描述和比擬世界萬物。在日復一日，年復一年，周而復始的運動中，我們對時間跨度的感悟時而瞬息萬變，時而停滯不前?！痹谶@場關于起源、輪回的藝術探討中，以裝置的圓形視覺造型為載體，以交互姿勢為表現路徑，以聲音表現與組織為藝術內核，使作品在復合媒介語言中“形神兼備”。作品《初生》利用抽象的聲音和視覺呈現了一幅壯觀的聲景畫卷。“這是一場來自未來的宗教儀式，表達了人類對自身存在起源、對于空間與時間誕生時刻的敬畏與好奇?！弊髌钒膫€部分，分別是空間的爆發，生命的播撒、時間的流淌、星系的消長。這四個主題所描繪的客觀事物的形態，以及作者對時間與空間的理解被投射在聲音與視覺表達上。

除了古典文化與哲學命題之外，借用新媒體技術來重新詮釋現實生活中的人與物，亦是創作者樂于關注的主題。作品《客廳戲劇》以生動的表演形式再現了人與人之間的交往關系。通過兩人之間相互試探到矛盾激發的故事線，人與人交往中存在的多重復雜心理、身體行為改變以及情緒起伏通過現實與虛擬兩種藝術途徑得以呈現。作品《自由落體》延續著電子音樂領域對現實生活中的聲音進行再創造的審美趣味。乒乓球的聲音結合其自由落地時由慢至快的節奏律動給予作者充分的音樂想象空間，并由此引發了一場利用交互技術趣味展現乒乓之聲的藝術表演。

結語

新媒介音樂藝術的魅力在于能夠打破所有藝術形式之間的壁壘， 將科技手段轉化為藝術語言，注入藝術創作與表現中去，展現出人、計算機、各種移動設備、人工智能產品與傳感器之間進行媒介連接與信息互通的未來世界之圖景。新媒體藝術領域的創作者應在對音樂科技前沿技術保持高敏銳度的同時，以獨特的藝術視角來觀察、解釋當今的世界。近年來AI 人工智能技術迅猛發展，逐步滲透至各個行業領域，使人們重新定義、審視著人與智能技術之間的關系。值得肯定的是，我們從《客廳戲劇》作品中已看到當代中國新媒體藝術家對AI 人工智能技術的初步探索， 它為我們未來將如何結合、利用人工智能技術進行創作與表演提供了重要的參考方向。

李秋筱 博士，浙江音樂學院音樂工程系副教授

（責任編輯 張萌）