新媒體實時交互電子音樂的創作形式探究
——以《聲形》和《三位一體》為例

杜嘯虎

（武漢音樂學院，湖北 武漢 430060）

《聲形》是一部為Kinect控制器和電子音樂而作的實時交互電子音樂作品，作品的創作靈感來源于漢語詞句當中韻律和平仄起伏的特點。作者認為漢語是所有語言當中最博大精深也是最為難學的，從最古老時期的象形文字、甲骨文到繁體字、簡體字，漢語的發音和音調的變化可以使聽眾不需要知道說話者所說的具體內容，單單憑借音調的起伏就可以理解說話者想要表達出喜怒哀樂等思想感情。

從技術層面來分析《聲形》這部作品，在這一類使用數據驅動控制器創作的作品中，數據的改變大致可分為三個階段：數據的獲取階段，數據的轉換階段，數據的映射階段。

數據的獲取階段，這一階段是作曲家使用數據驅動控制器進行音樂創作時所要經歷的前期準備階段。首先，作曲家要確定作品的音樂形象和演出方式，《聲形》這部作品之所以使用Kinect來創作這部作品，是因為它的大眾化為作曲家提供了更多的創作自由，從某種意義上講，這也是一種多角度多數據源的控制力。這部作品以新媒體實時互動技術為載體，電子音樂技術理念為基礎，聽眾在觀看作曲家現場用肢體語言與計算機進行交互式表演的同時，又能感受到電子音樂所帶來的震撼聽覺效果。這部作品具有極強的視覺效果和音樂的可聽性，作為交互式電子音樂這類新興的音樂形式，既保留了先鋒性和實驗性，又做到了“聲”“形”合一的藝術氣質。

數據的轉換階段，首先，作曲家要知道所選擇的控制器的原本數據特性，比如說Kinect所產生的數據傳送到電腦之后顯示出的數據特性與Wii游戲柄的特性是不同的，這種不同主要體現在值域范圍不同、數據精度不同、數據穩定性不同以及數據更新速率不同，等等；針對不同的控制器，演奏者在演奏過程中所要完成的動作和側重點也不盡不同，例如Kinect可以追蹤人體骨骼關節的活動；其次是根據所要創作的作品的需求，將得到的數據修改到最為合適的準確度和使用最穩定最可靠的傳輸方法。比如在《聲形》這部作品中，作曲家將得到的OSC（Open Sound Control）信息變換成為16Bit高精度數據，然后以MIDI信號的方式發送給Kyma。這種方式比起OSC的發送精度以及Kyma可處理的超高精度，雖然看似有一定的數據缺失，但是可以在Max中通過軟件編程修改的方法來彌補這種數據的缺失，具有傳輸穩定以及操作簡單的特點；因為Kyma和電腦之間只需一根常見的網線便可實現傳輸；最后是為下一階段的數據映射做好準備,當外部的控制器設備與電腦連接好以后，需要對所得到的數據進行分析和了解設備的自身特點，抓住數據變化的特性來進行相應的變形，通過實驗做出判斷，如何最好地應對人體骨骼關節的位置數據。如兩手之間的距離如何對應控制粒子合成中的哪個時間點，等等。

數據的映射階段，這一階段也是作曲家進行創作過程中最能體現作品的音樂性和特點的部分。數據的轉換階段是緊密相連的，數據的變化范圍和變化特性這些本身屬性在最后的映射過程中具有怎樣的潛力和能夠調控的可變參數，在數據變形這一階段中已經能夠清晰地認識到了。數據映射也是非常具有魔力的階段，在這一階段中，作曲家可以把任何的一組可變數據通過事先編程好的Max程序映射到具體的音樂參數當中。有了這些數據，就可以非常精確地量化創作與輸出過程，或者映射控制信息。

從作品的結構層面來看，總共分為三個部分。第一部分是全曲的引入部分，共三分鐘左右，以中高頻段的人聲作為全曲的開頭，這部分的人聲基本都是以點狀的形式出現，加入了大量的混響和延遲效果器，給人一種錯綜復雜的交錯感。在一分半左右的時候，伴隨著演奏者肢體動作的明顯變化，出現了類似于鐘聲的聲音，這個聲音是作曲家本人的原始人聲采樣，經過一系列的電子音樂技術手段，呈現出與原始聲音相差甚遠的鐘聲。

第二部分共五分鐘左右，是全曲的展開和高潮段落，這一部分可以分為三個小段落，第一小段的聲音素材與第一部分形成了鮮明的對比，主要是以帶有明顯的音高特征的長線條人聲為基礎，伴隨著時有時無的鐘聲和鈴聲。第二段運用了類似于傳統音樂當中復調的寫作手法，在單線條人聲的基礎上加入了高低各異的多聲部人聲旋律，試圖達到一種多聲部交織在一起的效果。在第三段當中，鐘聲素材慢慢變化成為有節奏的不和諧聲音來作為固定的節奏音型，采用電子音樂中的LOOP的技術，由少變多、由薄變厚、又弱變強，將音樂情緒不斷推進，再起到鋪底的作用，將全曲推向高潮。

第三部分是全曲的結束部，也可以看作是傳統作曲當中的變化再現部，共三分鐘左右。在這一部分當中，人聲從之前的“旋律”聲部慢慢轉變成為低頻段的鋪底持續音,和高頻段的鈴聲形成一種不同空間、頻段、色彩的對話方式。全曲最終是以人聲作為持續音逐漸淡出的方式結束，這種開放式結尾也正體現出了交互式電子音樂即興多變的創作特點。

《三位一體》這部作品是由中央音樂學院電子音樂中心的馬仕驊、王新宇和鞏子晗三名同學在2012年創作完成的新媒體跨界實時交互式電子音樂作品。作品標題“三位一體”包含兩種含義：第一，這部作品是由音樂、視頻和裝置三部分組成，聲音部分是靠演奏者使用iPad和計算機中的Max程序進行實時的交互和改變來實現的，視頻部分使用了Max程序中的Jitter物件生成實時演算的3D圖像。裝置部分則是使用三塊“亞克力”板拼成一個無底的等邊三角形“金字塔”；其次，“三位一體”的另一個含義是使用了三臺計算機對作品進行控制。這并非一種單純的形式追求，也是由當前計算機性能發展的客觀水平決定的——在作品運行時，每臺計算機尤其是實時視頻和實時音頻計算機已經工作在很高的負載之下，因此想在一臺計算機上同期、實時、穩定地運行《三位一體》中三個主要的控制程序是完全不現實的。在“三分”的前提之下，三臺計算機通過同步的數據通信實現了高度的“一體性”，形成一種實時的交互式融合媒介。

這部作品使用了三個聲音作為原始的聲音素材，然后通過計算機中的Max程序將這三個聲音進行變形處理后進行重新組合跟排列，最終實現音樂的效果上與視頻影像保持材質上的統一。在新媒體交互式電子音樂的理念前提下，作品中所有對聲音素材和影像材料的控制都是通過三臺計算機之間的數據通信進行實時的改變和同步，從而實現一種多元化的交互，而并非單一的聲音或影像的互動。《三位一體》這部作品中聲音部分的特點之一還在于，由于控制聲音的一臺計算機在同一時間沒有影像和裝置兩部分的運算負擔（已分別由另外兩臺計算機負責），只專注于聲音素材的組織及處理，所以計算機可以實時地進行大量聲音處理與隨機運算，這使得《三位一體》這部作品在聲音的豐富性、品質等方面相比一般的交互式電子音樂作品具有明顯提升。

《三位一體》中的視頻影像是通過Max中的Jitter模塊來調用OpenGL軟件接口生成即時演算的3D圖像。觀眾所看到的影像中的所有內容，都是通過接收音頻部分的控制信號來產生實時的變化與發展，達到與音樂部分的完美契合。

作品中的視頻主要分為兩個部分，第一部分是投射在大屏幕上的主視頻部分，為了對應不同的音樂段落和顯示設備，作者將空間中可任意排列組合的立方體作為主要的材料，并將其作為承影面，顯示即時演算的矩陣二維影像。不同的鏡頭角度、立方體組合方式、光源位置的變化、景深的變化與二維圖像的切換等要素的結合，在保證與音樂部分的融合度的前提下，更增添了令人目不暇接的視覺沖擊。第二部分為應呈現于亞克力金字塔中的全息影像。對于這一部分的設計，作者希望使用簡約的圖形與豐富的色彩，以緩慢漸變的方式來烘托靜謐而又空間感十足的音樂氣氛。同樣是使用即使演算生成3D圖像的方法，視頻主體替換為由變色點構成的球體，自由漂浮在黑色的空間中。鏡頭的由遠及近，球體大小變化與拖曳效果產生的線條變化，伴隨著由音頻信號即時觸發的彩色碎片效果，將該段落神秘而又色彩斑斕的聲音特質很好的凸顯出來。

《三位一體》通過八聲道環繞聲場的程序設計，使作品充分利用演出場地的空間拓展了作品的表現力。通過C74應用編程，作品中的iPad、iPhone設備實現了與控制計算機的無線通信，設計者也利用C74中的程序模塊完成了八聲道控制及操控界面的設計、編寫。與傳統的八聲道調音臺操控不同，《三位一體》中的iPad八聲道操控可以實現圖形化操控，即可以直觀地對聲音做圓形走位、交叉走位、搖擺游走等聲場處理。這種程序的設計使得任意一個聲道都實現了圖形化處理。

近些年來隨著科技的發展，全息投影儀已不再是新鮮事物，這種投影技術能將影像從常規的二維平面延展到三維空間中。然而全息投影儀價格昂貴，全息圖像制作復雜。因此，這種技術在新媒體藝術領域里還鮮有運用。《三位一體》的全息金字塔則是一種同時實現全息效果和成本節約的折衷方案，原理是利用光投影到與人眼有一定角度的高透光介質上，因視線角度與四面透光介質使人大腦產生錯覺，因而會有圖像在空中懸浮的全息感。全息金字塔鮮明的優勢在于其制作價格相對便宜，而且技術簡單。在全息圖像的制作上也可以直接使用3D圖像，這就很容易和jitter中的視頻影像相結合。當然，這種折衷也必然帶來局限，其一是全息金字塔對觀賞環境要求較高，需要在較為昏暗的環境中進行；其二是它對觀賞角度的限制較大，創作團隊的同學因此也正在試驗圓形或其他形狀的全息裝置以解決觀賞角度受限的問題。不過，全息金字塔確實以非常“經濟”的方式帶來了新奇、別樣的視覺空間感。