聲音設計與傳感器技術應用探究
——以Alexander Schubert的作品Weapon of choice為例

陳夢璐

一、作品簡介與創作背景

（一）作品簡介

Weapon of choice 該作品通過使用傳感器捕捉演奏者的動作，并對其動作進行數據化處理后，從而得到音頻與視頻的實時呈現，以多種方式擴展了小提琴演奏者表現的可能性。一種新的音樂表演方式被創造出來，使演奏者的整個身體成為復雜樂器的一部分，在一個場景化的、可直觀感知的場域中，基于現場處理的方式來完成的一件作品。

（二）創作背景

這個作品是在MAX/MSP 平臺制作完成。交互方式是通過一個連接在演奏者手腕上的傳感器來實現的，它可以感知琴弓的方向、速度、力度。在演奏者面前放置了一個攝像頭，讓他可以通過紅外線感應，根據演奏者的動作實時創造音頻、視頻，這樣就形成音頻、視頻與演奏者間的互動。

在手腕上連接一個傳感器，使演奏者能夠實時處理演奏的音頻材料。相對于由作曲家或固定的時間線來控制音頻處理，這為演奏者提供了很大的自由度和靈活性。此外，作品的結構也試圖拓寬演奏者弓子、手和上半身動作相關的表達方式。將手勢融入到場景中，形成了作品的一個重要部分，在這個作品中，現場電子和感知到的身體運動是相輔相成的。通過伸展的弓臂及其動作來保持聲音和重新觸發演奏材料的可能性，將傳統用小提琴創造聲音的方式轉變為一種新的形式?，F場視頻完全是通過演奏者的動作來創造的。因此，音樂、視頻和動作之間的相互作用可以創造出不同形式的同步和對位。

這個作品所要表達的是一種武士精神，它使用較大的動作和強大處理播放的材料來詮釋這種武士精神。

二、Wii 傳感器

此作品運用到的是Wii 傳感器。我們需要知道的是Wii 傳感器是什么？為什么可以通過傳感器去設計聲音？它是怎么實現聲音的設計？

Wii 是任天堂公司于2006 年11 月19 日所推出的家用游戲主機，Wii 是家用游戲機的第七代。Wii 的基本硬件包括有主機、動作識別傳感器、主遙控器和梭形控制器（因兩控制器有線連接而被稱為“雙節棍”）。

Wii 設計里最獨特的“體感操作方法”，體驗者將遙控手柄綁在手上，通過手位置的變化來控制面板的光標，從而有效的提取出相應的數據。也就是說，在作品Weapon of choice 中，演奏者把手持遙控器幫在手上，揮弓力度和速度等數據都會被全記錄，這些數據早在之前就設計好了對應的音頻、視頻效果的呈現。這樣就可以實現實時交互。演奏者現場產生的聲音效果以及視頻效果就是根據這些數據反饋來的。當然這種實時交互的每一場都是不一樣的，雖然數據是一樣的，但是我們無法保證演奏者每一場都是百分之百完全一樣，在專業的演奏人員都無法保證演奏同一首，每次都是百分之一百一樣。我們所有的呈現都是根據演奏者當時演奏情況而來，也就是說，同樣的演奏員揮弓的力度大了一點點；或者快了0.1m；或者演奏人員對這句的情緒理解產生了新的變化等等，最后導致的音頻、視頻的呈現都是不一樣的。所以實時互動音樂，每一場都是獨一無二的。

Wii 有如此靈活出眾的操控方式，歸功于遙控器內部的三維加速度傳感器芯片，加速度傳感器芯片負責將三維位置的力度和移動速度記錄下來，并通過主機映射到屏幕上。三維加速度傳感器芯片屬于集成電路芯片，可以記錄下物體移動速度和位置變化情況。

梭形控制器里面就有三維加速度傳感器芯片，梭形控制器的移動速度、方向、力度都被記錄在芯片中，所以演奏者的一舉一動都能通過梭形控制器被詳細的記錄下來，通過藍牙發送到主機，主機接受到數據后通過與之前的位置數據進行比較和運算而得到當前的位置，這樣就能實現屏幕游標的改變，演奏員揮桿動作相應就形成了聲音的變形、音量大小的變化、效果器的變化等。這些聲音設計的方法都是來自Wii 在游戲設計中的體驗。

三、聲音與傳感器之間交互設計的實現

（一）交互設計

交互設計，又名互動設計，是定義、設計人造系統行為的設計領域。它概括了兩個及兩個以上個體之間交流互動的結構和內容，讓其互相配合，為達到某種共同的目的。在人機交互中，交互的三個要素：機器/系統、人、界面。交互的方式：輸入和輸出的過程即為交互過程，以人機界面為媒介向計算機輸入指令，經過處理后計算機把輸出結果呈現給用戶。交互的形式：交互的形式呈多樣化，是由于這種輸入和輸出的形式是多種多樣的。

（二）聲音與傳感器之間的三重思維設計

交互電子音樂設計思維是基于抽象藝術、音樂和作曲技術理論以及計算機之上的一種思維模式，其與以上三門學科的合作關系是多維的。交互的不同部分決定了作曲家必須選擇不同的思維模式?！敖换ァ焙汀半娮右魳贰笔菢嫵山换ル娮右魳返膬纱蟛糠?，作曲家在演出前完成前期的互動流程設計，演出過程中則只需扮演演奏者，在計算機旁或其他互動設備前進行操作。

從技術和理念的角度看，電子音樂、磁帶音樂和具體音樂呈現的是一種音樂的“結果”，而交互式電子音樂在追求“結果”的同時還追求音樂的“過程”。撇開創作過程不談，交互音樂表演本身就完全顛覆了過去任何一種音樂風格的表演方式。身兼數職的交互電子音樂創作者面臨的最大的挑戰之一就是創作聲音、程序編寫、實時演奏的三重設計思維。

（三）聲音與傳感器之間的系統設計

通常，交互電子音樂系統分為輸入、反饋和輸出三個組成部分。托德·溫克勒將交互音樂系統的建立總結為五個步驟：

步驟一、人為和樂器輸入：通過控制器、傳感器拾取舞臺表演者的動作信息來收集數據，轉換成數字信號輸送到計算機。

步驟二、計算機讀取與分析：計算機讀取信息后，對音樂元素（如速度、節奏、音高、音量等）和數據信息進行翻譯和分析。

步驟三、傳譯：軟件對計算機接收的信息進行解釋，生成可以用來制作的數據。

步驟四、計算機作曲：計算機程序對上述生成音樂的各個方面做出反饋，進入創作過程。

步驟五、聲音生成和輸出、表演：計算機創建聲音，通過自身和一系列發生裝置共同實現聲音的輸出。

其中，步驟一、二需要傳感器對弓子的揮動力度、速度、方向做出快速、準確的分析，計算機負責接收信息。后三個步驟則由作曲家發揮其作曲技術和藝術想象空間，用弓子的揮動力度、速度、方向等給到計算機指令，從而使計算機得出最后的音樂效果，并使其表現出來。這些表演信息可以用計算機程序得出成千上萬種算法表達，也可以將原始的聲音通過這些算法做出無數種處理和變形。因此，為創建某種交互電子音樂系統，作曲家不光需要充分發揮創造能力去創作、設計、選擇、調整，還要設計出程序中每一個具體步驟的具體實施方案。

在Weapon of choice 曲子中，需要用到外部獨立軟件OSCulator 運行，在OSCulator 中打開OSCulatorpatch，按下“press Pairing”按鈕，這樣程序就會尋找控制器，之后在按下Wii 控制器里面的紅色按鈕，它就會創建一個連接。

交互電子音樂在技術特征上分為實時處理聲音和實時控制聲音兩種類型，作品Weapon of choice 使用實時處理聲音。這種類型在系統上的設計流程是原始采樣聲音——傳感器——計算機程序——實時合成實時變形——聲音輸出。形成演奏者通過樂器與計算機系統進行實時的交互演奏，利用設計好的程序對聲音進行實時的合成、變形，在反饋出來，與演奏者進行互動。作品Weapon of choice 還使用了實時控制預制聲音，這種類型在系統上的設計流程是與之聲音數據MIDI 信號——傳感器——計算機程序——數據映射實時處理——聲音輸出。這種交互方式類似于MIDI 技術的概念，預先完成音樂的框架，將某種主題聲部和即興聲部之間形成并完成互動。觸發預制好的聲音數據，通過傳感器、數據驅動控制器或其他媒介。計算機通過對現場演奏進行實時映射、處理和改變信號，完成即興演奏互動。

四、作品Weapon of choice 中的聲音設計

（一）聲音設計的概念

聲音是表達電子音樂藝術的核心所在。可以設計出屬于自己的聲音對于創作電子音樂來說十分重要，大多數作曲家在創作電子音樂時找尋新的音色、新的方法，使得聲音進行合成、組織、變形，讓聲音成為變化參數，從而可以對音色進行重新塑造。聲音合成，采樣和信息處理算法等都可以實現音色的重塑。

（二）實現聲音設計的方式

1、采樣與合成

在聲音的選擇方面，作品Weapon of choice 中運用了采樣小提琴聲音、合成器聲音。音色重塑的過程，作曲家非常注重聲音品質的處理和把握，他所使用的技術主要包括：分析與再合成、粒子合成、減法合成、梳狀濾波等手段。

2、聲音的預制

得到合成聲音之后，將這些聲音有理化放置，根據時間軸對聲音的預制部分進行排列。在Max/MSP 里面以羅馬數字排列聲音模塊的發聲順序。對于預制部分的聲音發展，Alexander Schubert 在傳統作曲思維基礎上，從設計音樂結構到音樂內部層次構思。一個音樂形式為發展中心，通過作曲技巧、各種效果器、合成技術等方式對音樂進行發展，這種方法類似傳統音樂寫作中的動機發展手法。

3、聲音的實時

做出整體音樂框架設計之后，作曲家通過設計好的程序來控制聲音的觸發、速度及空間效果等。作品Weapon of choice 中對聲音最基本的控制就是源于弓子的移動。從弓子的速度、力度、方向等控制整個音樂的發展脈絡。對于聲音的實時部分，作曲家運用Max/MSP做出各種效果器，以弓子的速度、力度、方向等以及音頻工程師，來共同控制著效果器的開關，強弱。最后呈現的聲音都是根據現場演奏者的演奏表現出來，具有一定的未知性，這部分主要依靠演奏者的把控、對音樂的理解等。值得探討的是，全曲沒有固定音高，依靠小提琴演奏者的積累、對音響、音色、音樂的理解。

4、演奏的感性化理解

在這首曲子里，沒有五線譜、沒有具體的音高關系。作曲家把譜子圖像化，文字化。所有的演奏都是來自作曲家與演奏人員的溝通，以及演奏者自身的理解。這對演奏者來說即是一種考驗，又是一種對音樂的新的體驗。

圖1

如圖1 傳感器（弓子）與聲音設計的應用：在這里弓子也就是傳感器，弓子一個強烈的運動會觸發前100毫秒的記錄，形成時間上的緩沖區，這個緩沖區然后作為一個循環播放，其中弓的音高和方向決定了緩沖區中循環的起點和終點(根據位置不同，它的變化范圍在5到100 毫秒之間)。

這里有‘三名演奏者’分別是小提琴、實時電子音樂、預置聲音（在這里我想強調的是在我的理解里，以及在我創作混合類電子音樂時，聲樂樂器是一個演奏者，雖然實時電子音樂是依著于聲樂樂器的產生而產生，但它不是聲樂樂器的附屬與伴奏，而是同等地位的存在。預置聲音同是。）：第一行Geige 表示小提琴演奏者，這里音樂呈點狀，是要小提琴演奏類似打擊樂聲音，并且保持節奏循環；第二行Elektronik 表示實時電子音樂，這里作曲家設置一種聲音效果，由演奏者通過傳感器將實時演奏的聲音變形而得到。在這里傳感器是演奏者與電子音樂的媒介。第三行tape 表示預置聲音，已經做好的聲音在這一個點被觸發播放出來，這是一種提前做好的音頻素材，只需播放，不需要復雜的計算機演算。最后‘三個演奏者’一起演奏把這種素材推到一個高點。這是第一部分。整首作品都是由這‘三名演奏者’完成，就像一個三重奏的室內樂作品。

圖2

如圖2，傳感器（弓子）與聲音設計的應用：弓子的強烈的運動觸發播放之前的材料。這里主要是電子音樂密集的侵蝕入小提琴音樂，與小提琴音樂疊加、交織在一起。這里相應了主題：武器。將電子音樂與小提琴音樂看成兩件武器，并相互斗爭著。預置音樂將這種斗爭升華，使其更加激烈。這在傳統作曲中可以看成復調音樂。這是作品的第三部分。

如圖3，傳感器（弓子）與聲音設計的應用：運用弓子來觸發低音磁帶的循環播放、觸發暫停。每次新的強移動觸發16 個預置聲音，每次移動觸發循環播放器開始新的循環，最后一個強烈的動作觸發下一個動作。

圖3

作品的第四部分，主要的材料有：直接響亮的聲音、沒有聲音的運動、直接響亮的聲音、沒有聲音的運動。這種相互的交錯，直至最后‘三個演奏者’的快速強烈的聲音運動。

結 語

本文通過對傳感器、聲音設計相關問題、創作背景、思維，對交互電子音樂的概念和特點以及交互中聲音設計思維進行了梳理?？梢匀齻€層面挖掘出電子音樂創作中聲音設計的整體特征：1、交互電子音樂創作中聲音的三個特點：控制性、即興性、不確定性。2、交互電子音樂主要研究聲學樂器與計算機之間的互動形式，從而開拓音樂創作的邊界。3、交互電子音樂創作的實現需三種創作思維：創造聲音、編寫程序，實時演奏，交互電子音樂實現的過程需要作曲家思考到每一個程序、每一步音樂發展。通過上述研究，希望可以為下一步深入研究交互電子音樂創作的技術特征和藝術特征做出鋪墊并提供理論支持。