基于game-trak的交互式電子音樂創作技法研究*
——以作品chimes at midnight為例

李亞熙

（四川音樂學院，四川 成都 610021）

電子音樂的發展，從單純靠聽覺來欣賞的具體音樂、磁帶音樂，到包含現場表演的混合型電子音樂，再到可能性更多的計算機音樂，迄今，已走過近70年的歷程。如今，電子音樂發展到成熟階段，特別是隨著錄音技術的進步，各種技術手段不斷完善，使電子音樂可以表現出更加多元化的交互形式關系。顯而易見，多媒融合的交互式電子音樂樣態，無疑是當今電子音樂發展的一個新的歷史時期。托德·溫克勒（Todd Winkler）在《交互音樂創作》一書中對交互式電子音樂定義道：“在音樂的創作或者即興的同時，計算機現場實時的采集現場的數據，使用這些數據對音樂的發生和變化產生影響。”①根據這個定義，所謂交互，需要兩個及以上對象共同來完成。按照交互對象的不同，可以劃分為：人機交互（如：現場真實樂器與實時電子音樂的結合），機機交互（指不同的媒介系統之間的交互關系，如：聲音、燈光、影像等相互結合），組合交互（即上述不同的交互模式同時存在，成為交互式電子音樂中最典型的一種樣式）。本文所討論的作品，正是這種具有組合交互模式特征的交互式電子音樂。

一、Game-trak與交互式電子音樂

由于交互式電子音樂所包含的多媒融合特性，作曲家在創作中，可以使用的樂器種類更加寬泛。這些“樂器”可以是基于聲學樂器的、新媒介產品的，又或是來源于日常生活用品等等。而新媒介的產品可以是MIDI或電子類的“樂器”，又或是其他非音樂領域的電子產品。如，游戲產品、智能移動設備、各類傳感器等。這些“樂器”可以在交互式音樂表演中，通過拾取演奏者的動作數據，將其映射成預制的音樂參數，再實時地生成最終的聲音或音樂作品。例如：最常見的游戲手柄，任天堂的Wii Remote，高爾夫游戲控制器Game-trak，Microsoft為XBOX游戲機設計的體感識別裝置Kinect，Leap公司發布的Leap Motion，甚至我們身邊最常用的iPad/iPhone/iTouch等等。電子音樂創作者可以使用這些控制器，并根據不同的數據傳輸形式達到交互的目的。本文中，筆者的分析，是以Game-trak為例的數據驅動樂器的運用。

Game-trak（高爾夫游戲控制器）是一種基于位置跟蹤技術的三維游戲控制系統的設備，專為家庭視頻游戲平臺設計（如：視頻游戲機和個人電腦），由埃利亞特·邁爾（Elliott Myers）于2000年發明，最早是用于任天堂游戲機控制桿和高爾夫球模擬訓練器。Game-trak的可控界面，主要是兩根類似釣魚線的尼龍伸縮繩。繩索的一端是塑料接頭，可連接專門配置的手套，方便使用者在手持高爾夫球桿時固定或控制繩索；繩索的另一端則是連接到硬殼塑料底座中，末端連著的齒輪，可以實時地識別另一端在三維空間中的相對位置。除此之外，還包括了一個附加的踏板輸入，如圖所示。

Game-trak圖示

演奏者在使用Game-trak控制器時，主要是雙手握住繩索的一端，每只手都可以自由控制3軸數據（即xyz軸），分別表示橫向、縱向與拉伸長度。附加的腳踏板輸入，可以作為非線性數據的映射區以別于繩索。Game-trak的繩索本身拉力彈性反饋很強，可達到12bit的精度，當它進行數據傳輸到Max/MSP中時，自然會獲得更加準確的數據，從而讓創作者可以進行數據的精確計算與控制，使演奏者擁有非常自然且精準的演奏體驗。Game-trak作為一件特殊“樂器”，為當代音樂創作者打開了技術思路與手段，許多作曲家紛紛以其為基礎創作出富有想象力和創造性的音樂作品。例如，美國電子音樂作曲家杰弗瑞·斯托萊特（Jeffrey Stolet）創作的交互式電子音樂作品《繩索的儀式》（2012），王馳的《靈隱》，馮金碩的《繩索與聲線之歌》（2015）以及萬芳2017國際計算機音樂大會（ICMC）獲獎作品《Moving Bits》等。

二、交互式電子音樂作品Chimes at midnight②中的創作技法

作品Chimes at midnight是筆者于2017年為Game-trak和實時影像而創作的四聲道交互式電子音樂，中文名為《姑蘇城外寒山寺》，時長6分15秒。創作靈感源于《楓橋夜泊》中的“姑蘇城外寒山寺，夜半鐘聲到客船。”這一詩句。筆者以寺院鐘聲為主題貫穿整首作品，將鐘聲、風聲、河流、野外環境等具體聲音通過聲音設計系統進行處理，試圖表現詩句中所描繪的意境——靜謐的夜色中伴隨著悠揚的鐘聲。作品使用Game-trak作為實現交互的主要裝置，借助攝像頭采集視覺圖像，以此來觸發聲音素材和影像，并實時控制音樂參數及影像參數的變化。

（一）交互式程序設計

就技術方法而言，能夠編寫和設計交互式電子音樂的平臺很多，例如：Max/MSP、Kyma、Pure Data、AudioMulch、Integra Live等，它們的優勢和功能各不相同，不僅可獨立運行，還可以交叉并用。在創作中，應根據創作目標，對不同的平臺和媒介進行選擇。本文所分析的作品，在聲音和實時影像設計方面，運用了計算機編程語言Max/MSP、DIPS③和Kyma三種創作平臺來完成。其中，Max程序部分，主要負責數據的接收、處理、映射和發送；DIPS負責視覺部分的生成、處理和實時影像輸出；而Kyma，則在接到數據后，負責聲音部分處理和最終的聲音輸出。這三個軟硬件平臺，通過OSC和MIDI信息進行數據交互并協同工作。

Chimes at midnight演奏畫面

如上所述，作品的創作，首先需要用Max來完成控制器Gametrak的數據接收、處理、映射和發送。在Max中得到數據，需要用到人機交互接口物件hi，該物件可以提供來自人工接口外圍設備的輸入（即，觸控板、鍵盤等設備）。Game-trak上的兩根繩索，分別可以獲得xyz三組數據，數據精度達到4096個數值。為了使數據更便于映射給其他功能使用，就需要將數據范圍映射到另一個預存數值范圍內再進行輸出。例如，在作品中就將0到4096映射為0到127，以便于將MIDI信號傳送給Kyma再進行聲音控制，如圖所示。

Max控制數據映射圖示

獲取數據后，還需根據作曲家的設計，將數據進行分類和轉換。作為交互式電子音樂“樂器”最常用的兩種數據形式，即為觸發類和漸變類，通過實際演奏動作進行數據轉換，實際上相當于是在觸發“樂器”開關（Button）和聲音推子（Slider）。Game-trak本身所表現出的6組線性變化數據，便屬于漸變類形式，而附加的腳踏板輸入，則可以用于數據的觸發開關。同時，在實際創作中，為了便于演奏者或作曲家所考慮到特殊動作設計，通常又會從漸變類數據中取一個特定值作為觸發點進行控制。例如，作品Chimes at midnight中，作者僅使用雙手控制繩索。為便于演奏，將x軸滑動到0時觸發一個bang信號進行開關設置，以進一步滿足完成多種表演動作的可能性。

完成了數據的接收和轉化后，最為關鍵的環節，便是數據的準確映射。這種映射關系，賦予游戲設備新的生命，將它轉變成一件可以進行交互的電子“樂器”。作品的聲音設計的部分，由Max將數據通過KymaConnect發送給硬件Paca/Pacarana，并最終由Kyma完成聲音算法的生成與輸出。同時，整個作品的時間節點控制使用Kyma中的Timeline來完成。如上文所述，作者通過Max平臺，可以獲取6組線性變化數據，這些數據在作品中的映射如表格所示。

Chimes at midnight中控制器6組數據的映射

同時，由于聲音算法的改變，數據映射也會發生相應的變化。由此可見，作品中聲音的觸發，音量、聲像的變化，甚至是聲音算法頻率的控制，都可以實時地由Game-trak來操控。這一過程，僅只需要將獲取的數據，映射到一個精確的范圍便可得以實現。

作品的實時影像部分，使用DIPS來生成與變形。將Max中設置轉換好的控制器數據發送給DIPS主程序，控制實時影像的變化。DIPS中實時影像的生成由兩部分構成：第一部分是攝像頭捕捉的人物動態變化；第二部分則是由Game-trak控制的線性變化和影像位置。為了便于實時控制，影像的變化參數及范圍會預先寫入程序中，這樣在實際演奏時，即可減輕演奏者的負擔，同時也利于每一次演奏的完整性。在作品中，影像的觸發和每一次的動態變化映射關系為：當z1軸拉伸距離大于35（范圍為0到127），且x1為0時發送一次變化指令。這個數值的設置，以演奏者拉長繩索到可控制最高處時來確定的，換言之，當演奏者左手把繩索拉到最高再往左邊拉伸到控制器x軸的極限時，影像才會發生變化。這樣的設定，是為了將映射的數據與聲音控制區分開，在控制的同時不會引起誤觸。

（二）交互式電子音樂樂器的演奏

在傳統樂器演奏中，演奏者和作曲家通常是兩個不同的角色。二者需要不斷地溝通磨合，最終呈現出一部完整的作品，其中演奏者的二度創作對于作品的藝術表現十分重要。然而，交互式電子音樂使用的“樂器”并不全是傳統的常規樂器。在應用非常規“樂器”來演奏交互式電子音樂作品時，每一個細微的動作變化都會直接影響到音樂參數的改變，且這種“樂器”的演奏方式變化多端沒有定式，幾乎無法找到像傳統的常規樂器那樣訓練有素的演奏者，因此，這類作品的演奏者往往也就是創作者本身。在創作/演奏過程時，需要通過大量的實驗來確定特定動作，換言之，即需要確定控制器數據的位置所帶來的參數變化是否是作品所需要的。正是由于這些可控參數的實時性，可以預見，每一次演奏這類作品時，實際上都是一次新的體驗和不同的版本。對觀眾而言，每一次欣賞這類作品時，同樣也會有一些不一樣的視覺與聽覺感受。

由于交互式電子音樂所使用“樂器”的特殊性，類似像Gametrak這種原本屬于游戲設備的控制器，在具體使用過程中，對于其表演動作的設計和熟練程度，往往決定著演出的實際效果。因此，當完成了聲音和影像數據的映射后，創作者還需要對演奏的動作進行必要的設計。從而使“動作與聲音具有關聯性，讓觀眾更容易理解演奏者的意圖；動作與控制器的特性相匹配，發掘更加‘地道’的演奏方式；動作適度的夸張，讓演奏更具有舞臺演出效果。”④在演奏中，動作的指向、力度、幅度和速度都會影響觀眾對動作的理解，進而亦會影響作品帶給人的直觀感受。如，在作品Chimes at midnight的演出過程中，演奏者每一次觸發鐘聲的力度和速度不同，直接關系到作品中聲音的變化和音量的增減；當音樂進行到高潮部分時，將繩索快速旋轉纏繞到手上以拉長繩索，則能夠有效地控制音樂起伏；高潮結束時緩慢并輕柔地放回線圈中，在顯現音樂結構點的同時，影像也會隨著動作和繩索的控制產生相應的變化。這些夸張的動作設計，強化了演奏、音樂與影像之間的對應關系，也進一步豐富了舞臺演出的效果。

（三）作品結構與聲音、影像材料

作品時長約6分15秒，分為三個部分，段落的劃分主要以聲音形態和實時影像的對比變化來體現。第一個部分結束于2分40秒處，這一部分以鐘聲為主題拉開序幕，伴隨類似風聲和環境聲引出“姑蘇城外寒山寺，夜半鐘聲到客船”的主題意境。聲音材料及其變形以脈沖型、持續型和游移型的形態為主，結合聲像的變化不斷發展。影像部分是通過攝像頭采集的演奏畫面并實時變形，營造出一種虛幻而神秘的意象。隨著聲音形態的不斷變化，影像逐漸表現出分裂的形態，由一個完整虛幻的人物影像最后演化為繁星點點。

第二部分從2分40秒到5分33秒左右，作為第一部分的變化發展，這一部分的聲音意象加入了類似鈴聲、風雪聲、流水聲等變形材料，融合了持續型、游移型、重復型等聲音形態，從4分40秒開始逐漸發展到整個作品的高潮。同時，影像部分由一條被繩索映射控制的線開始，每一次拉動繩索變化其位置，影像中的線條會隨著控制變化形態和位置。隨著音樂情緒的發展，線條逐漸增加，變化更加豐富。

第三部分從5分33秒到6分15秒左右結束，與第一部分相呼應，回到鐘聲與虛幻人物影像的結合。聲音材料僅使用變形的鐘聲，通過疊加不同低頻的方式改變其音色。使得更為低沉的鐘聲和色彩變幻的影像卻又不同于開始部分，形成簡短而意味深長的尾聲。

三、結語

作曲家將非常“樂器”應用于交互式電子音樂作品創作中，極大豐富了電子音樂的表現性和感染力。對于創作者而言，在給予更多創作空間的同時，還有可能以演奏者的身份，更好地增加了對作品表現的掌控能力。此外，多媒融合的交互式電子音樂作品，對于作曲家跨領域的知識結構和能力提出了更高的要求；對于觀眾或聽眾而言，亦可能在欣賞不同作品的同時，或許也是一個十分有趣的全新體驗過程。

然而，不可否認，目前在使用類似于Game-trak的數據驅動樂器進行交互式電子音樂創作時，仍存在著一些不足或缺陷。如：由于控制器本身的限制—Game-trak繩索的長度有限，不能將其放置太遠，使舞臺表演區域會受到一定限制；由于電子設備靈敏度不高，會導致數據抖動和誤觸；由于線路故障無法進行設備連接或因網絡傳輸問題導致信號不穩定從而使演出中斷等等。此外，與傳統樂器相比，使用數據驅動樂器時，也需要創作者去發掘并逐漸完善更多的表演方式和可能，不斷彌補演出效果的單一性。

顯而易見，在以多媒融合的交互式電子音樂創作中，對于數據驅動樂器的研發和應用，雖還有許多的空間有待于我們去進行探究，但隨著這樣一種新型樣態的不斷開拓與完善，必將為電子音樂的藝術表演樣式，帶來更加廣闊的發展前景。

注釋：

① Todd Winkler.Composing Interactive Music：techniques and ideas using Max.Massachusetts，United States：The MIT Press，2001，P3.

② 作品視聽鏈接：https：//pan.baidu.com/s/1QxMnA0BeJ1lucpomFTiUig

③ Max/MSP的插件軟件“DIPS”(Digital Image Processing with Sound，用聲音進行數字圖像處理)

④ 馮金碩.2000-2015年間交互音樂控制器創新路徑與應用實踐研究[D].中央音樂學院博士學位論文，2017：63.