交互計算機聲音藝術作品《光》的技術分析

王春明

作品簡介

杰弗瑞·斯托萊特是美國俄勒岡大學音樂學院的教授、院長，1984年畢業于美國德克薩斯大學，獲得音樂理論博士學位。是著名的電子音樂家，音樂家，致力于交互式電子音樂的創作與研究。

《光》創作于2008年，又名《汶川》。這首作品的原意是杰弗瑞在2008年在準備到四川講學時，準備的一個范例，內容是交互式電子音樂的作品創作中的一些技術問題。演奏者用兩只微型LED燈來照射電腦屏幕的不同部分，相關軟件對亮度的偵測會形成數據流，而這些數據流會作為觸發音樂的手段?！豆狻肥潜唤芨ト鸱Q為“以數據分析為基礎的音樂表演” （data-based musical performance）類型的作品。

使用平臺

微型LED燈、攝像頭和Kyma系統。

Kyma X是為一種軟件和硬件結合的聲音設計系統。

Osculator

OSC是一種軟件，它能夠被應用在許多不同的硬件設備和軟件項目。它允許通過一種設備產生數據流，更新映射為不同類型信息。許多數據流能夠按時接收，重新映射為不同數據，然后導出。

在OSC支持的硬件設備有：

Iphone（使用Touch osc）、wii、Guitar Hero、3D Navigator、Wacom Tablets。

這些數據能夠被發送至許多虛擬midi軟件，如Max、Live，也還有識別OSC信息的系統，如KYMA系統。

OSc也能識別TUIO數據，數據源自CCV，能夠被OSC接收，然后更新映射和更新。

CCV （Community Core Vision）

CCV的輸出數據像OSC（Open Sound Control）信息，發出一個特別的本地端口（127.0.0.1 port3333）

使用CCV去創造一種“do-it-yourself”的多觸發的環境是可能的，它可以表演音樂或者控制實時圖像。

多觸發界面的出現，可以產生很迷幻效果的可能，好像直覺，多用戶的計算環境。CCV使用TUIO草案（Table-TopUserInterfaces Objects）。

TUIO（Table-top User interfaces Objects）

TUIO是一個開放的框架，定義為常規的協議和API（應用程序界面）和有形的多元觸控界面。TUIO協議允許傳輸交互界面的抽象類型，包括接觸事件和有型的對象狀態。

這個協議編碼的控制數據來源于一個跟蹤應用程序，傳送至任何客戶端應用，能夠實現協議的解碼。

此協議也使用其他幾個項目，連結有形用戶界面和多觸交互界面。API是被一個軟件程序連結交互于其他軟件的實現界面，API應用交互于兩個類似的不同軟件項目之間，這個途徑為人機之間的用戶多功能交互界面。

API通過應用軟件，數據庫和開放系統，去限制他們的詞匯和稱呼以方便性實現。用來實現它們的服務，它包括常規的說明數據結構，項目類何在用戶和API制定者之間的協議應用。

有人可能認為周圍環境的影響是一個純技術問題，但是，本人認為這些對于燈的影響是一個挑戰和機會，是為去產生音樂獨特的方式。

去設計一個方式解決這個問題，一邊能夠調整閾值，是所謂的音符能夠待以觸發。

每一幀畫面被分成32個矩形分散在空間內，為三列8—16—8。有時，只是緊緊這32個位置之一被照亮，這個發亮區域將觸發一個單音。在另一方面，當超過一個區域被照亮，這被同時照亮的多重區域自然會產生一個和弦結構的音響。

如果，當旋轉改變燈的方向，不管是照亮一個區域，還是多個區域，被照亮的多個區域，就不是一個問題，而是一個獨特的創作方式。CCV、NUI、127.0.0.1、port為3333.

使用CCV符合多觸環境，創作只限于自己的作品，多觸界面的出現，使直觀、多用戶、計算環境有很強的潛力。CCV使用TUIO協議。

此外，杰弗瑞還有利用光線的明暗度操控聲音參數的作品。

作品分析

1、技術分析

在《光》中，使用Kyma進行聲音處理，用Osculator映射數據，用CCV Community Core Vision）來視頻捕捉與分析。

《光》使用的攝像頭以大約每秒60幀的速率來捕捉視頻，將視頻轉成數據后，再傳給分析軟件，輸出范圍為0-255。分析軟件把捕捉到的視頻分割為長方形的范圍內，分為三行，每行分別為8，16，8部分，共32個。

當某部分被LED燈照亮時，就會觸發一個音，如果有多部分同時被照亮時，就會發出和聲音響。演奏者通過旋轉LED燈的方向控制照亮的范圍，使聲音發聲得到控制。為了控制亮度與音高的關系，杰弗瑞還進行了相應的設置，如設置亮度閾值，使亮度達到某種數值時，才能觸發某種音高，并且規定兩個相鄰音間的距離不大于0.25秒。

另外，演出環境中的亮度也對聲音變化產生影響，如：電腦屏幕亮度、劇場音樂廳的燈光甚至表演者衣服的顏色和反光度等等。針對這種情況，杰弗瑞設計了一種解決方案，就是對于閾值根據演出場地的燈光情況，來隨時調整，非常靈活。

具體實例：這個是在《光》的開始部分，矩陣中各個部分所對應的MIDI音高（音高排列為常規順序，而且均為鋼琴白鍵自然音，音樂效果近似泛調性）：

以上為MIDI音高編號，實際音高為：

在此矩陣中，被照亮的部分（MIDI編號為31，36，72，81，86， 91）會產生出和弦效果，（實際音高為G2，C2，c2，a2，d3，g3），杰弗瑞認為這是一個非常和諧的音響音響。

再舉一例：endprint

變化前的排列：

變化后的排列：

實際音高為：

此矩陣中音的排列順序和音高較前都發生了變化，這樣即使LED燈只照射同一區域，但是音響也發生變化，使音樂效果的變化更加多樣性。

2、結構分析

《光》時長為6分45秒左右，本作品可以分為三部分。本作品的聲音部分主要分為以下幾種：鈴聲、類似木琴低聲區的聲音。操控LED燈的動作有單手單燈、雙手雙燈（急速和慢速）、雙手雙燈（左手劃半圓狀、右手下行）。

第一部分，時長大約為30秒左右。動作為雙手雙燈，速度為快速，聲音為高頻特點的鈴聲，大部分為雙手的交替照射，也有雙燈的照射，形成音塊和弦的效果。

第二部分，時長大約為4分58秒，是本作品的主體部分。聲音部分包括全部素材，鈴聲和類似木琴的低聲區，包括單音和復音。本段落可以分為三個次級部分，類似于傳統曲式的ABA*結構。速度為慢快慢。在A部分，不密集的單音鈴聲，速度為慢速，然后為雙手持等，左手在上方劃半圓狀，右手在下方下行。在B部分，速度為快速，雙手雙燈交替照射屏幕，音色變為類似木琴低音區的效果，是全曲的高潮部分。在A*部分為A的反復，速度為慢速，先是右手單燈照射，然后是雙手照射，左手在上劃半圓狀，右手在下方下行，音色變化頻繁。

第三部分，時長大約為1分14秒。速度為慢速漸慢，結束為淡出，與樂曲開始時的淡入首尾呼應，起到統一全曲的作用。聲音為鈴聲，動作為單手單燈照射，雙手左手在上劃半圓狀右手在下下行。

參考文獻：

[1]張一兵：“超現實主義視域中的達利與拉康”，《江蘇行政學院報》，2005年第三期.

[2]郭優：“中國新媒體藝術發展的現狀及趨勢”，《新聞愛好者》，2012.5 （下半月）.

[3]陸敏捷：“互動音樂在中國”，《科技文匯》（上月刊），2010年05期.

[4]楊親民，肖瑞蕓：“傳感器的分類與傳感器技術的特點”，《傳感器世界月刊》，97年第3期.

[5]范翎：“論計算機音樂中的音樂表現力”，《南京藝術學院學報》，2006年.

[6]朱詩家：聲音空間控制的藝術_擴散作為電子音樂創作及現場演出的手段及理念，《樂器》，2011年第四期.

[7]王鉉：藝術與技術的交互_之一_互動音樂創作中的藝術表現與技術實現_《樂府新聲》，2010年第二期.endprint