可穿戴設備在交互音樂中的應用

亓夢婕

（中央音樂學院，北京 100031）

可穿戴設備（wearable device）指的是能夠穿戴在人體作為一種輔助工具或植入在人體內的智能電子設備①。隨著科學技術的飛速發展，可穿戴設備已經被廣泛應用于VR和AR等科技領域，在日常生活、教學、健康醫療、交通通信和社交娛樂領域發揮了重要作用，為人們的生活提供了更多的便利和智能化的服務。

可穿戴設備在數字媒體領域的應用涉及多媒體播放控制、健康參數監控、多媒體設備數據控制、新媒體藝術設計、VR游戲設計和娛樂以及智能纖維等，常見的Myo臂環，各式手套，VR、AR眼鏡和頭戴式設備等都是最典型的可穿戴設備。腦電波（Electroencephalography，EEG）傳感器、各類在不同功能的交互系統中特別設計的DIY傳感器和交互系統等技術的發展，為可穿戴設備提供了更豐富的功能。

在藝術創作領域中，可穿戴設備的應用非常活躍。藝術家們試圖從創新科技中尋找全新的方式演繹其藝術理念和追求，體現藝術和技術的融合。筆者僅就交互音樂領域可穿戴設備的應用，特別是近年來發展起來的利用腦電波傳感器進行藝術創作的應用進行闡述。

1 交互音樂領域的可穿戴設備

可穿戴設備對交互音樂的藝術呈現能夠起到極大的輔助和推動作用，并受到越來越多的作曲家、音樂家、舞蹈家和視覺藝術家的關注。它能夠實時拾取數據信息，與表演者融為一體，提供沉浸式的表演體驗，不僅為表演者和觀眾搭建主觀感受與精神感知的橋梁，也使得觀眾能夠更好地對藝術信息進行直接觀察[1]。不論是由廠家設計生產的傳感設備，或是藝術家根據作品和表演的需求進行特殊設計的DIY傳感器設備，它們都拾取表演者動作過程中產生的數據，并傳輸到計算機程序。

可穿戴設備中“可穿戴”的特點，能夠為用戶提供沉浸式的體驗。對于交互音樂表演來說，人體的運動（movement）和姿態（gesture）信息的輸入數據非常重要。可穿戴設備在交互音樂中的數據應用原理包括動作捕捉（motion capture）、動作追蹤（motion tracking）和數據映射（data mapping）等環節。一方面，傳感器被廣泛運用于交互音樂創作和表演，通過實時追蹤人體的動作和加速度等信息，把這些數據傳輸到Max、Pd或Processing等能夠進行實時數據處理的編程環境，將這些數據以聲音或圖像的形式輸出。表演者在舞臺上的一系列動作為觀眾提供了更好的交互感體驗，使觀眾能更好地理解表演者的動作及其藝術效果之間的對應關系。有一些藝術家甚至歡迎觀眾使用作曲家提供的可穿戴設備，參與到作品的創作和呈現環節，這也是交互表演的另一種體現形式。由于用戶與傳感器融為一體，幾乎感覺不到它的存在，從而能把注意力集中在表演本身。另一方面，使用WiFi或藍牙連接的方式，不僅實現了數據的無線傳輸，還保證了表演者在舞臺上的自由度，增加了動作的靈活性，能夠將表演者身體的動作和音樂、視覺影像效果以及其他媒體融為更好的整體。

目前，基于手套設計的可穿戴設備和Myo臂環被廣泛應用在交互音樂的創作和表演中，尤其是腦電波（EEG）傳感器能夠更好地傳達和表現表演者的內心世界。

2 基于手套設計的可穿戴設備的應用

手是人們日常生活中最容易接觸和感知到自然世界的器官，基于手套設計的可穿戴設備自誕生至今已有四十多年的時間。這種設備通過檢測手指彎曲度、手指間的壓力、手指間的相對距離、手掌的運動方向和加速度等數據作為交互系統的數據輸入，并且在佩戴它的同時，仍有可能演奏其他樂器。

1976年，伊利諾伊大學芝加哥分院的里奇·賽爾（Rich Sayre）、托馬斯·迪凡蒂（Thomas Defanti）和丹尼爾·桑丁（Daniel Sandin）設計了一款造價低而且重量輕的手套，被稱為Sayre Glove。光源放置在一種可以彎曲的電子管的一側，另一側連接了光電管。每一條電子管都延伸到手指的長度，電子管中會有光通過，當它彎曲時，光的亮度會發生變化，每個光電管的電壓變化與手指的彎曲程度相關聯。他們使用這個手套進行多通道的聲音控制，模擬控制器推子的使用效果[2]。

20世紀80年代早期，麻省理工學院建筑機械組（Architecture Machine Group）和媒體實驗室（Media Lab）的研究人員利用帶有基于照相機的LED系統進行動作捕捉和追蹤，在他們設計的手套上鑲嵌了LED燈，通過把最終的信號集中在手部，得到手指的動作信息。這個LED手套在當時只用來進行動作追蹤，并沒有作為控制設備使用。另外還有其他幾種不同的設計，例如由托馬斯·齊默爾曼（Thomas Zimmerman）和其他研究人員共同研發的DataGlove，可以檢測每一只手上的十個關節和手的位置及方向，它的重量更輕、穿戴更舒適，而且兼容性更強，之后由VPL 研究中心進行商業推廣，被廣泛應用。

麥特爾·托伊思（Mattel Toys）受到DataGlove的啟發，在20世紀80年代中期發明了Power Glove作為游戲控制器。保羅·迪·馬林斯（Paul De Marinis）受此啟發，他將手套上的彎曲傳感器（ fi nger fl ex sensors）部分保留下來，使其在音樂表演中用手指控制音高、觸發開始和結束的時間點以及保存某一個音樂段落的數據等。1991年，蕾蒂西亞·索娜米（Laetitia Sonami）與迪·馬林斯在奧地利的林茨舉行的電子音樂節Ars Electronica Festiva演出作品《Mechanization Takes Command》時用到了索娜米設計的手套設備，在橡膠手套上放置磁性傳感器來觸發信號。一年后，索娜米又在此基礎上設計了帶有五個微動開關和磁傳感器的手套，這樣她的左手可以實施完全的控制，并空出右手來控制旋鈕。在荷蘭電子樂器音樂實驗室（Studio for Electro Instrumental Music，簡稱STEIM）駐地創作期間，索娜米設計了著名的“女士手套”（Lady’s Glove），指尖部分嵌入了微動開關，彎曲傳感器用來感應手腕和中指的彎曲度，每個手指的感應器都能接收兩組數值，用以辨別手指上兩個關節的彎曲程度。指尖部分裝有磁性感應器，拇指部分裝有磁鐵，可以偵測到每個指尖與拇指的距離。這個設備在食指和拇指上裝有一個壓力墊，在手掌上還有一個超聲波發射器，與腰帶和鞋子里的接收器一起使用。這個設計使表演者能夠通過手腕和手指的彎曲、每個手指之間相對位置的移動、手指之間的按壓、開啟或關閉指尖的微動開關以及手指和身體的相對位置來控制音樂的參數。這個手套的設計使單一手指的運動改變了多種參數的變化，因此能夠對聲音進行多次和多種參數的控制，進而能夠自如地對音樂表情進行控制[3]。

在托德·麥克弗（Tod Machover）的作品《bug-mudra》（1990）中，他使用Exos DHM②設備來控制交互音樂表演中的音樂參數，計算機系統拾取兩位吉他演奏家和一位打擊樂演奏家的聲音，并在表演中對這些聲音進行實時合成。指揮的左手佩戴了DHM，通過它在指揮時進行音色的混合、聲相變化以及多聲道聲音的比例調節。木村麻里（Mari Kimura）也是一位使用手套設備進行交互音樂表演和創作的音樂家。她利用“μgic”傳感器提取小提琴演奏中弓法和力度的變化，使用WiFi與計算機進行信號傳輸，并與實時的計算機音樂相結合，獲得了非常有效的演奏效果，這成為她在交互音樂表演中的標志性創意設計。

3 基于肌電傳感器的Myo臂環

許多已經在市面上可購買的可穿戴設備在設計之初并沒有以藝術設計和創作為目的，而是服務于醫學、科技和通信等專業領域，但它們獲取到的人體運動、動作、手勢，甚至一系列生物信息，如心跳、腦電波和肌肉緊張度的信號，都可以通過計算機將這些信息進行讀取、保存、處理，成為藝術創作的重要數據和素材，并實現交互表演。

Myo臂環是由Thalmic Labs設計的可穿戴的動作捕捉和數據控制設備，通過藍牙進行無線控制，與計算機、智能手機或其他電子設備進行數據傳輸[4]。Myo臂環由8個包含肌電圖（EMG）傳感器、加速度傳感器、陀螺儀和磁力計的九軸慣性測量單元（IMU）組成，通過識別手臂的運動方向、肌肉緊張度、手掌和手指的動作、加速度以及方向等得到大量的數據。它能夠通過OSC協議將獲取的數據傳輸至多種應用程序中，同時為藝術家提供了在眾多編程環境下工作的可能。

由于佩戴方便而且不影響表演者的動作幅度，Myo臂環極大地優化了表演者的沉浸式體驗效果，不僅對樂器演奏家來說非常便捷，對于舞蹈和戲劇演員等需要在舞臺上進行大幅度動作表演的藝術家來說，也非常方便。它的優勢還體現在利用它進行人體運動追蹤的信號不受維度的限制，只要在藍牙信號覆蓋范圍內，就可以穩定地拾取并傳輸數據。

SALTO（全稱為Sensory Aerialist eLecTrOacoustic system）是為高空表演而設計的包括Myo臂環、數字聲音合成和電子音樂等模塊的交互式表演系統。克里斯蒂安娜·羅斯（Christiana Rose）及其創作團隊在2016年創作的《Splinter》是為高空舞蹈表演和SALTO系統創作的交互式電子音樂作品（圖1），通過Myo臂環采集數據將高空舞蹈表演者的身體語言轉譯成聲音素材。在這個作品中，盡管由于演員的動作變化和移動而產生動作信息確認的不準確和不穩定的問題，但這種形式為作曲家提供了更多捕捉全方位動作信息的可能性，在技術領域仍然是一種突破。

圖1 《Splinter》高空表演

圖2 MyoSpat 系統工作原理[6]

就讀于伯明翰音樂學院的巴拉迪諾·迪·多納托（Balandino Di Donato）也是熱衷于探索動作追蹤與交互音樂的藝術家，尤其善于使用帶有Myo臂環的交互系統的應用和研究。他與詹姆斯·杜利（James Dooley）共同設計的MyoSpat是一個交互聲音—視覺影像系統（圖2），旨在通過表演者用手勢和動作信息直接控制聲音和燈光效果，增強作品的藝術表現力[5]。MyoSpat 2是根據Myo動作控制作為數據輸入，在Pure Data編程環境進行動作數據識別和聲音—影像處理的更新版本系統。

在這個系統中，Myo Mapper③從Myo臂環提取并轉換數據，傳輸到OSC；使用ml-lib（機器學習庫）外部插件④在PD（Parallels Desktop）環境中進行動作識別和聲音—影像信號的處理和空間化呈現；用Arduino將序列數據傳輸至DMX來控制燈光的效果。在MyoSpat的資料庫中有六種動作識別設置，手臂的每一個動作都對應一種聲音數據的處理方式，例如音高變化、振幅調制參數和3D空間變化等。埃莉諾·特納（Eleanor Turner）是豎琴演奏家和作曲家。特納在她的作品《The Wood and the Water》中也使用了MyoSpat交互音樂系統進行創作和即興表演，產生了豐富的藝術效果。MyoSpat在其他領域也得到了廣泛應用，例如舞蹈表演和虛擬現實等。

4 腦電波傳感器的應用

在過去的幾十年中，醫學、神經學和心理學等領域的研究人員一直致力于腦電波的研究，并取得了顯著的成果。在此基礎上探索使用腦電波信號，成為藝術家進行創作的新技術手段。

截至目前，已有許多公司研發了基于腦電圖描記法（EMG）的生物傳感設備，用來獲取人體的生物信息數據，例如Emotiv、NeuroSky、iWinks、MUSE。通過獲取大腦活動中的腦電波，得到表演者在放松、冥想或思考等不同情緒狀態下的腦電波數據。

艾爾文·盧西埃（Alvin Lucier）被公認是較早使用腦電波進行創作的作曲家[7]，他在1965年創作的作品《為一位表演者而作的音樂》（Music for Solo Performer）使用了EEG電極檢測表演者在冥想時的alpha腦波，這個腦波信號產生的聲音與舞臺上的打擊樂器產生共振，在舞臺空間中構成極具戲劇性的效果。表演者的腦電波首先輸出到差分前置放大器，然后進入八組立體聲放大器。舞臺上共有16件樂器，包括鋼琴、鼓、吊镲、金屬垃圾桶和硬紙板等。這些樂器上都安裝了小型的揚聲器，能夠使alpha腦波傳輸到揚聲器時與聲學樂器產生共振，這在當時的實驗音樂領域引起了轟動。圖3所示為2009年9月26日，艾爾文·盧西埃在倫斯勒表演藝術中心演出的海報。

圖3 盧西埃演出海報⑤

圖4 麗莎·樸在表演中⑥（圖片來源：Olivia Chow）

圖5 腦電波信號在編程軟件中的圖示（圖片來源： Olivia Chow）

麗莎·樸（Lisa Park）是一位交互裝置藝術家，她的作品多采用人體的生物信息作為交互系統的輸入數據，例如人的心跳和腦電波等。她的交互電子音樂作品《Eunoia》創作于2013年。這個標題在希臘語中被譯為“美妙的思考”，表達對人類五種情感（喜、怒、哀、惡和欲）的思考，這五種情感構成了一個無限的人類情感統一體，也從另一個側面體現了作者對采用腦電波進行藝術創作的追求，力圖使用最直接而美妙的方式體現大腦思考的美感。她使用NeuroSky公司設計的EEG頭戴式設備，獲取大腦的活動數據，包括delta、theta、alpha和beta腦波，同時監測眼睛的活動。這些數據實時進入編程軟件，并以圖示的形式體現出來（圖4～圖5）。在這部作品中，麗莎·樸使用了一種更加清晰可見的方式為觀眾呈現這些腦電波信號所產生的效果。她在5個24英寸的金屬盤里覆蓋了一層水，并在金屬盤下方分別安裝了15英寸的揚聲器，通過揚聲器與金屬盤的共振，水面呈現出不同的波紋。麗莎·樸將腦電波信號傳輸至實時編程環境Max和Reaktor，生成帶有回聲效果的聲音。水在金屬盤里的波動取決于聲音的音量、聲相和頻率，這些參數隨著大腦活動和情緒的變化而產生變化。此外，她還創作了許多使用腦電波的交互式音樂和裝置作品，例如《Eunoia II》、《Eudaimonia》以及大型聲音裝置《NUE》等。

2013年，斯坦福大學教授克里斯·舍費（Chris Chafe）與致力于研究痙攣癥狀的約瑟夫·帕維茲（Josef Parvizi）教授合作，將病人的腦電波信號轉譯為音樂。舍費使用了一個接近于女聲的聲音素材，目的是為聽者提供一種更容易接受和理解神經活動的聽覺體驗。他們后來設計了一種可以進行實時監測病人腦電波的設備，能夠在任意時間獲取腦電波信號，他們把這個設備稱為“大腦聽診器”。帕維茲選擇了大腦中一百多個神經元作為信號源，舍費從這些神經元中選擇一部分信息來調制女聲的音高頻率，隨著腦波活動的逐漸頻繁使音高產生相應的變化。與此同時，女聲的音調、音色也在發生改變，每個神經元信號都成為一個演唱聲部，整個音樂呈現出高低起伏和律動的變化。

將腦電波用于音樂創作的這些藝術實踐活動，并不僅僅存在于嚴肅音樂或實驗音樂領域。爵士鼓手威廉·胡克爾（William Hooker）和歌手羅拉·法耶（Lora Faye）把腦電波信號與爵士樂表演相結合，腦電波信號生成的聲音擔任音樂中的一個重要聲部，這成為獨具特色的爵士樂表演方式。

5 結語

托德·溫克勒（Todd Winkler）曾提到：“交互音樂系統使用軟件來控制音樂的各項參數，體現音樂的藝術表現力……人的動作作為輸入信號和數據，也已經被頻繁地應用在交互音樂系統中……將動作數據轉換為音樂信息的方法，為表演者提供了參與感和創造性……這種交互感取決于表演者的自由度和對產生的效果的感知，以及計算機程序對于表演者動作信息的反應和轉譯能力。”[8]使用可穿戴設備進行交互音樂表演，更突出地體現了溫克勒所說的交互音樂靈活性和創造性的特點。

近年來，交互音樂在科技不斷進步的大背景下得到持續的發展，可穿戴設備也在不同領域得到廣泛的應用。可穿戴設備的靈活性和隱蔽性為表演者提供了更大的自由空間，在這種極具沉浸感的表演中，表演者能夠在表演空間內對自身有更明確的感知，將交互音樂表演中的動作姿態與最終呈現的音樂表情融為一體。可穿戴設備在交互音樂中的應用，縮小了表演者與觀眾以及表演者與自身的距離，增強了他們的參與感和沉浸感，極大地拓寬了藝術家的創作手段和工具的可選擇性。當前，這種跨學科的新媒體藝術創作與多媒體形式的合作形式也在快速發展。以上提到的這些可穿戴設備為藝術家提供了探索聲音、畫面、文字和結構等元素的多樣融合方式，并被廣泛應用在交互電子音樂、裝置藝術、舞蹈和戲劇等領域，通過實時地將表演者或觀眾的身體動作信號和生物信息轉換為相對應的輸出信息，極大地增強他們的參與感，并拓展了藝術的表現力。

注釋：

① 來源于https://en.wikipedia.org/wiki/Wearable_technology

② Exos DHM，全稱為Dexterous HandMaster，最早是由亞瑟·利特爾（Arthur Little）設計的，它應用霍爾效應傳感器作為電位器，準確地測出每個手指的三個關節的彎曲程度、手指外展的位置和拇指復雜的動作。

③ Myo Mapper是由多納托研發的開源應用程序，能夠將Myo臂環的數據映射到OSC信息，該項設計曾在2017年獲JUCE Award獎項。

④ ml-lib是在為Max和PureData編程環境設計的機器學習資料庫。

⑤ 來源于http://empac.rpi.edu/events/2009/fall/slowwave/music-solo-performer

⑥ 來源于https://creators.vice.com/en_us/article/vvygzm/eunoia-seeking-enlightenment-by-trackingbrainwaves

[1]Federico Visi et. al., Musical Instruments, Body Movement, Space, and Motion Data: Music as an Emergent Multimodal Choreography, human technology, Vol. 13(1), pp. 58-81, May 2017.

[2]David Sturman, David Zeltzer, A Survay of Glove-based Input, IEEE Computer Graphics & Applications,pp. 30-39, January, 1994.

[3]Joel Chadabe, Electronic Sound - the past and promise of electronic music, Prentice Hall, pp.229-230.

[4]Christiana Rose, SALTO: A System for Musical Expression in the Aerial Arts, NIME 17, Aalborg University Copenhagen, Denmark, May 15-19, 2017.

[5]Balandino Di Donato, James Dooley, Myospat: A System for Manipulating Sound and Light Through Hand Gestures, Proceedings of the 3rd Workshop on Intelligent Music Production, Salford, UK, 15 September, 2017.

[6]Balandino Di Donato, James Dooley, Myospat: A System for Manipulating Sound and Light Through Hand Gestures, Proceedings of the 3rd Workshop on Intelligent Music Production, Salford, UK, 15 September, 2017.

[7]Volker Straebel, Wilm Thoben, Alvin Lucier’s Music for Solo Performer: Experimental music beyond soni fi cation, Organised Sound, 2014, Vol. 19(1), pp. 17-29,Cambridge University Press.

[8]Todd Winkler, Making Motion Musical: Gesture Mapping Strategies for Interactive Computer Music,Proceedings of the 1995 ICMC.

[9]Federico Visi et. al, Musical Instruments, Body Movement, Space, and Motion Data: Music as an Emergent Multimodal Choreography, Human Technology, Vol. 13(1), pp. 58-81, May 2017.

[10]David Sturman, David Zeltzer, A Survay of Glovebased Input, IEEE Computer Graphics & Applications,pp. 30-39, January, 1994.

[11]Joel Chadabe, Electronic Sound - the past and promise of electronic music, Prentice Hall, pp.229-230.

[12]Todd Winkler, Making Motion Musical: Gesture Mapping Strategies for Interactive Computer Music,Proceedings of the ICMC, 1995.

[13]Christiana Rose, SALTO: A System for Musical Expression in the Aerial Arts, NIME 17, May 15-19,Aalborg University Copenhagen, Denmark, 2017.

[14]Balandino Di Donato, James Dooley, Myospat: A System for Manipulating Sound and Light Through Hand Gestures, Proceedings of the 3rd Workshop on Intelligent Music Production, Salford, UK, 15 September, 2017.

[15]Volker Straebel, Wilm Thoben, Alvin Lucier’s Music for Solo Performer: Experimental music beyond sonification, Organised Sound, Vol. 19(1), pp. 17-29,Cambridge University Press, 2014.

[16]https://www.datagarden.org/blog/richardlowenberg-interview

[17]https://www.musicmotionalliance.com/projects/2016/10/23/koto-japanese-and-electronicmusic-created-with-brainwaves

[18]https://creators.vice.com/en_us/article/nz4eez/thiseeg-helmet-makes-music-from-brainwaves

[19]http://www.balandinodidonato.com/myomapper/

[20]https://news.stanford.edu/news/2013/september/seizure-music-research-092413.html