基于光學(xué)多點(diǎn)觸摸技術(shù)的交互式電子音樂(lè)探究

任 瑞

基于光學(xué)多點(diǎn)觸摸技術(shù)的交互式電子音樂(lè)探究

任 瑞

（寶雞職業(yè)技術(shù)學(xué)院藝術(shù)體育系,陜西寶雞,721013）

本文采用光學(xué)多點(diǎn)觸摸技術(shù)和交互式電子裝置，設(shè)計(jì)了應(yīng)用與電子音樂(lè)創(chuàng)作的應(yīng)用實(shí)踐，并結(jié)合其中的技術(shù)，對(duì)其軟件編程等進(jìn)行了著重的闡述。

多點(diǎn)觸摸；交互式；電子音樂(lè)

1 多點(diǎn)觸摸技術(shù)概述

1.1 多點(diǎn)觸摸定義

所謂的多點(diǎn)觸摸，其則是指允許用戶運(yùn)用計(jì)算機(jī)裝置，通過(guò)手指來(lái)對(duì)圖形裝置進(jìn)行控制的一門技術(shù)。熱多點(diǎn)觸摸設(shè)備由可觸摸設(shè)備或者是觸摸板來(lái)構(gòu)成，并通過(guò)軟件來(lái)對(duì)觸摸點(diǎn)進(jìn)行識(shí)別。

截止到現(xiàn)在，實(shí)現(xiàn)多點(diǎn)觸摸的技術(shù)其通常有很多，既可以選擇介質(zhì)的觸摸技術(shù)，也可選擇無(wú)介質(zhì)的觸摸的技術(shù)。而在有介質(zhì)的觸摸技術(shù)當(dāng)中，其同時(shí)又可被分為光學(xué)和電學(xué)兩個(gè)技術(shù)。使用電學(xué)的觸摸則包括電阻和電容所構(gòu)成的觸摸裝置，該類型通常其體積都比較小。而基于光學(xué)的其觸摸板的體積在通常情況下都比較大。

1.2 多點(diǎn)觸摸技術(shù)介紹

（1）受抑全內(nèi)反射技術(shù)

該技術(shù)最先是由JeffHan所提出的光學(xué)感應(yīng)方法。其主要是借助光的全內(nèi)發(fā)射，原理則為其當(dāng)光從高折射率介質(zhì)射入到另外介質(zhì)當(dāng)中的時(shí)候，其入射角在大于一定的特定角度的時(shí)候，其光束則會(huì)被全部反射到原來(lái)的介質(zhì)當(dāng)中，而不發(fā)生折射。該技術(shù)則是根據(jù)這個(gè)原來(lái)，是紅外線在亞克力板的內(nèi)部產(chǎn)生全內(nèi)反射，同時(shí)不讓光線逃出。當(dāng)用戶在用手指接觸到該觸摸板的時(shí)候，其介質(zhì)點(diǎn)內(nèi)部的光纖則會(huì)被全部打破，而此時(shí)光線則會(huì)通過(guò)接觸的介質(zhì)反射，并將這些光線向下進(jìn)行傳播。而當(dāng)光線在向下進(jìn)行傳播的時(shí)候，其內(nèi)部的紅外線傳感器則會(huì)感知，將出點(diǎn)信息進(jìn)行捕捉，并作進(jìn)一步的處理。

（2）散射光照明（DI）技術(shù)

該技術(shù)則主要包括兩種不同的形式：前置和背面散光。而這兩種技術(shù)其都源自于同樣的原理-圖像內(nèi)容和觸摸表面上的手指間的對(duì)比度。其中所謂的前置散光則是通過(guò)周圍的環(huán)境所帶來(lái)的可見(jiàn)光，從觸摸表面的上方將所有的光線照射到平面鏡當(dāng)中，而其中的漫射器則放在該觸摸表面的底部或者是頂部，而當(dāng)其某個(gè)對(duì)象在觸摸到其表面的時(shí)候，接觸區(qū)就會(huì)產(chǎn)生陰影，而被攝像頭所感知。

所謂的背面散光則是從觸摸屏的下方將光線頭像屏幕，同理，在這其中，漫射器被放置在其中。當(dāng)物體在觸摸到該表面的時(shí)候哦，其會(huì)反射出更多的光，從而被而外的攝像頭感知。其具體的原理圖如圖1所示。

圖1 RearDI原理圖

而該技術(shù)則被廣泛的應(yīng)用，如在2007年的時(shí)候，美國(guó)微軟公司在發(fā)布其平板的多點(diǎn)觸控的時(shí)候，則采用了該種方法。而透過(guò)該技術(shù)，其除運(yùn)用手和手指，還可通過(guò)其他數(shù)種物體進(jìn)行識(shí)別，從而實(shí)現(xiàn)人和計(jì)算機(jī)的協(xié)作。而在該研究中則選擇RD技術(shù)。

2 交互式裝置

2.1 傳統(tǒng)交互裝置

傳統(tǒng)的交互裝置則包括電腦鼠標(biāo)、減胖、控制器等在內(nèi)的裝置，而這些裝置在交互式的電子音樂(lè)在開(kāi)始誕生指出則開(kāi)始被應(yīng)用。這些傳統(tǒng)的交互式電子技術(shù)之所以如此的流傳，是因?yàn)槠渚邆渲艽蟮膬?yōu)勢(shì)，這主要體現(xiàn)在以下幾個(gè)方面：

第一，傳統(tǒng)裝置和計(jì)算機(jī)有著緊密的聯(lián)系，而通過(guò)該裝置，作曲家則可輕松的對(duì)作品進(jìn)行編程；

第二，運(yùn)用傳統(tǒng)的裝置在安全性方面比較可靠，并且其發(fā)生故障的頻率比較低；

第三，對(duì)演出的環(huán)境整體要求不高；

第四，從成本的角度來(lái)講，其不需要進(jìn)行設(shè)備的開(kāi)發(fā)，并且在價(jià)格方面去花費(fèi)要遠(yuǎn)低于現(xiàn)代的裝置；

但是，傳統(tǒng)平臺(tái)裝置也存在著缺點(diǎn)，如其交互性相對(duì)來(lái)說(shuō)稍差。

2.2 基于體感游戲開(kāi)發(fā)的交互裝置

所謂的體感干技術(shù)其實(shí)質(zhì)就是動(dòng)作感應(yīng)控制技術(shù)，通過(guò)體感裝置對(duì)用戶的動(dòng)作進(jìn)行的識(shí)別額解析等，并結(jié)合相應(yīng)的程序而做出反饋。體感設(shè)備其最大的特點(diǎn)則是通過(guò)肢體可進(jìn)行動(dòng)作的控制，并改變以往的單純通過(guò)手指所進(jìn)行的控制。而現(xiàn)階段比較出名的則是任天堂公司開(kāi)發(fā)的游戲手柄Wiimote和微軟開(kāi)發(fā)的Kinect.Wiimote手柄利用陀螺儀加速度傳感器對(duì)來(lái)自三維坐標(biāo)進(jìn)行感知，從而獲取其位置、信息和速度等。而該裝置其最為典型的特點(diǎn)是非常有利于對(duì)演奏家在演奏的過(guò)程的展現(xiàn)，如美國(guó)俄勒閃大學(xué)的杰弗里斯托萊特教授的《用手指完成的藝術(shù)》作品則是通過(guò)該交互裝置實(shí)現(xiàn)的；Kinect的優(yōu)點(diǎn)在于其精度高，并且對(duì)其控制不會(huì)受到任何的束縛，并可排除其他的干擾。在該系統(tǒng)中我們選擇Kinect裝置。

2.3 基于智能終端的交互裝置

智能手機(jī)成為當(dāng)前交互式電子音樂(lè)的熱門，并有著眾多的開(kāi)發(fā)團(tuán)隊(duì)和廠家。而針對(duì)電子音樂(lè)作家來(lái)講，其想將智能終端改為交互電子音樂(lè)，其是十分容易的，并可通過(guò)各方面對(duì)其進(jìn)行控制和選擇。

3 交互性裝置設(shè)置的流程

在對(duì)多點(diǎn)觸摸裝置進(jìn)行設(shè)計(jì)的時(shí)候，其需要整個(gè)系統(tǒng)當(dāng)中的硬件和軟件兩者之間的配合，也就是一方面需要對(duì)動(dòng)作的捕捉，同時(shí)也需要相應(yīng)的軟件對(duì)其進(jìn)行解析，從而將其轉(zhuǎn)化成聲音或者是圖像。而其基本的步驟則為通過(guò)對(duì)多點(diǎn)觸摸板的設(shè)計(jì)，并和計(jì)算機(jī)的通信進(jìn)行連接和音樂(lè)程序的編寫，再通過(guò)軟硬件的調(diào)試和最終的測(cè)試后進(jìn)行使用。其具體設(shè)計(jì)的圖紙則如圖2所示。

圖2 散射光照明多點(diǎn)觸摸板設(shè)計(jì)原理圖紙

4 軟件編程

在對(duì)該系統(tǒng)進(jìn)行設(shè)計(jì)的過(guò)程中，則采用Max/Msp軟件平臺(tái)對(duì)音樂(lè)編程進(jìn)行開(kāi)發(fā)。以《鏡像II》作為實(shí)例，四個(gè)揚(yáng)聲器的聲音均來(lái)自新笛和小堂鼓的實(shí)時(shí)演奏，所以Max/MSP軟件其所起到的作用則是對(duì)來(lái)自麥克風(fēng)的相關(guān)樂(lè)器的演奏信號(hào)進(jìn)行拾取與儲(chǔ)存，并可隨時(shí)對(duì)相關(guān)的信息進(jìn)行調(diào)取和播放；其次則是按照相關(guān)的指令，對(duì)其存儲(chǔ)的樂(lè)器演奏聲音信號(hào)以不同的時(shí)差分配至指定的揚(yáng)聲器。而通過(guò)這樣的方式則形成了作曲家與演奏家、作曲家和Max/MSP，演奏者和揚(yáng)聲器三者之間的交互。在譜例2中可以看到新笛和小堂鼓的聲音被依次分配到四個(gè)揚(yáng)聲器中，形成對(duì)樂(lè)器聲部的模仿。

圖3 《鏡像II》開(kāi)始片段

而要實(shí)現(xiàn)上述的步驟，則必須對(duì)其進(jìn)行編程。而其步驟則分為兩個(gè)部分，其一是實(shí)現(xiàn)對(duì)數(shù)據(jù)的傳輸和映射。通過(guò)將構(gòu)建的信息映射到Max/MSP當(dāng)中，則需要實(shí)現(xiàn)對(duì)Java和Max/MSP兩者的信息交換。在這個(gè)步驟當(dāng)中，Max/MSP本身則內(nèi)置了UDP協(xié)議，因此，通過(guò)對(duì)兩者共同來(lái)使用。同時(shí)由于采用的是二進(jìn)制的傳輸協(xié)議，因此，在其中還必須加入fromsymbol物件，實(shí)現(xiàn)將數(shù)據(jù)轉(zhuǎn)換為可識(shí)別的數(shù)字。

其次則是實(shí)現(xiàn)將坐標(biāo)轉(zhuǎn)換成聲音。在確定不同的場(chǎng)景之后，其將不同的信息分發(fā)給不同的“打包的模塊”。其中，坐標(biāo)的不同，其位置也就不同，而播放的音頻采樣也就不同。而聲音的變形部分，主要使用了“抽取采樣片段生成”的技術(shù)手段，該技術(shù)可以根據(jù)觸摸的參數(shù)來(lái)選擇抽取采樣的不同位置、不同長(zhǎng)度的音頻，并釆用不同的音高將其轉(zhuǎn)化為。

通過(guò)上述的設(shè)計(jì)，由此形成了可利用交互式的電子音樂(lè)。從而使得形成了以信息技術(shù)與音樂(lè)創(chuàng)作為一體的音樂(lè)盛宴。

[1] 李鵬云.劉健交互式電子音樂(lè)《奉獻(xiàn)》中的創(chuàng)作思維與技術(shù)[J].黃鐘(中國(guó).武漢音樂(lè)學(xué)院學(xué)報(bào)),2012,02:48-55.

[2] 楊揚(yáng).交互式電子音樂(lè)的原理與技術(shù)[D].上海音樂(lè)學(xué)院,2010.

[3] 王甜甜.混合型電子音樂(lè)中室內(nèi)樂(lè)隊(duì)與電子音樂(lè)之創(chuàng)作理念及技法研究[D].上海音樂(lè)學(xué)院,2013.

任瑞，女，1977年4月，1999年畢業(yè)于西安音樂(lè)學(xué)院，講師，在讀碩士。

Interactive electronic music research on optical multi touch technology based on

Ren Rui
(The Baoji Vocational Technology College Art Department of physical education,Shaanxi,Baoji,721013)

In this paper,by using optical multi touch technology and interactiveelectronic device,designed for the application and the practical application ofelectronic music,combined with the technology,the software programming areexplained.

Multi touch；Interactive；Electronic music