基于Processing平臺的聲音可視化運用

石鑫 李雪艷

〔摘 要〕計算機網(wǎng)絡(luò)技術(shù)的快速進步帶動了新媒體藝術(shù)的發(fā)展，藝術(shù)表達形式發(fā)生巨大變化，在藝術(shù)設(shè)計的各領(lǐng)域中，科技介入程度越來越高，科技與藝術(shù)的結(jié)合創(chuàng)造出許多新的藝術(shù)形式，如人機互動裝置與圖像隨機生成等。本文將在Processing平臺的基礎(chǔ)上，探討聲音可視化的應(yīng)用實踐與相關(guān)作品的解讀與分析，進而探究聲音可視化技術(shù)在藝術(shù)與設(shè)計中運用的前景與方向，為實踐者提供有價值的參考。

〔關(guān)鍵詞〕聲音可視化；Processing；人機互動；裝置藝術(shù)

一、聲音的處理

（一）信號處理

早在1680年，羅伯特·胡克（Robert Hooke）就開始了對聲音形態(tài)的觀察。1787年，律師、音樂家和物理學家恩斯特·克拉德尼（Ernst Chladni）關(guān)于音樂理論的著作《Entdeckungenüber die Theorie des Klangesor》《關(guān)于音樂的理論發(fā)現(xiàn)》， （ Discoveries Concerning the Theory of Sound）成為聲音可視化的開創(chuàng)性工作。在當代藝術(shù)領(lǐng)域，已經(jīng)有越來越多的藝術(shù)工作者與設(shè)計師參與到代碼藝術(shù)的行列之中，代碼藝術(shù)的優(yōu)勢在于極高的創(chuàng)作自由度與多樣的聯(lián)結(jié)方式。數(shù)據(jù)可視化如今非常受歡迎，原因是人們能夠直觀地感受到數(shù)據(jù)的變化，看到的不再是枯燥的數(shù)字，在數(shù)據(jù)可視化過程中，枯燥的數(shù)字經(jīng)過處理成為動態(tài)圖像。數(shù)據(jù)可視化轉(zhuǎn)變了數(shù)據(jù)的視覺形態(tài)而受到歡迎。在人類常識中，聲音是無形的，在Processing平臺上處理后可以生成圖像。在分析音頻時通常有兩種方式；其一是利用FFT傅里葉變化分析：其二為提取左右聲道。FFT在音頻處理方面能進行實時高效的處理，利用FFT對音頻信號進行分析，分析的結(jié)果用于圖像生成。

（二）聲音來源

在聲音可視化的范疇內(nèi)，聲音來源分為計算機內(nèi)MP3文件與計算機外部聲音。音頻在Processing經(jīng)過處理后聲音信號被量化，量化后的數(shù)據(jù)結(jié)果用于圖像生成，生成后的圖像會實時根據(jù)音樂節(jié)奏、音量變化，形成動態(tài)圖像，圖像的形態(tài)可在Processing中自由編寫，也可以通過代碼改變圖像的色彩等等。第二種聲音來自計算機外部，在這個過程中需要借助Arduino來實現(xiàn)，Arduino與Processing聯(lián)動在新媒體藝術(shù)與裝置藝術(shù)中的應(yīng)用非常廣泛。

二、圖像生成及藝術(shù)化表現(xiàn)

（一）圖像生成

在Processing平臺上，圖像生成是其最強大的功能之一。每個形狀都有自己獨有的代碼，如橢圓的代碼為“ellipse（x，y，width，height）；”，矩形為“rect（x，y，width，height）；”，色彩填充代碼為“fill（x，y，z）；”。在Processing中輸入代碼——“jingle = minim.loadFile（"xxx.mp3"， 1024）”加載音頻，此處的“1024”為加載頻率，在draw函數(shù)中輸入代碼將數(shù)值帶入到圖形代碼之中。

（二）基于Processing平臺的圖像藝術(shù)化表現(xiàn)

圖像生成是使圖像藝術(shù)化表現(xiàn)的重要環(huán)節(jié)，在這個過程中，軟件只是工具，圖像的藝術(shù)化表現(xiàn)需要使用者具備必要的藝術(shù)修養(yǎng)與設(shè)計能力。來自英國的藝術(shù)家尼爾·門多薩（Neil Mendoza）使用openFrameworks與Arduino互聯(lián)創(chuàng)作出了一個語音識別的聲音互動裝置，人類的聲音通過喇叭收錄進軟件中，軟件將音頻傳輸?shù)絎eb瀏覽器，Web瀏覽器上的語音識別系統(tǒng)開始分析音頻，處理后變成一串串的立體字母，經(jīng)過喇叭噴出，軟件中的力場程序施加了一些力的效果，模仿真實的環(huán)境，字母撞擊到畫面邊框后會反彈，聲音的大小對字母噴射的距離也有影響。畫面中有一只鞋子，當字母經(jīng)過鞋子的時，激活A(yù)rduino，Arduino傳輸指令給鞋子，鞋子由機械臂控制，字母每觸動到鞋子時，鞋子上彈一次。江南大學數(shù)字媒體學院的團隊TRIE創(chuàng)作了一件聲音可視化裝置——《echo planet》，該作品生成的圖像為一根不斷生長的樹枝，生長的能量則來源于聲音，觀眾通過在被裝飾成海螺的麥克風前發(fā)聲，音頻經(jīng)過分析轉(zhuǎn)化為數(shù)據(jù)成為影響圖像生成的數(shù)值，在此過程中，聲音扮演著最重要的角色。聲音作為人類、動物表達情感的重要方式之一，每種聲音都帶有不同的信息與不同的情緒，不同的聲音信號生成的圖像也不同，將聲音可視化，也是將聲音所傳達的訊號以直觀的方式呈現(xiàn)出來。聲學工程師馬克·菲舍爾使用“小波變換”的數(shù)學方法可以將聲音分解成較短的離散的小波成分。馬克·菲舍爾使用此方法將鯨魚的聲音訊號轉(zhuǎn)化為圖像，不同鯨魚的叫聲生成不同的圖像，傳統(tǒng)的音頻是生成平直的圖像，菲舍爾將圖像變形、旋轉(zhuǎn)、疊加為圓形圖案，圖案表達出了鯨魚在深海的叫聲中蘊含的情緒與來自深海的魔幻和靜謐。人聲也如此，在演唱會舞臺的大屏幕上，圖像的動態(tài)是由歌手音聲的節(jié)奏、音量決定的，且每首歌都會配有不同的圖像，這些圖像與歌曲所傳達出的情感相匹配，達到情、景、聲交融。

三、聲音可視化應(yīng)用前景

（一）應(yīng)用于公共藝術(shù)

聲音可視化（圖像化）的實現(xiàn)將無形的聲音轉(zhuǎn)化為有形的圖像，人類可以看到圖像化的聲音了。公共藝術(shù)的宗旨之一是提升公眾生活質(zhì)量，實現(xiàn)公共藝術(shù)與公眾的互動，是讓公眾體驗到藝術(shù)價值的最好方式之一。公眾與藝術(shù)品互動，成為整個公共藝術(shù)品的一部分，藝術(shù)品為本體，公眾是參與者，二者之間實現(xiàn)互動，最終這件公共藝術(shù)才得以完成，也就是說，人的參與，是屬于這件作品的一部分。人的音色各不相同，借助Processing的圖像生成功能，不同的聲音生成不同的圖像，互動后每個人得到了屬于自己專屬的圖像，代表著自己獨有的情感與性格，不同的人來到這里，得到不同的結(jié)果，體現(xiàn)不同的價值。

（二）應(yīng)用于商業(yè)空間

商業(yè)空間的藝術(shù)品旨在提升該空間的藝術(shù)氛圍與凝聚顧客。近年，互動類藝術(shù)品在商業(yè)空間內(nèi)越來越受歡迎，其主要原因是互動類藝術(shù)品能吸引大量顧客，為商場提高客流量。Processing與Arduino聯(lián)動在實現(xiàn)藝術(shù)品與人的互動上具有優(yōu)勢，營造出一個聲、景并茂的藝術(shù)空間，人走到這里都可以與之產(chǎn)生互動，每次互動產(chǎn)生不一樣的結(jié)果，逢節(jié)日可以編寫與節(jié)日相契合的圖像，渲染節(jié)日氛圍。聲音是有溫度的，在Processing的幫助下，我們不僅可以感受溫度，也可以看見溫度。

結(jié) 語

基于Processing平臺的聲音可視化與互動影像給創(chuàng)作者打開了一條新的創(chuàng)作思路，在此基礎(chǔ)上，聲音與Processing是創(chuàng)作者創(chuàng)作的工具與源泉。設(shè)計須根據(jù)市場需求做出改變，Processing就是在這樣的前提下誕生的，在藝術(shù)、設(shè)計與科技結(jié)合緊密的時代，創(chuàng)作者需要掌握前沿的創(chuàng)作手段，創(chuàng)作出符合時代要求的作品。

（責任編輯：張貴志）

參考文獻：

[1]高景帥.聲音的可視化研究[D].南京：東南大學，2018.

[2]趙沁暘.交互式電子音樂《無·箏》作品設(shè)計與創(chuàng)作解析[D].上海：上海師范大學，2017.

[3]譚亮.基于Processing的代碼藝術(shù)應(yīng)用研究[J].裝飾，2012，（02）：104-105.

[4]張冉.基于processing平臺實時互動影像呈現(xiàn)[D].北京：北京工業(yè)大學，2013.

[5]孔晶晶. 基于Processing的互動媒體設(shè)計研究[D].無錫：江南大學，2009.

[6]呂靜，魏一鳴.非遺制扇技藝與佛教文化創(chuàng)新融合設(shè)計[J].設(shè)計，2019，（19）：70-71.

[7]祝遵凌.讓可持續(xù)設(shè)計真正為人服務(wù)[J].設(shè)計，2019，32（16）：76-80.

[8]王穎，陳峰.博物館互動游戲型文創(chuàng)探析——以南京博物院“竹林七賢”日歷設(shè)計為例[J].設(shè)計，2019，（19）：22-24.

[9]蘇同向，王浩.基于生態(tài)紅線劃定的城鄉(xiāng)綠地生態(tài)網(wǎng)絡(luò)構(gòu)建研究——以江蘇省揚州市為例[J].現(xiàn)代城市研究，2019，（10）：20-27.

[10]李元媛，王浩.蘇南宗族型傳統(tǒng)村落建筑景觀研究[J].藝術(shù)百家，2019，35（05）：198-205.

[11]張榮杉，梁晶.商業(yè)空間中的植物造景藝術(shù)研究[J].大眾文藝，2019，（19）：62-63.