音樂可視化研究特征選擇及表達(dá)方式綜述

黃宗珊 饒志雙

【摘 要】隨著可視化方法和技術(shù)的不斷進(jìn)步，對(duì)音頻的可視化逐漸發(fā)展。研究者根據(jù)不同特征從不同角度觀察分析音頻文件，并使用可視化展示這些特征。本文結(jié)合現(xiàn)有的研究，簡(jiǎn)要地介紹在音樂可視化中分析的特征以及對(duì)這些特征所采用的可視化表達(dá)方式。

【關(guān)鍵詞】音樂可視化；特征選擇；表達(dá)方式

中圖分類號(hào)： TP391.42 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 2095-2457（2018）05-0211-002

【Abstract】With the continuous progress of visualization methods and technologies， the visualization of audio has been gradually developed. Researchers observe the analysis of audio files from different perspectives based on different characteristics and use visualizations to display these features. This article combines the existing research， briefly introduces the characteristics of the analysis in the visualization of music and the visual representation of these features.

【Key words】Music visualization；Feature selection；Manifestation

0 引言

音樂作為一種藝術(shù)形式，不僅能夠抒發(fā)情感、反映社會(huì)現(xiàn)實(shí)生活，在歷史上還曾有過鼓舞人心、治療疾病的例子，即使是不同國(guó)度不同時(shí)代的人也可以欣賞。在音樂被譜寫之后，樂器的演奏或人聲的演唱等詮釋方式能夠?qū)⑵鋫鬟_(dá)給聽眾，為了能夠使聽眾更全面地體會(huì)音樂所表達(dá)的情感和思想，創(chuàng)作或傳播者采用了不同的輔助表達(dá)方式。可視化的發(fā)展為音樂的表達(dá)提供了新的方式，使用特定的規(guī)則進(jìn)行解讀，為其產(chǎn)生可復(fù)現(xiàn)的視覺效果。

1 音樂可視化的研究?jī)?nèi)容和現(xiàn)狀

可視化（Visualization）是使用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)通過圖形或圖像的方式進(jìn)行顯示并進(jìn)行交互處理的理論、方法和技術(shù)。音樂可視化（Music Visualization）是利用可視化的方法，客觀解釋和判斷音樂的表現(xiàn)力和結(jié)構(gòu)，幫助聽眾提供理解、分析、比較音樂。

對(duì)音樂可視化的研究包括了感知模型、特征提取、實(shí)時(shí)計(jì)算、情緒檢測(cè)、系統(tǒng)結(jié)構(gòu)、沉浸感的展示、交互式圖形界面以及應(yīng)用研究等。由于音樂可視化結(jié)合了藝術(shù)與科學(xué)，對(duì)研究者有一定的要求，因此在這方面的研究相對(duì)并不完善，并且可視化系統(tǒng)的一些使用者無法體會(huì)系統(tǒng)所表達(dá)的涵義。在應(yīng)用方面，Windows、Mac OS X、Linux等平臺(tái)上都有支持音樂可視化的媒體播放器，也有人使用D3.js和HTML5實(shí)現(xiàn)了音樂可視化的效果。

2 音樂可視化的特征選擇

音樂可視化對(duì)單個(gè)音頻的特征分析分為兩種層面。低層的特征主要為響度、音調(diào)、頻率、音色等物理特性，Windows Media Player、Winamp附帶的多種可視化效果就是基于振幅和頻率的；Takayuki Itoh[1]等人為了幫助愛好者了解管弦樂曲，依據(jù)不同樂器的樂譜對(duì)不同樂器進(jìn)行區(qū)分。高層的特征主要為語義、情感等， S.Zhang等人[2]在情感分析和可視化的基礎(chǔ)上，實(shí)現(xiàn)了基于情感信息的MV檢索。對(duì)多個(gè)音頻文件，E.Pampalk等人[3]對(duì)359段音頻基于心理聲學(xué)模型估計(jì)其相似性，在不需要手動(dòng)進(jìn)行流派分類的情況下，根據(jù)音樂風(fēng)格差異建造了音樂島。

3 音樂可視化的表達(dá)方式

音樂可視化按照視覺空間維數(shù)，可以分為二維與三維兩類。二維的音樂可視化需要的數(shù)據(jù)維度低，實(shí)現(xiàn)較為簡(jiǎn)單，而三維由于表現(xiàn)力強(qiáng)，適合構(gòu)造復(fù)雜對(duì)象，主要應(yīng)用于沉浸感要求高的場(chǎng)合。在二維的可視化中，靜止的圖像顯示出音頻的兩個(gè)維度的參數(shù)的關(guān)聯(lián)，或是對(duì)出現(xiàn)的某些結(jié)構(gòu)、文本特征進(jìn)行挖掘，也有圖像隨時(shí)間變化的動(dòng)態(tài)展現(xiàn)。而三維超越了平面空間的維度限制，可以將時(shí)間流動(dòng)疊加到二維所中時(shí)間以外的兩個(gè)維度上。除此之外，在現(xiàn)實(shí)世界中通過音源的振動(dòng)，使水、粉末、火焰等產(chǎn)生不同的形狀，也可以作為三維的一種拓展；

R Taylor[4]等人采用虛擬現(xiàn)實(shí)實(shí)時(shí)系統(tǒng)對(duì)音樂家演奏的音樂特征進(jìn)行提取，并映射到虛擬角色的行為中，給人以沉浸感。

還有一些較為特殊的表達(dá)方式——使用形容詞對(duì)音樂中的情感檢測(cè)結(jié)果進(jìn)行表達(dá)，將音頻與人心理感受相似的色彩名稱、情緒名稱進(jìn)行分類及匹配。采用能夠引起類似情緒的圖片來標(biāo)志音頻，也是一種創(chuàng)新。

4 音樂可視化研究面臨的挑戰(zhàn)

音樂可視化還處于初期階段，在研究和應(yīng)用領(lǐng)域都面臨許多問題，在對(duì)音樂的理解和可視化技術(shù)上都需要進(jìn)一步的研究，才能使音樂可視化更好地發(fā)展。

4.1 缺少專業(yè)知識(shí)

從對(duì)音樂的研究方面，音樂可視化的研究人員可能對(duì)音樂的專業(yè)知識(shí)，如音樂學(xué)、音樂認(rèn)知神經(jīng)科學(xué)、音樂心理學(xué)等，并沒有足夠的認(rèn)知，因此在可視化系統(tǒng)的設(shè)計(jì)與制作中，缺乏專業(yè)知識(shí)的依托而無法準(zhǔn)確捕捉要點(diǎn)。

4.2 模式單一

現(xiàn)有的音樂可視化系統(tǒng)分析的內(nèi)容，對(duì)簡(jiǎn)單的低層的音樂屬性尚能進(jìn)行多維體現(xiàn)，但對(duì)于語義、情感等高層屬性則只能研究到一維且是靜態(tài)的地步。

4.3 應(yīng)用型可視化系統(tǒng)忽視用戶情感體驗(yàn)

目前很多設(shè)計(jì)出來供人在聽音樂的過程中加入視覺體驗(yàn)的可視化系統(tǒng)，是研究人員通過自身對(duì)音樂的了解得到的，不同的人對(duì)音樂的理解的深度并不相同。另外，部分研究人員對(duì)系統(tǒng)設(shè)計(jì)的完備程度、新鮮程度等的重視程度，超過了刺激使用者內(nèi)在情感潛能的重視程度，此兩點(diǎn)導(dǎo)致部分可視化系統(tǒng)對(duì)于使用者來說是毫無意義的，使用者并不能從中感受到音樂的涵義變得具體或深刻。

5 結(jié)語

音樂可視化有別于傳統(tǒng)音樂藝術(shù)，開啟了音樂解讀的新時(shí)期，是對(duì)音樂的描述和理解的新方式。國(guó)內(nèi)外對(duì)音樂可視化的理論研究和系統(tǒng)、工具開發(fā)都有了很多成果，在音樂分析、音樂教學(xué)、游戲娛樂、情感表達(dá)等方面具有應(yīng)用。目前對(duì)音樂可視化的研究仍舊面臨挑戰(zhàn)，期待隨著科技的發(fā)展和理論應(yīng)用不斷完善，音樂可視化能夠在形式和內(nèi)涵上更加豐富，應(yīng)用更加全面。

【參考文獻(xiàn)】

[1]Knowledge Visualization Currents：From Text to Art to Culture | Clc[J].

[2]Zhang S，Huang Q，Jiang S，et al.Affective Visualization and Retrieval for Music Video[J].IEEE Transactions on Multimedia， 2010，12（6）：510-522.

[3]Pampalk E，Rauber A，Merkl D.Content-based organization and visualization of music archives[C]//Tenth ACM International Conference on Multimedia.ACM，2002：570-579.

[4]Taylor R，Torres D，Boulanger P.Using music to interact with a virtual character[C]// Conference on New Interfaces for Musical Expression.National University of Singapore，2005：220-223.