淺談音樂可視化在現代的應用可能性

（武漢理工大學藝術與設計學院，湖北武漢 430072）

一、音樂可視化的發展歷史

1.早期聯系音樂與視覺的實驗——克拉尼圖形

早在十八世紀，物理學家恩斯特·克拉德尼就做過音畫互轉的實驗，巧妙地將視覺與聲音聯系了起來。他在小提琴上放了一塊金屬制的板子，并均勻地在上面撒上細沙。當他開始演奏小提琴時，金屬板上的細沙隨著音樂的變化，自動呈現出各種各樣變幻的圖案。并且根據曲調的不同，和頻率的不同，呈現出了不同的圖案形式。恩斯特·克拉德尼的這個實驗在物理層面將音樂的曲調和頻率與視覺上的幾何圖案客觀上結合到了一起。他的實驗為后人很好地開辟了研究思路。

2.藝術作品中的音樂可視化——康定斯基

著名的俄國畫家，世界公認的抽象藝術大師瓦西里·康定斯基（Wassily Kandinsky），他認為音樂和繪畫同樣都是藝術的表達方法之一，擁有同樣的精神內核，因此能夠相互滲透，通過一定的形式進行轉化。音樂的欣賞擁有時間性，而繪畫能夠讓人在瞬間直觀地感受到藝術情感。康定斯基以藝術形式中所傳達出的抽象精神為初始點，以抽象繪畫為方法，對音樂可視化進行深入的探索。

3.為音樂視覺化賦予時間性——漢斯·李希特

20世紀初，伴隨著攝影、電影等行業的迅速發展，音樂可視化得到了進一步的深入發展。作為一名出色的電影、動畫導演，漢斯·李希特疲于靜止化的藝術創作，并且開始追逐一種帶有節奏和韻律的電影形式。他采用自己獨特的繪畫方式，將音樂進行視覺化的演繹，創作出了奇特的動畫短片，在康定斯基的基礎上為視覺化的音樂賦予時間性，為平面畫面增加了四維的時間特性，彌補了視覺與音樂的時長差距，向近代的音樂可視化又邁出了一大步。

4.現代化的虛擬3D視覺音樂場景——Animusic公司

到了計算機技術展開進一步發展的如今，運用計算機做出3D化的視覺效果并不是難事。Animusic公司就利用計算機技術制作了一系列的虛擬樂器，用動畫的形式進行演繹，趣味性十足，相較以上幾種方式更為直觀易懂。三維的傳媒相較于二維更具有直觀真實的效果，而跟隨這樣的思路，我們同樣可以將三維轉變為四維，五維，使音樂可視化越來越真實可觀。

二、音樂可視化在現代的應用價值和優勢

1.時代發展改變了文化的承載形式

一般來說，音樂是聽覺，通過耳朵進行傳播，人們在聆聽的過程中感受到情感變化，從而產生對音樂藝術的享受。而從電影到電視，最后發展到便捷的手機屏幕，現代傳達和傳播技術發展使得人們對于屏幕的閱讀似乎呈現著不可替代的作用。而快節奏的生活方式導致人們不愿花時間聽完一首富有情感的音樂作品，直接以視覺的方式呈現在眼前省去了聆聽的過程，將藝術情感瞬間傳達到內心，在極短的時間內獲取需要的信息，達到欣賞和享受的目的。如果能夠實現音樂可視化，那么人們對于藝術精神的接收將更加直觀高效。

2.新型媒體的普及是音樂可視化的發展條件

如今，傳播媒體誕生了一項全新的技術——虛擬現實。虛擬現實如VR、AR技術所想要達到的目的與音樂可視化的目的有共通之處，即創造一種沉浸式體驗與真實感，讓人身臨其境。目前現有的虛擬現實技術多數是通過還原人類在真實世界中，視覺上的感受而達成的，而音樂可視化可以通過將耳朵所聽與視覺所看結合在一起，營造立體影音的環境，從感官的多維角度讓人體驗到“沉浸感”。在這樣的條件下，將音樂與視覺相互配合成為虛擬現實技術發展的要求，虛擬現實技術的日漸普及也為音樂可視化創造了充分的條件。

3.社會發展是音樂可視化研究的重要推動力

科學技術不斷發展，帶動著人們的思維和精神境界也有更高的要求。以往通過單一感官所產生的感受過于單維化，平面化，而各感官相互結合轉化的體驗可以通過改變人們認識世界的角度和形式，拓寬認知模式。例如患有“通感癥”的藝術家梅麗莎·麥克柯萊肯（Melissa McCracken）天生便可以將耳朵聽到的聲音轉化為五光十色、鮮艷動人的色彩。她所看到的世界與平常人是不一樣的，正因如此她成了一名優秀的藝術家。如果音樂可視化發展到一定程度，普通人也能“看到”音樂藝術，那么人們的認知模式和對世界的理解也將發生變化。反過來，這種認知模式的拓展也可以催生全新的行業，以及現有行業的突破式發展。社會各行各業的發展導致人們對音樂的視覺可視化研究的追求目標越來越精細，從而推動著音樂可視化的進一步發展。

三、應用的實現形式

1.音樂各要素與視覺的相互轉化

這是一種客觀理性的轉化方式。通過克拉尼圖形我們能夠知道，對于音樂上所產生的不同音調、振幅，在視覺上可以通過特殊方法進行一一對應。音樂主要包括旋律、曲調、和聲、調式、音色五要素。而視覺繪畫包括點、線、面、明暗、色彩這些要素。如果總結并規定某種規則，那么客觀上來說，音樂與繪畫完全可以進行理性的相互轉化。例如漢斯·李希特的音樂視覺化短片，他將音樂的曲調、旋律、節奏轉化為一個個幾何形，跟隨音樂元素的變化設置旋轉、縮放等一系列動效，便是早期簡單的相互轉化。我們可以在他的基礎上對這種對應規則進行細化，以求得更加有效的相互對應。目前，通過vvvv、Processing等編程軟件進行音樂的視覺化已經成為專業領域內的重要研究工具。

2.音樂可視化與情感的相互轉化

音樂與繪畫同為藝術，筆者認為其目的在于表達創作者的心境，或傳達理念，使得接受者能夠在欣賞時體會到同等的感性或理性沖擊，達成共鳴。同樣成為藝術形式的音樂和繪畫統一于一件事情——“感受”，可以以人們的主觀感受為切入點，將兩者所傳達的相似或相同的情感作為兩者的紐帶，作為一種符號進行轉化和傳播。康定斯基在《論藝術的精神》一書里說道：“在音樂里，淡藍色是長笛，深藍色是大提琴，更深的藍色就是雷鳴般的雙管巴松，最深的藍色是管風琴。”他將色彩與樂器所帶來的感覺進行對應，足以體現不同種類的藝術之間是可以相互轉化，相互聯通的。如果我們將這樣的情感符號進行系統化的總結和對應，就能夠實現情感層面上的相互轉化。這是一種主觀感性的轉化方式。

四、應用領域

1.現代平面的交互設計

如今手機音樂類軟件和游戲行業迅速發展，而音樂與視覺的彼此結合，互相成就，互相彌補也成為行業發展的一種手段。例如“網易云音樂”APP，在音樂播放時，往往會伴隨著唱片機形狀的播放界面緩緩轉動的特效，以配合音樂的播放。電腦端的Windows media player，在音樂播放時，會提取出音頻的音調、節奏等元素，進行視覺的轉化。而音樂類游戲如“節奏大師”，也是根據音樂和視覺相互配合的方式來產生趣味性。目前，5G時代的到來將進一步改變人們的生活方式和接收信息的方式。從一開始的紙質傳媒到聲媒，再到畫面和視頻，5G的到來很可能給大家帶來全新的追求和感受。各個感官之間的配合，從全方位為人們提供全面的感受成為新的追求。

2.與虛擬現實技術的結合

隨著虛擬現實技術如VR、AR的發展，音樂不僅可以轉化出平面的視覺形象，并且可以轉化成3D的虛擬現實場景。音樂視覺化作為一種沉浸式藝術，與虛擬技術互相配合，融合多種傳播形式，將視覺、聽覺甚至觸覺融為一體，便足以給讀者創造一個更加真實的沉浸感。據調查顯示，對于人類生存最具有重要意義的信息，絕大部分都來自視覺。而虛擬技術環境下的音樂可視化中，視覺超越聽覺占據主導地位，從而跟日常生活的習慣更加相符。例如steam游戲《視覺幻象(Visionarium)》，是一個由音樂驅動的虛擬現實體驗游戲。在播放音樂的同時，通過視覺的變化和律動，創造了比平面視覺轉化更加富有沖擊力、更真實的沉浸感心理體驗，不僅從視覺上，并且從心理上也讓人設身處地地“感受”到音樂。

3.關愛聾啞人的情感化設計

對殘疾人士的情感化關懷是社會文明的重要象征。聾啞人無法聽見聲音，發出聲音，這讓他們對于世界的認識不夠全面，并且目前社會上缺乏對于聾啞人的關愛。但也正由于聾啞人缺乏聽覺上的感受，因此對于視覺、觸覺、嗅覺等感受更加敏感。如果可以實現音樂可視化，將音樂轉化為視覺可見的事物，那么便有可能做到讓聾啞人“看見”聲音，從而感受音樂之美。

4.兒童的音樂教育

藝術教育可以激發人們對于美的感受，讓人們對外界事物認知更加敏感。單純通過聽覺所傳授的音樂教育效果并不明顯，如果在教學過程中，可以將音樂轉化為一定的視覺形式，運用視聽相互配合的方式進行音樂教學，我們可以設想，它能夠讓兒童產生更直觀的理解與感受，并且增加了音樂藝術教學的趣味性，培養孩子從多維角度理解藝術。

五、結語

由音樂的視覺可視化發展趨勢我們不難看出，視覺和聽覺相互結合的形式在未來的時代發展中，有著無窮無盡的進步空間和應用前景。我們相信，隨著時代的發展進步和人類文明程度的不斷提升，音樂可視化將迎來全新的時代，并進一步改變人們認識世界的角度和方式。同時，筆者也將有關音樂可視化的研究繼續推進，期望未來有更進一步的發展。