音畫交互設(shè)計在音樂演出中的聯(lián)覺表達要素

靳媛媛 周帆揚

摘 要： 音畫交互設(shè)計是數(shù)字媒體技術(shù)不斷發(fā)展，并結(jié)合實際應(yīng)用而催生的新興設(shè)計領(lǐng)域，是以數(shù)字媒體為重要媒介平臺、對聲音和視覺要素的關(guān)系進行的探索。在音樂演出中，音畫交互設(shè)計能夠以跨界的方式拓展動態(tài)媒體的表現(xiàn)形式，從而創(chuàng)造多感官聯(lián)覺的審美體驗。論文從音畫交互設(shè)計的視聽映射、成像媒介、交互方式三個維度入手，分析其在音樂演出中的聯(lián)覺表達要素，以期為該類演出提供借鑒。

關(guān)鍵詞：音畫交互設(shè)計；音樂演出；聯(lián)覺表達；視聽映射；音樂可視化

中圖分類號：J61 文獻標(biāo)識碼：A

音畫交互設(shè)計是數(shù)字媒體時代背景下發(fā)展的學(xué)科方向，是對視覺藝術(shù)和聲音藝術(shù)關(guān)系的探索，其最早出現(xiàn)在實驗動畫的聲音可視化理論中，隨著媒體技術(shù)的進步和文化藝術(shù)的發(fā)展，范疇包括視覺音樂、實驗性影片、視聽表演、生成藝術(shù)、互動裝置和VJ藝術(shù)。[1]在音畫交互設(shè)計中，藝術(shù)家或設(shè)計師通過建立特定的“聲音—畫面”對應(yīng)、轉(zhuǎn)換和同步規(guī)則，并借助新媒體技術(shù)更加有效地刺激觀眾的視聽聯(lián)覺。音畫交互設(shè)計表達方式較傳統(tǒng)藝術(shù)領(lǐng)域有明顯的區(qū)別：第一，其本身具有非常明顯的跨界特性，涉及了聲音藝術(shù)、視覺藝術(shù)、心理學(xué)、新媒體技術(shù)和交互技術(shù)在內(nèi)的多個學(xué)科領(lǐng)域；第二，在傳播和呈現(xiàn)方面，音畫交互設(shè)計以數(shù)字媒體為重要媒介，且具有相當(dāng)?shù)膶崟r性和表演性；第三，對觀眾而言，這種多感官的聯(lián)覺體驗也將帶來更加直接而強烈的藝術(shù)感受。因此，音畫交互設(shè)計的聯(lián)覺表達并不是指視覺表達和聽覺表達的“堆積式”疊加，而是由產(chǎn)生協(xié)同效應(yīng)的各個感官系統(tǒng)合成的一個整體。音畫交互設(shè)計以其獨特方式不斷拓展音樂的藝術(shù)內(nèi)涵，豐富音樂的情感表達，并為聲音藝術(shù)開辟了新的欣賞和理解途徑。

當(dāng)下，音畫交互設(shè)計發(fā)展迅猛，歐美地區(qū)已形成了數(shù)個知名的新媒體視聽音樂節(jié)、藝術(shù)節(jié)和論壇沙龍；在國內(nèi)，以上海音樂學(xué)院、中國美術(shù)學(xué)院為代表的各大藝術(shù)院校也相繼設(shè)立了音畫交互設(shè)計專業(yè)或是相關(guān)的數(shù)字媒體藝術(shù)學(xué)科，積極地推動音畫交互設(shè)計在演出中的創(chuàng)作實踐邁入新的階段。然而因其實驗性，音畫交互設(shè)計的理論研究與其設(shè)計實踐之間始終存在較大的差距。通過對音畫交互設(shè)計聯(lián)覺表達的分析研究，可以更好地理解其相關(guān)的各種邏輯系統(tǒng)和藝術(shù)化的表現(xiàn)手法，從而促進音畫交互設(shè)計形成更為完善且普適的理論體系。本文試從音畫交互設(shè)計的視聽映射、成像媒介、交互方式三個維度入手，分析其在音樂演出中的聯(lián)覺表達要素，并歸納各要素不同演繹方式的特征與優(yōu)勢，以期豐富音畫交互設(shè)計的理論資料，同時為之后該類演出的創(chuàng)作實踐提供借鑒參考。

一、視聽映射

在視覺藝術(shù)領(lǐng)域，音樂一直是藝術(shù)家們的創(chuàng)作源泉之一，然而音畫交互中的音樂可視化研究并不局限于藝術(shù)層面，更與科技、人文等領(lǐng)域的研究成果息息相關(guān)。“映射”（Mapping）原為數(shù)學(xué)名詞，指兩個元素的集之間元素相互對應(yīng)的關(guān)系。通過建立適當(dāng)?shù)膶傩躁P(guān)聯(lián)以實現(xiàn)音樂與視覺的同步，稱之為“視聽映射”（Audiovisual Mapping）。音樂作為一種抽象藝術(shù)，其視聽映射建立在視聽聯(lián)覺的生理機制和心理機制上，然而在音樂演出中，觀眾所產(chǎn)生的視聽聯(lián)覺，往往因個人的生活經(jīng)歷、文化背景、社會環(huán)境等差異而各不相同。因此，視聽映射強調(diào)的是從宏觀方面視聽信息間某種整體聯(lián)系和轉(zhuǎn)換規(guī)則，而不特指其中各元素的唯一確定的對應(yīng)關(guān)系。[2]根據(jù)對不同的視聽轉(zhuǎn)換規(guī)律特點，音樂可視化的視聽映射可以分為自然映射、直覺映射、邏輯映射、敘事化映射、數(shù)字化映射和多通道映射等。

（一）自然映射

基于物理學(xué)的自然映射（Natural Mapping）又稱“物理映射”，指通過物理手段，實現(xiàn)視聽媒介的傳遞與轉(zhuǎn)換。[3]在物理學(xué)中，聲音的本質(zhì)是由聲源物體振動而產(chǎn)生的一種機械波，這種波形的產(chǎn)生貫穿聲音振動的整個過程，因此聲音與圖像之間有著固定的對應(yīng)規(guī)律。以音流學(xué)（Cymatics）為代表，利用不同的聲音引起的共振刺激顆粒、流體和氣體媒介震動以展現(xiàn)出客觀的視覺化圖像。隨著技術(shù)的發(fā)展和創(chuàng)意的生產(chǎn)，這種通過物理實驗手段實現(xiàn)音樂可視化的映射模式被結(jié)合以多種藝術(shù)裝置呈現(xiàn)和記錄。

（二）直覺映射

基于心理學(xué)的直覺映射（Intuitive Mapping），以語音符號學(xué)（Phonetic Symbolism）為代表，以人類普遍的認(rèn)知體系為基礎(chǔ)，從心理學(xué)角度分析通感聯(lián)覺，探究人類在處理視聽語言之間關(guān)聯(lián)性時具有的共通心理傾向，在解釋和還原人們聽音樂時，思維里根據(jù)音樂旋律或音符律動形成某種具有普遍性的特定景象，如糾結(jié)纏繞的毛線球、正在延展的裂紋或跳動的火焰，等等。

（三）邏輯映射

基于人類感知基礎(chǔ)的邏輯映射（Logical Mapping），指根據(jù)預(yù)先設(shè)置的邏輯關(guān)系參照和匹配不同體系的信息以建立系統(tǒng)的對應(yīng)關(guān)系。例如，通過分析音樂的頻率、振幅、音色和圖像參數(shù)之間相對應(yīng)的物理特性，以及其與人類普遍性的感知規(guī)律之間的邏輯關(guān)系[4]103-105，并通過相應(yīng)的圖形運動、色彩變幻和畫面切換體現(xiàn)音樂的情緒起伏。雖然邏輯映射并不具有絕對的普適性，但針對一些共通感受能夠探索并總結(jié)到一定的規(guī)律，例如，音樂的頻率高低與畫面明暗的對應(yīng)關(guān)系——高頻音通常對應(yīng)較亮的視覺意向，低頻音則往往匹配較暗的視覺意向。

（四）敘事化映射

基于受眾群體情感認(rèn)同的敘事化映射（Narrative Mapping），也稱為情節(jié)映射，指通過某一特定的敘事性視頻片段中的具體情節(jié)來對應(yīng)音樂的情感表達。這種映射模式脫胎自歌劇、音樂劇等包含有具體情節(jié)故事的舞臺表演，主要用于影視和游戲類的主題視聽音樂演出，通常會直接使用其所屬的影視或游戲作品中的視頻片段作為視覺設(shè)計的基礎(chǔ)素材，其畫面的敘事情節(jié)尤為具體。對于此類音樂演出的觀眾而言，影視或游戲作品中人物、場景和情節(jié)已經(jīng)和音樂形成了非常具象的視覺和情感關(guān)聯(lián)。作為一種小眾文化的藝術(shù)表達，這些特定的敘事化映射雖然不一定具備科學(xué)嚴(yán)密的視聽映射邏輯，卻能夠給特定人群帶來非凡的情感沉浸體驗。

（五）數(shù)字化映射

基于數(shù)碼生成藝術(shù)（Digital Generative Art）的數(shù)字化映射（Digital Mapping），是指利用數(shù)字技術(shù)以及計算機算法實現(xiàn)的視聽對位方式。其原理類似于個人電腦中音頻播放器的音樂可視化動畫，在演出中通過程序軟件讀取和分析輸入聲音樣本中關(guān)鍵信息的參數(shù)數(shù)據(jù)，并將數(shù)據(jù)變化同其匹配的圖像參數(shù)進行動態(tài)轉(zhuǎn)換。[5]58-69數(shù)字化映射并非獨立于此前的幾種映射方式的全新模式，而是在不同的映射方法中應(yīng)用數(shù)字化的實時信息分析和運算方式。

（六）多通道映射

多通道（Multichannel）源于計算機技術(shù)名詞，原指計算機與人類感官系統(tǒng)相對應(yīng)的多個信息輸入和輸出通道。多通道映射，是指在聲音與視覺信息之間建立起多重的映射通道，使不同映射屬性之間相互影響而實現(xiàn)綜合的視聽效果，并發(fā)揮出不同映射手段間的互補性。在各藝術(shù)門類中，音樂藝術(shù)具有明顯的非物質(zhì)性、數(shù)學(xué)性和抒情性，其構(gòu)成元素能夠被輕易地采集分解，但整體蘊藏的情感表達卻復(fù)雜而微妙。對于大多數(shù)的藝術(shù)家和設(shè)計師而言，完成某一種數(shù)學(xué)關(guān)系式的視聽映射對照關(guān)系并不是創(chuàng)作活動的目的——一方面，單一映射模式僅針對音樂中包含的特定信息進行分析，然而在某些情況下這些特定信息具有明顯的局限性，難以反映出音樂演繹的動態(tài)特征；另一方面，通過單一映射模式生成的圖像在形式和內(nèi)容上往往趨于近似，長時間觀看容易產(chǎn)生視覺疲勞。因此，藝術(shù)家和設(shè)計師通常會參考多種視聽映射模式進行視覺設(shè)計，根據(jù)表演的整體需求組合切換，并在適當(dāng)情況下對視覺或聽覺采用留白的處理手法，實現(xiàn)理性因素與感性因素的平衡，從而提升最終的呈現(xiàn)效果，使視聽結(jié)合的演繹可以被觀眾更好地感知和體驗。

二、成像媒介

在音畫交互設(shè)計中，成像媒介決定畫面的視覺質(zhì)感，常見的舞臺成像媒介包括舞臺燈具、LED屏幕、投影，所呈現(xiàn)的視覺效果也各具特色。此外，新型技術(shù)的不斷升級迭代賦予了藝術(shù)家和設(shè)計師更為廣闊的創(chuàng)意空間，大量曾經(jīng)停留在概念中的藝術(shù)形式也得以一一呈現(xiàn)。

（一）數(shù)字燈具

隨著數(shù)字化技術(shù)的迅猛發(fā)展，舞臺燈光領(lǐng)域也大步邁向數(shù)字化時代。從專業(yè)音樂廳、音樂節(jié)舞臺到院校劇場，所用的燈具及控臺多數(shù)都采用了數(shù)字化控制；配合數(shù)控?zé)煓C、霧機以及其他的舞臺布景實體，能夠完成復(fù)雜的視覺效果構(gòu)建，通過集成實施一體化控制，呈現(xiàn)豐富的視覺效果，與視聽主體內(nèi)容形成整體的視覺體系。

（二）LED屏幕

LED屏幕設(shè)備一直被廣泛地應(yīng)用在各類舞臺，相比原有的采用固定化裝配方式的大尺寸舞臺LED顯示屏，新型舞臺LED屏幕形式和功能愈發(fā)多樣：LED地磚屏能夠大面積鋪裝，并能結(jié)合機械臂或是數(shù)控升降臺完成復(fù)雜的位移或是升降動作；輕量化的LED屏幕模塊輕便易用，其存儲運輸、安裝拆解、編碼控制更加便捷，能夠快速組合成造型奇特且更具空間層次感的顯像陣列；在其基礎(chǔ)上發(fā)展出的柔性LED屏幕更為輕薄，以硅樹脂制等軟性材料替代了玻璃面罩，具有可彎曲的特性，彎曲時圖像平滑美觀，可根據(jù)需要拼接組合成弧形、柱形等曲面顯示屏，進一步豐富了LED屏幕的表現(xiàn)形式。

（三）投影

作為一種漫反射的成像方式，投影填補了LED屏幕作為直接光源的局限性，賦予了舞臺美術(shù)設(shè)計全新的創(chuàng)意理念和表現(xiàn)形式，讓音樂可視化設(shè)計的視覺呈現(xiàn)層次感得到極大的提升。此外，幻影成像技術(shù)（Phantom Imaging）可以在理想狀態(tài)下呈現(xiàn)出逼真的虛擬立體效果；光雕投影技術(shù)（3D Projection Mapping）也被稱為“空間增強現(xiàn)實”，能夠以多種材料和結(jié)構(gòu)表面作為成像介質(zhì)，對其進行視覺重塑；傳統(tǒng)舞臺、音樂廳的演出空間給音畫交互設(shè)計在尺寸和形式上的發(fā)揮形成了一定的制約，而投影融合技術(shù)（Projection Fusion）可以為復(fù)雜環(huán)境中的大面積投影提供保障。除了為舞臺設(shè)計各類造型的投影屏幕組合，一些主題性的音樂可視化項目直接以名勝和地標(biāo)作為光雕投影的成像媒介。通常這類成像介質(zhì)本身即具備獨特的視覺造型和文化內(nèi)涵，且往往具有豐富的肌理感、巨大的視覺跨度和強烈的形式美感[6]30-34，能夠產(chǎn)生更為強烈的臨場感受，進一步刺激和強化觀眾的視聽聯(lián)覺。

三、交互方式

（一）基于時間軸的模擬交互

以迪士尼動畫影片《幻想曲》（1940）為代表的早期音樂動畫，逐步發(fā)展成為當(dāng)代的音樂視頻。在此類音樂動畫的創(chuàng)作中，藝術(shù)家和設(shè)計師通常以音樂的時間軸作為基礎(chǔ)，制作與之高度同步的視頻動畫。當(dāng)此類視頻動畫應(yīng)用在音樂演出時，音樂的演奏與之同步方式類同卡拉OK——演出前設(shè)計師或藝術(shù)家根據(jù)理想的音樂演奏效果預(yù)先設(shè)計并制作視頻內(nèi)容，演出時視頻無法變動，演奏者須嚴(yán)格把握其表演，以確保音樂能夠和視頻時間軸時刻保持同步。這并不是一種真正的交互方式，但在制作團隊缺乏交互設(shè)備和相關(guān)技術(shù)支持的情況下，這種“假交互”具有無與倫比的可實施性和經(jīng)濟性，通常能夠準(zhǔn)確地傳達藝術(shù)家或設(shè)計師希望表達的交互理念，通過表演者不斷的練習(xí)，甚至能夠呈現(xiàn)出超越真實交互的細(xì)膩效果，因此一直被各類演出廣泛采用。

（二）基于即興演繹的影像騎師藝術(shù)

由于現(xiàn)場演奏具有即興性，具體的演出進程和效果受到包括觀眾反應(yīng)在內(nèi)多方面因素影響。即興演奏難以與成品視覺影像長時間保持同步，音樂動畫式的模擬交互方式勢必會在一定程度上限制即興演出的藝術(shù)表現(xiàn)效果。20世紀(jì)70年代產(chǎn)生了影像騎師VJ（Video Jockey）這一職業(yè)，其對應(yīng)的VJ藝術(shù)在廣義上可以用來描述任何實時操控的視頻表演，主要目的是為現(xiàn)場觀眾提供與音樂表演高度同步的視覺體驗。在許多音樂節(jié)舞臺、LIVEHOUSE等音樂演出現(xiàn)場，各類視頻素材由專門的VJ師進行操控，VJ師或是根據(jù)演出情況通過程序及時對預(yù)設(shè)的視覺畫面做出調(diào)整，或是根據(jù)其專業(yè)技能為任意音樂即興制作相應(yīng)的視覺畫面。這種即興的視覺設(shè)計雖然較為主觀，卻同樣能帶來良好的藝術(shù)體驗。

（三）基于結(jié)構(gòu)性音頻的視覺程序

結(jié)構(gòu)性音頻MIDI（Musical Instrument Digital Interface）意為樂器數(shù)字化接口，是替代數(shù)字音頻波形的音樂代碼。區(qū)別于常見的mp3、wav等格式的自然音頻，MIDI以音符的數(shù)字控制信號來記錄音樂，其傳輸?shù)牟皇锹曇粜盘枺且舴⒖刂茀?shù)等指令。自1983年MIDI協(xié)議1.0版本定制以來，經(jīng)過近40年的發(fā)展MIDI已成為編曲界最廣泛的音樂標(biāo)準(zhǔn)格式。在使用到MIDI系統(tǒng)的音樂演奏中，MIDI系統(tǒng)將演奏者對樂器的各種操作轉(zhuǎn)換為數(shù)字信號，負(fù)責(zé)視覺設(shè)計的藝術(shù)家或設(shè)計師會將視覺圖像預(yù)先寫入程序，藉由實時輸入的MIDI信號中音色、音高、音長等信息觸發(fā)程序中相對應(yīng)的視覺圖像，并結(jié)合VJ師的宏觀操控調(diào)整，呈現(xiàn)更為出色的音畫交互效果。

（四）基于傳感技術(shù)的交互

如同數(shù)字化映射將輸入的聲音樣本作為控制圖像的參數(shù)，基于傳感技術(shù)（Sensing Technology）的交互方式通過設(shè)置不同的傳感器，在音樂演出現(xiàn)場實時采集特定對象某一狀態(tài)的關(guān)鍵數(shù)據(jù)，并作為控制相應(yīng)圖像變換的參數(shù)輸入預(yù)設(shè)的視覺程序。包括對表演者動態(tài)的數(shù)據(jù)采集，如樂器演奏的觸后姿勢、樂團指揮的指揮動作，演出中的舞蹈和表演等；對觀眾群體反應(yīng)的數(shù)據(jù)采集，如掌聲音量的大小、坐下或站立的姿勢、手中熒光棒的揮舞方向等；對環(huán)境狀態(tài)的數(shù)據(jù)采集，如室外光線、溫度、濕度等。雖然目前的主流音樂演出對這種交互方式的運用還十分有限，但可以預(yù)見的是，隨著動態(tài)捕捉技術(shù)（Motion Capture）、體感技術(shù)（Somatosensory Technology）、可穿戴智能設(shè)備（Wearable Smart Devices）及5G技術(shù)等科技的進一步發(fā)展和介入，傳感技術(shù)必將在音畫交互設(shè)計領(lǐng)域大放異彩，使多種感官獲得更高形態(tài)的融合。

四、結(jié)語

音畫交互設(shè)計是一個涉及范圍極廣的學(xué)科方向，它通過視聽映射、成像媒介、交互方式等多個維度的協(xié)同作用給予觀眾獨特的聯(lián)覺體驗，在科藝融合的新時代中具有廣闊的發(fā)展空間。藝術(shù)家和設(shè)計師可以通過對音畫交互設(shè)計聯(lián)覺表達的探究，挖掘更豐富的藝術(shù)內(nèi)涵，創(chuàng)造更多元的美學(xué)風(fēng)格，探索更深層的藝術(shù)理念，促使音畫交互設(shè)計形成更加獨特的發(fā)展，為后現(xiàn)代文化注入新的生命力。

參考文獻：

[1]吳敏潔.氛圍音樂概念下的音畫交互設(shè)計研究[D].杭州： 中國美術(shù)學(xué)院，2019.

[2]李雨蒙.交互類聲音視覺化的設(shè)計表現(xiàn)方法研究[D].大連： 大連理工大學(xué)，2019.

[3]徐百鳴.聲音可視化中“音流學(xué)”的研究與探索[D].杭州： 中國美術(shù)學(xué)院，2018.

[4]耿凌艷.音樂可視化設(shè)計中的映射探究——以Thayer情緒模式與伊頓色彩理論的對應(yīng)關(guān)系為例[J].裝飾， 2017（7）.

[5]張屹南.音樂可視化設(shè)計中的多通道映射模式研究[J].設(shè)計藝術(shù)研究，2014（4）.

[6]付陽.裝置藝術(shù)在展覽中的場域視覺邏輯探究[J].世界美術(shù)，2021（1）.

（責(zé)任編輯：萬書榮）