基于視聽聯(lián)覺理論的音樂動畫表現(xiàn)研究

王思茹 傅凱莉

摘要：文章以視聽聯(lián)覺理論為基點(diǎn)，探究音樂和動畫的關(guān)系、視聽聯(lián)覺在動畫中的表現(xiàn)形式以及基于視聽聯(lián)覺的音樂動畫創(chuàng)作方法。藝術(shù)與藝術(shù)之間是相通的，視覺與聽覺的結(jié)合有利于打破音樂與視覺藝術(shù)之間的界限，從而在視覺藝術(shù)創(chuàng)作領(lǐng)域融入音樂原有的抽象概念，觸發(fā)觀者視聽感官的共通，產(chǎn)生視聽聯(lián)覺效應(yīng)。通過研究視聽聯(lián)覺的定義與內(nèi)涵，分析其中的層級構(gòu)成，結(jié)合實(shí)現(xiàn)方式和表現(xiàn)形式闡述音樂動畫中的視聽聯(lián)覺現(xiàn)象。提出基于視聽聯(lián)覺的音樂動畫設(shè)計(jì)方法，展現(xiàn)音樂和動畫之間相互詮釋的多重關(guān)系，促進(jìn)音樂與視覺畫面的融合，用音樂詮釋動畫，用動畫表現(xiàn)音樂。

關(guān)鍵詞：視聽聯(lián)覺;音樂動畫;音畫同步;通感

中圖分類號：J617.6 文獻(xiàn)標(biāo)識碼：A 文章編號：1004-9436（2022）03-0-03

0 引言

音樂動畫是一種結(jié)合視覺與聽覺的藝術(shù)形式，畫面與音樂在相互闡釋的過程中完成一種雙向運(yùn)動[1]。音樂動畫運(yùn)用數(shù)字媒體技術(shù)和手段，對音樂語言和畫面語言進(jìn)行組合表達(dá)，兩者皆可作為主要表現(xiàn)的藝術(shù)形式而存在，整體以音樂審美的方式借由音樂和動畫共同傳達(dá)同一主題，從而打破傳統(tǒng)的敘事、剪輯的創(chuàng)作方式。視覺和聽覺是人類最主要的感知系統(tǒng)，兩者之間的通感，也就是視聽聯(lián)覺，屬于最常見的跨系統(tǒng)聯(lián)覺[2]。其中，聯(lián)覺是指人的內(nèi)心世界因?yàn)椴煌兄到y(tǒng)之間的相互對應(yīng)結(jié)合而產(chǎn)生影響的現(xiàn)象，刺激因素作用于一種通道引發(fā)感覺的同時，也引發(fā)了其他通道的感覺[3]。在音樂可視化的視聽聯(lián)覺中，最簡單直觀的方式就是將音樂和動態(tài)圖像有機(jī)結(jié)合，也就是動畫的形式[4]。文章基于視聽聯(lián)覺理論，探究音樂動畫創(chuàng)作的一般規(guī)律和方法，為視聽覺欣賞在動畫中更好的結(jié)合提供設(shè)計(jì)思路，為相應(yīng)的基于視聽聯(lián)覺的音樂動畫創(chuàng)作提供指導(dǎo)。

1 視聽聯(lián)覺理論

1.1 聯(lián)覺的概念

聯(lián)覺是指人體的一種感官受到刺激后引起其他一種或多種感官系統(tǒng)知覺反應(yīng)，形成的多感官相互作用的現(xiàn)象[5]。聯(lián)覺是無意識的，屬于心理學(xué)范疇，對心理的影響是潛移默化的。在生活中，聯(lián)覺可以體現(xiàn)在“電閃雷鳴”時，人們看到閃電后可能不自覺地想到打雷的聲音，這是因?yàn)楫?dāng)人受到來自視覺這一感官系統(tǒng)的刺激時，聽覺感官會自覺準(zhǔn)備好接收相對應(yīng)的聲音信號。由此可見，聯(lián)覺所強(qiáng)調(diào)的正是個體不同感官系統(tǒng)間的互聯(lián)互通，人體生理反應(yīng)將在這一過程中呈現(xiàn)明顯特征。

日常生活中，各種各樣的聯(lián)覺現(xiàn)象使我們的跨感官體驗(yàn)在各類審美活動中更加容易被激發(fā)，通常個體的感覺關(guān)聯(lián)能力越強(qiáng)，則藝術(shù)感知力越敏感[6]。文章將聯(lián)覺理論引入動畫設(shè)計(jì)領(lǐng)域，旨在創(chuàng)新動畫設(shè)計(jì)的表現(xiàn)思路，進(jìn)一步提升其藝術(shù)表現(xiàn)力。

1.2 聯(lián)覺的層級構(gòu)成

結(jié)合金開誠先生的文章《藝術(shù)通感的心理內(nèi)容》中對聯(lián)覺的劃分[7]，以及陳育德先生的心覺內(nèi)容，可以將聯(lián)覺根據(jù)其構(gòu)成方式和特點(diǎn)劃分為感覺挪移、多覺疊加、意象互通三個層級[8]。

感覺挪移是三個層級中最初級的一種形式，是指一種感官受到刺激后產(chǎn)生的感覺引起另一種感官的感覺，具有自發(fā)性和直觀性。就像日常生活中嗅覺與味覺之間的挪移，聞到很香的食物氣味會刺激到味覺感官，從而食欲也被嗅覺感官所接收到的氣味信號所激發(fā)。

多覺疊加是在感覺挪移的基礎(chǔ)上多層次多角度地聯(lián)系更多的感覺系統(tǒng)。僅僅是感覺表象的結(jié)合并不能構(gòu)成多覺疊加，而是不同的感覺表象通過聯(lián)想被多層次地表現(xiàn)出來，以感覺經(jīng)驗(yàn)為基礎(chǔ)產(chǎn)生連鎖反應(yīng)。

通常情況下，說到聯(lián)覺，大部分人都會和五官的感覺聯(lián)系起來，然而從更全面的角度而言，人的思維活動、內(nèi)在情感也能夠產(chǎn)生聯(lián)覺。這兩者也正是意象互通中“意”的含義，而“象”是指帶有物質(zhì)屬性的客觀事物的外在表現(xiàn)。所謂意象，就是傳播情感，表達(dá)意象。意象互通體現(xiàn)了人的主觀性與物的客觀性之間的相互滲透、相互詮釋，是在感覺挪移基礎(chǔ)上的一種升華。

1.3 視聽聯(lián)覺

視聽聯(lián)覺是視覺感官與聽覺感官之間形成互補(bǔ)并一起發(fā)生作用的現(xiàn)象。在聯(lián)覺情況下，相對應(yīng)的視覺心理感受是由聽覺接收聲音信號后不受主觀意識的控制且自發(fā)引起的[2]。

在心理學(xué)方面，眼睛和耳朵這兩種感覺器官接收的信號形式不同，但在兩種信號間也存在一定的相似性和共通性。很多人可能有過類似的經(jīng)歷，即當(dāng)我們的聽覺接收到一段旋律的時候，腦海可能涌現(xiàn)出當(dāng)時在聽這首音樂時所對應(yīng)的畫面，從而情緒也跟隨這段旋律發(fā)生相應(yīng)的變化，這是因?yàn)楫?dāng)視聽覺感官同時接收對應(yīng)的信號刺激時，兩者共同作用于腦機(jī)制，彌補(bǔ)視覺感官相對應(yīng)的聽覺感受，以及聽覺感官相對應(yīng)的視覺傳達(dá)，相互作用，形成視聽聯(lián)覺。

2 音樂動畫中的視聽聯(lián)覺

2.1 音樂動畫中視聽聯(lián)覺的特征

郭醒乙在《音樂動畫和多媒體交互設(shè)計(jì)》一書中寫道：音樂動畫的融合不僅僅是節(jié)奏、旋律的把握和音樂角色與動畫角色間的音畫對位，還包括對應(yīng)喜怒哀樂的情感色彩等問題[9]。這一系列問題都會影響到觀者在觀看音樂動畫過程中的視聽聯(lián)覺體驗(yàn)。

首先，音樂動畫中的視聽聯(lián)覺往往呈現(xiàn)對應(yīng)性特點(diǎn)，通過與音樂各個元素相對應(yīng)的畫面來彌補(bǔ)單一音樂形式對歌曲意境、氛圍、背后故事線等方面的表達(dá)。通過視覺畫面的輔助加深人們對歌曲內(nèi)涵的理解，也通過與畫面相對應(yīng)的音樂中的各元素來彰顯動畫的表達(dá)意圖，凸顯動畫的主題含義。

其次，音樂動畫中的視聽聯(lián)覺也呈現(xiàn)整體性特點(diǎn)?！端囆g(shù)與視覺感知》一書中寫道：知覺的經(jīng)驗(yàn)并非感覺元素的集合，而是一個統(tǒng)一的整體[10]。即知覺的整體性。情感的傳播與接收是觸發(fā)觀者知覺的一大因素，并在整個過程中持續(xù)存在。如前所述，意象互通是聯(lián)覺創(chuàng)作中非常重要的一部分，在音樂動畫的表現(xiàn)過程中，觀者在音樂與畫面的相互配合下對創(chuàng)作者所要表達(dá)的情感會有所領(lǐng)悟，主觀思維和內(nèi)在情感呈現(xiàn)持續(xù)推進(jìn)的趨勢，呈現(xiàn)整體性特點(diǎn)。

2.2 音樂動畫中視聽聯(lián)覺的表現(xiàn)形式

在音樂動畫中實(shí)現(xiàn)視聽聯(lián)覺的最佳方式是音畫并行，即聲音與畫面的對應(yīng)設(shè)計(jì)。音樂動畫的畫面風(fēng)格可以是抽象的，也可以是具象的，視聽聯(lián)覺的一些表現(xiàn)形式也涵蓋在這兩類風(fēng)格中。無論表現(xiàn)形式是抽象的還是具象的，其中的視聽聯(lián)覺都是基于音畫并行實(shí)現(xiàn)的。

2.2.1 抽象風(fēng)格表現(xiàn)形式

抽象風(fēng)格主要以幾何圖形、線條、不規(guī)則圖形等為元素，從音樂的抽象概念出發(fā)，將音樂的音色、節(jié)奏、響度、旋律等因素對應(yīng)為圖形、線條等元素的變化，使圖形與音樂中的旋律等因素相匹配，從而使觀者產(chǎn)生音樂與圖形變化趨勢之間的視聽聯(lián)覺效應(yīng)。

例如，抽象派動畫大師奧斯卡·費(fèi)欽格所創(chuàng)作的抽象動畫《視覺詩歌》，不同樂器發(fā)出的不同音色以不同形狀的圖形呈現(xiàn)。在其作品《研究第六號》中，表現(xiàn)不同的旋律時使用了以不同角度、不同密度、不同方向運(yùn)動的圖形，旋律的調(diào)性呈上升和下降趨勢時，分別以鈍角形態(tài)和月牙形態(tài)快速移動或相互交錯。在同系列作品《研究第七號》中，音樂的不同響度以不同的形狀和面積呈現(xiàn)。音樂的音色、旋律、響度、節(jié)奏就這樣與圖形的形狀、方向、面積、位置同步對應(yīng)，共同作用于觀者的視聽感官，并隨之形成基于“音畫并行”的視聽聯(lián)覺體驗(yàn)。

2.2.2 具象風(fēng)格的表現(xiàn)形式

具象風(fēng)格是基于人物角色、故事情節(jié)等具體元素而創(chuàng)作的畫面。以故事線為整體架構(gòu)，場景、空間的變化對應(yīng)節(jié)奏、旋律的走向，使觀者對音樂中與畫面情節(jié)對應(yīng)的歌詞內(nèi)容、場景變幻對應(yīng)的節(jié)奏走向以及空間延伸所對應(yīng)的旋律起伏等產(chǎn)生視聽聯(lián)覺。

《黃色潛水艇》是披頭士樂隊(duì)同名單曲相對應(yīng)的音樂動畫短片，人物形象、場景以及風(fēng)格均來自20世紀(jì)60年代與其同名的經(jīng)典音樂動畫長片。這部具象風(fēng)格的音樂動畫短片帶給人的視聽聯(lián)覺正是基于音畫并行實(shí)現(xiàn)的，音樂與畫面同步進(jìn)行，每句歌詞所描述的情景都有相對應(yīng)的畫面呈現(xiàn)。例如，第一句歌詞“在我出生的小鎮(zhèn)子里”，對應(yīng)畫面是一個人走在小鎮(zhèn)的路上。接著第二句歌詞“生活著一個老水手”所承接的畫面是老水手開著潛水艇的鏡頭。到高潮副歌時，旋律明顯更加歡快和律動，對應(yīng)的畫面節(jié)奏也更加緊湊。音畫并行的表現(xiàn)方式就這樣貫穿整部音樂動畫，相對應(yīng)的畫面情景和歌詞分別通過視覺感官和聽覺感官同步被觀者感知到，形成視聽聯(lián)覺。

《黃色潛水艇》這部音樂動畫短片以黃色潛水艇為載體，時刻傳達(dá)著愛與和平的信息。整首歌曲旋律平緩，畫面節(jié)奏有序呈現(xiàn)，再加上具象畫面下音畫并行產(chǎn)生的視聽聯(lián)覺，整部音樂動畫短片的立意以及帶給觀者的視聽體驗(yàn)和動畫主題思想都能更好地被傳達(dá)和感知。

3 基于視聽聯(lián)覺的音樂動畫設(shè)計(jì)

3.1 基于視聽聯(lián)覺的音樂動畫設(shè)計(jì)流程

在設(shè)計(jì)一部音樂動畫時，可以根據(jù)出發(fā)點(diǎn)、立意以及主題思想確定畫面風(fēng)格是抽象還是具象。如果單純想讓一首音樂的旋律、節(jié)奏、音色、響度更生動形象地被聽眾感知，那么運(yùn)用圖形、線條、幾何體等形式創(chuàng)作出的抽象動畫更能夠增強(qiáng)觀者對音樂旋律、節(jié)奏的體驗(yàn)。首先，根據(jù)音樂中的這些因素制作出與之相對應(yīng)的靜態(tài)圖形。其次，制作圖形的運(yùn)動軌跡和變化形式。最后，同步對應(yīng)音樂的旋律、節(jié)奏、響度、音色等，為觀者呈現(xiàn)音樂與圖形一體式的抽象音樂動畫。

如果創(chuàng)作一部音樂動畫的初衷是說明一條故事線，從而傳達(dá)某種主題思想的話，那么帶有人物場景的這種具象動畫更合適。首先，先確定動畫主題和選用的音樂類型。其次，確定與創(chuàng)作主題相匹配的音樂是采用現(xiàn)有歌曲還是自行創(chuàng)作，無論采用哪種方式，音樂的創(chuàng)作都應(yīng)比動畫創(chuàng)作早一步完成，這樣對于后面畫面中的故事情節(jié)、節(jié)奏感、主題表達(dá)等方面的設(shè)計(jì)而言，能更加和諧地同步對應(yīng)音樂的歌詞內(nèi)容、旋律、情感抒發(fā)等因素[1]。如果采用現(xiàn)有的歌曲，動畫表達(dá)上會存在一定的局限性，會受到原有歌詞、旋律等的限制。如果自行創(chuàng)作與動畫主題相應(yīng)的音樂，無論音樂創(chuàng)作還是動畫設(shè)計(jì)上都相對靈活，能夠彼此之間相互調(diào)試，達(dá)到越來越高的契合度。最后，實(shí)現(xiàn)音畫并行，人物情節(jié)和情感基調(diào)一一對應(yīng)，同步發(fā)展。基于視聽聯(lián)覺創(chuàng)作這種帶有故事線和畫面情節(jié)的音樂動畫時，歌詞和節(jié)奏就是連接音樂和動畫畫面的關(guān)鍵點(diǎn)[11]。

3.2 音畫并行設(shè)計(jì)流程

基于音畫并行的設(shè)計(jì)方法，畫面根據(jù)歌曲進(jìn)行同步卡點(diǎn)設(shè)計(jì)在音樂動畫設(shè)計(jì)流程中屬于最后一步，也是最重要的環(huán)節(jié)。

首先，根據(jù)確定好的音樂和畫面類型繪制畫面元素。如果是具象音樂動畫，根據(jù)音樂類型確定色彩風(fēng)格，根據(jù)歌詞內(nèi)容確定人物角色和場景;如果是抽象動畫，根據(jù)不同樂器的音色特點(diǎn)確定與之對應(yīng)的不同圖形。

其次，將繪制好的畫面卡點(diǎn)對應(yīng)到音樂中。因?yàn)榫呦髣赢嫷漠嬅姹磉_(dá)相對于抽象畫面更加細(xì)致，所以與音樂的對應(yīng)大部分是基于情節(jié)和旋律的對應(yīng)。抽象畫面中畫面與音樂各元素的卡點(diǎn)對應(yīng)越密集、越準(zhǔn)確，音樂動畫的聯(lián)覺體驗(yàn)就越強(qiáng)烈。抽象畫面的卡點(diǎn)對應(yīng)是將繪制好的圖形根據(jù)音樂中各元素逐幀同步對應(yīng)，在圖形與音樂精準(zhǔn)卡點(diǎn)的基礎(chǔ)上實(shí)現(xiàn)基于音畫并行的視聽聯(lián)覺。

最后，作最終的動態(tài)調(diào)整。在具象動畫中，確保與音樂對應(yīng)的人物角色、場景、故事情節(jié)走向等與音樂同步進(jìn)行時能夠連貫通暢，根據(jù)音樂的歌詞內(nèi)容和旋律不斷調(diào)整相對應(yīng)畫面的貼合度、節(jié)奏的把控以及色彩的適應(yīng)區(qū)間，在此基礎(chǔ)上同步推進(jìn)音樂動畫情節(jié)的發(fā)展。在抽象動畫中，反復(fù)逐幀調(diào)整圖形的方向、排列、速度、面積等，使之與音樂中各元素精準(zhǔn)卡點(diǎn)對應(yīng)，使抽象畫面與音樂無縫銜接，不斷優(yōu)化音畫并行帶給觀者的視聽聯(lián)覺體驗(yàn)。

4 結(jié)語

在音樂動畫中，畫面與音樂的同步結(jié)合在觀者接收故事情節(jié)、主題思想、旋律節(jié)奏等因素時創(chuàng)造了一種最優(yōu)方式，觀者也在這種同步性中產(chǎn)生了視聽聯(lián)覺。畫面的存在更好地表達(dá)了動畫的思想，而音樂的存在通過不同的節(jié)奏氛圍使藝術(shù)感染力更加深入人心。

在數(shù)字媒體技術(shù)快速發(fā)展的今天，創(chuàng)作音樂動畫受到的風(fēng)格和技術(shù)限制越來越少，多元化的發(fā)展趨勢為音樂動畫創(chuàng)造了更多的可能性以及自由創(chuàng)新性。音樂與動畫越來越多的結(jié)合方式和表現(xiàn)手法會在這個信息化、藝術(shù)多元化的時代不斷創(chuàng)新，兩者之間更多深層次的關(guān)系也將不斷被挖掘，并與數(shù)字媒體技術(shù)相結(jié)合進(jìn)行不斷的探索、創(chuàng)新和嘗試，音樂動畫的新時代在這種大趨勢下將變得觸手可及。

參考文獻(xiàn)：

[1] 付龍.從動畫音樂到音樂動畫[J].當(dāng)代電影，2015（10）：153.

[2] 王晨萌.基于視聽聯(lián)覺的《春江花月夜》視覺化表達(dá)[D].岳陽：湖南理工學(xué)院，2021.

[3] 王海濱.聯(lián)覺：音樂臻達(dá)情感的心理機(jī)制[J].才智，2017（16）：229.

[4] 黃詩謠.抽象動畫中的音樂可視化表現(xiàn)研究[D].北京：北京服裝學(xué)院，2018.

[5] 黎莎.略論“聯(lián)覺”與“通感”的異同[J].黃河之聲，2020（14）：112.

[6] 于西.音畫互動中的視聽聯(lián)覺設(shè)計(jì)[D].南京：南京藝術(shù)學(xué)院，2021.

[7] 金開誠.藝術(shù)通感的心理內(nèi)容[J].社會科學(xué)，1980（6）：130-132.

[8] 陳育德.靈心妙悟：藝術(shù)通感論[M].合肥：安徽教育出版社，2005：39-56.

[9] 郭醒乙.音樂動畫和多媒體交互設(shè)計(jì)[M].北京：線裝書局出版社，2013：107-110.

[10] 魯?shù)婪颉ぐ⒍骱Ｄ?藝術(shù)與視知覺[M].加州：加州大學(xué)出版社，2004：106.

[11] 馮爽妮.音樂動畫中性愛藝術(shù)表現(xiàn)探究與實(shí)踐[D].北京：清華大學(xué)，2017.

作者簡介：王思茹（1999—），女，山東聊城人，碩士在讀，研究方向：數(shù)媒與影像數(shù)字化。

傅凱莉（1988—），女，江蘇蘇州人，博士，講師，研究方向：實(shí)證美學(xué)、感性工程學(xué)、用戶體驗(yàn)設(shè)計(jì)。