動態圖形視聽設計的通感實驗研究

文／朱文濤（江南大學 設計學院）

當前，數字媒介中動態圖形藝術（Motion Graphics）應用廣泛，從影視包裝、MV設計、品牌形象，到動態信息敘事、多媒體舞臺、移動端應用中，動態圖形幾乎無處不在。它與傳統圖形有著明顯不同的“時間維”特征：（1）圖形能夠在連續時間序列中改變形態；（2）圖形的變化常常需要與音效音樂等時間藝術相配合。因而，動態圖形并不僅是“形態”和“動態”的設計，還是需要在圖形與聲音之間建構起“統合”關聯的知覺體驗，形成一種音畫“通感”的設計審美。

圖形運動配上聲音或音樂就能形成“通感”審美？答案顯然不是。阿恩海姆（Rudolf Arnheim）重點分析過審美的基礎是知覺的“完形”，他曾逐一闡述視覺和聽覺藝術的審美過程，兩者審美都在于符合人們心理相似的“完形”結構：“力場”感知和“象征”認知[1]。動態圖形藝術的“通感”審美，也必然是以人們知覺“完形”為基礎，當圖形與聲音在人們心理結構上達到“完形”，才能形成最強烈的“通感”體驗。

如此復雜多變的圖形與聲音如何設計達成心理“完形”？這似乎是個需要豐富實踐經驗的問題，很難從理論上分析。然而，在格式塔心理學看來，任何審美現象都隱藏著某種內在規律，可以還原為具體的知覺心理結構。本文就初步嘗試探討動態圖形的“通感”現象及其背后的“完形”規律：（1）不同的圖形和聲音如何配置會產生更明顯的“力場”感知；（2）聲音如何配合圖形“象征”，讓人們的心理體驗更強烈；（3）這些“通感“體驗內在的“完形”規律又是什么？這幾個問題的探討是動態圖形如何優化“通感”設計的重要思路，也是本文研究之主旨。

這個問題難以用一般論述解決，作者嘗試引入“實驗美學”的方法。古斯塔夫·費希納(Gustav Theodor Fechner)是最早將心理實驗的方法引入美學分析，開創了“實驗美學”。由此美學研究分化為兩種路徑，一種是“自上而下”以思辨角度來探討美的本質，另一種是“自下而上”用實證方法檢驗審美假說。本文試圖將兩種思路結合：以“完形”理論為基礎，設計一個音畫通感的實驗框架；然后依據實驗要求選擇動態圖形材料，對同一群體樣本進行通感效果測試；最后對實驗結果作進一步美學理論詮釋，分析其內在規律與設計效用。

一、兩個“通感”實驗及其理論基礎

1.1 音畫“力場”通感實驗

費希納確定外在世界與人們心理之間具有同一性“力”的結構，審美知覺來自各種“力”的組織和強弱刺激，正如他認為“對于力的感受，使一切物體相互發送關聯，并為它們的生命中心所感知。”[2]在視覺領域，形狀、色彩關系和動態所獲得強烈感知都來自形式組織的“張力”；在聽覺領域，音樂行進中的音高節奏變化，也能夠想象成空間中具有方向性的“動力”。無論是空間還是時間形態，對于感知而言，一切形態的共通都來自內在“力場”，“力場”感知越強烈，知覺的“完形“程度就越高。

阿恩海姆曾詳細分析過，在視覺大小、構圖、方向、序列、題材等方面能夠體現知覺上的“力”。我們進一步對“知覺力”的具體表現，歸納為3個方面：（1）形態特征中表現的“力”；（2）時間運動中表現的“力”；（3）形式與內容之間的“張力”。

基于“知覺力”這幾個方面來設計實驗。首先，圖形與聲音都具備抽象與具象的形態；其次，圖形的動態與聲音在時間上有著同一性；再次，圖形作為內容，聲音可以視為其形式。因而，從不同形態、時間與形式內容的關系上挑選合適的動態圖形案例作為實驗材料，測試音畫不同關聯配置所形成的通感效果的強弱，以下是實驗的主要目標：（1）音畫在不同形態配置下所形成的“力場”強弱效果；（2）音畫在不同時間同步方式下形成“力場”強弱感知；（3）不同形式的聲音詮釋圖形內容，哪種最具“張力”感。

1.2 音畫“敘事”通感實驗

阿恩海姆強調人們的審美感知在于對象中的所有成分都服從一個完整結構，他還提出另一種“象征”的結構[2]。他認為審美對象的每個組成部分存在的本質最終是由主題內容體現出來，內容認知在于符號和象征，當一件事物與另一件事物相連接，人們會建立起象征的聯想，通過意義的理解而產生知覺審美。

可以把一系列象征關系視為一種“敘事”結構。動態圖形藝術常常以短片形式出現，有著明顯“視聽敘事”特征，通常是“聲音敘事”來配合“視覺敘事”，當聲音與視覺通過象征關聯共同建構某種敘事，也會產生知覺通感。

聲音配合視覺的敘事有兩種，一種以人聲語言配合敘事，另一種則是以音樂營造敘事。這兩種視聽敘事各自都能建構起審美通感，以下是我們設計第二個實驗所要獲得的具體結果：（1）不同人聲敘事與圖形敘事配合的知覺效果;（2）音樂如何配合圖形情節產生的知覺體驗;（3）音樂如何引導圖形敘事情感產生的共鳴效果。

二、實驗框架與組織設計

2.1 “直覺”的測試

在知覺實驗中，人們的反饋是基于“直覺”，我們還需要明確“直覺”是否可靠，是否可被測試。費希納的實驗美學基于這樣一種思想：精神的東西一定具備物質基礎，客觀物理的變化一定會在人們的心靈經驗中得到對等的反應。同物理變化的測量一樣，心靈的刺激反應也是可以測量的[1]。他認為心理反應源自人們愉悅的動機，這種趨利避害的努力就是人的“直覺”判斷。“直覺”具有普遍統一性，而且可以被測試，這是美學實驗能否合理成立的基礎。在一定限制條件下，我們以某一人群中“直覺”樣本進行采集和分析，可以獲取某種規律性的認知結果。

這一實驗主要來測試人們對于聲音配合動態圖形的不同知覺效果，研究者將依據知覺理論來設計不同的實驗目標與環節內容，記錄同一群體在各個實驗環節中對于預備視聽材料的直覺感受，從實驗的排序結果作為下一步美學分析的依據。

每個實驗環節設計中，都要明確相關“自變量”和“因變量”。自變量是指研究者主動操縱、控制并對被試反應可能產生影響的自定內容，因變量是自變量產生的結果，是研究者觀察的內容，也就是我們最后收集的數據。在這一實驗中，設計挑選的各種動態圖形材料是自變量，被測試對象的知覺感受就是因變量。

2.2 實驗框架具體陳述

2.2.1 實驗一：音畫“力場”通感實驗這個實驗目的是測試人們對于動態圖形中音畫不同形式關聯的通感刺激強度，由圖形與聲音之間的形態關聯、同步關聯以及表意關聯3個實驗環節組成（見圖1）。

圖1 動態“通感”實驗設計結構總圖

環節1：形態關聯。視覺形態可分為抽象與具象兩類，聽覺形態可分為音樂與聲效兩類，音樂較為抽象，聲效擬音則相對具象。第一個實驗環節的“自變量”就是圖形與聲音在抽象或具象之間不同的組合，“因變量”是人們感知到力量刺激的強度排序。

環節2：同步關聯。這一環節的“自變量”是改變聲音與畫面同步關聯的方式，分為對應、強化和消解3種。分別比較音畫完全和不完全對位的同步方式；比較音樂氛圍加強與音效漸進的強化方式；比較逐漸減弱和嘎然休止的消解方式。“因變量”是這3種視聽同步方式中各自感受力的排序。

環節3：表意關聯。聲音形式對畫面內容的表意，聲音表意上可以分為寫實、夸張與意象。寫實是具體音效對應圖形運動，夸張是特殊聲效描述畫面，意象是用音樂詮釋畫面。對這3種方式的張力效果進行排序。

2.2.2 實驗二：音畫“敘事”通感實驗這個實驗目的是結合人聲、音效、歌曲、器樂等多種聽覺因素，測試人們對于動態圖形視聽敘事的通感體驗程度，分為人聲敘事與配樂敘事兩個環節。

環節1：人聲敘事。歌曲、旁白和角色聲音是對應視覺敘事情節最常見配合方式，以這3種方式為“自變量”，并在畫面中安排字幕，測試人們理解敘事和投入體驗程度。

環節2：配樂敘事。音樂與敘事畫面相關性的體驗：音樂重復暗示畫面敘事和音樂隨著畫面情節變化，這兩種方式對于敘事感知強弱的比較；穩定和變奏的音樂配合圖形動態，哪種更具引導敘事情感的體驗。

2.3 實驗條件與步驟

實驗設計將明確對象樣本、材料選擇、測量方式、流程步驟等多個前提條件與規范，以保證實驗邏輯嚴謹，輸出較為可靠的結果。

2.3.1 實驗樣本 “通感”實驗一和實驗二都采用同一實驗樣本，為江南大學設計學院的本科生及研究生共20名，年 齡階段為20～26，男女性 各10名，各占50%。對象樣本不僅具有健全的認知能力和良好的感知能力，同時對于動態圖形藝術非常熟悉，具有相關設計審美能力。

2.3.2 實驗材料 根據實驗不同環節的自變量要求，設計選擇動態圖形優秀案例作為實驗的試題材料，每個實驗安排不重復的3組試題，每組最少2～5個案例片段的試題，全部實驗包含18個動態圖形試題，片段試題格式為mov，分辨率一致為720 P，用quicktime軟件全屏依次播放。播放設備全部使用顯像清晰的蘋果臺式機，片段包含雙聲道原聲配音，被試對象全程佩戴蘋果耳機，保證在實驗過程中不會受到外界因素和環境音的干擾。

2.3.3 實驗過程要求 實驗為分時分地，一對一現場測試，被試者互相不會知曉各自選擇結果。實驗開始前不會對被試者有任何引導或告知實驗題目、實驗框架。每個片段試題僅播放一次，但提供足夠時間供被試者回憶體會以完成試題。

為了分析和比較不同實驗目標效果，統一采取排序測量法設計實驗試題。在一個試題里設計一個或多個視聽片段，被試者以直覺的通感效果強弱對片段進行排序。每個被試者的感知傾向不同，排序選擇也不同，但以較多的樣本，根據排序測量公式，可以比較客觀的反映出整體知覺效果強弱，一定程度容納個體因素的影響。試題選項和主要內容如表1所示。

表1 實驗試題設計匯總

在實驗開始前，被試者會提前熟悉實驗流程，研究者向被試人進行簡短口頭傳達，包括試題數量以及要求根據直覺判斷完成試題，然后分環節讓被試者逐一觀看試題片段，被試者完成感知效果的排序，進行下一環節測試，直到全部完成。實驗者保留數據結果，完成所有樣本測試后統一分析處理。

三、實驗統計與結果

3.1 實驗數據統計

實驗數據（見表2）采用了選項排序公式計算排序（Wi）結果：

表2 實驗結果數據分析

計算公式中，Σ為求和符號，下角標i是選項標號，j為排序等級，i最大值為選項總數a，如i=1，2，3，…a，試題選項數決定排序等級數，j=1，2，3，…a。aj表示排序等級的分值。排序選擇第一的分值為總選項數a，選擇排名第二的分值為選項數減1，分值隨排名順序依次遞減。比如試題包含3個選項（i）A，B，C，被試者選擇效果排序（ij）依次為B1，A2，C3，最終aj依次為3分、2分、1分。Wi表示為某一選項的排序指數，排序指數的求和為1，即∑Wi=1。nij表示選項（i）在排序等級（j）中的分布數量，即總樣本（N）中選擇該選項排序等級的人數（n）。例如題1-2-2，選項A排序指數的計算為：0.4=4×2+16×1/20×2+20×1。

3.2 實驗結果分析

通過數據的排序結果，可以對兩個實驗的5個環節分別作出結論。

3.2.1 音畫形態的力場效果 由強到弱依次是：抽象圖形與音效＞抽象圖形與音樂＞具象圖形與音樂＞具象圖形與音效。

3.2.2 聲畫同步方式的力場效果 音畫對應：對位＞非對位；音畫強化：音效漸強＞音樂氛圍；音畫消解：休止＞漸弱。3種同步方式中，強化同步的刺激力最明顯。

3.2.3 音畫表意的張力效果 由強到弱為：圖形的音樂意象＞圖形的夸張聲效＞圖形的寫實聲效。

實驗一小結：抽象圖形配合強化音效、具象圖形與音樂意象，具有更強烈的知覺張力與通感效果。

3.2.4 人聲配合動態圖形的敘事體驗程度 背景人聲歌曲＞圖形角色聲音＞畫面旁白解說。

3.2.5 配樂引導視覺敘事的體驗程度 音樂發展情節＞音樂暗示情節。

3.2.6 配樂引導敘事情感的強弱程度 音樂變奏與畫面情感＞音樂穩定與畫面情感。

實驗二小結：人們更喜歡感性且起伏變化的音樂擴展圖形敘事的情節與情感，其通感體驗最為明顯。

四、實驗結果的“完形”規律闡釋

還需要從審美“完形”心理角度對兩個實驗結果作出進一步的理論闡釋，從而推導其內在規律與設計方法。

雖然聲音與圖形是共同完成的一種整體性的“完形”感知，但仔細分析兩個實驗的6個小結論會發現，在不同感知條件下，聲音與圖形在通感的主導性上有著不同表現：音畫能夠共同配合建立“完形”，但也會是圖形主導聲音的“完形”或是聲音主導畫面的“完形”。

這3種表現有著各自不同的內在“完形”規律（見圖2）：音畫配合的是一種“互償”心理結構，對應實驗結論（1），（3），（4）；圖形主導聲音的是一種“摹仿”心理結構，對應實驗結論（2），（5）；音樂主導圖形是一種“喚情”心理結構，對應實驗結論（3），（6）。對以上3種“完形”結構的美學原理進行逐一分析，這也是動態圖形根據不同情況進行通感設計的重要思路。

圖2 通感實驗結果的“心理完形”美學推導

4.1 互償結構

實驗結論（3.2.1）中，與聲音配合的抽象圖形比之具象圖形在感知上更強烈，這與我們的常識有所偏差，一般認為具象有機圖形通常會比抽象圖形更富活力。然而，視知覺傾向把任何刺激式樣以盡可能簡單的結構組織起來，簡化的抽象圖形弱化了在形式感知上的刺激，反而集中于圖形在運動中的“力場”感知，運動的張力將抽象圖形“補償”完形為一種有機形態。

在音畫配合中，音效傾向聲音的具象形式，音樂傾向聲音的抽象形式，擬音音效和抽象圖形的矛盾性進一步強化這種“互償”結構。阿恩海姆曾對類似矛盾現象進行分析，他認為活力形態具有一種反抗抽象趨態（稱為“增墑”）的傾向。在形態關系中，一旦產生既是這個事物又是另一事物的矛盾對抗的幻象，就能產生張力[2]。

音畫同樣如此，人們感知圖形的抽象化，而擬音聲效又形成一種反抗抽象化的趨態，視聽之間對立互補關系，形成一種“互償”的張力結構。實驗結論（3.2.3）也證實這一點，具象圖形與意象音樂之間，也建立起“互償”的通感審美。“互償”結構同樣發生在視聽敘事中，實驗結論（3.2.4）的圖形基于一種線性敘事，而人聲歌曲則是充滿意象的整體感知，音畫之間理性與感性的對抗比旁白解說的畫面更富張力。對于通感的“互償”結構，阿恩海姆談過類似看法：感覺表達媒介都在發生相互滲透，每一種媒介在依靠自己獨特性質時傾向發揮的最好，但又可以通過與自己差別的匹配者為自己灌注新的活力[1]。

4.2 摹仿結構

實驗結論（3.2.2），音畫的3種同步關系的感知中，聲音動機對圖形運動的“摹仿”越明顯通感也就越強烈，也體現著視覺力場的主導關系。谷魯斯（KarlGroos）最早提出心理上“內摹仿”[3]。他認為知覺都是以摹仿為基礎，當看見一個圓形，我們內心就會摹仿出圓形運動的快感。格式塔心理學也在一定程度接受內摹仿的理論，歸結為外在力場與內心力場的組織同構，同時，阿恩海姆還強調，力場結構中，能夠統覽感知到結構的唯一媒介就是視覺媒介[1]。

因而，在圖形的運動感知中，時間知覺向空間知覺自發轉化，聲音與圖形運動建立“摹仿”結構形成通感審美：音畫對位就是一種“摹仿”，聲音節奏點與視覺變化節點建立同構，這遠比音樂旋律與圖形運動的“完形”效果更強烈；音畫同步強化關系中，漸進音效比氛圍音樂更能摹仿圖形的動力，通感效果也就更明顯。

實驗結論（3.2.5）中，音樂推高與回落的動力結構與動態畫面的情節發展的趨態相似，也會有明顯通感體驗；而音樂的重復往往與圖形產生某種分離，也削弱了摹仿結構的“完形”。阿恩海姆認為：人成為藝術家的那個時刻，就是他能夠為他親身體驗到的無形體的結構找到形狀的時候[2]。動態圖形的音畫體驗就在于無形體聲音動力相似于視覺圖形的動力結構，摹仿結構的本質是“力”的形式的相似，也可以視為音畫在“形式”上的通感。

4.3 喚情結構

實驗結論（3.2.3）與（3.2.6），在與圖形配合中，音樂結構更具主導地位，與摹仿結構中視覺形式主導不同，由音樂產生的情感能量能更好的注入視覺表現中，從而建立起一種“喚情結構”的心理完形。格式塔心理學家沃爾夫岡·柯勒（Wolfgang Kohler）就重點分析不同情感需要會影響主體對于對象的整體知覺，人們對于外在場的組織與控制往往按照自身某種情感結構的需要，從事物中喚起或滿足情感，也就是常說的審美的“移情”[4]。音樂與聲效語言等有著明顯不同的知覺特征，音樂以調式為中心，不同音程關系構成內在情感張力的基礎，音樂大小調就具有快樂與哀傷明顯差異的情緒傾向，內在的張力結構在時序旋律的動力中發展更復雜的情感變化。

蘇珊·朗格（Susanne K.Langer）提出音樂在情感結構上具備一種“同化原則”（assimilated principle），她說當音樂是強有力和自由的時候，它不僅能夠吞并或同化語言文字，甚至能吞并劇情[5]。我們會發現當圖形運動需要強調某種情緒，配樂的情感就能主導人們的整體感知，例如實驗試題2-2-3的動態圖形短片中白紙飄舞的景象，配合調性奇異的音樂，人們感受到一種神秘哀傷的氛圍。蘇珊·朗格將音樂視為一種“生命感覺的形式”，與視覺的具體情感有所不同，音樂是以動態結構的特長來體現一種生命經驗的抽象形式。因而，審美主體以音樂的情感結構來組織視覺內容，在視覺上能夠展開充分的聯想，圖形想象與音樂情感在“喚情”結構中實現通感“完形”，能動表達出豐富的審美。

五、結 語

從實驗結果推導出的3種完形結構，可以作為動態圖形視聽“通感”設計的基本思路。（1）針對動態圖形不同“形式”的聲音設計，可以分析心理“互償”結構的各種應用：擬聲音效與抽象圖形最具張力，具象圖形可選擇器樂配合，圖形敘事的情節點減少采用人聲旁白；（2）強調圖形“運動”的配音設計：聲音盡量能夠“摹仿”畫面的視覺力場，視覺力的擴張與消解，聲音力場應與之對位同構；（3）動態圖形“敘事”中的聲音設計，我們可以利用“喚情”結構，以音樂情感動力為主軸來引導視覺圖形的情感想象。

動態圖形的通感設計是有著復雜因素的實踐創作，特別是具體到聲音特質、音樂風格與圖形運動之間的映射互動，還有待于進一步展開研究。初步美學實驗并不能完全解決動態圖形音畫設計問題，但其從“現象”到“規律”的動機和實驗結果對于視聽設計美學的分析與實踐仍有一定參照之價值。