音樂視頻語篇的多模態話語分析

摘 要：傳統的語篇分析基本集中在文本語言分析，忽視非語言符號資源對語篇意義的構建所起的作用。而實際上在各種語篇中圖像、聲音、顏色、動漫等其他意義的表現形式對整體語篇的構成意義也有很大的作用。20世紀90年代在西方興起的多模態語篇分析促進了傳統單一的語言交流手段與視覺、聽覺、手勢等其他表意方式的有機結合。本文嘗試用Kress和Leeuwen的視覺圖像分析語法框架以及聽覺模態方面的聲音透視理論對復興路上工作室制作發行的音樂視頻《十三五之歌》中的聲音和圖像進行意義構成的分析，以說明各種模態和符號在視頻中是如何相互關聯共同實現語篇的整體意義的。

關鍵詞：多模態語篇分析；意義構建；視覺模態；聽覺模態

1.引言

隨著數字化和信息化時代的到來，人類交際活動中出現了多種符號相融合的現象，這種話語的多模態現象是當今人類交際中使用各種話語時的一個重要特征（Kress&Leeuwen，2001：2）。電腦技術和多媒體技術的不斷進步與發展、廣泛運用與普及，更始人類社會跨入了豐富多彩的信息時代。人們觀察世界、認知世界與表達感情的渠道也日益多元化，實現了多模態交際。 20世紀90年代，多模態語篇分析在西方語言學界應運而生。早期的研究多集中在對靜態多模態語篇的分析上，隨著多媒體和數碼技術的發展，研究重心開始逐漸轉向動態多模態語篇，如視頻語篇和網頁超文本等。但是由于涉及對音頻和視頻的采集、合成、重現等技術過程及其符號的動態性、分析的復雜性和對其它相關學科知識的要求，動態多模態視頻語篇成為近年來多模態語篇研究者面臨的一大挑戰。

國外從事多模態語篇分析的學者有很多，其中Kress&vanLeeuwen根據Halliday的系統功能語言學理論，將語言的三大元功能看作是任何人類交際系統所必須具備的，并以此為基礎建立了對圖片進行分析的視覺語法框架：再現結構、互動意義和構圖意義，分別與語言的概念功能、人際功能和語篇功能相對應。近年來，國內也興起了多模態語篇分析，本文將以Kress&vanLeeuwen所提出的視覺語法框架和系統功能語法為基礎，來對多模態視頻語篇《十三五之歌》進行分析。

2 多模態語篇及視覺圖像語法框架理論基礎

2.1 多模態語篇的定義

“多模態”一詞源于英語中的“multimodality”，其中“modality”一詞源自“mode”，意為“模態/模式/方式”。本文采用“多模態”譯法，與單一模態相對。近年來，多模態語篇研究引起了國內外許多學者的關注，但對如何定義模態，何為多模態，尚未達成一致意見。Kress&vanLeween認為，多模態語篇（multimodal discourse）是一種融合了多種交流模態（如聲音、文字、形象等）來傳遞信息的語篇。李戰子則指出，多模態語篇是指除了文本之外，還帶有圖像、圖表等的復合話語，或者說任何由一種以上的符號編碼實現意義的文本。也就是說，區分單一與多模態的關鍵在于有多少種符號參與意義構建。顧曰國則認為，模態指人類通過感官（如視覺、聽覺等）跟外部環境（如人、機器、物件、動物等）之間的互動方式。用單個感官進行互動的叫單模態，用兩個的叫雙模態，三個或以上的叫多模態。他認為區分關鍵在于有多少感官參與互動，比如視覺、聽覺或觸覺的同時參與或只有一種參與。朱永生認為多模態話語的判斷有兩條標準，第一是看涉及的模態種類有多少，第二是看涉及的符號系統有多少。他的第一條標準與顧曰國的多感官互動觀點相似，而第二條標準與李戰子的多符號觀點相似。如上所述，諸多學者從不同角度對多模態語篇進行了界定。本文認為，可以從語篇構建要素和語篇處理者兩個角度對其定義。前者強調的是參與意義構建的各種符號，后者強調的是作為語篇處理者的人的感官系統。將兩條標準合二為一可得出以下結論：單一模態語篇為僅有單一感官參與互動且僅含一種符號的語篇，比如看只含文字的書本或聽僅有聲音傳達的收音機；多模態語篇可分為啟用單一感官的多符號語篇或啟用多感官的多符號語篇，比如看既有文字又有圖片的書本或既有圖像又有聲音的電視。而現實生活中，絕對的單一模態語篇是很少的，多模態語篇則是普遍存在的，比如人們說話時常伴隨手勢，人們可在一張網頁上既看到文字又看到圖像，同時又可聽到音樂。因此，語言是人類進行表意交流的主要渠道，但不是唯一有效的渠道。

2.2 多模態話語分析方法

目前對視頻語篇的分析還沒有統一的框架，而視頻語篇出現的模態主要有視覺模態和聽覺模態，因此，本文在分析復興路上工作室出版的《十三五之歌》音樂視頻的視覺模態方面，將借鑒 Kress & Van Leeuwen（ 2006） 的理論建立對視覺圖像語法的分析框架，包括再現意義、互動意義和構圖意義。再現意義包括敘事再現和概念再現； 實現互動意義的要素包括： 視點、距離、接觸和情態； 實現構圖意義的資源有信息值、取景和顯著性。在聽覺模態方面，本文將采用VanLeeuwen（ 1999） 的聲音透視和社會距離系統網絡對MV中聲音與聽者的關系進行解讀。聽覺透視系統把同時出現的聲音進行分層使聽者能分辨出聲音重要性的不同，而這種聽覺透視由音量的大小來實現。同時出現的聲音按照位置可分為三組： 主角、背景和場。主角聲音是關注的重點，也是聽者需要確認、做出回應或采取行動的聲音。被置于背景位置的聲音對聽者來說是次要、不那么明顯的。場聲音存在于聽者的物理世界，不期待聽者適應它或采取任何評論性的姿態。社會距離系統包括五種距離： 親密距離、個人距離、非正式距離、正式距離和公共距離。這些距離由音質體現，包括喉嚨肌肉張力、音高和音量，例如親密距離由極輕柔的聲音低聲密語實現。

在研究視覺模態和聽覺模態如何體現各自意義的同時，我們也將借鑒張德祿（ 2009） 和 Royce（ 2007） 的研究成果，考查各種模態和符號之間如何相互關聯共同實現語篇整體意義。張德祿（ 2009： 26） 認為人類在交際中會用多模態的最主要原因是因為“一種模態不足以表達清楚交際者的意義，從而利用另一者來進行強化、補充、調節、協同，達到更加充分，或者盡量充分表達意義，讓聽話者理解話語的目的”。他把模態間的關系分為互補關系（ 強化和非強化） 和非互補關系（ 交疊、內包和語境） 。具體到圖像和文本的關系，Royce（ 2007： 70） 把圖像和文本的合作作用稱作“符號間互補”，他認為，從概念意義上，圖像與文字材料之間存在重復、同義、反義、上下義、部分整體義和搭配等關系； 圖文的人際意義互補可以通過符際語氣（ 兩種模態呈現給讀者的方式） 和情態（ 態度一致和態度不一致） 進行分析； 在組篇意義上，圖像和文本涉及到信息值、顯著性、取景和閱讀途徑等方面的協作。

3 分析與討論

3.1 視覺主題

復興路工作室制作發行的《十三五之歌》于2015年10月27日由新華社在其官方twitter上首先發布，長三分鐘，四個歐美年輕人以民謠的形式反復吟唱“十三五”。按照“十三五”是什么、誰制定、怎樣制定、制定完成還要執行、完善等邏輯順序，層層推進，對每個問題的詮釋、演繹都非常通俗。歌詞中反復歌唱“分散調研、集中討論、再分散 調研、再集中討論?！币源藖硐蛲饨缃榻B“十三五規劃”是什么以及是怎樣出臺的。在MV方面，《十三五之歌》所展現的視覺元素也頗為講究，它主打的是波普拼貼風格，是歐美流行文化的典型代表，將人民幣、長城、烤鴨等中國符號展現出來，極具文化親和力。MV的主角之一的卡通形象，選擇了英國著名歌手大衛.鮑勃。這位被稱作“搖滾變色龍”的樂壇老將在歐美家喻戶曉，由他“闡述”中國十三五，大大拉近了與國外人民的距離。而不同膚色的手，共同擺出“135”的數字手勢，也象征著中國與世界成為更加緊密的“命運共同體”：中國的十三五并非只是自身矚目的政治焦點，也是影響世界的大事件。

Baldry & Thibault（ 2006： 185） 認為階段之間的過渡可以從表達層面或內容層面的變化得到提示，我們依內容層面的視覺主題把整部作品劃分為五個階段，它們所表達的內容如表1所示：

1，習大大的new style“十三五規劃”像中國一樣大

2，人民幣的圖像及各行業照片表示黨中央國務院各級黨政辦參與制定“十三五規劃”

3，雨中人頭不斷出現又消失形容制定過程

4，中國地圖、高樓的崛起以及百家姓名冊描述“十三五規劃”的未來執行狀態

5，電視中人頭不斷涌現提出未來還有“十四五規劃”

根據視覺分類的關聯元素，作品中四個演唱者站在大巴車頂上，邊走邊長，其中場景涵蓋范圍非常廣泛，依次有：森林中、藍天白云下、長城上、花叢中、細雨中、高樓崛起的城市以及邊疆的荒原等等。結合

關聯元素和視覺連接手段，作者發現這五個階段均由兩個或兩個以上的場景組成。將如此多且豐富的背景運用到一首MV中，恰好說明了了中國“十三五規劃“所涉及的范圍之廣、制定過程的復雜性以及參與人員的多樣性，與歌曲主題相互呼應。

3.2 視覺模態

雖然在一首歌曲中，聽覺模態是主模態，但在音樂視頻中，往往視覺模態能賦予MV不同尋常的表現力。本文將從再現意義、互動意義和構圖意義三方面入手分析該音樂視頻的視覺模態。再現意義表示視覺圖像能如實再現客觀世界中的人、地點和事物以及人類內心世界的活動。整個作品中，既有敘事再現的行動過程，又有概念再現的象征過程。

在《十三五之歌》的MV中，提到習大大style的時候，配圖背景是習近平主席微笑向觀眾招手的照片，表現了他對人民的熱情以及對“十三五規劃”的滿意程度；在歌詞唱到“十三五”計劃的宏偉時，配圖背景是一位父親背著一個小女孩兒，兩人紛紛張開雙臂，面帶笑容，顯示了他們對黨中央“十三五規劃”的擁護。

互動意義是指圖像的制作者、圖像所表征的事物和圖像的觀看者之間的關系，同時提示觀看者對表征事物應持的態度。觀看者對畫面內容的觀看角度，即視點有平視、俯視和仰視之分，它體現了參與者與觀看者之間的權勢關系。整部作品基本采取平視的視角，讓觀看者感覺平等親切融入其中。此首MV的目的是不僅向中國人民更向全世界人民介紹中國“十三五規劃”是什么、由誰制定以及怎樣出臺的，因此，在整首MV中，大部分畫面人物都未與觀看者有直接眼神接觸，主要以提供信息為主。它主打的是波普拼貼風格，是歐美流行文化的典型代表，并選擇了英國著名歌手大衛.鮑勃作為MV的主角之一，大大拉近了與國外人民的距離。而不同膚色的手，共同擺出“135”的數字手勢，也象征著中國與世界成為更加緊密的“命運共同體”：中國的十三五并非只是自身矚目的政治焦點，也是影響世界的大事件。整部MV的畫面色彩飽和度高，具有高情態，而且呈現一定的色彩傾向，以粉紅、黃、綠三者為主色調，象征著生命力蓬勃、溫暖可親和年輕活力，拉近了與觀眾的距離，同樣也以飽滿的色彩改變了傳統傳播政治要聞時肅穆莊重的氣氛，愉悅了觀眾的心情。

構圖意義通過信息值、顯著性和取景實現。信息值與元素在構圖中的放置有關，Kress & van Leeuwen （ 2006） 認為左到右的放置造成了已知 - 新信息的結構，置于上方的是“理想的”，下方的是“真實的”； 顯著性可通過被放置在前景或背景、相對尺寸、色調值的對比、鮮明度的不同等來實現； 取景可通過造成分割線條或實際分割框架的線條來實現。Baldry & Thibault（ 2006： 189） 認為在動態的畫面中已知信息和新信息的確定還要看元素是不是逐漸變得顯著或成為焦點，而不單純依靠左右的放置。MV中四個歌手站立的大巴首先是位于整個視頻的中心靠前位置，而后，穿過森林、平原以及后來又出現許多其他人物時，他們總是時而靠前時而被虛化。例如在MV剛開始時，四位歌手處于前置位置，突出了他們的顯著性，后來在用不同顏色的手比劃“135”時，他們處于后置位置，顯著性被降低。

3.3 聽覺模態

整部作品的聽覺模態有旁白、歌唱、音樂和效果音響，各種符號高度協調。旁白是活潑的男聲或女生不斷提出的問題，演唱部分由兩男兩女交替或者合唱完成，曲風以民謠為主，搭配朋克和獨白，整體風格酷似70年代風靡于日本的迷幻搖滾。

首先由一位女聲的旁白提出的問題 “Have you guys heared whats going on in China？” 引出了整首歌曲。而在歌曲中間也總是用疑問的形式引出后面的演唱，例如，在49秒的時候，男生問“the 13 what？”；在51秒時問“who makes all the plans？”等，用疑問旁白的形式不僅能使整首歌曲聽上去符合邏輯順序，也引起了聽眾的興趣。

3.4 模態的整合

整部作品中視覺模態和聽覺模態對構建意義缺一不可，互為補充，為互補關系的非強化關系，有協調、聯合和交叉三種形式。在協調關系中，不同的模態共同表達交際者的整體意義，該音樂視頻中的畫面和歌唱聲音都是必需的，缺乏任何一者將難以理解，因為此首MV不同于以往的音樂視頻，它的演唱語言是英語，而字幕是漢語，而背景又是融合了中西方不同的文化形象，它的受眾群體是全世界的人民，所以兩者是協調關系缺一不可，共同構建語篇的整體意義。

4 結語

本文探討了對動態多模態音樂視頻語篇分析的理論框架，并基于此對《十三五之歌》MV進行了多模態話語分析，闡釋了視覺模態和聽覺模態在語篇意義建構中的作用，以及各種模態和符號如何相互關聯共同實現語篇的整體意義。研究表明，音樂視頻中文字、背景圖像和音樂通過互相增強或補充形成合力構建意義，取得傳遞信息的最佳效果。但不可否認的是，對圖像的語法分析存在主觀性，而且各種模態之間的互動和互補作用難以確定。因此在某種程度上，多模態語篇分析有一定的局限性和片面性，但隨著越來越多的學者開始關注多模態語篇，其分析方法和理論定會進一步完善。希望此篇文章對后續的研究能有一定的借鑒意義。

參考文獻

[1]KressG，vanLeeuwenT.ReadingImages：TheGram-marofVisualDesign[M].London：Routledge，1996.

[2]李戰子.多模式話語的符號學分析[J].外語研究，2003，（5）： 1- 8.

[3]HallidayMAK.AnIntroductiontoFunctionalGram-mar[M].London：EdwardArnold，1985.

[4]顧曰國.多媒體、多模態學習剖析[J].外語電化教學，2007，（114）： 3- 12.

[5]朱永生.多模態話語分析的理論基礎與研究方法[J]，外語學刊， 2007，（5）： 82- 86.

[6]洪崗，張振. 多模態視頻語篇《我和你（ You And Me） 》的構成意義分析[J]，外語電化教學，2010（ 6） .

[7]唐青葉. 電視民生新聞的多模式積極話語分析[J]. 外語研究，2008（ 4） .

[8]張德祿. 多模態話語分析綜合理論框架研究[J]. 中國外語，2009（ 1） .

作者簡介

王晶晶（1991-），女，漢族，籍貫，河北省泊頭市，大連外國語大學在讀研究生，研究方向：跨文化交際