多模態表現手法對話語意義完整性的貢獻

摘 要：在技術不斷進步的今天，信息的表達和信息傳遞越來越呈現多模態化趨勢。縱觀人類實際的語言交際，成功的語義信息構建和傳達始終非單一手段所能達到，而是多種語言甚至非語言要素綜合作用的結果。因此，對于話語意義的研究需要跳出單純的文本研究模式，擴展到多模態的話語分析模式。本文首先綜述了多模態理論在話語分析以及其他領域的應用，其次將理論應用于實踐，以影視作品《天才理論傳》中部分視頻片段為考察對象，相應劇本為語料，通過分析進一步闡釋多模態的語言對表現完整而準確的話語意義的重要作用。

關鍵詞：多模態；話語分析；非語言因素

作者簡介：陳雅璐，同濟大學，專業：英語學歷：碩士研究生（研一），研究方向：外國語言學及應用語言學。

[中圖分類號]：H0-06[文獻標識碼]：A

[文章編號]：1002-2139(2012)-14-0148-02

引言

人類之所以是自然界最高級的生物，因為人類具有思想，并且創造出了能夠傳達自己思想的表意符號系統。狹隘說來表意符號系統就是指的人類的語言，但廣義來說，語言系統只是表意符號系統的一個組成部分。

在技術不斷進步的今天，人們在交際過程越來越多地使用多種符號工具來創造信息和傳達意義，比如在言語對話時配合手勢或眼神，在提供文字信息的同時采用圖片或圖像輔助闡釋，在講話或報告時佐以背景音樂等等。

一、多模態話語分析框架

根據張德祿老師（2009:24）的觀點，多模態話語指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現象。多模態也稱多符號，即指的其中采用的各種可以用來構建意義的符號工具。

在承載話語意義的媒體層面，多模態話語分為語言的和非語言的兩大類媒介形式；其中，語言的承載媒介包括純語言的和伴語言的兩類；非語言的承載媒介包括身體性的和非身體性的兩類。具體每一類媒介包含的符號工具如下圖所示（張德祿，2009:25）：

由此多模態話語媒體系統結構圖我們可以看出，從多模態話語的角度來衡量，純語言的文字體系作為人類實際交際的符號工具，只是龐大而復雜的符號系統中很小的一個組成部分。也就是說，純語言的言語聲音或書面文字不足以完整和準確的構建和傳遞信息。因此，對于話語的多模態分析越來越成為語言研究的重要課題之一。

話語分析理論最初由美國語言學家Harris于20世紀50年代初期提出，之后話語分析專家們紛紛立足于不同角度，提出了多種理論與方法來揭示話語行為自身的特征、內在的規律，以及話語與認知之間的關聯，并結合了大量的案例來分析、論證和鞏固以上理論。然而何山燕（2011:153）認為：“以往的話語分析研究基本都是以語言為研究對象，或從語言系統和語義結構本身，或從社會文化、認知心理之間的關系探討語言應用規律，忽略了諸如圖像、音響、色彩、動畫等其他意義的表現形式。”

隨著現代科學技術的發展，多模態話語現象愈發頻繁，單純從語言的角度已經不能夠準確和完整地對話語進行深入而全面的分析和闡釋，因為人類信息交際中很大一部分信息是由非語言因素體現的。非語言符號在信息傳遞方面能夠打破空間甚至時間的限制，因此在日常交際中發揮著越來越重要的作用。

根據張德祿老師（2009：27）的觀點，各種模態形式之間存在如下各種關系：

多模態之所以被廣泛運用于實際話語交際中，就是因為多種模態能夠通過相互之間的突出、擴充、聯合等互補關系，或者抵消、抽象到具體、獨立等非互補關系，更完整更準確的表達說話者的意思。

下面筆者將對影視作品《天才理論傳》中部分情節的多模態話語交際現象進行嘗試性分析，通過對理論的應用與實踐，進一步闡釋多模態的表現手法對構建準確而完整的話語意義的重要作用。

二、多模態語義構建實例——以《天才理論傳》為腳本

《天才理論傳》是20分鐘為一集的美國短喜劇，其中男主人公四名（Sheldon， Leonard等，以下簡稱S和L）均為智商超群的“科學天才”，做事較真愛鉆牛角尖，因此處理日常生活和感情問題時總是不；女主人公Penny（以下簡稱P），是S和L的對門鄰居，美麗漂亮、聰明伶俐，雖沒有極高的學歷和超凡的智商，但在生活及做事的諸多方面是男人們應崇拜和效仿的典范。《天才理論傳》就是講一個美女和四個科學家的搞笑故事。

下面我們以《天才理論傳》第一部的第十一集為研究對象，對其中的多模態話語交際現象進行描述和分析，以圖考察說話者意圖表達的語義是怎樣通過多種模態的相互作用和意義整合才能完整而準確地建構起來。

背景1：S和L在下自創的“多維象棋”（立體多層的棋盤，每層的棋子及弈法均相互關聯構成整個棋局），此時L已輸給S多局：

S：It must be humbling to suck on so many different levels.（手勢）

在說到畫線部分時，S用手由下到上將多維棋盤的每一層指示了一遍。

我們來考察此多模態話語采用了哪些媒體，即符號系統來表意。首先是純語言的聲音符號，即說話者的言語行為。這是語義傳達的主體部分，表達了說話者的基本意義。在此情景下，說話者S想表達的是對對方連連輸棋的嘲笑和戲弄。其次是說話者的手勢符號。若沒有該手勢的配合，話語僅能夠傳達出S嘲笑L下棋水平低之意，即不管跟什么水平的人下什么樣的棋都會輸棋；然而有了手勢的同步配合，該表達更具體的點明是在當下的“多維象棋”游戲中，巧妙地強調了L在每一層棋盤上的表現都不盡如人意，表達了一個更具體更形象的含義，達到生動的效果，使語言本身的諷刺意味更強。

從各種模態形式之間的關系來考察，兩種模態可以理解為互補關系中的強化關系，具備擴充功能，即在基本的抽象的“下棋水平總是很低”的抽象概念語義上，擴充出“實際多維棋盤每一層都下得不好”的具體情景語義。

背景2：P度假回來，到對門公寓里跟S和L打招呼并講述旅途聽到的有趣的笑話，S非但不領情，還嚴肅地指出P的笑話中存在言辭和邏輯不嚴謹等諸多問題，P無奈地看著S：

P：Boy， it’s good to be back.（語調，表情）

單看文本我們僅能獲得“P認為度假結束終于到家很快樂”的解讀，然而結合視頻，通過觀察P的語調和面部表情，我們可以很容易地判斷出，單純的文本解讀是不完整不準確的：一方面，P與S是多年的鄰居，S的脾氣性格P實際上已經完全熟悉和適應，因此在異地度完長假回到家中，又聽到鄰居大男孩的嘮叨和抱怨，一種熟悉和親切的感覺的確油然而生，這貼合話語純字面的解讀。另一方面，S的不領情和咬文嚼字的確很掃興，令人心里不快，因此P說good這個詞的音調偏高，非正常語調，體現出一定的反語含義，即：回到家中聽S嘮叨是件煩擾的事情；同時P的面部表情非常無奈和尷尬，也表現出她心里的矛盾想法。

此情景的多模態話語涉及純語言的媒體，即句子本身，伴語言媒體，即話語的音調和語調，以及身體媒體中的表情符號媒體。其中后兩者與前者純語言的關系可以闡述為非互補中的抵消關系，也就是說，非純語言的符號系統表達的是與純語言符號系統剛好對立的兩種語義，正負兩方面相互作用，效果抵消，P對于度假回家面對S這個事實，既非完全的開心又非單純的煩擾。

背景3：S被P傳染得了感冒，S來到P打工的餐館吃粥，P過來接待他：

P：Sheldon， what are you doing here?

S：I’m SICK. Thank you VERY MUCH.（表情，眼神，音調，音響）

從純語言媒體角度考察，由于S的回答與P的提問沒有直接關聯，明顯違背了言語交際中的合作原則，因此可以推斷答語中必定有隱藏的含義。單就純語言角度分析S的回答是對P表感謝，實際相反：S說話時面露怒色，對P不滿地翻白眼，同時語氣中有明顯的埋怨成分，句中的sick和very much被說話者重讀強調。因此，伴語言的音響特征媒體與純語言的聲音文字媒體結合，輸出完整的語義：我果然生病了，這可都怪你。

此例中，非語言的表情和眼神媒體與純語言之間形成非互補中的排斥關系；伴語言的音調和音響與純語言的聲音形成突出強化關系；而同屬非純語言的媒體之間，比如表情與音調，眼神與聲響形成互補關系中的非強化關系，即聯合關系，協調關系，或交叉關系。據此，一個多模態的話語的完整意義只有通過對各種符號媒體的意義表達進行分析，整合，才能得到完整的、準確的話語意義。以上案例向我們展示了：話語的多模態可以由純語言媒體與一種（案例1）、兩種（例2）或多種（案例3）其他模態的媒體相結合來實現。

三、結語

當今諸多的實際語言交際現象中都存在多模態的交際表現手法。通過對以上具體語料的分析，我們可以總結得出：要得到完整的語義解釋我們需要考慮多種模態的符號系統對構建完整的話語意義的重要作用。

多模態話語通過多種承載意義的符號媒體來實現；不同媒體擅長表現不同的話語模態形式；各種形式之間又存在諸如擴充、聯合、抵消等互補或非互補的關系，它們共同作用為完整的話語意義輸出做出貢獻。

本文的研究還存在諸多問題，比如研究對象是影視話語，話語是由編劇事先編寫好的臺詞，這與實際生活中的言語交流存在一定差別；其次，本文分析的多種模態均沒有涉及非語言系統中的非身體符號工具，即外部工具和環境，如PPT、音響擴放、網絡等等。然而在實際生活的很多情況下，這種非身體媒體在多模態話語交際中起著不可或缺的作用，因此對這種模態的研究也是本文尚待完善的領域之一，需要更全面和深入的分析和思考。

參考文獻：

[1]、顧曰國.多媒體、多模態教學剖析[J].外語電化教學，2007(2).

[2]、何山燕.國內多模態話語分析研究述評[J].重慶文理學院學報（社會科學版），2011年5月，第30卷第三期.

[3]、胡壯麟.社會符號學研究中的多模態化[J].語言教學與研究，2007(1).

[4]、李戰子.多模式話語的社會符號學分析[J].外語研究，2003(5).

[5]、王應喜.多模態話語分析[J].中國科教創新導刊（語言學研究），2010年第17卷.

[6]、辛志英.話語分析的新發展——多模態話語分析[J].社會科學輯刊，2008年第5期.

[7]、張德祿.多模態話語分析綜合理論框架探索[J].中國外語，2009年1月，第6卷第1期.

[8]、張德祿.多模態話語理論與媒體技術在外語教學中的應用[J].外語教學，2009年7月，第30卷第4期.

[9]、朱永生.多模態話語分析的理論基礎與研究方法[J].外語學刊，2007(5).

[10]、Halliday，M.A.K.(1978).Language as a social semiotic.London:Arnold.

[11]、Kress，G.van Leeuwen，T.(2001).Multimodal discourse:The modes and media of contemporary communication.London:Arnold.

[12]、O’Halloran，K.L.(2006).Multimodal discourse analysis:Systemic functional perspectives.New York:Continuum International Publishing Group.