多模態話語研究理論綜述

■彭曉妍/瓊臺師范學院

一、前言

隨著新媒體技術的發展和各種社交媒體的應用，人類的交際模式也呈現出多元化。語言或語篇交際不再是人類信息交流主導方式，各種符號如圖像、音樂、視頻、圖表、標識等的交際作用日益凸顯。換言之，人類交流方式的多樣化使得現代交際呈現出了新的特點，現代交際是由多種符號共建完成的。因此，如果我們研究語言的時候，僅從語言的角度對話語進行研究，這是不全面的，因為很多非語言因素(如語調、手勢、面部表情等)，也在很大程度上決定了話語意義。在真實的交際環境中，我們需要調動多種感官共同參與，這種多感官參與的語言就是多模態話語。張德祿指出：“多模態話語是指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現象。”

表2

二、多模態話語分析的研究意義

多模態話語存在于我們日常交流的語言中，如兒童繪本故事配上了插圖；說話時使用手勢來強調情緒或引起注意；配音時根據不同人物特點使用不同腔調和語氣，這些都是非語言特征和伴隨語言特征。通過研究，語言學家們發現這些并非僅僅是語言的輔助表達系統，而是被賦予了一定的意義。因此，語言學家認為，多模態話語可作為意義表達模態的一個單獨的學術領域來研究。

三、多模態話語分析的依據和起源

研究多模態話語的理論，還要說起系統功能語言學的社會符號學理論。Halliday把語言看做一個社會符號系統，即一個表義系統。語言外的其他表義系統還有繪畫、雕刻、音樂、舞蹈等。這些表義系統與語言共同實現社會意義。也就是說，人類與外界的交互是多模態。系統功能語言學中的社會符號學的理論基礎正是多模態話語分析的理論基礎。

(一)語言與符號

語言有很多不同的定義，有語言學家將語言視為符號，認為語言就是個符號系統。這其中的定義包括：“語言是約定俗成的符號系統”。“語言是表達思想的符號體系”。“我們言語中的詞是表達概念或思想的象征或符號”。

(二)符號的功能觀

由此可見，研究語言符號學的語言學家的符號功能觀大大豐富和擴展了語言研究。韓禮德在《作為社會符號的語言》一書指出了語言的三大功能，即概念功能(語言可表達說話者的親身經歷和內心活動)、人際功能(語言可幫助說話者和受話者之間建立和維持一定的社會關系)和語篇功能(語言又必須用一定手段和規則來實現上下連貫及符合語境)。

對語言符號的功能觀有所貢獻的語言學家還有標勒(Buhler,K.)、雅各布森(Jakobson)、理查茲(Richard)和賴昂斯(Lyons)等。他們在語言功能的數量和分類上有所差異，朱永生經過分析，列出了一張功能對照表，以示其大致的對應關系。(表1)

表1

如表1所述，功能語言學家提出了語言的多功能，也就是說，語言除了具備其本身的表義功能，即對客觀事物進行描述和表達思想，語言還具有交際功能，即語言可以實現社會交際。

(三)語言的社會性

“語言符號的功能”是功能主義的主要研究內容，功能主義與其他語言學理論相比，其最大的長處在于將語言視為與社會環境因素互動和緊密聯系的行為。語言是社會活動的產物，作為人類交際的工具，它承擔著各種功能。語言實現的全過程可以歸納表2。

由表2我們可以得出以下結論：

(1)語言具有社會性。語言是說話者和受話者用語言符號作為媒介進行的社會交流，而且語言的各種“潛勢”是存儲在社會成員之間的。

(2)行為潛勢隱含著社會文化關系，意義潛勢包含社會語義內容；言語行為體現言語表達形式。三者可依次表達“what you can do;what you can mean?;what you can say?”。

(3)意義潛勢受行為潛勢的制約，通過言語行為表示出來。由于它是對社會行為編碼的結果，所以意義潛勢是三個環節中的關鍵。

四、多模態話語分析的理論基礎：系統功能語法

(一)語言的五個層面

系統功能語法承襲了索緒爾的將語言視為符號系統的觀點，但它也提出，語言符號系統不是心理的，而是社會的。也就是說，語言不單純是符號和聲音在受話者腦子里產生的心理活動，而是其所起的交流功能。簡言之，語言活動是一種社會交際活動。

1992年，馬丁提出了語言的五個層面的系統，這個理論框架可以直接用于分析多模態話語。分別是：

(1)文化層面，即說話者的意識形態和體裁結構潛勢等;

(2)語境層面，包括由話語范圍、話語基調和話語方式組成的語境構型；

(3)意義層面，包括概念意義、人際意義和謀篇意義等；

(4)形式層面，語言在形式系統實現意義，詞匯、語法本身有自己的系統，并且詞匯、語法在視覺性表意系統、聽覺性表意系統、觸覺性的表意系統等都有自己的一套系統；

(5)媒體層面，它是話語實現的媒介，如面部表情、手勢、身勢和動作等因素，也如教師授課的PPT、網絡直播、音響等。

由此可見，與語言符號的功能觀相比，多模態話語擴充了兩個層面，即形式和媒體層面，這也是語言學的有待進一步研究的范圍。語言借由媒介在媒介層面實現意義，再通過形式層面的組織關系來實現意義。下面就分別闡述下形式層面與媒體層面。

(二)多模態話語的形式層面

如上文所述，話語意義是通過媒體這一載體進行傳遞的，而有些媒介符號本身就具有意義，比如網絡聊天中的表情符號。還有一些媒介符號按照一定的規則進行組合，這就是我們所稱的語法。多模態話語的主要研究課題應該是發現不同的媒體形式是通過怎樣的語法規則組合在一起形成和體現意義的，也就是不同模態的媒體之間是如何相互關聯共同實現說話者要表達的意義。

為了達到某種語言效果，我們借用多模態去充分表達話語意義。有時候可能是隨意的行為，但是在更多情況下，說話者在實際交流中，確實僅憑一種模態無法表達清楚某些話語意義，這時候不得不有意借助另一模態來進行強化、補充、調節、協同，使意義表達更加充分，使聽話者更清楚、直接地理解說話者的意圖。語言學家發現，多模態話語形式之間的關系可分為互補關系和非互補關系。其中互補關系又分為強化(包括突出、主次、擴充)和非強化(包括交叉、聯合、協調)。其中的非互補關系又包括交疊(包括冗余、排斥、抵消)、內包(包括整體部分和抽象具體)、語境交互(包括獨立和依賴)。研究不同模態之間的的形式特征和關系如何相互協作，這是個復雜但又值得進一步研究的課題。

(三)多模態話語的媒體層面

實現語言傳播和意義傳遞的媒體形式包括語言媒體和非語言媒體。語言媒體又分為純語言媒體和伴語言媒體，純語言就是所見的書寫符號和所聽的聲音符號，比如在手機上閱讀文字信息和接收語音消息。由此可見，聲音和文字都使得語言能夠得以傳播。而單純的聲音和文字形式有時候是單薄和蒼白的，很多時候我們還需要借助音響、聲音大小和音調、口氣，再比如不同的字體和字號以及空間布局來對語言意義的傳遞起到輔助、補充和強化的作用。

非語言媒體的第一類是說話時使用的面部眼神表情、肢體和身體軀干的各種姿勢和動作，這些都在傳達意義。與此同時，語言的交流是在某個環境下發生的，很多時候我們可以利用現場環境的人和物如道具等，幫助實現意義的傳遞。另外，隨著科技技術和新媒體的運用，語言的交流也不再局限于面對面的交流了，人類會利用各種工具性媒體來交流和溝通如各種網絡平臺甚至同聲傳譯室等。總而言之，非語言媒體包括身體語言和工具與環境。

五、結語

由此可見，我們可以用系統功能語言學理論來直接作為多模態話語分析的理論框架。換言之，就語言的五個層面中的文化層面、語境層面、意義層面而言，多模態語言交際并不區別于單模態的語言交際。然而在形式層面上，各個模態的形式特征通過各種方式來進行關聯，從而共同實現話語意義。研究多模態話語的難度在于，在形式層面上，每個模態，如視覺、聽覺、觸覺，都有其相應的形式語法系統等，而這些模態的語法就有很大的主觀性，不像語言的語法一樣有固定的規則。但是研究多模態話語的重點并不在于研究其語法形式，而更應該關注各個模態間的協調，聯合，互補是如何共同運作的，研究不同模態的形式特征和他們之間的關系。