功能語言學視閾下的多模態語篇分析

李菁菁 紀羽茜

（1.通化師范學院 大學外語教學部，吉林 通化 134002；2.東北師范大學 外國語學院，吉林 長春 130024）

一、引言

美國結構主義語言學家Harris（1952）第一個明確提出“語篇分析”。［1］自這一術語的提出至今，符號學、心理學、人類學、社會學、文學等學科的觀點和分析方法已被廣泛地應用于語篇分析的研究。

傳統語篇分析的研究對象是大于小句的實際話語（口頭的或書面的）。而話語只是意義系統中的一種符號。隨著電子時代的到來，圖像、動畫、顏色、聲音、印刷版式等多模態表意符號越來越頻繁地參與構建交際意義。交際意義資源的多模態化使語篇分析研究必然朝多模態轉向。

二、多模態語篇分析

20世紀90年代，西方興起了多模態語篇分析（multimodal discourse analysis）。“模態”這一術語源自生命科學。生命科學的研究成果表明，生命體在演化過程中，逐步獲得了視覺、聽覺、嗅覺、味覺、觸覺等5種不同的感官通道。這些通道是生命體與周圍環境進行信息交換的界面和路徑。［2］這5種感知渠道的獲得分別激發5種交際模態的產生：視覺模態（visual modality）、聽覺模態（auditive modality）、觸覺模態（tactile modality）、嗅覺模態（olfactory modality）和味覺模態（gustatory modality）。只使用一種模態的語篇叫做單模態語篇（monomodal discourse），如：盲文、廣播等。同時使用兩種或兩種以上模態的語篇叫做多模態語篇（multimodal discourse），如：影視作品、可視電話等。如果一個語篇只涉及一種模態，但包含兩個或兩個以上的符號系統，也可以視作多模態語篇，如，漫畫。雖然漫畫只涉及視覺模態，但既有文字又有圖畫。

對多模態語篇進行的語言學研究被稱為多模態語篇分析。多模態語篇分析的理論基礎是功能語言學。本文將從功能語言學派的語言觀、層次觀、語境觀三個方面描寫和解釋多模態語篇的特征、運作機制和分析方法。

三、功能語言觀和多模態語篇分析

功能語言學家韓禮德認為，元功能是語言符號的普遍特征。［3］（P11）語言具有表達說話人在動態交際過程中對外部世界和內心世界經驗的概念功能；語言具有體現說話人與聽話人之間親疏關系、社會地位的人際功能；語言具有在語境中組織和生成具有完整意義的語篇功能。

語言是社會符號（social semotic）的一部分。社會符號是由許多意義系統（符號）構成的文化或社會現實，如建筑、美術、舞蹈、音樂等。［3］（P9）語言只是其中的一種典型的符號系統。因此，有關語言的理論同樣適用于解釋和分析其他符號系統。許多學者受到韓禮德的符號觀和元功能思想的影響，認為各種模態的符號都是能夠表達概念功能、人際功能和語篇功能的意義資源。O’Toole以悉尼歌劇院為例，以功能語言學的元功能為理論框架對三維建筑物的多模態特征進行了分析。［4］Kress和van Leeuwen將元功能理論拓展到對視覺模態的專門研究，并創建了視覺語法（visual design grammar）體系。［5］此外，還有Martinec的動作符號學和van Leeuwen的聲音符號學。［6］［7］

目前，在多模態語篇分析中，對視覺符號的研究占主流地位。應用得最廣泛的分析方法是Kress和van Leeuwen的視覺語法。受功能語言觀的啟示，視覺語法建立了視覺符號觀——視覺符號是一種意義資源，并且同語言符號一樣能夠表達外部世界和內心世界經驗；體現交際參與者之間的人際關系；并且在語境中組織和生成具有完整意義的語篇。

Kress和Leeuwen相應地提出了三大意義：再現意義（representational meaning）、互動意義（interactive meaning）、構圖意義（compositional meaning）。［5］再現意義對應元功能中的概念功能，主要探討不同視覺符號系統之間或者同一視覺符號系統內部的各成分之間的關系。互動意義對應元功能中的人際功能，主要探討視覺符號的設計者的交際意圖，視覺符號的解讀者與視覺符號之間的關系。構圖意義對應元功能中的語篇功能，主要探討不同視覺符號之間或同一視覺符號系統內部的不同成分的排列和分布方式（如居中、環繞、前景、背景等），以及它們如何控制語篇信息的流向。

以功能語言觀為視角，觀察多模態語篇，可以發現不同模態存在著相同的符號原理。關于語言的社會符號性、意義潛勢和元功能的理論同樣適用于解讀多模態符號的本質特征。

四、功能層次觀和多模態語篇分析

功能語言學層次的思想與多模態語篇分析也有著密切的關聯。功能語言學認為語言是一個多層次的系統。可以自上而下地分為語境層、內容層和表達層三個層次。其中，語境層屬于言外層次，內容層和表達層則屬于言內層次。宏觀上，言外層次由言內層次實現；微觀上，上一級系統由下一級系統實現（realization）。如下圖所示：

Matthiessen認為可以從語境層、內容層和表達層這三個層次觀察語篇的多模態特征。［8］從語境層看，包括語言在內的各種模態的符號系統都需要在語境中共建意義。需要指出的是，各種符號各自生成的意義在于語言生成的意義并不是從屬或者輔助的關系。它們既是各自獨立的意義資源，同時又相互聯系：可以相互重疊、互為補充甚至相互沖突。從內容層看，語義層由詞匯——語法層實現。而詞匯——語法是語言符號所特有的。所以，其他模態的符號特征無法在這一層次上得到解釋。從表達層看，語言符號生成的意義是通過對音系和字系的選擇實現的。其他符號系統是借助除口語和書面語以外的其他媒介表達意義的。選擇口語還是書面語或是其他媒介，取決于語境層中的情景語境（語域）。

以上分析表明，語言符號的意義實現層次可以用于描寫和解釋其他模態符號的意義生成機制。多模態符號系統也可以劃分為語境層、內容層和表達層。并且各個層次之間也是逐級實現的關系。

功能層次觀體現了語言的內在本質是多模態的。同時也解釋了語言以外的其他符號系統的多模態特征。一種符號不能夠充分地展現交際全貌。在多模態時代，語言不再是交際的中心，而是跟其他模態的符號“合力”互補、共建交際意義。

五、功能語境觀和多模態語篇分析

語境屬于言外層次，可以劃分為文化語境和情景語境兩個層次。功能語言學派認為任何言語活動（語篇）都產生于語境之中。［9］（P6）換言之，語篇受制于語境。

首先，語篇產生于某種文化語境（context of culture）之中。每個言語社團都有自己的歷史、文化、思維模式、道德觀念、價值觀念等。這些反映特定言語社團特點的方式和因素構成了語篇的文化語境。在特定文化語境中，人們可以在特定的時間、場所，就特定的話題，依據交際雙方的關系，即情景語境中通過進一步的意義選擇生成語篇。情景語境是語篇的直接語境。情景語境由語場（field）、語旨（tenor）和語式（mode）三個變量構成。語場指交際的環境，包括談論的話題等整個交際活動。語旨指說話人的交際目的，以及說話人與話題參與者之間的社會關系。語式指話語活動所選擇的交際媒介或通道，即口頭的或是書面的。對于語言符號而言，口頭的話語方式包含了聲音、節奏、語氣、語調以及伴隨的身體語言等等，書面語言則包含了字體、段落的縮進、版式等。

在具體的語篇中，文化語境對應語類，情景語境對應語域。情景語境的三個變量則分別對應概念功能、人際功能和語篇功能。韓禮德指出：語域還有開放式和封閉式之分，開放或封閉的程度制約著語域的預測功能。［10］本文認為，與傳統的單模態語篇一樣，多模態語篇也是人們在語境中做出的意義選擇，是語言使用的實例。但多模態語篇的意義資源更加豐富，表意形式更加復雜，由視覺、聽覺、嗅覺、觸覺和味覺等多種渠道呈現。語篇的開放程度更高。因此，可以根據語類和語域來預測語篇的概念意義、人際意義和語篇意義。反之，也可以根據語篇中各種模態符號的配置、分工來預測可能產生這個語篇的語境。

總的來說，我們可以從兩個視角分析多模態語篇。可以從語境出發，描寫和分析在同一情景語境下三個變量中各種模態的符號系統之間的關系和單個的符號系統內部各成分之間的關系，以及它們如何“合力”共建語篇的整體意義。同時，也可以從語場、語旨和語式入手，反向預測語篇的語境。

六、結語

交際本身是由多種模態共同實現的。多模態語篇分析關注的是各種模態如何在交際中“合力”互補、共建意義。本文以功能語言學的語言觀、層次觀和語境觀為視角，探討了多模態語篇的特征、多模態語篇意義的實現機制以及多模態語篇分析的途經。在同一語境下，語言符號與其它模態的符號系統之間的意義關系，以及這些多模態的實際話語成分如何形成意義組合共同表達交際意圖，有待以具體的語篇為實例，做進一步的研究。

［1］姜望琪.Harris的語篇分析［J］.外語教學，2011，（7）.

［2］朱永生.多模態話語分析的理論基礎和研究方法［J］.外語學刊，2007，（5）.

［3］胡壯麟，等.系統功能語言學概論［M］.北京：北京大學出版社，2008.

［4］O’Toole，M.The Language of Displayed Art［M］.London：Leicester University Press.1994.

［5］Kress，G.＆T.van Leeuwen.Reading Images：The Grammar of Visual Design［M］.London：Routledge.1996.

［6］Martinec，R.Cohesion in Action［J］.Semiotica，1998.

［7］Van Leeuwen T.Speech，Music，Sound［M］.London：Macmillan，1999.

［8］Matthiessen，C.The Multimodal Page：A Systemic Functional Exploration［A］.in T.Royce and W.Bowcher（eds）.New Directions in the Analysis of Multimodal Discourse［C］.New Jersey and London Lawrence Erlbaum Associates.2007.

［9］朱永生，嚴世清.系統功能語言學多維思考［M］.上海：上海外語教育出版社，2001.

［10］常晨光，陳瑜敏.系統功能語言學語域研究［J］.北京科技大學學報，2011，（9）.