‘多模態’理論宏觀框架解讀：以系統-功能為視角

曹志勇

摘要：韓禮德教授是英國倫敦學派的主要代表之一，同時也是系統功能語言學理論的創始人。系統功能語言學理論強調語言的情境和系統層面，其核心學術思想包括以下兩個方面：系統語法（Systemic Grammar）和功能語法（Functional Grammar）。系統語法旨在解釋語言作為一個系統網絡的內部關系，該系統包括一系列語言使用者可以從中選擇的子系統;功能語法旨在揭示語言在社會互動中所發揮的功能。筆者以韓禮德的系統功能語言學視角，對‘多模態理論研究的學科前沿進行了簡單描述，嘗試為讀者構建一個‘多模態理論的宏觀框架。同時，該理論框架為當代大學英語課堂教學實踐提供了理論指導，指明了方向。

關鍵詞：系統功能語言學;‘多模態理論;宏觀框架;教學實踐;理論指導

近年來，諸多語言學者轉向對實際中的話語案例進行分析。因此，話語分析理論應運而生。該理論誕生之初，人們只是單純的從語言本身的角度對話語進行理論解釋和特征描述。隨后，語言學家和外語教育專家指出，現實生活中話語的完整意義嚴格來說是由語言符號資源本身以及其背后的部分非語言符號資源共同體現出來的。尤其是在現代外語課堂中，單純的語言理論解釋和描述使學生感到枯燥、抽象、乏味，不再能激發學生的學習興趣。因此，在現代外語課堂中，有必要引進非語言學符號和資源。這些非語言符號資源有以下幾大特征：（1）伴語言特征;（2）非身體特征等。因此，筆者認為，日常生活中的語言交際事實上不僅僅是用一種感覺器官來進行。這種利用多種感官協同作用就是多模態話語分析。筆者從韓禮德的系統功能語言學出發，通過對‘多模態理論宏觀框架的解讀，為當下大學英語教學實踐提供了理論框架，指明了方向。

一、韓禮德的系統-功能觀

韓禮德教授是英國倫敦學派的主要代表之一，同時也是系統功能語言學理論的創始人。系統功能語言學理論強調語言的情境性和系統性。其核心學術思想包括以下兩個方面：系統語法（Systemic Grammar）和功能語法（Functional Grammar）。該理論是從社會學視角來對語言的功能進行解讀，同時也是20世紀最有影響力的語言學理論之一。系統功能語法包括兩大成分：系統語法和功能語法，這兩大不同成分共同組成了語言學理論的整體框架。系統語法旨在解釋和語言相關的系統網絡（或意義潛勢），該系統網絡包含了語言學習者可以從中選擇的子系統;功能語法旨在揭示語言作為一種社會互動形式所具有的功能優勢。

韓禮德認為，成年人語言變得越發復雜，且其語言必須要發揮更多的作用。兒童語言的功能范圍逐漸縮小為高度編碼且濃縮的三大元功能（meta-function），即分別為概念功能、人際功能和語篇功能（textual function）等。韓禮德的系統-功能觀從系統和功能兩個維度揭示了該理論的結構及其在教學中的實際應用。

二、‘多模態理論

多模態話語分析的理論基礎是社會符號學，該學派的代表人物有索緒爾（Saussure）、皮爾斯（Pierce）和韓禮德（Halliday）等語言學家。第一，美國語言學家索緒爾從符號學角度提出了能指概念和所指概念，但他只研究某個抽象符號的一般特點;第二，英國語言學家皮爾斯將索緒爾的符號范疇進一步擴大，提出了圖標、索引和語符等概念;第三，英國語言學家韓禮德認為，語言和社會符號緊密相連，語言就是一種社會符號。從某種程度上來說，語言是具體層面，符號是抽象層面，符號一般由具體語言形式來體現。這從某種程度上說明，語言（langue）和言語（parole）是兩個不同的概念。

社會符號學把語言看作眾多符號之一，各符號系統都能用來進行社會交際，表現講話者的意義。因此，從該角度來講，言語交際就是具有多模態性的。

三、多模態符號資源及其分類

Lemke（1993）認為，多模態符號系統也稱為多模態符號系統。語言使用者通過從中進行模態選擇或者多種模態資源之間的組合，從事有意義的語言實踐活動，從而實現一定的交際目標，他又指出，媒體資源可以分為以下幾個類型：

（一）語言與非語言符號資源

張德祿（2009）對媒體資源的類別劃分是根據語言是否以身體器官為中介，從而對外語教學中的媒體系統做了歸類。多模態話語媒體系統分為語言媒體系統和非語言媒體系統。其中，語言媒體系統又包括伴語言媒體系統（音響、音調、字體、布局等）和純語言媒體系統（聲音、文字）;而非語言媒體系統包括身體媒體系統（動作、比擬、面容、肢體）和非身體媒體系統（工具、環境）等。以上所有所述共同構成了多模態話語媒體系統網絡，在實際話語交際中發揮重要角色。

（二）靜態與動態媒體資源

Thibault（2004）對各種符號資源作了更加深入具體的研究，并將這些媒體符號資源分為靜態媒體資源和動態媒體資源兩大類。其中，靜態媒體資源包括文字、圖片、表格、繪畫等;動態媒體資源包括面對面的互動、動畫、電影、使用錄像機等。

四、多模態語法

根據系統功能語言學理論（Halliday，1973;1985），語言要同時體現三種元功能（meta-function），即概念功能、人際功能和語篇功能等。那么，從多模態話語的角度來講，除了語言之外，其他符號系統也同樣是實現三個元功能的系統，如O'Toole（1994）把多元功能的思想延伸到圖像上，提出了視覺語法的概念;O'Toole（1994）則提出了一個以多元功能分析理論為基礎的，用于分析圖畫的模式。Kress and Van Leeuwen（1996）根據韓禮德系統功能語法中的及物性概念，把關于圖像的語法系統分為敘事類范疇以及概念類范疇，中間用矢量進行連接。其中，語言對象的反應過程也由矢量組成，由于多個圖像參與者的目光方向所構成。筆者指出，內部心理和外部言語過程是矢量，由具體的話語體系和抽象思維形式組成，在圖像中由言語泡或思維泡構成，以及話語的敘事表現如圖1所示：

如圖1所示，敘事結構包括過程和情景兩大部分。其中，過程包括有主體的過程和無主體的過程兩類。有主體的過程由非投射的言語過程以及投射的言語過程組成;另外一方面，情景包括敘事背景、手段、陪伴等因素。以上所述共同構成了話語敘事結構的完整框架。

五、結論與啟示

本文從韓禮德的系統功能觀出發，對多模態理論宏觀框架進行了全方位解讀。該框架內容主要包括：多模態理論、多模態符號資源及其分類、多模態語法等。然而，多模態話語分析理論研究仍然處于初級階段，具有一定的研究局限性。首先，對多模態話語分析理論的解釋存在主觀性，不同的解讀者可能得出不同的結論;其次，對多模態話語分析理論的解讀沒有規律可循，還沒有一套解析圖像與動畫等比較成熟的研究方法;最后，多維的多模態話語解析難度大。一維的文字和口語的解析方式比較簡單，開始和結尾的標記都比較清晰，但二維的圖畫和三維的空間及思維的動畫如何解析，還需要進一步研究。這也是未來研究者在多模態話語領域的努力的方向和需要解決的課題。

參考文獻：

[1]Halliday，M.A.K.An Introduction to Functional Grammar[M].London：Arnold，1973，1985.

[2]Kress，G.&van Leeuween，T.Reading Images：The Grammar of Visual Design[M].Burwood：Brown Prior Anderson，1994，1996.

[3]Lemke，J.Intertextuality and text semantics[A].In Gregory，M.&Fries，P.（eds.）.[4]Discourse in Society：Functional Perspectives[C].Norwood，N.J.：Ablex，1995：85-114.

[4]OToole，M.The Language of Displayed Art[M].London：Leicester University Press，1994.

[5]Thibault，P.J.The multimodality transcription of a television advertisement：Theory and practice[A].In A.P.Baldry（ed.）.Multimodality and Multimediality in the Distance[12]Learning Age[C].Campobasso.Italy：Palladino Editore，2004：311-285.

[6]張德祿.多模態話語理論與媒體技術在外語教學中的應用[J].外語教學，2009 （4）：15-20.

[7]胡壯麟.語言學教程[M].北京大學出版社，2011.