多模態語篇分析綜觀

高亞男

（中國海洋大學 外國語學院，山東 青島　266100）

多模態語篇分析綜觀

高亞男

（中國海洋大學 外國語學院，山東 青島266100）

多模態語篇分析關注語言、圖片、肢體語言等多種符號系統的意義構成，突破傳統僅以語言為核心的單模態分析法的局限，是語篇分析的新視角。本文從多模態及多模態語篇分析的產生、理論基礎、重要人物及其研究成果、多模態研究的不同視角及研究對象的擴展，以及科學技術，尤其是數字技術在多模態語篇分析中的應用等方面進行了綜述性介紹。

多模態語篇分析社會符號學系統功能語言學多模態隱喻多模態語料庫

一、引言

隨著研究的不斷深入發展，國內外語篇分析學家逐漸認識到語言僅是意義生成的手段之一，人們交談過程中的手勢、肢體動作、夸張的表情，書本材料中的繪圖、排版，戲劇中的舞蹈、妝容、服裝等，都屬于生成意義的符號手段。因此，對社會行為和意義表征的解讀應包括非語言符號等所有表意資源（Jewitt2009）。此外，隨著科技的發展，人類生活和交際模式更多模態化和多媒體化。多模態語篇分析的出現為語篇分析提供了新視角，極大地豐富了語篇分析的研究手段。

二十世紀九十年代以來，為描寫數學符號、視覺圖像、手勢等符號模態，社會符號學家以Halliday的系統功能語法為基礎建立了語法語義系統。然而，隨著對多模態現象認識的逐漸加深，研究者發現當前研究仍存在許多問題。目前，研究者在分析更多社會符號的同時，開始注重不同學科視角的融合。在研究方法上，他們開始運用數字技術對復雜的多模態語篇進行注解、模擬，并建立多模態語料庫，開發多模態檢索軟件。此外，利用調査問卷、腦成像技術、眼動實驗等考查讀者對多模態語篇認知的實證研究逐漸興起（孟艷麗，2011）。

二、多模態語篇分析產生的背景

根據St?ckl，多模態指多種符號系統即模態相結合的交際產物或交際過程。Jewitt指出，多模態語篇分析是把所有交際模態看做意義生成資源進行研究的一種語篇分析視角。該視角指出意義是通過多種模態實現的，所有模態都經過社會使用變成了符號資源，而所有語篇都是多模態的（Kress&vanLeeuwen2001；Levine&Scollon2004）。在多模態語篇分析中，每種模態都屬于一種獨立的意義生成資源，因此，我們能夠為每種模態制定相關語法，以總結概括其作為意義生成資源共有的規律。此外，多種模態結合表達的意義要大于單個模態表達的意義之和，即整體功能大于各部分功能之和，而并非各個部分功能的簡單相加。

多模態語篇分析的產生有著深刻的技術背景和理論背景。

1.多模態語篇分析產生的技術背景

在技術方面，科學技術，尤其是數字技術的發展，如數碼多媒體數據的保存及提取技術的發展、數碼攝像機的廣泛使用等，使得交際的多角度研究成為可能，而不僅僅局限于語言。此外，由于因特網和多媒體技術的廣泛運用，語篇本身內容更加豐富，形式更加多樣，如在計算機介入性語篇中，多種模態往往有機結合在一起表達一種嶄新的意義。傳統的僅以語言為核心的單模態分析法顯然局限眾多。因而建構一種針對多模態語篇的分析理論不僅在技術上成為可能而且非常必要。

2.多模態語篇分析產生的理論背景

在理論上，多模態語篇分析是語篇分析經過長時間發展，吸收各學科成果，逐漸擴大研究領域、豐富研究視角的結果。

R.Barthes最早對多模態語篇進行系統性分析，他總結了多模態語篇中圖文關系的三種模式，即錨定、說明和接遞。Barthes從一個符號學家的視角對圖文關系做出結構性分析，因而多模態語篇分析從起初就具有濃重的符號學的印記。二十世紀末以來，一些系統功能符號學家一直活躍于多模態語篇分析領域，他們以功能語法為理論基礎，以社會符號學為視角，指出非語言模態在交際中具備同樣的功能價值，同樣作為符號資源參與意義的建構。因此，研究者認為非語言模態應與語言模態置于同等的平臺，且可以使用針對語言模態的理論與方法分析非語言模態，因而有了“視覺語法”的建立及各學者對體態語模態、聲音模態及空間設計進行的相關研究。

李戰子的“多模式話語的社會符號學分析”，對Kress和vanLeeuwen的“視覺語法”進行了相關介紹，這是國內學者對多模態語篇分析關注的開始。

總之，多模態語篇分析的產生有其技術和理論的雙重背景，且隨著研究的深入，多模態語篇分析將不斷取得新的進展。

三、多模態語篇分析的理論基礎

Halliday創立的系統功能語言學是多模態語篇分析的主要理論基礎。朱永生指出，多模態語篇分析吸收系統功能語言學的成果，支持語言是社會符號和意義潛勢的觀點，認為語言之外的其他符號系統同樣是意義的來源；贊同純理功能假說，認為多模態話語與只包含語言符號的話語一樣，具有多功能性，即同時具有概念、人際、語篇三大功能；吸收系統理論，認為多模態語篇本身有系統性；接受語域理論，認為語境與多模態話語的意義解讀之間有密切聯系。

四、多模態語篇分析的主要人物及其研究成果

1.韓禮德學派的多模態語篇分析家

Halliday的系統功能語法對多模態語篇分析具有重要影響。目前多模態語篇分析學家的主要代表人物有Kress和vanLeeuwen。二人在系統功能語法理論的基礎上發展建構自己的多模態語篇分析理論，并實際利用該理論進行多模態分析，為該領域作出了重要貢獻。

為研究視覺形象表達的交際意義，Kress和vanLeeuwen為視覺語篇建立了一個分析框架。對應功能語法的三個元功能，即概念、人際、語篇，該框架包含三方面，即再現、互動、構圖。再現類似功能語法的概念功能，包括敘事、概念兩類?；佑山佑|、社會距離、態度三個子系統構成。對照功能語法的語篇意義，二人提出視覺語法的構圖意義，并分析了該意義的三種資源，即信息價值、突出度、分格。

隨著研究的發展，Kress和vanLeeuwen逐漸意識到單獨地討論某一種模態的語法還遠遠不夠，應構建一個交際理論，使其可以應用于所有模態。為構建交際的分析框架，二人從語篇、設計、生成、傳送四個方面著手。胥國紅、曲航對此分別進行了概括總結，二人認為語篇是關于現實（或現實的某些方面）的社會建構的知識。相對獨立于體裁、模態、設計，僅能由符號模態實現。設計指各種模態中符號資源的運用。生成即符號事件或符號產品的具體產生過程。傳送是為了記錄或傳送而對符號產品進行的技術性“再編碼”。其中語篇和設計是內容層面，生成和傳送是表達層面。通過此分析框架，我們可以從內容、表達兩方面回答“人們是如何運用各種符號資源在具體社會背景中制造符號的”（Kress&van Leeuwen2001）。

O’Halloran、Jewitt、Ventola等，同樣是韓禮德學派的多模態語篇分析學家，他們構成了多模態語篇分析的中堅力量（胥國紅，曲航，2009）。

2.以行為理論為基礎的多模態語篇分析家

Scollon的介入性語篇理論和顧曰國的實時語篇分析以行為理論為基礎，為多模態語篇分析提供了不同的理論分析框架。

Scollon吸收融合各相關學科的理論，如語言人類學、交際社會語言學、社會文化心理學、跨文化交際等，提出新的語篇分析理論，即介入性語篇理論。以往的語篇分析理論往往忽視行為而社會學理論則忽視語篇，為彌補此不足，Scollon的介入性語篇理論試圖把人們的社會行為和語篇有機結合起來進行研究。因此，與傳統語篇分析把話語或篇章作為分析單位不同，介入性語篇理論把介入性行為作為分析單位。

以Scollon的介入性語篇理論為基礎，Norris（2002， 2004，2006）同樣構建了多模態分析框架。接受了介入性語篇理論把介入性行為作為分析單位的觀點，并進一步把介入性行為細分為低水平行為和高水平行為。如一句話和一段交談分別屬于低水平行為和高水平行為。同時，Norris用模態密度描述構成某一具體高水平行為的模態的強度和復雜性。如在一段相聲表演中，口頭語言占很高的模態密度，但在舞蹈表演中，語言的模態密度就很低。此外，為描繪社會行動者對不同高水平行動給予的不同程度的關注，Norris進一步提出了前景-背景連貫體的概念。

國內學者顧曰國受Scollon的影響構建的多模態語篇分析模式，從內容層和媒介層對多模態語篇進行分析。不同于以往理論，顧曰國從社會語境入手，采取“從上至下”的方法，將多模態語篇分為社會心理層和個人行為層。他運用該理論框架對多模態語篇進行分析并獲得了許多有價值的發現。

3.重視多模態語篇分析方法的話語學家

在《多模態轉寫和語篇分析》中，Baldry和Thibault具體介紹了多種多模態語篇的轉寫和分析方法。

Norris提出了多模態轉寫方法。胥國紅、曲航對其轉寫方法進行了總結：Norris主張在實現對各個模態的分別轉寫后，再以時間為標記，將同一時間內所有對交際產生重要影響的模態（如語言、動作等）集中在一張圖片上表現出來，給人留下完整的印象。

五、多模態研究的多種視角和研究對象的不斷擴展

對于多模態研究的視角，Jewitt進行了詳細區分：社會符號學分析、系統功能語法分析、社會互動分析。然而，Bateman和Schmidt認為三個視角雖略有不同，卻同屬于“社會功能分析”。此外，Jewitt同時忽視了另外兩個重要視角：以Lakoff和Johnson的認知隱喻理論為基礎的多模態隱喻研究和語料庫語言學視角的多模態文本分析。

社會功能分析的研究對象的擴展主要指從傳統的圖文語篇分析到對復雜的動態多模態語篇和新媒體語篇的符號學闡釋。具體地說，隨著研究的不斷發展，國內外學者將社會符號學等理論運用于更多模態的系統分析，如副語言特征、三維空間、現場即席話語等。課堂教學分析、多模態教材在理論及研究方法上越來越系統深入，如Chen、顧曰國、張德祿等。多模態電影分析和新媒體分析從無到有的發展則最具開拓性。

認知視角的多模態隱喻理論的發展是近年多模態研究的重要成果。多模態隱喻理論的研究范圍廣泛，不但涵蓋了靜態媒體，如政治漫畫、平面廣告等，還涉及了動態媒體語篇，如電影、電視廣告等，以及其他符號資源，如音樂、手勢語等。國內多模態隱喻研究逐漸發展，如李毅、石磊初步探討了在教學中多模態隱喻的運用；趙秀鳳全面評介了《多模態隱喻》并詳細介紹了多模態隱喻理論的前沿與進展；馮德正則基于系統功能語法系統闡釋了多模態隱喻的構建與類型。

簡言之，當前社會功能及認知隱喻視角的多模態研究分別取得了重要進展。然而，二者之間真正的融合尚未引起研究者的足夠重視，而這也是多模態語篇分析今后的重要發展方向。

六、科學技術在多模態語篇分析中的運用

由于科技的發展，無論在規模還是復雜性上，多模態語篇都遠遠超過了語言語篇，使用傳統分析方法已難以外理。正如顧曰國所言，如何把多模態文本記錄的信息提取出來并進行結構化外理，是目前語言信息工程中面臨的一個難題。因此，多模態語篇的外理必須充分借助科學技術。當前，在多模態語篇分析中，科技運用主要包括：多模態語篇注解與語料庫建設、多模態語篇心理實證研究（馮德正、張德祿、Kay O’Halloran2014）。

1.多模態語篇注解與語料庫建設

目前，在多模態語篇分析方面，研究者在使用ELAN等注解軟件的同時，正開發專門的注解軟件。當前研發的最新成果是Semiomix。Semiomix具備動態轉錄與縮放功能，實現了轉錄單位的靈活性。同時，可以實現多模態語篇特征與意義發展的動態分析，而且具備搜索、臉部識別、鏡頭識別等功能。

軟件的應用促進了多模態語料庫的建立。在多模態研究領域，Baldry建立了在線多模態檢索器，可以對多模態數據搜索、注解、定量分析等。國內學者顧曰國在該方面建立的現場即席話語語料庫及其提出的基于角色的建模語言，是當前語料庫視角多模態研究的最顯著進展。語料庫分析能夠為系統闡釋多模態語篇的特征及多模態意義的社會建構提供實證理據，是解決多模態分析主觀性等問題的重要方法（馮德正、張德祿、KayO’Halloran2014）。

此外，近年來研究者開始運用可視化軟件模擬動態語篇的語義規律及各模態之間的復雜關系。目前研究中，不僅自然科學與社會科學中的可視化軟件被運用于動態多模態語篇分析，而且研究者們正努力研發用于多模態分析的可視化軟件。

2.多模態語篇心理實證研究

近年來，認知心理學視角的實證研究逐漸興起。利用眼動實驗考察讀者對多模態視覺語篇的認知是該領域最新的研究成果。Boeriis和Holsanova利用眼動實驗考察了讀者外理視覺圖像的認知機制；Gidl?f等通過調查問卷、訪談、眼動實驗探討了多模態網絡廣告對瑞典青少年的影響；Bucher和Niemann通過眼動實驗、訪談、知識測試分析了觀眾對幻燈片演講的注意力分配和理解與模態之間的關系。國內學者開始采用眼動實驗、調査問卷等進行多模態分析。實證研究的發展具有重要意義，不但可以加深我們對多模態語篇解讀的認識，而且為進一步探討多模態語篇的意義構建提供客觀依據。

七、結語

近二十年來，多模態語篇分析進一步發展。多模態研究的理論體系逐漸完善并被應用于闡釋更復雜的多模態語篇；多模態研究采取多學科視角，其研究對象幾乎包括人類所有交際媒介和符號形式；以科學技術為基礎的多模態注解、可視化模擬及實證研究逐漸興起并不斷發展?？傊雇磥戆l展，多模態語篇分析的研究會更廣泛全面深入。

［1］Baldry，A.P.andP.J.Thibault.MultimodalTranscription andTextAnalysis［M］.London：Equinox，2006.

［2］Barthes，R.Rhetoricoftheimage［A］.Image·Music·Text［C］.London：Fontana，1977.

［3］Bateman，J.A.andK.H.Schmidt.MultimodalFilmAnalysis［M］.London：Routledge，2012.

［4］Boeriis，M.andJ.Holsanova.Trackingvisualsegmentation［J］.Visual.Communication，2012，11，3：259-81.

［5］Bucher，H.andP.Niemann.Visualizingscience：ThereceptionofPowerPointpresentations［J］.VisualCommunication，2012，11，3：283-306.

［6］Chen，Y.Exploringdialogicengagementwithreaders inmultimodalEFLtextbooksinChina［J］.VisualCommunication，2010，9，4：485-506.

［7］Gidl?f，K.，N.Holmberg，andH.Sandberg.Theuseofeyetrackingandretrospectiveinterviewstostudyteenagers，exposuretoonlineadvertising［J］.VisualCommunication，2012，11，3：329-45.

［8］Halliday，M.A.K.AnIntroductiontoFunctionalGrammar［M］.London：Arnold，1994.

［9］Jewitt，C.Technology.LiteracyandLearning：AMultimodalApproach［M］.LondonandNewYork：Routledge，2006.

［10］Jewitt，C.，ed.HandbookofMultimodalAnalysis［M］. London：Routledge，2009.

［11］Kress，G.andvanLeeuwen，T.ReadingImages：The GrammarofVisualDesign.London：Routledge，1996.

［12］Kress，G.andvanLeeuwen，T.MultimodalDiscourse—TheModesandMediaofContemporaryCommunication［M］. London：Arnold，2001.

［13］Levine，P.andScollon，R.（eds.）.DiscourseandTechnology：MultimodalDiscourseAnalysis［C］.Washington，D.C：GeorgetownUniversityPress，2004.

［14］Norris，S.ATheoreticalFrameworkforMultimodal DiscourseAnalysisPresentedviatheAnalysisofIdentityConstructionofTwoWomenLivinginGermany［M］.PhDdissertation，GeorgetownUniversity，UMI，2002.

［15］Norris，S.AnalyzingMultimodalInteraction：AMethodo logicalFramework［M］.London：Routledge，2004.

［16］Norris，S.Multipartyinteraction：Amultimodalperspectiveonrelevance［J］.DiscourseStudies，2006，8（3）：401-421.

［17］Scollon，R.MediatedDiscourse：TheNexusofPractice［M］.London：Routledge，2001.

［18］St?ckl，H.Inbetweenmodes：Languageandimagein printedmedia［A］.InE.Ventolaet.al.（eds.）.Perspectiveson Multimodality［C］.Amsterdam：JohnBenjamins，2004：9-30.

［19］馮德正.多模態隱喻的構建與分類一系統功能視角［J］.外語研究，2011（1）：24-29.

［20］馮德正，張德祿.KayO’Halloran.多模態語篇分析的進展與前沿［J］.當代語言學，2014（1）：88-89.

［21］顧曰國.基于角色的建模語言.第十二屆CODATA國際學術大會，2006.［22］顧曰國.多媒體、多模態學習剖析［J］.外語電化教學，2007（4）：3-12.

［23］李毅，石磊.教學中的多模態隱喻［J］.外語電化教學，2010（4）：47-9.

［24］李戰子.多模式話語的社會符號學分析［J］.外語研究，2003（5）：1-8.

［25］孟艷麗.中國英語學習廣告中的連貫構建：多模態視角［D］.北京大學，2011.

［26］胥國紅，曲航.多模態語篇分析—信息時代的新視角［J］.山東外語教學，2009（2）：3-7.

［27］張德祿.多模態外語教學的設計與模態調用初探［J］.中國外語，2010（6）：48-53.

［28］趙秀鳳.概念隱喻研究的新發展—多模態隱喻研究［J］.外語研究，2011（6）：1-10.

［29］朱永生.多模態話語分析的理論基礎與研究方法［J］.外語學刊，2007（5）：82-86.