國內(nèi)多模態(tài)話語研究動態(tài)述評

初春玲

(上海海關(guān)學(xué)院，上海 201204)

一、引言

多模態(tài)話語分析理論興起于20世紀(jì)90年代，近年來呈蓬勃發(fā)展之勢，成果迭出，成為語言學(xué)界令人矚目的熱點之一。自美國語言學(xué)家Harris于20世紀(jì)50年代提出話語分析理論以來，話語分析理論一直聚焦于話語篇章結(jié)構(gòu)、語法規(guī)律、語句之間的關(guān)系及話語的社會價值取向分析等，并對語言教學(xué)的計劃制訂、方案設(shè)計、課程規(guī)劃提供了重要的理論和框架。然而，隨著現(xiàn)代信息技術(shù)的飛速發(fā)展，單純的語言話語已經(jīng)不能滿足人們的交際需要，很大部分話語意義是由非語言因素體現(xiàn)的，如身勢、語勢、實驗室、計算機、網(wǎng)絡(luò)、周圍的環(huán)境因素等。交際不再是利用一種模態(tài)進行，而是用兩種或者多種模態(tài)同時進行。而傳統(tǒng)的話語分析由于忽略了聲音、符號、圖像、顏色、空間，動作、聲音等伴語言因素在表義中的作用及其之間的關(guān)系，在分析話語意義構(gòu)建方面已捉襟見肘，為了彌補這一缺陷，多模態(tài)話語分析理論應(yīng)運而生。

二、多模態(tài)話語分析的理論基礎(chǔ)

多模態(tài)話語分析的主要理論基礎(chǔ)是韓禮德創(chuàng)建的系統(tǒng)功能語言學(xué)[1]。具體說來，多模態(tài)話語分析的理論基礎(chǔ)是:語言是社會符號(social semotic)和意義潛勢(meaning potential)，語言具有系統(tǒng)性[2]。韓禮德在索緒爾的語言符號學(xué)基礎(chǔ)上進一步拓展了交際符號的范疇，即把語言看成是一個社會符號系統(tǒng)(social semiotics)，即一個表義系統(tǒng)，語言外的其他符號系統(tǒng)如音樂、繪畫、雕刻、舞蹈等，也可以實現(xiàn)社會意義，這些觀點是系統(tǒng)功能語言學(xué)理論基礎(chǔ)，也為多模態(tài)話語分析理論發(fā)展奠定了理論基礎(chǔ)[3]。

系統(tǒng)功能語言學(xué)認(rèn)為，語言是意義潛勢。而多模態(tài)話語分析以此為基礎(chǔ)，認(rèn)為除語言以外的其他符號系統(tǒng)也是意義潛勢。韓禮德[4]認(rèn)為語言系統(tǒng)實現(xiàn)三大意義，即概念意義、人際意義和語篇意義。概念意義指人們對現(xiàn)實經(jīng)歷或內(nèi)心世界進行表達，人際意義指說話者運用語言進行社會活動，語篇意義指語言用于組織信息。語言的三大意義不僅存在于語言符號中，還延伸到語言之外的聲音、圖像、顏色和動作等視覺、聽覺和行為方面的符號模態(tài)。各種模態(tài)之間既各自獨立又相互協(xié)作，共同參與意義的構(gòu)建。在計算機技術(shù)、信息技術(shù)與多媒體技術(shù)迅猛發(fā)展的當(dāng)今社會，人們的話語不再是單模態(tài)交流，多模態(tài)交流已經(jīng)成為主流。

系統(tǒng)功能語言學(xué)指出語言具有系統(tǒng)性，故我們可以對語言進行系統(tǒng)的研究[2]。多模態(tài)話語分析接受了系統(tǒng)的概念，認(rèn)為語言之外的其他符號也是系統(tǒng)的，可以進行研究的。以此為基礎(chǔ)，Kress &Van Leeuven[5]第一次系統(tǒng)建立了視覺語法概念。在將圖像看成是社會符號的前提下，Kress &Van Leeuven在20世紀(jì)90年代中期，把系統(tǒng)功能語法中的元功能理論拓展到視覺模式，創(chuàng)建了以“再現(xiàn)意義”、“互動意義”和“構(gòu)成意義”為核心的視覺圖像分析語法理論，該理論從圖像、顏色、構(gòu)圖情態(tài)、印刷版式等視覺交流的各個方面來研究多模態(tài)活動，能對圖像進行相對全面系統(tǒng)的分析。

三、國內(nèi)多模態(tài)話語分析發(fā)展概述及成果介紹

多模態(tài)話語理論的發(fā)展雖然只有二十年，但其迸發(fā)的旺盛生命力，早已吸引了目光敏銳的國內(nèi)語言學(xué)者。自李戰(zhàn)子教授于2003年首次引入“多模態(tài)”概念以來，多模態(tài)話語分析研究層出不窮。筆者在知網(wǎng)上搜索含有關(guān)鍵詞“多模態(tài)話語”文章，共計376篇，筆者選取了發(fā)表在核心期刊和知名學(xué)報的有代表性的文章42篇，經(jīng)梳理其脈絡(luò)，濃縮其要旨，多模態(tài)話語理論在國內(nèi)大致經(jīng)過三個重要發(fā)展時期。

(一)多模態(tài)話語理論介紹傳播階段

李戰(zhàn)子[6]首次向國內(nèi)介紹了還未被充分認(rèn)識的多模態(tài)話語的社會符號學(xué)分析以及韓禮德的功能語法。顧曰國[7]對多媒體學(xué)習(xí)和多模態(tài)學(xué)習(xí)進行逐一剖析，并區(qū)分單媒體、單模態(tài)、多媒體、多模態(tài)等概念。朱永生[1]分析了多模態(tài)話語的理論基礎(chǔ)、系統(tǒng)功能語言學(xué)的社會符號觀點及語言元功能理論，認(rèn)為多模態(tài)話語與只包含語言符號的話語一樣，也具有多功能性。文章還探討了多模態(tài)話語的定義、多模態(tài)話語的分析內(nèi)容、方法和意義，并根據(jù)現(xiàn)有研究預(yù)測了多模態(tài)話語分析未來發(fā)展趨勢。胡壯麟[8]探討了多模態(tài)符號學(xué)和多媒體符號學(xué)的區(qū)別，介紹了具有媒體和模態(tài)雙重特性的計算機符號學(xué)、多媒體符號設(shè)計以及在課堂環(huán)境中由話語參與者實現(xiàn)的連貫，并指出未來對多模態(tài)識讀能力的培養(yǎng)應(yīng)引起重視。朱永生[9]進一步詮釋了多元讀寫能力的概念，并詳細(xì)介紹國外培養(yǎng)多元讀寫能力的具體嘗試，并據(jù)此提出多元讀寫能力對我國教學(xué)改革的啟示。張德祿[10]系統(tǒng)分析了多模態(tài)話語理論基礎(chǔ)。

(二)多模態(tài)話語理論與實踐相結(jié)合階段

1.靜態(tài)圖文關(guān)系語篇的多模態(tài)研究

韋琴紅[11]從語言元功能角度分析了《泰晤士報》上的一多模態(tài)媒體語篇，說明除語言之外的其他符號系統(tǒng)也是意義的源泉，具有和語言符號一樣的多功能性。孫毅[12]運用多模態(tài)話語理論分析了2011西安世園會會徽，從圖像、顏色和版式設(shè)計等方面論證被傳統(tǒng)語法視為副語言的各種符號資源與語言符號一樣參與意義構(gòu)建，并反映和重塑歷史、文化及社會的真實。袁艷艷、張德祿[13]從Kress&Van Leeuven的視覺語法角度，對電影唐山大地震海報從再現(xiàn)意義、互動意義和構(gòu)圖意義進行系統(tǒng)分析，論證三者在多模態(tài)與片中如何協(xié)同、照應(yīng)、彼此強化以構(gòu)建語篇的整體意義。

2.動態(tài)視頻語篇的多模態(tài)研究

洪崗[14]對北京奧運會開幕式主題曲《我和你》的視頻聲音和截取的圖片進行意義構(gòu)成的分析，說明圖像和聲音在多模態(tài)語篇意義構(gòu)建中的作用。張德祿、袁艷艷[15]以電視天氣預(yù)報多模態(tài)話語為例，探討了動態(tài)多模態(tài)話語之間的配合及協(xié)同的基本原則。王瑩[16]用多模態(tài)話語分析理論，以反映日本婆媳關(guān)系題材的影視作品為例，從圖像文字、色彩、結(jié)構(gòu)等不同的層面對影片進行分析、解構(gòu)、整合。

3.多模態(tài)話語理論與外語教學(xué)實踐相結(jié)合

張德祿、王璐[3]探討了兩個教學(xué)案例中，模態(tài)之間的相互作用，尤其是強化、補充、協(xié)同作用，總結(jié)出六點教師應(yīng)該注意和改進的地方。張德祿[17]探討了制約教學(xué)設(shè)計的主導(dǎo)因素及教學(xué)設(shè)計在實際教學(xué)過程中的體現(xiàn)。文章探討了外語教學(xué)可能的教學(xué)階段和各個階段可選擇的教學(xué)步驟和方法。張德祿、張淑杰[18]探討了多模態(tài)外語教材的基本特點、編寫的制約因素和編寫原則等。張德祿[19]在已有研究的基礎(chǔ)上發(fā)展了多元讀寫能力的學(xué)習(xí)和教學(xué)模式，建立了多元讀寫的理論框架，并探討了多元讀寫能力的學(xué)習(xí)模式及教學(xué)培養(yǎng)框架。張德祿、李玉香[20]探討了課堂教學(xué)中口語模態(tài)和PPT模態(tài)組合的相互配合及其在詞匯語法層面上的體現(xiàn)以及詞匯、語法與語篇的關(guān)系。文章深入探究了同一模態(tài)在不同教學(xué)階段的作用，多模態(tài)話語單位的確定標(biāo)準(zhǔn)、課堂模態(tài)選擇依據(jù)等問題。劉秀麗[21]等建立了一個在外語教學(xué)中運用合適的多模態(tài)話語來激發(fā)學(xué)生的學(xué)習(xí)積極性的理論模式。研究發(fā)現(xiàn)外語教師多模態(tài)話語類別和形式與學(xué)生學(xué)習(xí)積極性關(guān)系密切，提出如何更加有效地使用各種教學(xué)理念、措施、方法和模態(tài)來提高教學(xué)效果的建議。曾慶敏[22]探討了大學(xué)英語教學(xué)的多模態(tài)性及其作用，為大學(xué)英語教學(xué)中多模態(tài)使用提出了合理的建議。

4.多模態(tài)話語理論與其他領(lǐng)域相結(jié)合

張德祿、穆志剛[23]在功能文體學(xué)理論研究基礎(chǔ)上，以圖文連環(huán)畫為例，提出通過探討不同模態(tài)的突出特征、模態(tài)之間的協(xié)同、組合、意義建構(gòu)、語境、體裁和文化多個層面探討圖文連環(huán)畫的文體。王改娣、楊立學(xué)[24]從文化、意義和模態(tài)三個層面對英詩進行多模態(tài)話語研究，研究發(fā)現(xiàn)在英詩的模態(tài)層面，模態(tài)語法和語言語法一樣具有規(guī)律性。

(三)多模態(tài)話語理論再梳理、蓄勢突破階段

多模態(tài)話語理論在中國方興未艾，已經(jīng)歷了整整十年的發(fā)展時期，研究取得了一系列豐碩成果，也引發(fā)出一系列值得思考問題，一些專家學(xué)者在已有的研究基礎(chǔ)上，重新審視多模態(tài)話語理論并深入探究，多模態(tài)話語理論蓄勢待發(fā)，有望在下一個十年更上一層樓。李戰(zhàn)子、陸丹云[25]回顧了以往多模態(tài)研究，主要包括符號語法的構(gòu)建，多模態(tài)語類特征研究等，并指出作為一門新興的學(xué)科，多模態(tài)符號學(xué)在多種模態(tài)的系統(tǒng)語法構(gòu)建，模態(tài)間關(guān)系研究，批評性多模態(tài)研究融合方面均具有探索空間。張德祿[26]重新探討了符號資源及其媒體系統(tǒng)的類別，并細(xì)致闡述了媒體與模態(tài)的關(guān)系，從語言與非語言、符號的維度、符號的感知幾方面談了符號媒體的分類，有助于加深認(rèn)識，解決媒體與模態(tài)之間長期以來概念不清問題。代樹蘭[27]將多模態(tài)理論與本土文化相結(jié)合，指出多模態(tài)話語并非新現(xiàn)象，中國古代的詩歌、繪畫、書法等作品常常是多模態(tài)并存。此外，文章還對多模態(tài)話語研究成果進行梳理，并展望多模態(tài)話語研究的未來趨勢。

四、多模態(tài)話語分析理論發(fā)展之反思

(一)多模態(tài)話語分析理論缺乏

雖然多模態(tài)話語分析有系統(tǒng)功能語言學(xué)最強有力的理論基礎(chǔ)，但缺乏具體的理論構(gòu)建。Kress和Van Leeuwen (2006)在十幾年前提出的“視覺語法”的確是一個重要的理論成果，但其適用對象主要是靜態(tài)的圖像。如今，十幾年已經(jīng)過去，多模態(tài)話語分析的對象很多涉及動態(tài)的圖像，但目前此方面還缺乏具體的理論支持。此外，如今多模態(tài)話語分析還涉及很多其他模態(tài)，如聽覺模態(tài)，可是相對“視覺語法”來說，“聽覺語法”的理論構(gòu)建顯然比較薄弱。更不用說對觸覺，味覺等其他模態(tài)的理論構(gòu)建了。這些理論上的匱乏很大程度上限制了多模態(tài)話語分析的進一步發(fā)展，讓其很難在其他模態(tài)話語的分析上取得長足進展。

(二)多模態(tài)話語分析主觀性強且不夠深入

相對傳統(tǒng)的語言層面的話話分析，多模態(tài)話語分析主觀性強且不夠深入。不管是傳統(tǒng)話語分析還是多模態(tài)話語分析，一般都仰仗語法進行。傳統(tǒng)語法一般都可以提供嚴(yán)格意義上的語法依據(jù)，但多模態(tài)話語分析依據(jù)的語法，如視覺語法、聽覺語法等，帶有很強的主觀性和模糊性，在很大程度上依靠學(xué)習(xí)者本人對符號系統(tǒng)內(nèi)部不同成分的語義理解，因此，不同學(xué)科背景或文化背景的人完全有可能得出迥異的分析結(jié)果。

此外，目前的多模態(tài)話語分析不夠深入。一般是采用對各個符號系統(tǒng)進行依次分析，然后再合起來探討的方法，目前還很難區(qū)別多模態(tài)詞匯語法系統(tǒng)和意義系統(tǒng)，各模態(tài)之間的互動關(guān)系和互補作用還難以確定。

(三)多模態(tài)話語分析缺乏技術(shù)支持

如前所述，多模態(tài)話話的出現(xiàn)很大程度上得益于技術(shù)的進步，讓人們的交流不再依賴于語言，而是多種符號系統(tǒng)。在此基礎(chǔ)上，對這種技術(shù)推進的多模態(tài)的話語的分析，也需要高科技的支持。比如，對視頻或音頻的分析，如果有先進的技術(shù)支持，對語料進行客觀的分析，勢必能降低多模態(tài)話語分析的主觀性。而要做到這一點，需要多學(xué)科的合作。多模態(tài)話語分析由于涉及符號的多樣性，已經(jīng)同傳統(tǒng)的語言學(xué)不同，不能夠再只依賴語言學(xué)家的努力，而是需要其他學(xué)科的共同配合。要獲得技術(shù)上的支持，語言學(xué)可以同計算機學(xué)科進行合作。要對動態(tài)電影等語篇進行分析，可以同電影學(xué)進行合作。對圖像的分析，也可以同藝術(shù)學(xué)進行配合。將來，如果多模態(tài)分析要擴展到諸如觸覺、味覺等模態(tài)的分析，更是少不了其他學(xué)科的支持。所以，目前的多模態(tài)話語分析研究急需加大同其他學(xué)科的交叉與融合。

五、結(jié) 語

本文分析了國內(nèi)多模態(tài)話語理論近十年主要的研究成果。從上述分析可見，多模態(tài)話語研究經(jīng)歷了多個重要發(fā)展階段，從對多模態(tài)話語理論基礎(chǔ)的關(guān)注到對各模態(tài)特征的研究；從單一模態(tài)的探討到多模態(tài)協(xié)同關(guān)系的探討；研究對象也從簡單的二維靜態(tài)圖文關(guān)系到三維動態(tài)視頻等；從對成品語篇的分析到互動性話語進程探討等。但總的來說，多模態(tài)話語研究尚處于初級階段，多數(shù)研究還只局限于對多模態(tài)進行描述和說明。“要合理解讀多模態(tài)符號如何生成意義以及構(gòu)建一部使用的多模態(tài)語法，要做的工作很多。”在今后的研究中還應(yīng)注意研究方法的創(chuàng)新以及吸收語言以外的營養(yǎng)要素，對多模態(tài)語篇的分析應(yīng)依靠多學(xué)科的交叉與融合[25]。總之，對多模態(tài)的研究能更有利于我們深入理解話語的內(nèi)在機制，是語言研究領(lǐng)域極具潛力和社會價值的課題，對于幫助人類認(rèn)識自我與符號、文化與社會，拓展語言能力具有十分重要的意義!

[1]朱永生.多模態(tài)話語分析的理論研究基礎(chǔ)與研究方法[J].外語學(xué)刊，2007，(5):82-86.

[2] Hal l iday, M. A. K. & C. Mat thiessen. An introduction to Functional Grammar(third edition)[M]. London: Arnold, 2004.

[3]張德祿，王璐.多模態(tài)話語模態(tài)的協(xié)同及在外語教學(xué)中的體現(xiàn)[J].外語學(xué)刊，2010(2):97-102.

[4]Hal l iday,M. A. K.Language as Social Semiotic[M]. London: Arnold, 1994.

[5] Kress, G & Leeuwen. Reading images: the grammar of visual design (second edition) [M].London: Rout ledge, 2006.

[6]李戰(zhàn)子.多模式話語的社會符號學(xué)分析[J].外語研究，2003(5):1-8.

[7]顧曰國.多媒體、多模態(tài)教學(xué)剖析[J].外語電化教學(xué)，2007(4):3-11.

[8]胡壯麟.社會符號學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究，2007(1):1-10.

[9]朱永生.多元讀寫能力研究及其對我國教學(xué)改革的啟示[J].外語研究，2008(4):10-14.

[10]張德祿.多模態(tài)話語理論與媒體技術(shù)在外語教學(xué)中的應(yīng)用[J].外語教學(xué)，2009(4):15-20.

[11]韋琴紅.論多模態(tài)話語的整體意義構(gòu)建——基于一個多模態(tài)媒體語篇的話語分析[J].天津外國語學(xué)院學(xué)報，2008(6):16-21.

[12]孫毅.多模態(tài)話語構(gòu)建——以2011西安園藝博覽會會徽為基點[J].外語與外語教學(xué)，2012(1):44-47.

[13]袁艷艷，張德祿.多模態(tài)電影海報語篇的社會符號學(xué)分析[J].濟寧學(xué)院學(xué)報，2012(2):35-39.

[14]洪崗，張振.多模態(tài)視頻語篇《我和你(You And Me)》的構(gòu)成意義分析[J].外語電化教學(xué)，2010(6):20-24.

[15]張德祿，袁艷艷.動態(tài)多模態(tài)話語的模態(tài)協(xié)同研究——以電視天氣預(yù)報多模態(tài)語篇為例[J].山東外語教學(xué)，2011(5):9-16.

[16]王瑩.多模態(tài)話語分析視閥下的日本婆媳題材影響組頻頻淺析[J].徐州師范大學(xué)學(xué)報，2011(5):49-52.

[17]張德祿.多模態(tài)外語教學(xué)的設(shè)計與模態(tài)調(diào)用初探[J].中國外語，2010，7(3):48-53.

[18]張德祿，張淑杰.多模態(tài)性外語教材編寫原則探索[J].外語界，2010(5):26-33.

[19]張德祿.多模態(tài)學(xué)習(xí)模式培養(yǎng)探索[J].外語研究，2012(2):9-14.

[20]張德祿，李玉香.多模態(tài)課堂話語的模態(tài)配合[J].研究外語與外語教學(xué)，2012(1):39-43.

[21]劉秀麗，張德祿，張宜波.外語教師多模態(tài)話語與學(xué)習(xí)積極性的關(guān)系研究[J].外語電化教學(xué)，2013(5):3-9.

[22]曾慶敏.大學(xué)英語教學(xué)的多模態(tài)性及其作用[J].重慶交通大學(xué)學(xué)報:社會科學(xué)版，2012(1):141-144.

[23]張德祿，穆志剛.多模態(tài)功能文體學(xué)理論框架探索[J].外語教學(xué)，2012(5):1-6.

[24]王改娣，楊立學(xué).英語詩歌之多模態(tài)話語分析研究[J].山東外語教學(xué)，2013(2):26-31.

[25]李戰(zhàn)子，陸丹云.多模態(tài)符號學(xué):理論基礎(chǔ)，研究途徑與發(fā)展前景[J].外語研究，2012(2):1-8.

[26]張德祿.多模態(tài)符號資源及媒體系統(tǒng)探索[J].當(dāng)代外語研究，2012(3):122-127.

[27]代樹蘭.多模態(tài)話語研究的緣起與進展[J].外語學(xué)刊，2013(2):17-23.