多模態話語分析理論在新媒介時代的應用

摘要:20世紀90年代西方興起的多模態話語分析,逐漸成為語言學研究的新熱點之一。通過回顧其在國外和國內的發展歷史,重點解釋了多模態話語與社會符號學的關系,并展望未來發展方向。

關鍵詞:多模態話語分析;新媒介時代;社會符號學

中圖分類號:H04文獻標志碼:A 文章編號:1002—2589(2009)14—0204—02

一、多模態話語分析理論

朱永生(2007),只使用一種模態的話語叫做“單模態話語”;同時使用兩種或兩種以上模態的話語叫做“多模態話語”。新媒介時代,語篇呈多模態化,20世紀90年代西方興起的多模態話語分析(multimodal discourse analysis)為由多種符號組成的語篇分析提供了途徑,幫助讀者了解不同模態作為社會符號,如何共同作用構成意義,達到意義潛勢,對提高人們多模式話語識讀,具有積極的意義。多模態話語分析屬于社會符號學的分支,Halliday的系統語言學作為基礎,具有跨學科、應用性強特點,能運用在語音文字、建筑、城市設計及規劃、影視戲劇、音樂、PPT、教學和數據庫廣告、網站頁面設計、大型演出及舞臺表演、排版、音樂、教科書設計、教學等多領域,與傳媒學、批評話語分析等有緊密聯系,已經影響了當今很多學科的研究方向,如閱讀寫作能力教育、傳媒話語分析、文化研究等,對社會的經濟能起直接的指導作用。該理論無論在國外還是在國內都處于起步階段,在國外已經有出版書目和召開國際會議,李戰子(2003)首次引入了多模態分析理論。

朱永生(2007),幾個關鍵字的概念,模式(mode)、媒介(medium)與模態(modality)。模式指系統功能語言學與話語范圍(field)和話語基調(tenor)并列的語境三要素之一的話語模式,指交流渠道,如口頭、書面、電子等。模態(modality)原指語言系統中講話者對事物的或然性進行判斷和事物的必要性表明態度的語義系統情態;這里指交流的渠道和媒介,包括語言、技術、圖象、顏色、音樂等符號系統。媒介是表達信息的物理工具。采用某一種媒體仍可以有不同模式表達信息,同樣的模式可以用不同媒體表達。

二、研究現狀

辛志英(2008)大致有:社會符號學流派,包括OToole、Kress、Leeuwen、Lemke、OHalloran、Baldry Thibault和Ventola等;交互社會學流派,包括Scollon、Norris及Jewitt等;認知學流派,主要有Forceville和Holsanova等人。

社會符號學認為語言以外的其他符號系統也是意義的源泉,認為多模態話語本身也具有系統性,多功能性,即同時具有概念功能、人際功能和語篇功能;認為語境因素和多模態話語的意義之間有著密不可分的聯系。Hodge&Kress(1978)《社會符號學》,以Halliday(1978/1994)的系統功能語言學為基礎,把對語言社會符號性的研究擴展到二維平面空間如圖像:Kress & van Leeuwen(1996)的《閱讀圖像》主要分析圖像等符號在語篇中的作用,重點探討圖像中的人物、地點和事物是如何組成視覺模式,實現其再現意義、互動意義和構圖意義。OToole(1994)主要從級階的角度來分析圖象。Lemke(1998)探討了科學文章中圖表與文字的關系;OHalloran(1999)探討了數學公式與語言之間的轉換;Royce(1998)探討了廣告中圖像與文字的關系。Martinec&Salway(2005)、Len(2006)則詳細地探討了新舊媒體中的圖文二者關系。二維平面中的圖文關系:胡壯麟(2005)在PPT;成文&田海龍(2007)對2003年發布的SARS新聞病例報告進行批評性分析;丁建新(2007)探討了童話插圖中的情態意義;王紅陽(2007)探討詩歌中排版的問題。田璐&劉澤權(2008)對上海世博會會徽進行分析。程春松(2008)對電影海報的進行多模態話語解讀。廣告:勵松青(2005)、莫少斌(2006),王紅陽(2007)、胡丹(2007)探討了紙質廣告中多模態話語,主要是畫面與文字的互動。韋琴紅(2008)探討了多模態媒體語篇。電影:李妙晴(2007,2008)探討了電影中靜態畫面及動態畫面的多模態意義,從主題類型、結構、場景、人物、視角、片名和海報如何進行多模態互動。李戰子&向平(2007)著重分析《一個饅頭引發的血案》flash的類型步驟。介紹及綜述性文章:胡壯麟(2007)論述了多模態與計算機符號學的關系;朱永生(2007)論述4個問題:多模態話語的產生、定義、性質和理論基礎、內容、方法和意義。

聲音、音樂(van Leeuwen,1991,1999))分析了話語聲音、音樂、音響之間的關系。三維空間中,身體動作(Martinec,1998)和戲劇空間設計(Martin&Stenglin,1997,2006)。在教學上,Lemke(1990)、Jewitt&Kress(2003)、Jewitt(2006)研究了兒童習得和多模態話語習得。1996年,來自美國、英國和澳大利亞的十多名學者來到美國,共同商討新形勢下的教育改革,新倫敦小組(New London Group)是多元讀寫研究的開端,認為隨著信息技術的發展,當今世界發生了兩個變化:第一個變化是文化多元化趨勢,第二個變化是新型交際技術的發展,文字表達意義的做法正在與視覺、聽覺、手勢等彼此結合。多元讀寫教學法設計來幫助學生能適應變化,迎接語言文化多元化、交際技術樣化挑戰,應該培養學生的多模態識讀能力(multiliteracy)(Cope and Kalantzis,2000 p.9),認為包括以下四方面:1.實地操練;2.明確指導;3.批評性框定;4.操練。曾蕾(2006)在三維空間中身體動作——國際會議演講語篇等領域進行了多模態分析。

Baldry&Thibault(2006)的多模態記錄,Bateman(2004)等建立多模態語料庫管理平臺MCA(Multimodal Corpus Authoring)。顧曰國建立了漢語現場即席話語多模態語料庫。王立非&文艷艷(2008)主要介紹多模態分析軟件ELAN以及該軟件的主要功能,并舉例說明如何利用ELAN開展應用語言學研究,并指出多模態研究方法應用的價值和重要意義。在應用上,有探討語篇與技術的關系(LeVine&Scollon,2004)和應用文集(OHalloran,2004)。

電子語篇中的圖文關系葉起昌(2005、2006)),探討了傳統符號學對圖文關系的總結:并提出在后印刷時代話語、超文本中圖像與文字的關系。曾蕾&梁紅艷(2007),認為多語式表現超鏈接及其內容。李妙晴(2007)探討了中國同學錄電子語篇的特點。

教學:陳瑜敏&秦小怡,(2007,2008)考察教育語境下介入意義在多模式語篇中的圖文體現形式,顧曰國(2007)探討了多模態在網絡教學中的應用;曾方本(2008)探討了多模態與技術的關系。張德祿(2009)提出一個多模態話語分析綜合理論框架探索。

由此可見,多模態話語分析在中國的研究主要集中在視覺模態和文字模態相結合的二維平面研究,對于視覺模態+聲音模態+文字的多模態語篇、空間模態的語篇較少涉及,在教學上和英語語料庫中更是基本處于萌芽狀態。

三、結論

朱永生(2007)也展望在未來的發展重點:第一個趨勢是對多模態互補作用的更加關注,第二個趨勢如從二維話語分析走向三維話語分析,從靜態研究走向動態研究等。Simpson(2003,轉引胡壯麟,2007),提出如下選題方向:多模態化和新的媒體,在學術和教育情境下的多模態化的應用,多模態化與識讀實踐,多模態化語料庫的建立,多模態化和類型學,多模態化話語分析及其理論問題。多模態化話語分析包括互聯網在話語分析中的作用,社會研究中的多模態話語分析,教育語境下的多模態話語分析,工作場所的多模態話語分析(Levine & Scollon2004)。

將來要既著手分析視覺模態、文字模態的互動,也研究視覺模態、聲音模態、文字模態的互動,還開展研究音樂模態與文字模態的結合,這是對多模態話語分析在國內尚未對聲音模態研究零的突破;對網絡時代下,多媒體情況下自主學習及與課堂教學的結合作了詳細的分析,分析了視覺模態、聲音模態、文字模態、動作和手勢等多模態的特性及互動。可見涉及面比之前研究更廣,更加復雜及走向動態研究。將對建筑、城市規劃、展廳、大型表演等作多模態話語分析。對更為復雜的多模態共存的語篇如電影、音樂、建筑進行研究,因為從事多模態話語分析的絕大多數是語言學者,而多模態話語分析是跨學科的。多模態話語分析理論的哲學基礎、多模態話語語料庫、多模態系統功能分析軟件、超模態、在動作、手勢中的體現等都有待研究。

參考文獻:

[1]Baldry,A.P.and Thibault,P.J.Multimodal Transcription and Text[M].London:Equinox.2006.

[2]Cope,B.and Kalantzis,C(editors for the New London Group)(2000)Multiliteracies:Literacy Learning and the Design of Social Futures London:Routledge.

[3]Hodge,B.and Kress,G.Social Semiotic[M]s.Cambridge:Polity.(1988).

[4]Jewitt&Kress,Multimodal Literacy[M],Newyork:Perter Lang Publishing,2003.

[5]Jewitt,Carey,Technology,Literacy and learning[M],Newyork:Routledge,2006.

[6]Kress,Gunther & T van Leeuwen.Reading Images:the Grammar of Visual Design[M].London And Newyork:Routledge.1996.40-1.

[7]Kress,G.and Van Leeuwen,T.Multimodal Discourse[M].London:Arnold.(2001).

[8]OHalloran,K.(ed.),Multimodal Discourse Analysis[M].London:Continuum,2004.

[9]OToole,M.The Language of Displayed Ar[M]t.Leicester:Leicester University Press.(1994).

[10]Van Leeuwen,T.and Jewitt,C.(eds)Handbook of Visual Analysis[M].London:Sage.(2000).

[11]顧曰國.多媒體、多模態學習剖析[J].外語電化教學,2007,(4).

[12]胡壯麟.社會符號學研究中的多模態化[J].語言教學與研究,2007,(1).

[13]李戰子.多模態話語的社會符號學分析[J].外語研究,2003,(5):1-8.

[14]朱永生.多模態話語分析的理論基礎與研究方法[J].外語學刊,2007,(5).

[15]朱永生.多元讀寫能力研究及其對我國教學改革的啟示[J].外語研究,2008,(4).

[16]辛志英.話語分析的新發展———多模態話語分析[J].社會科學輯刊,2008,(5).

[17]張德祿.多模態話語分析綜合理論框架探索[J].中國外語,2009,(1).

(責任編輯/石銀)