中國多模態話語分析回顧與展望

陳子娟，耿敬北

（宿遷學院 外語系，江蘇 宿遷223800）

自20世紀50年代美國語言學家Harris提出“話語分析”這一概念以來，話語分析以跨學科、多維度的態勢大大拓展和跨越了語言學研究的傳統界域，已發展成一門成熟的獨立學科。多模態話語分析作為話語分析的一個重要分支，把話語分析研究對象由“文本的語言”轉變到“使用中的語言”之后再一次延伸到更加廣闊的符號話語世界，續寫了話語分析的研究歷史。中國多模態話語分析的發展離不開韓禮德系統功能語言學的推波助瀾，國內多模態話語分析的領軍學者胡壯麟、李戰子、顧曰國、張德祿、朱永生等多是從事話語分析和系統功能語言學研究的專家，從此也可追塑到國內多模態話語研究的理論淵源。在西方，多模態話語分析方法興起于20世紀90年代，以Kress＆Van Leeuwen等為代表。在國內，2003年，中國學者李戰子在《多模式話語的社會符號學分析》一文中首次將多模態話語理論引介到國內，開創了中國多模態話語分析的先河。筆者以近11年來13種外語類核心期刊刊載的102篇多模態話語分析研究論文為研究對象，運用定量與定性相結合的方法，進行綜述性分析，以期為今后的研究提供幫助。

一、研究設計

將視覺模態、聽覺模態、觸覺模態、嗅覺模態和味覺模態等模態中兩種或兩種以上模態用于話語交際形成的話語就構成多模態話語[1]。其主要理論基礎是Halliday創立的系統功能語言學。Barthes是最早研究多模態話語分析者之一，他在著作《圖像的修辭》中探討了圖像表意和語言表意的互補性；Kress&Van Leeuwen[2]研究了模態與媒體的關系，專門探討了多模態表意現象；Royce[3]研究了模態話語中不同符號的互補關系以及外語課堂教學中多模態的協同關系等。O'Halloran[4]以數學語篇中的多模態現象闡釋了多模態的理論建構。

（一）語料來源與樣本選擇

迄今為止多模態話語分析在中國已經走過了11年（2003-2013年）的發展歷程，筆者以“SU=‘多模態’AND AB=(‘話語’+‘語言’+‘二語’+‘教學’+‘外語’+‘英語’+‘語篇’+‘隱喻’)”為檢索式，在中國知網檢索到約1235篇多模態話語分析文獻，年均達到約112篇，可見多模態話語分析研究迅猛發展之勢頭。為了進一步了解多模態話語分析研究在過去11年里的研究狀況，筆者通過CNKI選擇以上期刊刊名后，分別以“多模態”、“話語”為主題詞，關鍵詞和摘要檢索詞，在中國知網中對2011版北京大學核心期刊目錄的每一外語類核心期刊進行檢索，檢索出所有多模態話語研究論文，共獲論文102篇，構成本文主要研究對象。選擇這些期刊的原因是其論文一般會經過嚴格審查，質量有一定保證，具有代表性。

表1 2003-2013年國內多模態話語分析論文統計結果

（二）研究方法

遵循定量與定性相結合研究方法，采用文獻計量法、比較研究法和理論分析法，運用統計軟件EXCEL，用圖表進行描述和統計，并進行解釋。

二、調查結果與分析

（一）總體分析

本文將歷年多模態話語分析刊文進行統計分析，結果如表1。

表1顯示多模態在外語教學領域的應用研究從2003-2006的年均0.5篇再到2013年28篇，總體上呈逐年增長趨勢，并呈加速狀態。期間出現了2010年刊文大幅增長和2011年刊文的下降趨勢,而2011-2013期間刊文數量又恢復了逐年穩定增長的態勢，說明該研究符合事物發展的一般規律，即“醞釀—萌芽—緩慢發展—非理性快速發展—回歸理性穩定增長”。從刊文覆蓋期刊數量的總體增加趨勢也反映了多模態話語分析得到學界的越來越多的關注。

（二）多模態話語研究對象

通過對中國多模態話語研究的統計分析，在過去的2007-2013期間，研究對象涉及面較為廣泛，基本覆蓋靜態語篇（PPT、廣告、政治漫畫、小品、山水畫、詩歌、會徽、海報）和動態語篇（教材、影視、課堂話語、演講）。其中，PPT、廣告、教材、詩歌、影視和課堂話語語類占居主體地位，統計結果如表2。

表2多模態話語分析對象：多模態語類統計結果

（三）多模態話語研究內容

自多模態話語研究誕生以來，國內外學者對多模態話語研究的任務做出了各自的設想[1]，經歸納分類如表3。

表3多模態話語研究內容統計結果

多模態話語分析內容主要涉及多模態化與教學研究、多模態研究的學科融合、多模態化話語理論分析、多模態語篇系統功能語言學分析、多模態化與識讀實踐、模態間關系研究；而多模態化與新媒體、各種模態系統語法研究、批評性多模態研究、多模態語料庫與話語標注分析則顯不足，多模態研究給語言研究帶來的益處研究則散見于少量文章中，在多模態化和類型學等領域研究基本為零。

三、研究內容：理論研究與應用研究

（一）理論研究

1.對國外理論引介

引介分為直接引介和綜述性引介，前者主要是對國外多模態話語研究的直接引介，表現為國外理論著作的書評形式。自多模態話語研究在中國起步到現在有三位學者做了引介研究：鐘蘭鳳的《多媒體的世界,多模態的話語—<多模態篇章轉錄與分析>述評》，該書由Anthony Baldry與Paul J.Thibault于2006年合著而成，探討不同傳播媒介下各種模態之間如何相互協同和多模態語篇轉錄的工具問題；趙秀鳳和謝競賢對Forceville&Urioa-Aparisi所編《多模態隱喻研究》的書評，該書對多模態隱轉喻的認知研究進行了系統的概括性評述，涵蓋多模態隱喻研究的緣起、發展、焦點、貢獻、挑戰和前景等諸多方面，可使我們對這一領域內新的研究動態有較為全面的了解和認識。

綜述性引介相對較多，有多模態相關定義界定,從系統功能語言學理論視角對多模態符號分析,社會符號學理論介紹和論述，多模態話語分析方法與途徑論述，多元讀寫能力培養述評，多模態語篇分析述評等。

2．多模態話語分析的理論創新研究

顧曰國[5]提出了用“角色建模語言”對多媒體、多模態學習進行結構化數據建模的思路。并帶領其團隊創建了中國第一個多模態語料庫：現代漢語現場即席話語多模態語料庫，采用多模態語料庫語言學中貼真建模的研究方法，探討言、思、情、貌在鮮活話語中的互動關系，提出“言思情貌整一原則”[6]。顧曰國提出的語料庫研究方法具有極強的創新性和預見性，代表國內外多模態話語研究的大方向。張德祿在《多模態外語教學的設計與模態調用初探》中探討了教學設計對模態系統的選擇和選擇的原則，包括總原則、最佳效果原則和三個一般原則：有效原則、適配原則和經濟原則。張德祿在《適用性社會符號學的理論與實踐研究》中從資源、變化、原則和功能四個方面探討社會符號學的適用性,并討論了適用符號學理論和實踐之間的關系，設計出了一個適用社會符號學的綜合理論框架。張德祿在多模態互動表意，多模態配合表意等領域進行的模態間關系理論研究，以及在教學領域的應用研究，正是國外多模態話語研究的急需解決之處，是中國多模態話語研究與國際接軌的重要標志。張德祿、顧曰國等學者能夠將多模態話語研究提升到具有普遍指導意義研究高度，研究既具有可操作性又具有理論高度，同時為國內本領域自主創新性研究做出了突出貢獻。但該類研究所占比例極小，需要國內廣大學者致力于本土理論創新和實踐創新研究。

（二）應用研究

多模態話語應用研究范圍廣泛，多集中于靜態語篇分析，多模態教學研究占有較大比例。從研究的視角分類來看，主要體現在對多模態化在教學領域的應用，多模態研究的學科融合，模態間關系研究，多模態化與識讀實踐，多模態語篇系統功能語言學分析。

1.多模態化與識讀實踐

在西方國家多元讀寫能力培養研究備受關注，基于此，國內學者也給予了相當的重視。目前，研究重點還停留在引介和實踐應用上。該領域研究有兩大分支，第一，主要是對培養多元識讀能力的宏觀理論闡釋。朱永生[7]是國內首位詳細引介西方多元讀寫研究成果的學者，并探討了多元讀寫能力培養對我國教學改革的啟示，為中國多模態讀寫能力培養研究和國際接軌做出了貢獻。胡壯麟[8]還歸納出了多模態識讀的9個層次。第二，是基于西方理論的多元讀寫能力微觀論證研究，以實證研究為主體。主要體現多元讀寫能力培養的教學設計研究和學生多模態學習的設計研究。中國多元讀寫能力培養研究可以借鑒西方多元讀寫研究成果，但鑒于中西方文化差異，國內培培養模式和養方法需要更多的本土化創新。

2.多模態在外語教學中的應用

多模態在教學領域應用研究數量較多，多達42篇，幾乎占據多模態研究半壁江山（41.2%）研究內容呈多維度特征，從研究內容和視角來看，多模態外語教學涉及面較為廣泛，基本覆蓋所有外語技能教學領域，有微觀聽、說、讀、寫、譯研究，課堂話語研究，教材研究，也有宏觀的教學模式研究。研究理論基礎廣泛，涉及系統功能語言學的社會符號學理論、認知與元認知策略、人本主義心理學、可理解性輸入理論、動機理論、注意層次理論等。非實證研究占主流，定量實證研究較少；研究對象涉及到學生、教師、教材、多媒體、PPT等主要教學要素，呈現多樣化特征。

3.多模態研究的學科融合

多模態話語分析的跨學科融合性較弱，基本集中在與認知學相結合的多模態隱喻研究和與符號學相結合的多模態符號學研究。與認知學融合研究的多模態隱喻研究主要表現對國外理論的引進和綜述分析上。目前，多模態隱喻研究還處于起步階段，其理論還基本上沿用雙域映射框架，還沒有形成一個適用于多模態隱喻研究的完整的理論體系。多模態隱喻研究主要集中在政治漫畫、新聞漫畫、平面廣告等靜態語篇的多模態隱喻表征方式研究和影視、英語演講、電視廣告等動態語篇中動作、語言等多模態隱喻融合研究；此外，概念隱喻與、空間隱喻、教學中多模態隱喻也有所涉及。在多模態與符號學融合研究中，國內學者顧曰國[5]、胡壯麟[8]、朱永生[1]、張德祿[9]等從社會符學視角對多模態話語分析的理據和分析方法進行了研究，與符號學的學科融合研究在國內多模態話語研究中占據相當比例。

4.多模態語篇系統功能語言學分析

多模態系統功能語言學應用研究主要體現在對詩歌尤其是視覺詩進行多模態語篇系統功能語言學分析。運用系統功能語法理論并結合社會符號學，從語言層面和印刷體式上對詩歌做多方位的功能解讀,以及印刷、文字和非文字多模態話語在反映內心情感、人際關系,以及作者態度與評價等方面均有特殊的含義。從語言三大元功能視角解讀視覺詩歌，認為多模態話語分析理論是系統的、全面的解讀詩歌的最佳途徑。

5.模態間關系研究

國內模態關系研究主要集中于多模態語篇中不同模態之間的關系研究。張德祿在2009-2012期間撰文4篇，對模態間關系進行了系統研究。綜合四篇研究，關注焦點在于多模態外語教學中模態調用，多種模態的協同與配合，模態互動與轉換等研究。并提出了教學設計對模態系統的選擇和選擇的原則，包括總原則、最佳效果原則和三個一般原則：有效原則、適配原則和經濟原則。此外，張德祿還以電視天氣預報為例探討了動態多模態話語模態之間的協同[10]。

6.模態系統的語法研究

語法分析方面主要依托Kress和Leeuwen的視覺語法的應用研究，未涉及到聽覺語法等其他模態語法構建和應用研究。主要從社會符號學的視覺語法角度出發，解讀旅游形象廣告超文本的多模態化；以視覺語法為理論基礎對中英媒體報道中圖像的情況進行多模態語篇分析；用視覺圖像分析語法框架分析宣傳廣告畫中的互動意義的構建和體現。

7.多模態語料庫與話語標注分析

國內的多模態語料庫構建和教學應用研究則處于初始設計和探索階段。王立非、文艷[11]介紹了多模態分析軟件ELAN以及該軟件的主要功能，并舉例說明如何利用ELAN開展應用語言學研究，以及對建立多模態語料庫的價值和重要意義。劉芹、潘鳴威[12]則以多模態話語分析為理論基礎，設計出一套中國大學生英語口語非言語交際標注指標，并應用于口語教學研究。該類研究嚴重不足，需要未來大量研究跟進。

四、國內多模態話語分析成就、不足和未來研究建議

（一）成就與不足

本次統計發現，國內多模態話語分析在2003-2013年間取得了不錯的成就，研究對象和研究內容都趨向多元化。研究覆蓋的語類對象多達13種，研究內容涉及到10個方面，基本涵蓋國內外早期研究者提出的研究課題。從覆蓋的外語類核心期刊種類來看，覆蓋到所有期刊，多種期刊一期多篇或者一連多期刊載多模態話語分析論文，各種期刊刊文也呈現增多趨勢。可見多模態話語分析在國內越來越受關注，極有成為顯學趨勢。國內以顧曰國[5]、胡壯麟[8]、朱永生[1]、張德祿[9-10]等為代表的相關學者的自主創新研究，也使國內多模態話語研究開始逐漸脫離國外理論及成果的束縛，極大地推動了國內研究的發展。但從多模態話語研究所涉及的課題分布來看，仍然出現一窩蜂現象，存在分布不均，不平衡問題。在多模態化在教學領域的應用研究，多模態研究的學科融合的隱喻和符號學研究，多模態化與識讀實踐，多模態語篇系統功能語言學分析等領域有過多的重復性研究，而在多模態化與新媒體、各種模態系統語法研究、批評性多模態研究、多模態語料庫與話語標注分析、多模態研究給語言研究帶來的益處研究等領域則明顯不足，多模態化和類型學等領域研究則為零。此外，研究過多的依賴國外理論研究，創新力度不夠，嚴重影響了國內多模態話語本土研究氛圍。

（二）未來研究建議

基于以上不足，對未來多模態話語分析的思考和建議如下：

模態話語研究深度和廣度還有待進一步挖掘和拓展。由于多模態與認知的天然關系，多模態話語分析可以與認知理論融合，多做本體創新研究。跨學科研究是拓寬多模態外語教學研究理論基礎的新方向。如與認知學進一步結合研究，與計算機技術交互研究。繼續完善和填補多模態化與新媒體、各種模態系統語法研究、批評性多模態研究、多模態研究給語言研究帶來的益處等領域不足和空白。研究對象仍然具有極大的拓展空間，如兒童繪本、兒童故事書、互聯網、音樂等語類。多模態讀寫還包括網絡教育中的在線讀寫，這方面研究需要我們進行跨學科、跨語類、跨模態、跨文化的多維研究。全球性的跨文化信息流動和互聯網上的虛擬社區要求我們擁有新的思考方式、解讀方式和互動方式。此外，作為未來研究主要方向之一，多模態語料庫研究仍然是我們研究的薄弱環節。語料庫構建研究必將為多模態話語研究打開全新的局面。因此，多模態語料庫構建研究應該成為下一步多模態話語分析的重點之一。

[1]朱永生.多模態話語分析的理論基礎與研究方法[J].外語學刊,2007,(5):82-86.

[2]Kress,G.&T.van Leeuwen.Multimodal Discourse:The models and media of contemporary communication[M].London:Arnold,2001.

[3]Royce,T.Multimodality in the TESOL classroom:Exploring visual verbal synergy[J].TESOLQUAR-TERLY,2002,(36):191-206.

[4]O’Halloran,Kay L.Multimodal Discourse Analysis:Systemic-Functional Perspectives[C].London:Continuum,2004.

[5]顧曰國.多媒體、多模態學習剖析[J].外語電化教學,2007,(2):3-12.

[6]顧曰國.論言思情貌整一原則與鮮活話語研究——多模態語料庫語言學方法[J].當代修辭學,2013，（6）：1-19.

[7]朱永生.多元讀寫能力研究及其對我國教學改革的啟示[J].外語研究,2008,(4):10-14.

[8]胡壯麟.社會符號學研究中的多模態化[J].外語教學與研究，2007,(1):7-8.

[9]張德祿.適用性社會符號學的理論與實踐研究[J].外語與外語教學,2010,(5):5-10.

[10]張德祿,袁艷艷.動態多模態話語的模態協同研究—以電視天氣預報多模態語篇為例[J].山東外語教學,2011,(5):9.

[11]王立非,文艷.應用語言學研究的多模態分析方法[J].外語電化教學,2008,(2).

[12]劉芹，潘鳴威.多模態環境下中國大學生英語口語非言語交際能力研究初探[J].外語電化教學,2010,(3):38-43.