我國近20年多模態話語研究綜述

史澤華

(中國礦業大學(北京)文法學院，北京 100083)

一、研究歷程

自從1952年話語分析(discourse analysis)理論提出以后，人們多數從語言符號系統的視角出發進行話語研究。從起源上看，多模態話語分析是1994年由新倫敦小組設計的國際多元文化項目的結果。從20世紀90年代起，國際語言學界就開始了對多模態話語研究的熱潮。國內在2003年才出現了介紹多模態話語的論文。多模態話語的產生一方面得益于科學技術的發展，另一方面得益于話語分析理論的不斷成熟。

(一)科學技術的發展

現代科技的發展一方面深刻地影響著話語的互動，另一方面又影響著人們采集和分析語料，影響話語轉錄的方法，手段和工具。

一方面，科技的發展影響著話語的互動。多模態話語是當代社會背景下社會、經濟、通信和技術變革的結果?？萍嫉目焖侔l展推動了各種媒介(medium)的出現，如錄音機，電視機，錄像機，計算機等。媒體的出現促進了多模態的產生。胡壯麟指出，“模式是用某種媒體表達信息的特殊方式。媒體是表達信息的物理工具。”朱永生也提出，媒介是交際所使用的技術(technology)。口語是用聲音媒介表達的一種方式，而書面語和面部表情是用光線或圖表進行表達的模式。顯然，采用某一種媒體仍可以有不同方法表達信息。Scollon&Levine認為：模態是可對比和對立的符號系統，媒體是符號分布印跡的物質手段，如產生語篇采用印刷的或手寫的手段，說話時發出的聲音，身體的動作，或計算機顯示器上的光脈沖?？偟膩碚f，模態與媒介的關系可以理解為話語和技術的關系，二者相互滲透，密不可分。多模態話語分析的產生離不開科學技術的支持?；ヂ摼W和多媒體技術的發展，能夠調動更多的感官系統，如使用手機收看bilibili視頻網站的視頻時，不僅可以看到畫面的內容，聽到視頻的各種聲音，還可以感受到手機的震動。

另一方面，科技的發展影響著語料的記錄和處理。現在技術的快速發展催生了監控攝像頭，數碼攝像機，擴音器，各種聲音，視頻等處理軟件。目前比較普及的多模態語料庫工具就有 Elan、Anvil、Praat、Transcriber AG等。以Elan舉例，Elan(EUDICO linguistic Annotator)是由馬普心理語言學研究所的Brigit Hellwiig設計開發的一個多模態話語分析軟件。這一軟件與VLC Media Player共同使用能夠對視頻文件進行多層級同步標注。其有以下特點：支持用戶對標注層進行自定義內容；支持對一視頻文件的文本，聲音，圖像同步標注；標注結果輸出格式多樣化，數字化，統計結果自動計算，滿足使用者的多層需求。這些多功能，多層次的語料庫標注軟件也反過來促進了多模態話語分析的發展。

(二)話語分析理論的發展

從多模態話語的誕生起，系統功能語言學就作為基礎。功能學派出身的學者，其中最主要的代表人物是Kress和van Leeuwen。他們在個人和合作的著作中詳細介紹了其系統功能語法理論基礎上發展起來的多模態語篇分析理論。

具體來說，視覺分析語法是關于什么的語法呢?第一，視覺語法描述的是一個特定群體的社會資源，包括對這種資源的顯性和隱性知識，以及它在該群體實踐中的用途的描述。第二，它是一個非常普遍的語法，因為人們需要一個可以涵蓋油畫以及雜志布局、連環畫和科學圖表的術語。但是這里的“普遍”針對的是描述對象的普遍性。在Kress&van Leeuwen的Reading Images：The Grammar of Visual Design一書中，他們以系統功能語言學理論為基礎，提出了視覺語法的三個意義層面，分別是再現意義、互動意義和構圖意義。選擇韓禮德的系統功能語言學作為基礎，主要是由于針對所有的符號表現形式，三大元功能可以提供思考的動力。人們也將該理論運用到圖像和教學等方面，他們為多模態語篇分析的產生和發展做出了突出的貢獻。

二、多模態話語研究在中國的發展

對于國內多模態話語的研究，文章選取“北大核心”和“CSSCI”學術期刊為主要分析對象，時間跨度為2000年到2020年，對搜索的結果進行統計。根據論文的內容，可以分為理論論述類、理論應用類、教學應用類和綜述類四個大類。統計結果如表1所示：

表1 期刊論文統計結果

2000年到2002年，國內核心期刊中沒有出現相關主題的期刊論文。2003年，李戰子首次介紹了多模式話語分析的相關內容，她以 Kress&van Leeuwe提出的視覺語法為基礎，向國內學者做了一個比較完整的框架介紹，同時提出了多模態話語的教學意義。2004年到2005年國內核心學術期刊上沒有這一主題的學術論文。直到兩年之后，國內學者逐漸關注多模態話語研究。2006年期間出現2篇論文利用Kres&Leeuwen提出的多模態話語分析框架的應用研究。2007年朱永生比較系統地介紹了多模態話語的產生和定義，多模態話語分析的性質和理論基礎等，是國內較早系統地關注多模態話語的學者。他為國內學者從系統功能語言學角度開展多模態話語研究提供了理論基礎和分析方法。

從2008年開始，以多模態話語為主題的北大核心和CSSCI范圍內的論文數量每年都保持在5篇以上，2007年到2013年呈現快速遞增的趨勢，2013年到達最近20年的頂峰，共有26篇學術論文發表，2014年與2013年相比發文數量迅速下降，2015年到2020年保持一個起伏不大，比較平穩的水平，基本每年都在18篇～22篇的數量范圍內。具體數量如圖1所示。

圖1 期刊論文年度發文數量和趨勢

2013年發文狀態處于高峰，通過閱讀這一年的論文發現，這一年的論文在選材上堪稱豐富：覆蓋了電影海報和視頻，廣告類文本，小說詩歌，廣播新聞，民族舞蹈，英語教學等。但是其理論基礎上仍然以韓禮德的系統功能語言學為基礎，在26篇論文中，有10篇以此理論為基礎，占比38.5%。一些學者把多模態理論與積極話語分析、動機理論及張德祿的多模態話語分析綜合理論框架探索結合起來進行應用分析，這體現了多模態話語分析的跨學科性。與2013年相比，主要變化情況如下：2014年發表的同類論文數量明顯變少：如電影這一題材由5篇降為3篇。在這三篇中，包括2篇更細致的字幕翻譯研究；傳媒類也由2013年的6篇降為2014年的3篇，且有2篇為政治性的內容分析，教學方面的實證和探討在增加，由3篇增加為6篇。理論方面，有4位學者借鑒了張德祿的多模態話語分析理論?？梢钥闯?014年多模態話語分析應用在新的語類方面比較少，國內的多模態話語分析理論被應用的情況變多。

(一)理論研究

1.基于系統功能語言學理論的多模態話語分析

國內的理論研究包括引入介紹Kress&van Leewen創建發展的以系統功能語言學為基礎的多模式話語基本框架；發展和討論多模態話語分析理論基礎和研究方法；話語的模態協同作用以及多模態課堂話語的設計。

除此之外，國內學者也介紹并探索多模態話語分析的工具，如王立非、文艷介紹了多層標注軟件ELAN的使用方法；張立新使用ELAN這一軟件對課堂中教師話語進行了視覺語法的分析；ELAN這一軟件在國內經常應用在課堂話語的分析中。這可能是因為教學的視頻語篇容易得到，教學過程存在著一定的模式和步驟，學者能夠進行比較系統的標注和分析。李學寧、馬利霞介紹了MAC多媒體信息檢索工具，黃立鶴對現場即席話語多模態語料庫的建設作了討論。從語料的采集、轉寫、切分、標注和最終建庫等方面都進行了探討；多模態語料庫的使用在近5年內應用的次數較多，如劉芹和潘鳴威、楊明星、付光輝等。

2.多模態話語隱喻意義的構建研究

多模態話語分析在認知語言學領域的應用也是立足于概念隱喻理論，即：隱喻本質上是一種思維和行為方式，人們往往借助具體的身體體驗來理解和感知抽象的概念。多模態隱喻(multimodal metaphor)主要研究隱喻如何在各種社會符號中體現，人們如何感知和理解這些社會符號，把概念隱喻的理解范圍從語言擴大到社會各種符號的范圍。

多模態隱喻雖然起步于語言學領域的概念隱喻研究，但它的研究成果遠遠突破了后者的研究局限，不僅發展了傳統的認知隱喻理論，也為多模態話語分析提供了許多新的視角。多模態隱喻不僅發展了認知因與理論，也為多模態話語分析提供了一個新的視角。多模態隱喻銜接了概念隱喻的不足之處，由于“源域”的來源變得豐富，其“目標域”有了新的內容。從這一角度看，多模態隱喻能夠更加全面地分析隱喻的本質。Forceville認為，為了證明隱喻的本質是概念的而非局限于語言的，就需要證明隱喻不僅僅可以通過語言構建，還可以通過其他符號構建。這對于隱喻的研究有推動意義。此外，多模態隱喻的研究有助于展現概念隱喻的其他特征，這些特征難以在語言模態中展現出來。所以彌補了語言學領域概念隱喻研究的不足之處，也更加有助于全面客觀地觸及隱喻的本質。多模態隱喻在我國的分析和應用還比較少。張德祿、郭恩華闡述了兩個研究視角之間的連接與互補。王小平、王軍通過對語料進行多模態標注，探究模態調用的特點。

(二)多模態話語的應用

從理論應用來看，可以分為系統功能語言學為基礎的視覺語法分析和以多模態隱喻為基礎的隱喻話語分析。但是從數量上看，前者比例較大。

從應用領域來看主要有二維的平面設計：如傳統廣告，海報，會徽，詩歌，電影字幕，也有三維的如電影，微電影，紀錄片等。從發展的趨勢看二維的話語研究在下降，這是因為這一話題目前為止，國內應用的比較成熟和透徹；視頻動態話語和互聯網話語的研究在不斷上升，這是因為互聯網與人們的關系越來越密切，密不可分，隨著微信，微博，短視頻平臺等大眾社交工具的廣泛使用，學者對于多模態話語的研究對象也日益廣泛。

在2011年之前，多模態話語的分析范圍主要集中在電影，廣告，海報，字幕和詩歌小說的分析。在2011年之后，理論應用的載體和分析的對象都有了一些創新。如出現了對于《爵士樂》小說中的音樂性分析，利用文本載體分析其音樂性，比較有新穎性?！队∠蟆⑷恪返亩嗄B話語分析則對于大型山水實景演出這一新的話語載體進行分析。2013年及之后，多模態話語分析的載體呈現出更加多樣化的趨勢，如微博，舞蹈，電視訪談節目，QQ群話語，微信語體，淘寶網，戲劇，兒童繪本等。從上述統計可以看出，互聯網的迅速發展對于多模態話語分析的影響非常大。

較早把多模態話語應用到外宣文本中的是鄭群和張博，他們通過分析《經濟學人》中國主題封面的設置，從再現、互動和構圖意義上分析了《經濟學人》中國主題封面的意義，分析其展現的中國形象。他們希望西方能夠從中客觀地認識中國，并呼吁國家重視中國國際形象的構建和宣傳。陳曙光把多模態話語和“中國模式”結合起來，并應用在馬克思主義學術話語體系，體現了多模態話語的跨學科性。此外，還有陳風華、董成見、周毅、楊明星等學者從多模態翻譯，計算機信息交互，平行語料庫等角度研究外宣話語。

從期刊論文的主要分類情況的統計結果來看(見圖2)，教學方面的應用占比最大，達到一半以上，究其原因，多模態話語的產生就與教學法密不可分。“多模態”自從引入我國開始，就與教學密切相關。如，顧曰國2007年就較早地區分了“多媒體”“多模態”學習的關系，還重點分析了“計算機”這一新媒體出現帶來的話語分析領域的變革。朱永生在2008年介紹了新倫敦小組提出多模態和多元讀寫能力這兩個概念的過程，介紹了國外對于多元讀寫能力的研究概況和一個培養學生多元讀寫能力的具體例子，并對國內的教學提出建議。張德祿在2009年也在多模態話語分析和研究理論框架基礎上，為現代媒體技術條件下的外語教學實踐提供有效選擇教學過程和實踐的指導；在2010年又最早提出了多模態協同的原則，并為外語教師利用多模態資源，利用多模態協同展開教學提出建議?？梢钥闯?，教學中多模態話語的理論探索和建議比較多。這可能是因為英語教學的過程是一個實踐的過程，諸多學者可以直接在課堂上對上課的情況進行觀察和記錄，對于多模態教學的應用十分便利，對于教學結果的收集和效果的評判也較為便利。多模態話語與教學活動有著密切的聯系，研究多模態話語對于教學內容、教學形式、教學評估都有重要的意義，這一研究趨勢也呈現上升趨勢。在2008年到2013年，在“北大核心”和CSSCI期刊上一共檢索出19篇關于教學的論文，但是在2014年到2020年，則一共檢索出30篇論文。可見對于多模態話語對教學的結合與應用日益受到學者的關注。

圖2 期刊論文的主要分類情況

通過閱讀發現，教學方面既包括理論層面的探討，也包括實踐層面的實驗。根據論文的主要內容可以分為如下幾個方面。從教學的階段來看：可以分為高中英語和大學英語。從教學的科目來看：研究可以分為英語的聽說讀寫，專門用途英語教學，漢語視聽說教學，漢語詞匯教學，公開課教學，思想政治課教學。從教學的形式來看：可以分為口頭報告教學，多模態翻轉課堂，網絡教學。從師生的學習情感來看：可以分為學生積極性，師生關系等。

網絡技術和計算機的快速發展為教學方式帶來新的變革，與多模態話語的結合也更為緊密，研究視角呈現出多姿多彩的景象。謝蓉蓉為“多模態虛擬課堂”這一理論進行創新性、前瞻性地探討。計算機技術的發展也為教學提供了更加準確的數據支持。如劉曉斌等借助計算機實現語音可視化，這一技術把聽覺信息轉化成視覺信息，為更好地糾錯學生語音提供了更加準確的幫助。鄭瑤菲通過教學對比研究，證明基于“云服務”的多模態課堂口頭報告教學對于提高學生的口頭報告能力具有明顯地提高作用。在這一實驗過程中，多模態教學和“云服務”結合起來，體現了互聯網在助推多模態話語發展中的突出優勢。鐘世瀲、張洪沖闡述了“互聯網+”時代多模態教學話語的特點及運用。最近三年，翻轉課堂與多模態話語的結合研究興起，趙維萍從理論層面論述了翻轉課堂的多模態話語分析理論框架研究，對其五個層面進行分析；田苗等在2019年也從多模態翻轉課堂的角度，對學生聽力培養成果進行了實證研究。隨著我國綜合國力的提升，我國應該講好中國故事，展示文明大國、負責任大國形象，國家層面也積極倡導中華文化“走出去”。這一指導思想同樣體現在學術研究領域，所以近三年來多模態話語也應用到對外漢語教學中，如王祖嫘，李雅等。

多模態教學的實證研究也方興未艾，張征通過對比實驗的方法證明了多模態PPT演示教學對于提高教學效果的作用，他提出了多模態PPT教學的優缺點，和多模態教學設計的原則。從2014年以來幾乎每兩年就有一篇實證論文發表。多模態語料庫的構建也是另一個值得關注的方向，如潘鳴威，張立新等學者都在嘗試探索。

三、總結和不足

經過對于233篇文獻的閱讀和整理；可以發現多模態話語在國內的目前的主要研究方向如下：

(1)理論層面：傳媒學，心理學，計算機科學相結合的跨學科方向，如多模態話語分析與符際互補理論，認知負荷理論、和諧理論等的結合應用。

(2)方法層面：語料庫等可視化軟件分析為研究對象和研究工具的方向，必然隨著網絡和科技的發展而興起，也為多模態話語分析提供了更為科學可靠的研究方法和工具。

(3)研究對象層面：人們對于社交軟件的使用越來越廣泛，多種模態在聊天過程中混雜出現，這是一個新興的研究方向；隨著我國綜合國力的增強，以多模態話語實際指導我國的外宣和漢語國際教學，有重要意義。

但是多模態話語的創新主要在于應用領域和技術的創新，對于以下方面仍需要改進：

(1)理論不成熟，待發展。中國的多模態話語應用沒有突破Kress&van Leeuvan的視覺語法，對于國外其他理論只是停留在介紹的階段，沒有深入應用分析。視覺語法是基于西方文化視覺設計的語法，國內眾多學者雖將其應用到各個領域，而忽視了這種文化背景本身所含有的差異性。國內張德祿的多模態話語分析框架和多模態協同理論被較為廣泛地應用?？傮w來說，多模態話語分析理論仍然存在理論不夠成熟，需要繼續發展和深化。Kress&van Leeuvan的圖文分析語法理論本身存在局限性，這提醒研究者需要尋找更好的研究路徑和方法來向縱深發展。

(2)研究人員的多學科背景弱，沒有掌握跨學科的知識，很難承擔起持續性，系統性的多模態話語分析。目前國內張德祿一直在努力構建多模態教學設計，多模態協同研究等。但是像這樣的學者數量并不多見，且缺乏學科之間的互補研究會使得使多模態研究出現盲點或缺陷。

(3)研究方法存在諸多困難。雖然多模態語料庫已經出現，但是眾多語料撰寫方式沒有一個較為統一的標準，對于具體模態的識別也需要進一步規定。如對于“微笑”這一表情的定義，何種程度為微笑，何種程度為大笑等這類問題，需要一個長時間的探索和交流。實證研究過程中，可變因素較多，不容易控制變量等問題都需要進一步的完善。定性研究不能成為唯一的方法，因為它的研究目標不僅僅是個體語篇的價值，而更多的是探究多模態語篇的普遍規律和原則。