國內外多模態隱喻研究綜述

朱娜

摘要：多模態隱喻是多模態話語分析的一個研究方向，學術界開展此項研究已有 20 多年時間?；谙到y功能語言學理論和認知語言學的研究方法，國內外學者對多模態隱喻的意義構建、模態之間的互補協同進行了理論探討和實證研究，并對多模態隱喻在不同領域間的應用進行了研究。由于多模態隱喻研究發展歷史短暫，在研究方法、研究視角等方面依然存在不足，隨著科學技術的發展和研究的深入，多模態隱喻定會穩步發展，進而推動話語分析乃至整個語言學的發展。

關鍵詞：多模態隱喻;理論探討;應用研究;綜述

1960年代，英國語言學家Halliday創立了系統功能語言學。他認為語言系統具有三種元功能：概念功能、人際功能和語篇功能。這三種功能同時在語言中起作用。交際者通過語言與他人進行交流，語言作為一種社會符號，同時反映了客觀世界及其內在世界。但是，Halliday的系統功能僅適用于語言系統，對其他社交符號系統則沒有影響。

此后，Kress和Van Leeuwen進一步發展了系統功能理論，并將圖像視為一種社會符號，將Halliday基于語言符號系統的社會符號理論擴展到視覺符號系統。他們認為讀者可以根據圖像的呈現方式來進行解讀，圖像也具有自己的語法特征，像語言一樣語言，也可以實現三種元功能，Kress和Van Leeuwen將其稱為再現意義、互動意義和構圖意義。他們創建了基于多模態話語分析的視覺語法框架，并在1996年出版了Reading Image： the Grammar of Visual Design，其中詳細闡述了視覺語法。根據這一理論，交流可以通過除語言之外諸如圖片、色彩、聲音等多種模態。

（一） 國外視頻廣告多模態隱喻研究

國外認知語言學框架下多模態隱喻研究的倡導者和發起人是Charles Forceville，他的多模態隱喻理論的創立可追溯到他于 1996 年公開發表的博士論文Pictorial Metaphor in Advertising，該專著首次提出了概念“圖像隱喻”，指出隱喻思維的另一種有效表達方式是圖像，以Black的隱喻互動論為理論框架，借鑒Sperber&Wilson的關聯理論，詳細解釋了廣告（主要是平面廣告） 中圖像隱喻的組成、分類及解讀策略。盡管非統一的分類標準和重疊的類別存在不足之處，但用非語言的媒介來嘗試隱喻研究非常新穎，確實為以后的嚴格意義上的多模態研究奠定了堅實的基礎。Forceville將模式定義為“某種感知過程的可解釋符號系統”，其中人們表達圖像，書面語言，口語，手勢，聲音，音樂，氣味，味道，觸感等。且可以分類為單模態隱喻和多模態隱喻。Forceville（2009）認為，單模態隱喻是指主要通過一種模態呈現的源域和目標域，而多模態隱喻在源域和目標域中涉及兩個或多個表達。多模態隱喻更加關注基于概念隱喻的隱喻表達的創造力和多樣性（鐘安林 2018）。例如，O'Toole擴展了語言的元功能，擴展到繪畫，建筑和CD-ROM交互格式等領域。在他的《展覽藝術語言》（1994）一書中，視覺形象的功能被定義為功能框架內的具象、模式和構圖。2005年7月，第九屆國際語用學會議在意大利召開，為《多模態隱喻》論文集的出版做出了貢獻。該論文由Forceville&Urios-Aparisi編輯，已收集了許多論文。研究類型包括廣告，政治漫畫，連環漫畫，動畫，樂譜，口頭對話，講座，故事片等。其中大多數集中于多模態隱喻的研究重點，例如：多模態隱喻的語類型、區別性特征，多模態隱喻與轉喻之間的關系，多模態隱喻的相似性表征方式等。

從跨文化角度來分析多模態隱喻要源自于Lakoff & Johnson（1980）認為認知隱喻的體驗性雖然是物質層面的，但受到文化差異的影響。文化認知模型可以為人們了解和理解周圍的世界提供參考點，但它通常表現為某種社會成員的價值觀，民間哲學，經驗知識，文化傳統，社會習俗等，這是一種社會化的習慣性認知模型。在純語言隱喻中，通常會投射源域的內涵含義，而不是字面意義，并且在不同的文化（亞文化）中，這種內涵含義可能會完全不同。同年，Yu（2009）提出概念隱喻的經驗基礎是物質的和文化的，概念隱喻源于經驗與文化的相互作用。

（二） 國內多模態隱喻研究

國內認知語言學框架下的多模態隱喻研究起步較晚。曾力（2004）年在語言隱喻之外，開始關注語義沖突和相似性在圖形隱喻作中的作用。之后，侯瑞潘和趙秀峰參照Forceville的分類，對平面廣告中的多模態隱喻進行了系統的劃分，并結合實例探討了其構成、識別和解釋。同年，李毅，石磊，趙秀峰和蘇慧艷也分別撰文從不同角度對多模態隱喻進行了探討。

從研究內容的角度看，主要可以分為以下兩類，首先是基于Forceville提出的多模態隱喻理論及其相關著作的理論綜述研究，如趙秀峰結合國外最新研究成果對多模態隱喻認知研究的綜合評述;謝競賢以Kress和Forceville的多模態理論為框架，從“超語言環境”的角度進一步探討隱喻意義的建構和理解。其次是多模態隱喻理論在不同語類中的具體應用。例如，潘艷艷（2011）討論了政治漫畫中的隱轉喻現象和源域的文化內涵，進一步解釋了源域選擇的重要意義，源域的文化內涵在多模態隱喻形成中的重要性及其在身份建構和重構中的作用;張輝和展偉偉（2011）在廣告語篇中重點研究了多模態隱喻和轉喻的動態建構。劉福英（2012）對演講手勢中的多模態隱喻和轉喻現象進行了分析。

從研究方法的角度來看，主要是定性描述和分析，缺乏大規模的實證研究和數據統計的定量研究，并且基本上沒有使用高級計算機輔助研究方法（如語料庫或神經影像學的實驗方法）進行的研究成果。很多研究者選擇引用一兩個具體的例子進行詳細的分析，從中探討和總結多模態隱喻的認知建構原則、語言特點以及多模態隱喻轉喻之間的關系，如張輝、展偉偉等。此外，還涉及某些主題，例如對多模式隱喻理解的文化和個體差異，以及模態來源選擇的體裁特征等，這些都需要進行大規模歷時研究和實證研究以確保研究結果可靠性和有效性。

從研究視角來看，與跨學科和跨領域的研究成果相比，更多的研究成果僅限于單一學科和單一理論框架。前者（例如潘艷艷等）和后者（例如陳明瑤和謝莉）結合了認知和語用觀點，分析了隱喻在多模式交流中的認知和情感說服功能，擴大了隱喻的語用研究。趙秀鳳和蘇會艷（2010）在概念整合理論的框架內解釋了多模態隱喻，而且總結了多模態隱喻特征，并進一步探索了多模態隱喻的映射和綜合機制。

綜上所述，國內大多數研究者關注的研究熱點包括多模態隱喻的識別與解釋，區別特征，認知建構以及多模態話語中隱喻與轉喻的相互作用，這些基本與國外相吻合。大規模的實證和數據統計類的定量研究，借助語料庫等先進的計算機輔助研究方法或神經成像的實驗手段的研究將會成為今后的趨勢;最后，跨學科、跨領域的研究成果將會在未來大量涌現，多模態隱喻的跨學科本質內在地要求了研究者從不同學科汲取營養、對相關領域融會貫通，不斷擴寬多模態隱喻的研究視野，這也將為概念隱喻理論提供更加詳實的佐證。

參考文獻：

[1]Christie， F. Classroom Discourse Analysis： A Functional Perspective [M]. London： Continuum International Publishing Group， 2005.

[2]Forceville， C. 1996. Pictorial Metophor in Advertising [M] . London： Routledge.

[3]Forceville， C. & E. Urios - Aparisi. 2009. Multimodal Metaphor [M]. Berlin： Mouton De Gruyter.

[4]Halliday， M. A. K.& Matthiessen， C. M. I. M. Introduction to Functional Grammar（third edition） [M]. London： Edward Arnold， 1989： 78-96.

[5]Kress， G.&T. van Leeuwen. Multi-modal Discourse： The Modes and Media of Contemporary Communication [M]. London： Arnold， 2001.

[6]Kress， G.&T. van Leeuwen. Reading Images： The Grammar of Visual Design [M]. London： Routledge， 2006.

[7]Lakoff， G. & M. Johnson. 1980. Metaphors We Live By [M]. Chicago： University of Chicago Press.

[8]Lemke， J. Travels in Hypermodality[M]. Visual Communication， 2006： 124-159.

[9]Multimodal Discourse Analysis： Systemic Functional Perspectives[M]. New York： Continuum， 2004： pp. 19-69.

[10]O'Halloran， K.L. Towards a systematic functional analysis of multisemiotic mathematics texts[J]. Semiotica， 1999：5一55.

[11]O'Toole， M. The Language of Displayed Art [M]. London： Leicester University Press，1994.

[12]The Language of Displayed Art by Michael O'Toole Volume：54 Journal： The Journal of Aesthetics and Art Criticism DOI：10.2307/431639 Date： January， 1996

[13]Yu，Ning. Nonverbal and multimodal manifestations of metaphors and metonymies： A case study [A]. Forceville，C.& Urios- Aparisi，E. Multimodal Metaphor [C]. Berlin/New York： Mouton de Gruyter，2009. 119 -143.

[14]馮德正，趙秀鳳.多模態轉喻與圖像語篇意義建構[J].外語學刊，2017（06）：8-13.

[15]胡壯麟.社會符號學研究中的多模態化[J].語言教學與研究，2007（01）：1-10.

[16]劉福英.演講手勢中多模態隱喻與轉喻互動整合分析[J].欽州學院學報，2012，27（04）：52-55.

[17]亓玉杰，馮德正.多模態隱喻與廣告語篇分析：隱喻系統的建立與定量分析[J].北京科技大學學報（社會科學版），2014，30（06）：8-13.

[18]曾立.廣告圖文隱喻運作機制初探[J].外語與外語教學，2004（06）：11-14.

[19]張德祿.多模態外語教學的設計與模態調用初探[J].中國外語，2010，7（03）：48-53+75.

[20]張德祿，王璐.多模態話語模態的協同及在外語教學中的體現[J].外語學刊，2010（02）：97-102.

[21]張德祿.多模態話語分析綜合理論框架探索[J].中國外語，2009，6（01）：24-30.

[22]張輝，展偉偉.廣告語篇中多模態轉喻與隱喻的動態構建[J].外語研究，2011（01）：16-23.

[23]張莉 孫來麟.我國多模態話語研究綜述[J].教育教學論壇，2015（45）：225-227.

[24]趙秀鳳.多模態隱喻構建的整合模型——以政治漫畫為例[J].外語研究，2013（05）：1-8+112.

[25]趙秀鳳.概念隱喻研究的新發展——多模態隱喻研究——兼評Forceville & Urios-Aparisi《多模態隱喻》[J].外語研究，2011（01）：1-10+112.

[26]趙秀鳳，蘇會艷.多模態隱喻性語篇意義的認知構建——多模態轉喻和隱喻互動下的整合[J].北京科技大學學報（社會科學版），2010，26（04）：18-24+30.