多模態隱喻的前沿理論研究：問題與展望

（浙江工商大學 外國語學院，浙江 杭州 310018）

引言

Lakoff和Johnson在《我們賴以生存的隱喻》一書中提出了概念隱喻理論（Conceptual Metaphor Theory），引發了隱喻的認知革命，人們對隱喻的研究開始從語言層面轉向認知層面，掀起了隱喻研究的一場認知熱潮。隱喻普遍存在于我們的話語、思維和行為之中，隱喻的實質是以一種事物來理解另外一種事物[1]。隱喻認知不僅體現在語言模態，同時也是圖像、手勢、聲音等其他交際媒介背后的認知機制[2]。換言之，隱喻成為寓于視覺、聽覺、文字、圖片及其他媒介實現意義的傳達手段，多模態隱喻研究應運而生。Forceville&Urios-Aparisi[3]出版的專著《多模態隱喻》詳細地呈現了多模態隱喻領域的最新研究成果，昭示著多模態隱喻理論逐步走向成熟。

國內也有學者對多模態隱喻研究的概況進行了一定的梳理，如陳彥瑞[4]曾對多模態隱喻的發展做了總結，指出了多模態隱喻研究的某些不足。馮德正和張德祿[5]對近20年來多模態語篇的研究視角、方法與內容展開評述，指出多模態研究從語言學理論到多模態表意資源的跨學科系統闡釋與實證研究轉向。陳風華和胡冬梅[6]采用信息計量學CiteSpace可視化技術，分析了1998-2017年20年間國內和國際期刊多模態隱喻文獻數據，系統考察了多模態隱喻研究的現狀與發展趨勢。研究表明，當前豐富多樣的多模態語篇研究融合各學科理論，結合數字技術等新型研究工具和方法，逐漸被應用于課堂教學、廣告傳媒、法庭辯論等各種社會行為和語篇的研究[5]。但上述研究都是有關多模態隱喻多個方面的宏觀梳理，針對多模態隱喻的理論問題和前景進行專門論述的文獻尚不多見。實際上，雖然多模態隱喻理論已經提出多年，但至今，尚未形成完善的多模態隱喻理論框架[7]。

鑒于此，本文對多模態隱喻前沿理論進行梳理和述評，著重聚焦概念隱喻、視覺語法、關聯理論和概念整合四大前沿理論，對它們的優勢與局限進行論證，并對多模態隱喻理論將來的發展趨勢作出理論預測，旨在為多模態隱喻理論研究提供參考。

一、多模態與多模態隱喻的界定及研究綜觀

模態是“由特定的感知過程所闡釋的符號系統”[8]22-23，多模態交際指的是“交流和表達總是依靠包括語言在內的多種符號模態實現”[9]。隨著多模態研究的深入發展，其理論與應用研究日益呈現多學科、多領域相結合的發展態勢，產生了豐富的研究成果。如Jewitt[10]從視覺研究、人類學與社會語言學的多模態要素互動出發，對各領域的多模態理論和應用研究進行了總結。Ventola和 Moya結合了視覺和“媒體導向的世界”[11]1文本，來處理多模態文字圖像中系統和結構的關系。文學文本中各多模態要素的角色和其產生的認知影響也受到了重視[12]，為文學文本的排版和插圖提供了更好的闡釋。近年來，社會符號學、認知詩學、心理語言學和神經語言學等多個學科開始互相結合，都試圖把多模態研究置于更宏觀的視域下，從更廣泛的視角進行多模態意義構建，為多模態跨學科研究提供新的分析框架與理論視野。在語言學的研究范式下，多模態隱喻的理論和應用層面研究都呈現出多元化的發展態勢。例如，Kress&Leeuwen[13]以韓禮德（Halliday）的系統功能語言學為基礎，建構了一個較為系統的視覺圖像語法分析框架，為多模態話語分析提供了新的思路。

隱喻的多模態研究始于Charles Forcevill，他將概念隱喻理論延伸至非語言模態，提出了“多模態隱喻”，指出語言只是眾多交際符號中的一種，包括聲音、手勢、線條、音樂、圖像、顏色、文字視覺聯系、空間布局等在內的其他的交際媒介或手段也可以用來構建和表達概念[3]。之后，多模態隱喻研究日益專門化，涌現出一大批結合各種語類的多模態隱喻案例研究，包括廣告、漫畫、音樂、手勢語和電影等。縱觀文獻發現，這些研究運用的主要理論模型是概念隱喻理論、視覺語法理論、關聯理論以及概念整合理論。總之，與一般的多模態研究的發展趨勢一致，多模態隱喻的研究日益成為一個多學科關注的熱點課題，逐步超越了單純的現象描寫階段，逐步走向深入解釋層面，理論建構的重要性日益凸顯[14]。下文詳析多模態隱喻四大理論研究及各自存在的問題。

二、多模態隱喻的主流理論模型及問題

多模態隱喻的主要前沿理論有概念隱喻、視覺語法、關聯理論以及概念整合四大理論模型[15]。

（一）概念隱喻理論框架下的多模態隱喻解釋思路及存在的問題

1.概念隱喻理論與多模態隱喻

認知語言學的概念隱喻理論開啟了一個全新的隱喻研究視角。隱喻被分為語言隱喻和概念隱喻。語言隱喻是人們頭腦中概念的隱喻性組織方式（即概念隱喻）的反映。概念隱喻是一種思維、經驗和行為方式，普遍存在于人類的思想和行動中[1]3。概念隱喻主要包括源域和目標域，其中，目標域較為抽象，源域是人們比較熟悉的事物，隱喻認知過程就是從源域到目標域的系統映射過程[16]。Forceville[2]109-145基于平面廣告提出，圖像隱喻也是一種概念層面的隱喻，圖像隱喻分為源域替代目標域、源域和目標域融為一體以及源域與目標域并置（圖像明喻）三種類型，可以結合互動理論對圖像隱喻的構成和分類進行闡釋。既然視覺隱喻可以以視覺圖像為實現形式，那么其它交際媒介如圖像、線條、顏色、手勢、聲音等都可以成為概念隱喻的傳達，隱喻研究逐漸走向多模態便成為必然。多模態隱喻理論將概念隱喻理論應用于闡釋視覺圖像中的隱喻現象并描述多模態語篇中出現的隱喻類型[17]，通過區分語言隱喻與多模態隱喻，使純語言學領域的概念隱喻研究拓展到跨學科的多模態研究平臺，彌補了認知語言學界單純依賴語言符號構建概念隱喻理論的缺陷[14]，極大地拓寬了隱喻研究的范圍。

2.存在的問題

概念隱喻是多模態隱喻研究的前提，多模態隱喻的動態性和敘事性為多模態隱喻的系統研究奠定了基礎[14]，但完全依靠概念隱喻對多模態隱喻的闡釋是遠遠不夠的。

首先，在Forceville[2]148-161所論述的圖文隱喻中，他只是指出此類隱喻的存在并用三個例子說明源域、目標域與映射項，但個例分析并不能從抽象層面說明圖文多模態隱喻的工作機制，也未能概括圖文隱喻的類型[17]。其次，概念隱喻的映射具有單向性的特點，即從可及性較強的概念域向可及性較弱的概念域映射更為自然，認知主體通常是用更為熟悉的、更具體的概念去理解相對陌生的、較抽象的概念[18]，比如TIME IS MONEY，ANGER IS FIRE，LOVE IS A JOURNEY等概念隱喻都是通過具體的概念來解釋抽象的概念。另外，概念隱喻理論對心智的體驗性和認知的無意識性研究也表明，認知主體通過感覺運動系統對客觀世界直接體驗，進而建立字面（和模態）意義與隱喻意義之間的聯系，形成“具體到抽象”的概念映射。概念隱喻理論的這一解釋思路直接忽視了“具體到具體”類型的多模態隱喻映射。再次，概念隱喻理論將概念隱喻分為本體隱喻、結構性隱喻和方位隱喻[1]。這種三分法簡潔易懂，但由于缺少統一的分類標準，以至于三類之間存在著重疊和交叉，隱喻的抽象程度也并不相同[19]。這種隱喻分類方法能否窮盡式地囊括多模態隱喻，還是一個懸而未決的問題。最后，概念隱喻理論本身也存在一些問題，如隱喻映射的單向性、持續的深層映射、隱喻到底是基于相似性還是具身經驗、隱喻的唯一性、喻體的直接體驗性、經驗和概念之間體驗性的證據等[20]，也對概念隱喻理論的多模態解釋力提出了質疑。因此，概念隱喻視域下的多模態隱喻亟需結合更多理論模型，構建出一個動態的、具有高度可操作性的多模態隱喻認知運作模式。

（二）視覺語法理論框架下的多模態隱喻研究及存在的問題

1.視覺語法與多模態隱喻

多模態話語是“一種融合文字、聲音、圖像、動畫等多種交流模態來傳遞信息的語篇”[21]。在真實的交際中，話語的一個重要特征是其多模態呈現[21]2，因此，話語分析不再局限于傳統語言學的分析方法。話語從本質上說是多模態，而非單模態，因為話語意義構建與傳遞是可通過多渠道和模態來交換信息和處理各種關系[22]4-8，而圖像作為一種社會符號，是非語言模態交換信息和處理關系常用的渠道之一。功能語言學中的系統功能思想可以延伸到視覺圖像模式，即圖像的視覺語法（The Visual-semiotic Model），包括再現意義、互動意義和構圖意義，分別對應功能語言學中三大語言元功能——概念意義、人際意義和語篇意義[21]。視覺語法側重視覺話語中空間關系的解釋，而對背后的深層認知理據重視不足，這種僅在系統功能符號學框架內的研究范式很難回答“空間關系如何構建意義”這個問題[23]。與此同時，隱喻作為人類認知外部世界的有力認知工具，在人類的思維推理過程中發揮著重要作用[24]。因此，認知隱喻和視覺語法在多模態意義構建上的理論整合就變得順理成章，也逐步成為國內外視覺語法的研究熱點。

2.存在的問題

視覺語法理論為綜合、系統地闡釋多模態話語中的意義建構與表意方式提供了有力的理論基礎和分析工具[25]，但同時也存在問題。首先，就圖像分類而言，Kress&van Leeuwen將圖像分為兩類：“索取”圖像和“提供”圖像。前者指圖像中描繪的人物通過眼神接觸或姿勢向讀者索取信息或服務；后者指圖像資源（面部表情和身體站位等）為讀者提供信息或服務[25]。但這兩類圖像對圖像與讀者之間關系復雜性的解釋過于簡單[26]，不能建構明確的索取和提供關系，有眼神接觸的圖像與小句中的疑問語氣或祈使語氣也不是等同關系[27]9。其次，視覺語法本身也存在四大不足[28]：“敘述再現”的分類不具有互補性；“接觸”的結構生搬硬套，實際應用性不強；“情態”的設計不具有系統性；判斷圖像元素重要性時忽略了元素本身的社會屬性。最后，除了依靠顯著性和信息值，視覺語法理論模型下的多模態隱喻話語分析尚需結合圖像的社會屬性與自身屬性，關注并探討敘述再現的動作、思維和言語過程。

（三）關聯理論框架下的多模態隱喻研究及存在的問題

1.關聯理論與多模態隱喻

關聯理論認為隱喻的理解是一種明示推理過程，隱喻義是一種弱隱義[29]。無論是運用語言符號還是其它非語言符號進行交際，人類交際的實質是推理交際，即，發話方呈現其交際意圖的語言或非語言符號，受話方則依據這些符號并結合語境推導出發話方的交際意圖[30]，因此，隱喻交際和其他語言交際方式一樣，都受關聯原則指引[31]。在實際生活中,人們總是采用各種非語言模態來補充語言模態以更加準確和高效地傳遞交際意圖，所以將解釋人類交際的關聯理論應用到多模態分析,不僅會檢驗和拓展關聯理論的解釋力,同時可以充實現有理論,彌補現有理論的不足[32]。因此，國際上出現了大量用關聯理論來分析隱喻的研究文獻。國內學者在這方面也逐漸與國際同步，例如孫小倩[33]論證了關聯理論對廣告中多模態隱喻的解釋力。廣告通過圖像、文字以多模態隱喻的形式呈現，尋求廣告信息和讀者認知的最佳關聯，促使讀者自發尋求多模態隱喻的最佳解釋，從而理解廣告意圖。再比如，孫煥橋[34]基于關聯理論構筑了一個電影隱含多模態分析框架，并運用該框架對電影中的兩個隱含情節進行研究，指出兩個情節的懸念與喜劇敘事效果。

2.存在的問題

通過最佳關聯和明示推理模式，關聯理論在多模態隱喻的解讀過程中發揮了重要作用。但是，關聯理論過于籠統,在實際運用中無法具體操作[35]。關聯理論只根據語境效果和認知投入來衡量多模態隱喻的關聯性,但沒有給出一個具體化的、容易操作或計算的標準[36]35。此外，在用關聯理論分析多模態隱喻時如何量化？受眾在理解多模態隱喻時的認知投入與語境效果之間如何取得平衡？標準是什么？如何斷定？這些都是關聯理論視域下多模態隱喻研究面臨的具體問題，也是未來需要攻克的難點課題。

（四）概念整合理論框架下的多模態隱喻研究及存在的問題

1.概念整合理論與多模態隱喻

Fauconnier[37]將隱喻機制與其他語言現象和認知現象打通，將概念隱喻提出的雙域映射模式升級為四空間模式，提出了概念整合理論，該理論已初步成為話語理解和話語管理的一個綜合性認知理論。它認為在話語理解過程中，大腦會激活關于人、事物和事件的各種語言和非語言的知識框架，并存儲在工作記憶中[38]。這些儲存在思維中臨時的、在線的話語信息的集合被稱為心理空間，是概念整合理論的基石。概念整合理論就是在探究話語展開過程中各種心理空間的構建和它們之間的連接關系[39]。在模態符號的整合過程中，非語言符號的非線性特征使多模態符號在空間上向多維、多方向擴展[40]，在多模態隱喻中，由形狀、線條、構圖、顏色、動作行為、角度等模態呈現出的始源域與目標域之間的映射路徑也需要運用概念整合運作機制。趙秀鳳[14]分析了Forceville關于模態分類、多模態隱喻界定及雙域映射模型的不足，在重新界定與分類的基礎上提出了多模態隱喻構建的概念整合模型。她以一篇政治漫畫語篇為例，把符號表征空間、語用關聯空間、輸入空間內部與跨空間之間的多層空間映射和互動整合納入到一個綜合體系，指出了多模態隱喻的概念意義、情感效果、審美或評價效果的動態生成過程。朱嫣然和鄭燕[41]在概念整合理論的框架內，以政治漫畫為語料，探析了多模態隱喻在整合網絡中的意義構建。他們指出，多模態隱喻意義的構建并不是從源域到目標域的單向操作，而是具有多向性的動態建構過程。孫毅和周婧[42]在多模態隱喻理論基礎上，將概念隱喻理論和概念整合理論相結合，選取了典型的國旗隱喻個案加以闡析，詮釋了多模態隱喻整體意義的構建過程。

2.存在的問題

盡管概念整合理論能對多模態隱喻意義構建過程中的認知機制進行相對細致的解釋，它也存在一定的問題。孟霞指出：“整合空間概念適用于整個語言意義的建構而不僅僅是在具體的篇章之中，導致了該理論在很大程度上喪失了自己的獨創性和新意。”[43]6另外，隨著研究不斷深入，概念整合理論應用研究的范圍可以更廣，研究方法可以更為系統，操作過程可以更加細化[44]。如，在多模態隱喻分析中，相關隱喻信息首先進入輸入空間，那么哪些隱喻信息會進入輸入空間？哪些隱喻信息不會進入輸入空間？隱喻信息篩選的標準是什么？進入輸入空間的隱喻信息成分又是如何相互映射、協調運作的？同樣，層創結構（Emergent Structure）產生的合成空間也面臨著相似的問題。面對此類不可回避的問題，概念整合理論視域下的多模態隱喻研究尚需細化。

三、多模態隱喻的理論研究趨勢與展望

多模態隱喻的四大主流理論都既有各自的優勢，又存在問題。綜合國內多模態隱喻理論和應用研究現狀，未來的多模態隱喻理論研究可以考慮從下面幾個方面進行拓展和深化。

（一）理論框架的深入和完善趨勢

首先，多模態隱喻研究急需形成一套完整、系統的理論體系[4]。已有的相關研究大多是沿用概念隱喻理論、視覺語法理論、關聯理論、概念整合等理論范式，也有少數學者把轉喻和轉喻理論加以整合。如黃彬瑤[45]采用認知語言學的研究范式，以中國中央電視臺制作的公益廣告為例，分析廣告中所包含的多模態隱、轉喻，著重考察了隱、轉喻是如何通過圖像、聲音以及話語等多種方式動態呈現的。隨著研究的深入，傳統多模態隱喻理論研究將需要得到進一步強化。如概念隱喻理論在深化對多模態隱喻深層映射闡釋與動態認知運作模式的同時，需要闡釋如何通過結合圖像的社會屬性與自身屬性來闡釋圖像與讀者的關系、建構明確的索取和提供關系；關聯理論中的關聯原則具體量化、采取何種操作標準；以及整合空間概念操作過程的細化等，這些都是目前多模態隱喻現有理論完善亟需解決的問題。其次，無論是傳統的還是新構建的多模態隱喻模型，其理論應用范圍將需要拓展。語類多樣化是當今多媒體時代的必然趨勢，理論應用必將從傳統的廣告、漫畫、海報等語言-聽覺-視覺隱喻性表達到動畫、樂譜、繪本、電影、戲劇、雕塑，甚至有關味道、接觸等復雜模態語類中的隱喻研究。如陳嫻[46]從圖像、顏色、聲音和文字符號四種模態入手，透過臺州海洋民俗文化中的多模態隱喻現象，挖掘臺州人頑強拼搏的海洋精神及期盼海上作業風順興旺的海洋信念，闡釋了多模態隱喻呈現出的模態相輔、意義決定和信息傳遞三大特征，這是將多模態隱喻理論深化到民俗文化闡釋應用的典型案例。

（二）理論視角的開放性和多樣化趨勢

隨著多模態隱喻研究的不斷深入，多模態隱喻理論也將從追隨或沿用傳統模式轉變為敢于質疑和理論創新，打破原有的框架束縛與學科局限，從更開放、多元的視角進行理論構建與細化，開啟新的研究范式。如體驗哲學、認知詩學、傳播學、心理學、信息科學、交互社會學等跨學科跨領域的多模態隱喻模型將不斷融合。如陳松云和楊勁松[47]從意義建構的認知理據出發，指出多模態隱喻是身體、感知、體驗、大腦和心智的共同產物,是以體驗哲學為基礎研究人類心智和認知的哲學方法，意義、表達與結構的三維統一，形成哲學的重要思辨，而多模態隱喻意義的建構也在這個統一過程中完成。這是體驗哲學與多模態隱喻理論相結合的典范。但是在兩者的結合中，多模態隱喻與體驗、心智的具體關系、多模態語篇的轉、隱喻配置與哲學理論的配置、多模態隱喻體驗性表征形式與內容等都是未來研究需要解決的問題。此外，未來多模態隱喻的跨學科理論范式中還面臨一些具體的課題，如，詩學象似性的多模態表征創造出何種閱讀和審美體驗模式？如何闡釋動態語篇等更復雜的符號與行為體系？多模態隱喻的媒介特性及其所肩負的輿論傳導功能如何實現？這些課題都是多模態隱喻理論創新和體系完善所要努力的方向。

（三）理論檢驗的科學性和多元化趨勢

近年來，在多媒體與信息科學技術的不斷發展下，認知語言學界從早期的內省和思辨逐漸轉向實驗和統計實證研究，開始采用實證法、類比法、比較分析法等對各語篇中的多模態隱喻類型及表現方式進行分析，涌現出大量實證研究成果。2003年，國際認知語言學會成立了認知語言學實證方法工作坊（EmpiricalMethodsinCognitive Linguistics，簡稱 EMCL），更是反映出實證研究在認知語言學界越來越重要的地位，推動了大量實證研究成果的誕生[4]。多模態隱喻研究可以借助事件相關電位（ERP）、功能性磁共振成像（fMRI）、多模態語料庫檢索等多樣化科技手段，使研究成果更具說服力。Baldry&Thibault（2008）建立了基于XML的在線多模態檢索器（Multimodal Corpus Authoring，簡稱MCA），實現了對多模態數據的搜索、注釋與定量分析。對有關多模態隱喻理解的理論模型進行實證檢驗也開始受到重視，如Ma,QG等人[48]探討了ERP與時頻成分（Time-Frequency Components）和多模態隱喻理解過程的相關性，實驗選用動物詞表示圖片中的車輛隱喻，根據腦電圖振幅數據判定隱喻使用是否恰當，揭示了多模態隱喻理解過程中delta和θ的功能作用及其對ERP成分的獨特貢獻。該研究指出，多模態隱喻理解的具體認知機制與言語隱喻的認知加工不同，它反映在多模態隱喻理解中，由ERP成分和時頻成分所標示的多個可分離過程所反映出來，大大豐富了多模態隱喻實證研究。

“多模態隱喻語篇分析是一個開放的、具有天然跨學科性質的研究領域，允許從不同的層面與角度進行研究”[17]96。雖然當前多模態隱喻理論研究存在一定的問題，但其理論框架會不斷趨于深入和完善，理論視角也會更加開放和多樣，理論檢驗的科學和多元必然是未來的研究趨勢。總而言之，隨著各學科研究視角的融合以及實證研究的不斷深入，未來多模態隱喻跨學科理論體系會進一步完善，并結合實際各領域得到切實的運用。