視覺語法視域下繪本語篇多模態隱喻的意義建構*

滕 達 苗興偉

(大慶師范學院，大慶 163712；北京師范大學，北京 100875)

提 要：多模態隱喻在兒童繪本語篇中的建構是一個動態發展的過程。本文基于視覺語法的3大元功能理論，同時結合源自體驗哲學的認知概念，以兒童繪本語篇為語料，印證多模態隱喻的建構分析有利于突出繪本語篇主題的作用。視覺語法視域下對兒童繪本語篇的多模態隱喻研究從功能角度揭示多模態隱喻的運作機制和意義表達，為認知視角的隱喻分析提供研究框架，也拓寬功能視域下對多模態隱喻研究的語類范疇。

1 引言

隨著“互聯網+”時代的到來，各種印刷、影像和數字媒體技術的發展日新月異。全球進入到多視角、多維度、多模態的多元識讀時代。“多模態隱喻研究迅速形成理論體系，成為認知隱喻理論與多模態語篇分析發展的熱點之一。”(馮德正 趙秀鳳 2017：8)多模態指運用多種感覺、通過多種手段和符號資源進行交際的現象。K?vecses認為隱喻的實現形式可以是非語言的其他交際符號，如手勢或圖像等(K?vecses 2002:57)。那么形成隱喻映射的目標域和源域出現兩種或兩種以上的交際符號時，就可以被認為是多模態隱喻。多模態隱喻有廣義和狹義之分。本文采用廣義的概念，定義為有兩種或以上模態共同參與的隱喻形式。“多模態隱喻研究的興起可以歸于以下3個方面的因素：一是認知語言學領域內純語言隱喻研究之不足；二是由多模態交際手段的普及所引發的多模態語篇研究轉向；三是人文科學的跨學科研究趨勢。”(趙秀鳳 2011:2)

目前，對多模態隱喻的研究主要從認知語言學層面探討隱喻的識別和解讀。荷蘭學者Forceville(1996)最早將純語言學領域的概念隱喻引入到跨學科多模態領域，他從視覺的角度探討廣告中的圖片隱喻，開辟視覺隱喻研究的先河。視覺隱喻研究不斷發展，逐步擴展到廣告(Messaris 1997，Phillips 2003:297-310，Forceville 2007:19-51)、漫畫(Morrison 1992:35-52)、繪畫(Kennedy 1997:2-5)、手勢語(Cienki, Muller 2008)、音樂(Forceville 2004:65-78)和電影(Whittock 1990)等語類。研究內容涉及多模態隱喻的相似性表征方式和隱轉喻關系，以及多模態隱喻的語類特征及其動態性、敘事性和鮮活性等區別性特征(Forceville, Urios-Aparisi 2009)。國內研究從認知角度分為理論研究和具體應用研究。理論方面主要為概括性評述多模態隱喻的認知研究(趙秀鳳 2011：1-10)及探討多模態視角下隱喻義的構建與理解(謝競賢2011：49-52，侯瑞攀 趙秀鳳 2010:5-9)。具體應用研究方面，通過不同語類的研究探討多模態隱喻的識別、解讀和構成方法(侯瑞攀 趙秀鳳 2010:5-9)；隱轉喻關系及其動態建構和源域的文化內涵問題(劉福英 2012：87-89)。從系統功能層面對多模態隱喻的研究主要涉及兩個方面，一是基于視覺語法理論闡釋多模態隱喻的建構和分類并建立隱喻系統，將視覺語法結合敘述理論對語篇進行多模態分析(馮德正 2011:24-29，亓玉潔 馮德正 2014:8-13，劉純 2016:52-56)。二是系統功能語言學結合認知語言學視角，形成有效連接和互補，分析多模態語篇(張德祿 郭恩華 2013:20-28，吳安萍 鐘守滿 2014:23-28)。從系統功能層面對多模態隱喻的研究主要把基于語言符號學發展起來的理論進一步應用到多模態隱喻領域。這類研究為數不多，研究語類僅限于廣告和漫畫。

綜上可見，多模態隱喻研究在研究內容上側重理論綜述性研究。研究視角方面，認知語言學層面成果豐富，但不能從抽象層面有效識解多模態隱喻的動態建構機制(馮德正 2011:24-29)。多模態隱喻的研究大多以廣告、漫畫為主要題材，缺乏語類多維性和學科互補性。本文從系統功能的視角出發，選取兒童繪本為語料，以Kress和van Leeuwen(2006)的視覺語法為理論基礎，結合認知語言學的觀點，研究繪本語篇中多模態隱喻動態建構過程并加以實例分析，嘗試找出系統功能視角下多模態隱喻建構存在的問題，挖掘多模態隱喻分析對繪本主題的正向作用。

2 視覺語法的圖像隱喻理論

語言作為精密的符號系統，其生命價值的獲取在于意義的交換，而文化正是這一精密系統的外在表現形式。基于Halliday(2008)的社會符號學觀點，語言的元功能在系統功能語言學范式內分為概念意義、人際意義和語篇意義。Kress和van Leeuwen(1996，2006)延伸和拓展元功能理論，將其運用到視覺模態層面，創建視覺語法。它屬于社會符號學領域的一環。任何社會符號語言的概念在于意象，即意象制作。它將意象視為象征物即意義的動機性連接。在符號語言學中，動機與意象制作無關，但被定義為象征物與被象征物原本存在的關系。Kress和van Leeuwen認為視覺設計和所有符號語言模式一樣，有3種主要功能。一是概念功能，就是表現我們周圍與內在世界的功能；二是人際功能，就是讓社會互動成為社會關系的功能。三是語篇功能，即所有的信息實體構成語篇嘗試著表達內在意義連貫的世界。因此我們從視覺多模態角度探討視覺層面的意義識解，即再現功能。通過視覺傳達我們能為彼此做些什么以及視覺內容制作者與觀看者之間的關系，即互動功能。同時，我們探討內容構成功能，即意象復合的能力。它使形成的內容與其背景和目的彼此連貫。視覺的表現傳達形成一種成為內容意義的方式，即構圖功能(Kress，van Leeuwen 2006:15)。它們分別對應功能語言學中的概念意義、人際意義和語篇意義。

馮德正(2011)根據Kress和van Leeuwen的系統功能視覺語法設計理論，建構圖像隱喻的系統功能模式。系統功能語法中的概念意義是參與者、過程和環境的組合關系及其相互選擇，即其中任意常規要素被非常規要素替代的過程形成隱喻。圖像中的隱喻也同樣是目標域(本體)和源域(喻體)被非常規要素替代的過程，形成再現意義的隱喻潛勢。互動意義就是圖像和其它視覺模式可以體現制作者、觀察者和所代表物體之間的特定社會關系。也就是說，拍攝方式就是互動意義的資源。圖像參與度和象征性權力關系由拍攝角度構建，讀者—圖像的象征性社會距離由拍攝距離構建。任意物質符號擁有人類從其物質經驗衍生出來的意義潛勢。基于人類的生活體驗和認知基礎，視覺空間位置同樣具有隱喻潛勢。Kress和van Leeuwen指出構圖意義通過信息價值、顯著性和框架設計元素與再現意義和互動意義有效連接形成一個系統(Kress, van Leeuwen 2006:177)。他們在信息價值中區分3個維度——上下、左右、中心—邊緣。人類的生活經驗將上下左右等空間位置賦予象征性意義。“從認知角度看，拍攝位置與空間位置都可以成為方位隱喻的源域，而它們所構建的讀者圖像關系與信息價值則為目標域。”(馮德正 2011：56-61)

3 繪本語篇的多模態隱喻識解及分析

繪本的概念起源于日本早期的文學表達形式——風俗畫、版畫。德川幕府時代的浮世繪是最早的繪本。后來“繪本”一詞英譯成Picture Books，即“圖畫書”。繪本于21世紀初引入國內，傳統的繪本是集圖文于一體的、靜態的二元模式。繪本語篇內容豐富，從敘事層面分為圖畫故事、文字故事及圖文故事。同時，繪本語篇的色彩選取、構圖的方位及繪本與閱讀者之間的情感互動都可以成為多模態隱喻的研究范疇。繪本不僅僅體現文字的育人價值、圖畫的美學價值和圖文的設計價值，同時還有語言學層面的多模態語篇分析價值。本研究選取英國著名繪畫大師安東尼·布朗的作品《我爸爸》作為研究實例，從視覺語法理論的再現意義、互動意義和構圖意義3個方面分析繪本語篇中的多模態隱喻，探討多模態隱喻的構成機制及圖像隱喻對突出繪本主題的積極作用。

3.1 再現功能分析與隱喻建構

圖像的再現功能分為敘事再現和概念再現。Kress 和 van Leeuwen (1996)指出兩者存在差異。敘事再現指由一個矢量(vector)使參與者之間相連，代表正在做某事或參與者正在彼此作用。矢量的參與是敘事過程的顯著特點。敘事過程再現圖像中展開的動作和事件及變化過程。圖像中轉變性空間安排的表達也通過敘事過程表現。在圖片中這些矢量由描繪部分形成，這些部分形成一條斜線，往往是對角線。當然，在圖片中表現元素也可以轉變成動作的對角線。如果結構呈現敘事性再現就一定具有如下特征：沒有方向指標的連接線形成一種分析結構，代表某物與另一物相連、相結合或相關。敘述性過程中有媒介性參與可以分為動作過程、反應過程、言語過程和心理過程(Kress，van Leeuwen 2006:79)。而概念再現指表現參與者比較廣泛或穩定，無時間限制的本質、等級、結構或者意義，它是“一種概括、穩定和沒有時間限制的精華再現參與者”(韋琴紅 2008:16-21)。它分為分類過程、分析過程和象征過程。分類過程是表達種屬之間的連接關系；分析過程是通過部分與整體連接參與者的關系；象征過程是有關參與者的意義或身份。

表1 動作者替代

對于再現意義的隱喻識解，本文以敘事過程中的動作過程和概念過程為例。動作過程包括參與者、過程和環境(媒介、場所)。隱喻的產生就是某一過程要素被非常規要素替代。這樣常規要素就是源域，非常規要素成為目標域。那么參與者、過程和環境都可能被非常規要素替代，從而賦予相似的特性，實現隱喻的效果。繪本《我爸爸》中動作過程的隱喻如表1所示。圖例1中的爸爸變成一個超級棒的跳高運動員，能夠從月亮上跨過去。很明顯爸爸技能的建構是借用跳高運動員的技能。跳高運動員是常規要素，非常規要素——爸爸充當跳高運動員的角色。圖例2中的爸爸變成雜技演員，能夠走高空繩索。同樣，爸爸作為目標域，雜技演員是源域，映射項是雜技演員的勇敢。圖例3中的爸爸在與大力士摔跤。通過動作過程，將力氣大這一映射項映射到目標域爸爸身上。通過隱喻的再現，我們看到孩子眼中的爸爸是勇敢的、力大無比的。爸爸有勇氣和自信，敢于挑戰強者。雖然我們知道爸爸不能跨過月亮，不能走高空繩索，不能像大力士一樣摔跤，但是圖畫隱喻將勇氣、膽量和力量這些特質凸顯在動作者爸爸身上，賦予孩子心中的爸爸以神奇的力量，強大、勇敢、有安全感。

根據馮德正的觀點，分類過程可產生兩種隱喻。第一，在常規成員的類別中植入某一實體A，該實體為非常規成員，納入常規成員中。在此分類過程中，常規成員實體 B 成為源域，實體A為目標域，B的顯著特征被映射到A上。繪本《我爸爸》中有這樣一幅畫面。世界著名歌唱家同臺表演，左邊是多明戈，右邊是帕瓦羅蒂。穿著大睡衣的爸爸站在其中，爸爸成為歌唱家中的非常規要素。歌唱家的顯著特征映射到爸爸身上，爸爸具備唱歌好、表現力強的特征。第二種圖像隱喻是“從屬者之間的等同需要通過對稱的構圖實現，從屬者之間距離相等，大小一致，排列方式相同等”(馮德正 2011：56-61)。圖像中目標實體和原實體并置。原實體在某方面具有常規的象征意義，通過構圖方式使目標實體獲得同原實體一樣的象征意義，使該實體獲得隱喻映射，其特征得以凸顯。《我爸爸》中有一幅圖片描述爸爸穿著大睡衣，雙腿叉開，雙手叉著腰，站在一座大房子前。身體和房子呈前后并置。故事中房子的象征意義是高大，爸爸作為實體獲得原實體房子的象征意義，凸顯爸爸身材高大威猛的特征，形成圖像隱喻。

分析過程構建整體和部分的關系。隱喻映射分為兩種。第一種在原有實體上進行部分替代，不改變整體。整體映射部分的隱喻特征。第二種在原有實體上附加部分實體，即非常規項，形成隱喻映射。這兩種情況都能構建隱喻。 繪本《我爸爸》中的一幅圖描述爸爸穿著睡衣坐在餐桌前，手里拿著刀叉。桌子上放著滿滿一盤的食物。爸爸的頭被馬的頭替代。因此，圖片中非常規部分馬的頭替代常規部分的位置，從而常規部分獲得馬的顯著特性，強壯、食量大。通過圖片隱喻，讀者感受到爸爸如同馬一樣強壯。

象征性過程分為象征意義和象征提示。象征意義有兩個參與者，一個參與者的意義身份建立在關系或攜帶者上，形成映射。例如繪本中的一幅圖。爸爸端著一杯咖啡安靜祥和地坐在桌前。圖像的背景是一面暖色調的墻。墻上掛著一幅有關太陽的畫，屬于象征意義。在象征屬性過程中，人類參與者通常會面向讀者。他們展現的姿勢無法解釋為敘事性過程，唯一的目的是展現給讀者。圖片中有兩個參與者，爸爸和墻上的畫。墻上掛畫中的太陽，是爸爸的象征意義。源域是太陽，目標域是爸爸，形成隱喻映射。爸爸像太陽一樣溫暖，包容一切，陽光開朗。象征提示過程只有一個參與者，即攜帶者。這類過程不能被解釋為分析過程。在這類圖畫中不強調細節，突出所謂的情景或氣氛。《我爸爸》繪本中的前后扉頁都以爸爸的睡衣為畫面。睡衣的圖案是橘色的條紋格子，整個畫面屬于暖色系，睡衣本身也就是爸爸的象征。作者以睡衣圖案作為前后扉頁，一是紀念父親，二是突出繪本的主題。睡衣和爸爸之間是一種隱喻映射。睡衣象征溫暖的情感，表明爸爸的愛無處不在。

3.2 互動功能分析與隱喻建構

視覺語法中的人際意義就是互動意義。就是圖像制作者和觀看者之間的互動。涉及兩個參與者：被表現參與者(圖像中描述的人物、地點和事物)和互動參與者(圖像的觀看者和制作者，通過圖像彼此相互溝通的參與者)。同時，互動意義涉及3種關系：(1)被表現參與者間的關系；(2)互動參與者和被表現參與者之間的關系；(3)互動參與者間的關系。互動參與者就是圖像制作者，以不同的方式規約圖像該如何表達意義，表達什么意義。(Kress, van Leeuwen 2006:114)

繪本作者與讀者之間沒有直接互動。絕大部分閱讀者不能目睹作者創作整個作品的過程，對作者背后的創作意圖模糊不清。《我爸爸》中爸爸是穿著睡衣、微微發胖的形象。很多讀者會有疑問：爸爸為什么在各種場景下都穿著那件大睡衣。原來作者16歲時父親已去世，這件大睡衣是父親留給作者的唯一物品。作者出于對父親的懷念，創作每一幅圖畫時，圖中的爸爸都要穿著這件睡衣。由此可見，讀者只看到圖畫本身。創作者和讀者在認知方式、知識儲備和語境構成方面都存在差異。圖像是一種代表社會互動與社會關系的再現，在視覺語法層面互動意義的表達分為接觸、社會距離和態度(同上 2006:149)。馮德正建立的互動意義的隱喻潛勢以社會距離和態度中的主觀映像為概念基礎。首先，圖像鏡頭距離的遠近判定圖像中再現參與者與觀看者之間的社會距離。近距離表現私人關系，中距離表現社會關系，遠距離則表示陌生人間的關系。無論是恒久的社會關系還是社會互動間維持的關系都取決于背景的社會關系。人們保持的距離都取決于人與人之間的社會關系，而距離的模式可以成為視覺類別中的規范。根據Hall的觀點，從拍攝角度來看，身體距離和人的情感距離成正相關(Hall 1969:113-129)。第二，從態度方面來看，態度的主觀影像取決于選用某些鏡頭的大小和角度，來表達對再現參與者的態度。水平角度表現圖畫觀看者參與到圖畫中來，是正面關系。傾斜角度表達分離關系，表達對圖像的不關心。低角度常給人一種優越、意氣風發勝利的印象；高角度降低個體，似乎讓他看起來好像陷入無法戰勝的宿命論中。如果從高角度來看被表現參與者，那么互動參與者對被表現參與者有權利；如果采用低角度，則是被表現參與者對互動參與者有權利；如果水平角度則不涉及權利關系。

表2 圖像中互動意義關系表達(Kress 2006:148)

馮德正在構建互動意義和構圖意義的隱喻潛勢時，明確指出拍攝位置構建的默認價值是圖像與讀者的關系，但Kress和van Leeuwen只是基于對語料的觀察分析，從符號學的角度去描述空間關系的意義，對此問題的探討缺乏一定的認知理據(馮德正 2011:27)。因此，他從體驗哲學的認知視角出發，在經驗基礎上建構拍攝位置與圖像的隱喻模式。

《我爸爸》中有這樣一幅圖片。爸爸坐在桌子前，面帶微笑，手中握著一杯溫暖的咖啡。圖像以正面角度、近距離呈現。爸爸的目光映射在觀看者的身上，形成有效互動，建立較為親密的關系。觀看者參與到畫面中，體會到父親的慈愛。圖像中的近距離、正面、水平視角形成的圖像互動意義映射出爸爸的形象。爸爸是可親可愛的，溫暖的。在另一幅圖片中，爸爸在跑道上同世界冠軍一起賽跑。爸爸跑在最前面。圖像同樣以正面角度呈現，觀看者也會融入到圖畫中，感受到賽事的激烈。爸爸的目光再次投向觀看者，這樣被參與者與圖像中的爸爸形成互動。此外，圖像是近距離呈現，隱喻親近的社會關系。同時采用低角度的視角，隱喻爸爸的高大形象，也暗示爸爸的權威性。讀者閱讀后，父親的偉岸形象會根植于心。

3.3 構圖功能分析與隱喻建構

構圖意義將互動性和表現性元素整合成一個有意義的整體。主要通過信息價值、比重和框架這3種相關系統來體現。信息價值指圖像中的元素在圖像中不同區域的安排，分為左右、上下、中心和邊緣，從而獲得特定的信息價值。比重則是圖像創造者如何設計元素來吸引觀看者。圖像中元素設計可通過相對大小、色調值對比，清晰度差異和安排在前景或背景等方式來表現。框架指表達象征圖像中的元素在某方面是否彼此相屬。往往通過利用分割線和實際的框架線條連接或者切斷圖像中的元素來表達。圖像構圖意義的隱喻潛勢是以信息價值為基礎，左邊代表已知信息，右邊代表新信息；在圖像結構中，放在上方的代表理想，放在下方的代表實際，中心代表重要部分而邊緣代表非重要信息。這樣基于經驗基礎，空間位置與信息價值之間形成3個次映射。

3.31 左右構圖隱喻

閱讀方向可能具體反映出深植的文化價值觀體系，但這類方向性是所有文化符號語言的來源(Kress，van Leeuwen 2006:192)。人類的閱讀路徑是由左向右，圖像資源也是如此。圖像中構圖的安排似乎是無意識所為，實際上有明顯的規律性，其背后有著深層意義。圖像的構圖能夠將這種深奧的形而上轉換成符號系統。例如圖像中的“左”代表已知和“右”代表全新，指這類系統具有穩定永續但又不斷生產以及靜態保守且一直保持動態與創新的特性，能制作出全新復雜且無限變化的意義。雖然我們可以用文字來表達，但是只有視覺圖像更能表達轉變和轉換，從而形成空間隱喻。在《我爸爸》中有一幅圖片是爸爸與一位舞蹈演員翩翩起舞。舞蹈演員在圖像的左側為已知信息。演員在舞臺上表演不會令觀看者感到驚訝和不尋常。根據閱讀路徑，觀看者會在右側看到新信息，爸爸也在翩翩起舞。凸顯出爸爸無所不能的形象，爸爸真的很棒。空間隱喻使爸爸的形象更加突出，在觀看者的心中留下更深的印記。

3.32 上下構圖隱喻

就上下方位而言，我們借用概念隱喻的理論。Lakoff 和 Johnson(1980:15-17)從方位隱喻的角度系統研究英語中“上/下”的隱喻義。一切好的、健康的、有價值的都是在“上”的含義中得以映射，而壞的、悲傷的、少的和無價值的都是方位中“下”的隱喻映射。那么，基于人的經驗和認知，在視覺圖像中上方位表示的是理想的、好的、希望達到的目的，而下方位傳達的是一種實際、現實狀況，這樣就形成隱喻的映射。同樣在前面提到表1中的圖例1，爸爸能從月亮上跨過去。爸爸跨過月亮的動作出現在圖像的上方，表達爸爸能跳得很高，屬于一種理想。那么在圖片的下方我們會看到一些亮著燈的房子、看家的小狗。這都屬于我們生活的現實狀態。同時，在圖片下方，作者創作出一只裝著勺子的碗。碗的下面畫著爸爸的兩條長腿。這里更加明顯地看出碗和勺的寓意是養家糊口，承擔家庭責任，而兩條腿代表爸爸。這就是爸爸的現實角色。這一空間隱喻的形成也是人的自然認知過程——從左到右、從上到下的閱讀路徑。讓觀看者很容易抓住圖片的主題，突出爸爸不可替代的一家之主的形象。

3.33 中心—邊緣構圖隱喻

中心—邊緣這一空間隱喻有具體的經驗基礎。首先，人類的本體就是一個由多部分構成的兩軸相對的整體，存在中心和邊緣之分。人體常常被認為是一個內外兩部分合成的容器，內在的是中心部分，是重要的。生活中人們往往將重要的東西放置于中間或容器的中央，此外人體重要器官也在身體內部(Goatly 2007:40)。這構成人類認知的經驗基礎。在繪本《我爸爸》中有一幅圖片，爸爸與大力士摔跤。爸爸和大力士在中心位置，圖片的邊緣呈現出觀眾的畫面。圖片凸顯爸爸和大力士的重要性，而邊緣畫面可以作為背景來襯托中心位置。結尾最后一幅圖片的中心位置是爸爸抱著兒時的作者，邊緣處是散射的光，如同時間隧道，隱喻愛的永恒和無限。中心部分凸顯出父愛的力量是偉大的，也是永恒的。讀者會深刻感受到父愛的溫暖，從而突出繪本語篇的主題。

4 結束語

本文分析視覺語法意義中的隱喻潛勢，并以繪本語篇為語料進行實例分析，論述多模態隱喻的動態建構機制及意義表征，提出概念再現中的象征隱喻建構。研究借助認知視角，分析在互動意義和構圖意義功能下的多模態隱喻建構和意義表達。研究也進一步印證功能語言學為多模態隱喻的建構提供理論模型，同時指出在多模態隱喻識解過程中須要以認知和體驗為基礎。此外，本文以兒童繪本語篇為實例分析，拓寬功能視域下對多模態隱喻研究的語類范疇，在促進對兒童繪本深度理解的同時證實多模態隱喻對突出繪本主題的重要作用，也為兒童繪本語篇的研究提供有效路徑。