視覺語法下的多模態研究

朱澤浩

摘 要：本文以Kress&Van Leeuwen提出的視覺語法框架為理論依據，以《江西全球推介會宣傳片》為多模態研究語料，從再現意義、互動意義和構圖意義三個層面著手，不僅從語言文字和翻譯藝術的角度分析了宣傳片的交際效果，還從圖像、構圖等視覺非語言符號為切入點探究宣傳片取得成功的原因。

關鍵詞：視覺語法，宣傳片，多模態

以語言和非語言符號相結合的傳媒的發展促使文化交流從傳統的單一模式向“多模態”模式轉變。“多模態話語”是運用聽覺、視覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號來進行交際。本文試以Kress & Van Leeuwen的視覺語法理論為基礎，從再現意義、互動意義和構圖意義三個層面對《江西全球推介會宣傳片》這一“視覺名片”進行多模態分析。

一、視覺語法理論概述

視覺語法理論是Kress &Van Leeuwen以韓禮德的系統功能理論為基礎提出的。系統功能將語言分為概念功能、人際功能和語篇功能。Kress &Van Leeuwen基于這三大元功能在視覺模式中以怎樣的方式傳遞什么意義出發，構建出了一個以再現意義、互動意義和構圖意義為中心的視覺語法框架。

視覺語法中，再現意義通過圖像中人物、環境、地點事件的關系來體現，分為敘事再現和概念再現。敘事再現主要關注動作，受參與者行動、言語等影響。概念再現表示參與者穩定、持久的狀態，受分類、分析以及象征過程的影響。

互動意義解釋圖像如何與觀眾產生互動，并通過接觸、視點、距離、情態體現相互之間的關系。接觸反映參與者與觀眾之間的關系，分為索取和提供。視點也叫視角，通過角度來表現互動意義。距離通過參與者之間位置的遠近體現關系的親疏。情態反映客觀的世界形態。

構圖意義分析圖像中元素如何通過構圖來表達意義，體現多模態語篇構建的整體性。構圖再現有三個部分：信息值、顯著性和取景。Kress&Van Leeuwen用四個象限來表示構圖意義的信息分布，如表1。

表1中，圖像的上下、左右、中心和邊緣分別體現信息的重要程度。重要信息在中心。從中心到邊緣，重要性逐漸遞減;從左到右是從已知信息到新信息;從上到下是理想信息到現實信息的傳遞。

二、案例分析

在騰訊上以“江西宣傳片”為關鍵詞搜索相關視頻，過濾掉宣傳江西某一特定地方的宣傳片，結果有《江西風景獨好宣傳片》、《這里是江西（宣傳片）》、《綠色江西，走向世界》宣傳片、《江西城市宣傳片》和外交部推出的《江西全球推介會宣傳片》。基于各宣傳片的點擊量，發現外交部推出的宣傳片的高居榜首，觀眾的評價很高。可見，該宣傳片獲得最佳的交際效果。

（一）再現意義

圖1中，左圖對應敘事意義再現。圖中一群孩子在金黃色的麥田中微笑地奔跑著，臉上洋溢著幸福的笑容。孩子們的姿勢體現運動。語言包括純語言和伴語言，實現意義傳播的媒體形式是聲音或字符。宣傳片的中英文字幕是字符，屬純語言。從純語言角度來講，聲音和字符起正相關作用，畫面屬于伴語言，起輔助、補充和強化的作用。字幕配以“5年脫貧151萬人”（over 1，510，000 have got ride of poverty in five years.）起正相關作用。圖文結合將中國人民脫貧后的喜悅感通過孩子的幸福強烈地表達了出來。

右圖是概念意義再現。以俯拍的角度，讓觀眾能全面領略江西的美麗。加之將江西這一名詞翻譯成“she”，加深了觀眾對江西的喜愛，達到良好的視覺效果。通常情況下，對圖像再現意義的理解并不需要太多的認知投入，觀眾只要憑借自己對圖像的主觀感知就能提取圖像的再現意義。

（二）互動意義

1.接觸

接觸包括索取和提供。圖2左圖體現索取。圖中動物與鏡頭直視，眼神中流露出警惕。從圖片和字幕來看，此處表達尊重生命、熱愛動物。因此，可以理解為動物們在向人類索取不被打擾和平等，對應字幕“為地球悉心珍藏著每一樣珍貴的生命”（and nurtures every precious species for the Earth）。圖文結合讓“precious”一詞深化。圖2右圖是位手拿水果的婦女。她微笑地望向鏡頭，似乎在向觀眾表達著豐收的成果。是一種提供接觸，拉近了觀眾與參與者之間的關系。

2.視點

對比圖1兩幅圖可以看出，左圖采用正面、水平的視角，右圖是俯視的視角。一般而言，正面角度意味著“卷入”，表示融入。以水平角度拍攝，讓觀眾有身臨其境之感，仿佛自己站在稻田這邊看著孩子們微笑地跑過來，從而能更深切地體會孩子們的歡樂。右圖則通過俯視的角度將江西的壯麗河山展現在觀眾的眼前，讓人為之震撼，達到宣傳江西的作用。

3.情態

互動意義的情態較為復雜。Kress&Van Leeuwen從飽和度、色彩區分度、協調度、再現、深淺程度、差異度、配合度和亮度八個標識衡量圖像情態量值。

（三）構圖意義

1.信息值

信息值是根據元素在構圖中的位置來體現。由表1可知，中心是核心信息，上位為理想信息，下位為真實信息，左邊為已知信息，右邊為新信息。圖3的兩幅圖都以三人為中心，表明三人在整個構圖中處于核心地位。右圖的右上角出現國旗，屬于新信息。表明合作對象是相應國的人，使圖片內容更詳細。

2.顯著性

顯著性指圖像各部分吸引觀眾的注意力程度不同。可通過相對尺寸、色彩鮮明度的不同來實現。圖3左圖，三人身穿白色衣服處在一片綠色背景下，更加明顯，身后背景虛化，聚焦手中的蔬菜，結合中英文字幕，信息的表達就更明確。

3.取景

取景是各元素的搭配和組合。包括元素在色度、亮度等方面的組合。圖1右圖聚焦山水，整幅圖綠色突出，將江西優美的風景展現在觀眾眼前。

從單純的語言文字角度分析發現，該宣傳片在文字處理上體現了呼喚型文本語言簡潔得體、信息集中的特點。

例如：一個美麗而活力四射的江西，期待與你相約。

翻譯：A beautiful and dynamic Jiangxi， invites you now.

本句中“期待與你相約”若譯為“is looking forward to meeting you”也未嘗不可。但相比之下文中的翻譯更為妥當。因為宣傳片除了要準確表達，還要保證譯文簡潔，能夠在快速閃過的屏幕中顯示出來。因此，譯成invites you now更為合適。從宣傳效果來看，invite正是本宣傳片的目的，邀請世界各地的人來江西參觀，而looking forward to雖也有這層含義，但語氣卻沒有invite強烈、直接，且invites更符合結尾的語境。

三、結語

通過對《江西全球推介會宣傳片》進行研究，發現視覺語法中再現意義是最直觀、最基礎的信息。互動意義主要研究參與者和觀眾之間的關系，互動意義的選擇帶有一定的主觀性。構圖意義體現的是各元素之間的組合方式。成功的宣傳片，除了注重語言方面如翻譯質量、翻譯策略選擇等，圖像、顏色、構圖等非語言符號也都參與其中，共同構建了相互聯系、相互補充的多模態話語，從而為宣傳片的成功奠定了基礎。

參考文獻：

[1]張德祿.多模態話語分析綜合理論框架探索[J].中國外語， 2009（1）：24-30.

[2]張燕.視覺語法視角下《橫沖直撞好萊塢》海報的多模態意義解讀[J].語文學刊，2016（8）：1-2+64.