兒童繪本：多模態話語分析的新寵

劉芳

摘 ? ?要： 文章以Kress & van Leeuwen的視覺語法為依據，從多模態社會符號學視角對Peppe the Lamplighter這一榮獲凱迪克銀獎的兒童繪本中的圖像進行描述和分析;并基于Nikolajeva & Scott對圖文關系的區分，揭示該繪本中的圖文關系，以期加深對兒童繪本的理解，優化兒童繪本的譯介和出版。

關鍵詞： 多模態話語分析 ? ?視覺語法 ? ?圖文關系 ? ?《培培點燈》

一、引言

多模態話語是“運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現象”。20世紀90年代以來，多模態話語分析一直是國外語言學界的研究熱點，國外學者也在該領域取得了豐碩的成果。但國內相關研究處于起始階段，尚未成熟，且國內學者多模態話語分析的對象多集中在廣告、電影或詩歌等語篇上，很少對兒童繪本（尤其是單一繪本）進行完整的分析。作為一種典型的多模態語篇，兒童繪本通過圖畫與文字的配合，共同敘述故事和傳遞知識。隨著對兒童閱讀的重視，兒童繪本開始大量出現，但其創作與譯介卻良莠不齊。本文以《培培點燈》為例，運用多模態社會符號學分析方法解讀優秀兒童繪本的特征，以揭示多模態理論的可操作性，從而為繪本的創作和譯介提供依據，優化當下繪本市場。

二、理論背景

韓禮德認為語言作為一種社會符號，具有表征客觀世界和內心世界的概念、體現語言使用者的交際參與和交際角色關系的人際關系及組織成語篇等三大功能。“雖然這些元功能是首先基于對語言的研究提出來的，但這并不意味著它們僅僅局限于語言”。Kress 等人認為，圖像可看做一種社會符號，也可用韓禮德分析語言的社會符號學方法來分析。因此，Kress & Van Leeuwen借用韓禮德的語言三大功能理論，分別從表現意義，即概念功能、互動意義，人際功能、組篇意義，即語篇功能三個不同的層面分析圖像等視覺符號的語義關系。

Kress & Van Leeuwen的視覺語法為理解和解釋多模態語篇中的圖像提供了有力的理論支持，但他們并未明確提出用來分析視覺和語言模態之間相互作用的理論框架，而且對于圖、文這兩種模態間的關系，學術界的看法不盡相同。Royce將圖文關系分為重復、同義、反義、整體與部分、上下義搭配關系。Barthes認為圖像是多意的，因而圖像需要依附于文字，圖文的關系主要是闡釋和延伸。Nikolajeva & Scott 則將圖文關系定義為四種：（1）對稱關系，圖與文闡釋相同的內容;（2）意義互補關系，兩種模態分別為對方提供了其缺少的信息，進行互補;（3）對比關系;（4）相反關系。相比較而言，Nikolajeva & Scott 的分析更清晰明確，因此本文將借鑒他們對圖文關系的區分來解讀繪本。

三、Peppe the Lamplighter的多模態話語分析

Peppe the Lamplighter曾獲1994年凱迪克銀獎，是繪本作者根據自己爺爺的真實經歷改編而成的。該繪本講述了在世紀之交的紐約，主人公Peppe一家人懷抱“美國夢”來到小意大利城的移民故事。繪本的插畫家Ted Lewin以寫實畫法將書中人物的表情、感受表達得淋漓盡致，增強了繪本故事的真實性，并以大幅的黑色背景來襯托出燈光給人們帶來的明亮與溫暖的效果。

（一）Peppe the Lamplighter的視覺語法解讀

Kress & Van Leeuwen認為，圖像中的視覺符號不僅可以反映客觀世界和主觀世界發生的各種事件，而且可以表現各種各樣的人際關系，與此同時視覺符號內部也是一個有機的和連貫的整體，因此可以從概念功能、人際功能和語篇功能三個不同的層面分析圖像等視覺符號的語義關系。以下將基于視覺語法簡單描述圖像的再現、互動和構圖意義。

1.再現意義

圖畫故事書（繪本）的再現元功能是通過圖畫中的人物、事物和場景表現的。在該繪本的17幅圖中，Peppe作為主人公出現了15次，其他家人的出現次數均少于5次，而其余參與人物只出現1次。至于圖畫背景，主要有兩個：一是Peppe的家，一是桑樹街。圖1、6、8、9、11、13、14、15和17是以桑樹街為背景，而圖2、7、10、12和16則以家為背景。繪本的前五幅圖是對故事人物、背景的介紹及Peppe找工作處處碰壁這一艱難處境的描述。第六幅圖則是對Peppe找到燈夫這一工作的事件再現。在接下來的圖畫中，故事在兩個場景中交替發生，但隨著故事情節的發展，同一背景下人物的情感發生了改變。尤其是以家為背景的后四幅圖體現了Peppe和父親兩個人的情感變化。父親先是對Peppe燈夫的工作表示不滿，但仍對他寄予厚望，然后不顧顏面對他喊罵責備，而后因小女兒的失蹤認識到Peppe工作的重要性到最后的以Peppe為榮。而Peppe則一直備受壓力，直到最后贏得了父親的稱許，并感受到自己工作的價值。兩個場景的頻繁交替切換及人物情感的漸變使故事情節更加緊湊、充滿節奏感，增強了讀者思維的跳躍感，充分展現了圖像作為視覺符號的表達意義。

2.互動意義

“與系統功能語法中的語法關系相似，視覺語法中的互動意義旨在探討圖像制作者、圖像所呈現的世界與圖像觀看者之間的關系，同時表達圖像觀看者對表征事物應持的態度”。在實現這種互動意義時，有三個要素：距離、接觸和視點。雖然情態也是互動意義的重要部分，但實現情態的資源在圖像中非常多，因此本文不進行一一描述。

Kress & Van Leeuwen根據圖像中的參與者與圖像觀看者之間有無直接的視線接觸，將接觸分為“索取”和“提供”兩種關系。在所有圖畫中，只有第二幅圖（圖1）中的參與者與圖像觀看者之間有直接的目光接觸。這表明圖像中的參與者向觀看者有所“索取”，它要求觀看者深度介入，參與到圖像表達的事件中。該圖是對Peppe及家人的形象展現，畫面中共9人，其中8人（包括Peppe）與觀看者有直接的目光接觸，從而把觀看者帶入到故事中去，身臨其境地感受Peppe經歷的一切。而剩余圖畫中，參與者與觀看者之間沒有直接的目光接觸，是“提供類”圖像，旨在通過圖畫向觀看者提供信息，敘述故事。從社會距離上來看，社會距離決定參與者與觀看者之間的親疏關系，進而展示一種社會關系。這種親疏關系主要通過鏡頭取景的框架大小得到體現。在該繪本中，除幾個近鏡頭的取景外，畫面中人物多以長鏡頭取景的方式呈現出來，總體上展現了一種疏遠的社會關系。就視點而言，當仰視、俯視、平視某物時，我們會對物體產生象征性的權勢，平等的和不平等的[2]。Peppe對父親及其他社會場景中人物始終處于仰視的姿態，體現了他較低的家庭地位和社會地位。

3.構圖意義

“對應于功能語法的組篇意義，Kress & Van Leeuwen提出了多模式語篇的構圖意義，并分析了構圖意義的三種資源：信息值、取景和顯著性”。限于篇幅，下文只從信息值角度對關鍵圖像元素-Peppe和街燈進行描述和分析。

信息值是通過圖像中元素的位置安排來實現的，如左右、上下和中心—邊緣。在該繪本中，隨著故事情節的發展變化，Peppe在頁面中的位置也隨之改變。在故事開端，Peppe處于頁面的右方，且在圖像中所占比重較大，這不僅突出了Peppe的主人公地位，而且表明Peppe最初作為新信息出現，預示著他為維持家庭生計而尋找工作的新經歷的開始。通過Peppe在頁面中位置的變化，體現了新舊信息的交替及故事情節的跌宕起伏。位置的上方與下方也具有不同的信息值。在該故事中，街燈是被置于上方的因素，而Peppe則被置于下方。置于上方的是“理想的”，置于下方的是“真實的”。每當夜晚來臨，Peppe認真地點亮每一盞燈，他覺得每一盞燈都燃起一盞小小的希望，于是他點燃每一盞燈的時候，都為自己的家人許下一個愿望。信息的“理想化”借助這一被置于上方的街燈體現得淋漓盡致。而位置上被置于下方的Peppe每天夜晚點燈的這一行為則是更實際的信息，更“腳踏實地的”信息。通過圖像中元素所展現的不同信息值，即“理想的”和“真實的”，突出了該故事關于夢想與現實的主題。對于中心與邊緣的格局，Kress & Van Leeuwen認為置于中心位置的元素可凸顯其中心地位和重要性，而那些環繞在其四周的元素則一般處于次要的地位。該繪本的第一幅圖和最后一幅圖均描繪了Peppe在桑樹街點燈這一場景。在兩幅圖中，街燈均處于中心位置，從而突出了街燈在故事中的重要性，而且主人公在第一幅圖中點完燈離開的行為與最后一幅圖中去點燈的行為向觀看者描繪了一幅完整的畫面，首尾呼應，敘述完整。

可以看出，繪本以Peppe和街燈為關鍵圖像元素，通過繪圖者對其位置的刻畫，將“美國夢”與移民家庭緊密聯系起來，從移民家庭這一小的視角來窺探美國歷史，感悟美國夢，突出了夢想與現實這一歷史主題;同時將Peppe及其家人的情感變化借由圖像生動地再現了出來，突出了繪本關于希望、幸福和痛苦的家庭主題。

（二）Peppe the Lamplighter的圖文關系解讀

居松直認為：“假如用公式來表示的話，文+圖=有插畫的書，文*圖=圖畫書。”[8]根據Nikolajeva & Scott對圖文關系的劃分，該繪本的圖文關系只涉及其中的對稱和互補，而且互補關系較為突出。

從繪本標題“Peppe the Lamplighter”來看，只知道有一個參與者，即Peppe，其職業是燈夫。但圖片給我們提供了更豐富的信息，描繪了一個完整的動作過程——點燈。在這一過程中，動作者是Peppe，通過圖像，我們發現他是一個小男孩，其外形和著裝特點在畫面中清晰地展現出來，這是標題所沒能表述的;目標是街燈;而將動作者和街燈聯系起來的長長的木棍在Peppe和街燈這兩個圖像元素間形成了鮮明的對角線，再現了點燈這一過程。所以就標題而言，圖像是對文字的補充。通過這一補充，引起讀者們思考“為什么小男孩這么小要做燈夫呢？”從而激發讀者的閱讀興趣并暗含著Peppe所承擔的超越年齡的那份責任。

在故事開端，圖像和文字都是對故事和人物背景的介紹。通過觀察發現，文字表述中出現的人物在該頁面的概念圖像中都有著視覺對應物：Peppe，Peppe的父親及他的妹妹們，所以是對稱關系。但圖文互補關系體現得更為明顯。一方面，圖像意義補充了文字內容。文字中一筆帶過的人物在圖像中都得到了形象再現，人物的樣貌、著裝、眼神、姿態在畫面中淋漓盡致地展現出來。而且畫面上出現的桌子，桌子上的煤油燈、杯子，窗戶，以及窗外漆黑的外景是對Peppe一家人所住公寓的簡單再現，而文字中并未表述。另一方面，文字內容擴展了圖像意義。文字表述了故事發生的時間、地點和時代背景，但這些并未在圖畫中得到體現。例如“His father was sick……”這句話所表達的內容僅靠看圖像難以解讀，但可以在圖1中看出來。所以圖像應與文字相互作用，共同敘事。

圖 ?1

在故事進展階段，Peppe找到了工作，使故事情節得到進一步發展。對Peppe來說找到工作是好消息，這樣他就可以維持一家人的生計，而他父親卻對Peppe“燈夫”這一工作產生了極大的不滿。在故事發展的這一階段，畫面也在Peppe的家和桑樹街這兩個場景間來回切換，在一定程度上體現了父子之間所處的一種“拉鋸”狀態。圖2及所述文字更是體現了緊張的父子關系，圖文互補敘事，但這一部分更凸顯了文字的力量，文字傳達了比圖像更多的意義。圖像中只出現了父親這一個人物形象，而文字不僅表述了父親的言語過程，還詳述了Peppe的行為過程及他三個妹妹給予他安慰的言語、行為過程。通過對人物言語、心理及各種動作過程的文字表達，更好地體現了人物的情感和態度，尤其是父親對Peppe工作的不認同。

圖 2

Peppe妹妹Assunta在Peppe沒有點燈的那一晚沒有回家的事件使故事發生了轉折，打破了父親對Peppe燈夫這一工作的偏見，并承認“燈夫”是一個很重要的職業。所以Peppe重新點燈，找到了妹妹并贏得了家人尤其是父親的尊重。這一文字內容與圖畫也是互補關系，但這里不再突出文字的力量，表明故事氛圍趨于平靜，人物關系得到改善。而繪本的最后一幅圖（圖3）也回到Peppe點燈的這一場景，但此時他的心境與之前截然不同。現在的他贏得了家人的尊重，他抬頭挺胸地點燃一盞盞燈，充滿希望地面對自己的人生;同時，在他心里的那些喜悅、失望、幸福還有痛苦也都在燈盞的亮光中化成溫暖……

通過以上分析發現，該繪本圖文之間不存在完全的對稱關系，也不只存在互補關系。只有了解了圖像與文字相互作用的方式，才能更好地理解繪本這一多模態語篇。

圖 3

四、結語

基于Kress & Van Leeuwen 的視覺語法和Nikolajeva & Scott的圖文關系理論的多模態話語分析，本文認為圖像能夠幫助讀者更好地理解故事情節的發展，感受人物情感的變化。Peppe the Lamplighter的繪本作者以文字敘述的感人故事與插畫家寫實的點燈畫面完美結合，展現了一個看待美國歷史的新視角。圖像中的場景讓讀者更準確形象地了解世紀之交的紐約，而圖中主人公及其他參與人物的神情動作刻畫則有助于讀者把握故事的情感。圖像與文字的結合給予讀者更豐富的閱讀體驗，這是單一模態的語篇所做不到的，也是未來繪本的創作和譯介需要多加關注的重要方面。

參考文獻：

[1]李戰子，陸丹云.多模態符號學：理論基礎，研究途徑與發展前景[J].外語研究， 2012（2）： 1-8.

[2]李戰子.多模式話語的社會符號學分析[J].外語研究，2003（5）：1-8.

[3]Kress，G.& T.Van Leeuwen. Reading Images：The Grammar of Visual Design[M].London：Routledge，1996.

[4]Jewitt，Carey. The Routledge Handbook of Multimodal Analysis[C].London：Routledge，2009.

[5]Ventola， Eija & Arsenio Jesus Moya Guijarro. The World Told and the World Shown：Multisemiotic Issues[C].Hampshire：Palgrave Macmillan，2009.

[6]Kress，G. & T. Van Leeuwen. Multimodal Discourse：The Modes and Media of Contempory Communication[M].London：Arnold，2003.

[7]張敬源，賈培培.關于視覺語法的幾點思考[J].當代外語研究，2012（3）：38-42.

[8]朱自強.兒童文學概論[M].北京：高等教育出版社，2009.

[9]Halliday，M. A. K. Language as Social Semiotic：[M].London：Edward Arnold，1978.

[10]胡壯麟.社會符號學研究中的多模態化[J].語言教學與研究，2007（1）：1-10.

[11]胡壯麟、朱永生、張德祿、李戰子.系統功能語言學概論[M].北京： 北京大學出版社， 2005.

[12]謝妮妮.《格林童話》中圖文關系的邏輯語義擴展探討[J].外語教學，2014，35（1）：21-25.

[13]張德祿.多模態話語分析綜合理論框架探索[J].中國外語，2009（1）：24-30.

[14]張德祿、穆志剛.多模態功能文體學理論框架探索[J].外語教學，2012，33 （3）： 1-6.

[15]周俐.兒童繪本中的圖、文、音——基于系統功能多模態語篇研究及社會符號學理論的分析[J].外國語文，2014，30（3）：106-112.

[16]周棋豐.多模態視域下的英語繪本圖文關系分析及啟示[J].北京科技大學學報， 2014， 30（5）： 22-27.

[17]朱永生.多模態話語分析的理論基礎與研究方法[J].外語學刊，2007（5）： 82-86.