多模態文化語篇的人際意義構建研究

呂行

摘 要：多模態語篇的人際功能為語篇編寫者與讀者之間搭建了溝通的橋梁。多模態語篇通過語言、圖像、字體等模態傳遞人際意義。近年來，多模態語篇的意義構建一直是研究的重點和難點。本文通過對一篇多模態文化語篇的分析，闡釋了各符號系統人際功能的具體體現形式，同時探討了兩個系統如何通過符際互補性構建人際意義。

關鍵詞：多模態語篇；人際意義；符際互補性

中圖分類號：H05 文獻標識碼：A 文章編號：1009 — 2234（2018）07 — 0168 — 03

一、引言

隨著科學技術的發展，各種符號資源如聲音、圖像、動畫等已融入到了我們生活的方方面面。語言學研究者們也逐漸將研究重點由傳統語言語篇分析轉向了多模態語篇分析。多模態語篇與傳統語言語篇一樣，具有三大元功能：概念功能、人際功能和語篇功能。胡壯麟（2007）指出，這類語篇分析既可以推動我們對語言學的研究，同時也可以加深我們對符號學的認知。不可否認，伴隨著越來越多的多模態語篇的出現，人類的互動也逐步多模態化。那么除了多模態語篇的概念意義，在人類互動過程中符號資源如何相互協作來構建意義也是研究的重點。本文將以一篇文化語篇為例，探討語篇中圖像與語言系統通過互動整合構建人際意義。

二、多模態語篇分析理論基礎

經過實踐，許多語言學家（Matthiessen，2007；OHalloran，2004；胡壯麟，2007）都認為，分析多模態話語，最合適的理論模式是系統功能語言學理論。因為它不需要為適應新的目的而對理論框架本身進行改造，可以有效地為研究者提供理論支撐。

1.語言的人際功能

語言的人際功能是講話者作為參與者的意義潛勢。通過這一功能，講話者使自己參與到某一情境語境中，來表達他的思想和推斷，并試圖影響別人的思想和行為（胡壯麟，朱永生等，2017：110）。人們在交際過程中，使用語言完成最基本的兩個任務：給予或求取，所涉及的內容分為信息、物品或服務。以上四個變項組成了四種最重要的言語功能：提供、命令、陳述和提問。它們由語言的語氣系統體現。人際意義的另一重要組成部分是講話者對自己的命題的成功性和有效性所做的判斷，或在命令中要求對方承擔的義務，或在提議中表達的個人意愿，這一部分由情態系統體現（胡壯麟，朱永生等，2017：146）。

2.圖像的互動功能

Kress &van; Leeuwen（2006）指出視覺交流是一個復雜的過程，這期間涉及到兩類參與者：表征參與者和互動參與者。前者指的是在圖片中出現的人物、事物或地點等；而后者指通過圖片交流的人們，也就是圖片創造者和圖像觀賞者。圖像系統的人際功能主要涉及的是圖像互動者之間的社會關系以及這些互動參與者對彼此和語篇的評價取向。互動意義主要通過四個語義系統來實現：接觸（contact）、社會距離（social distance）、態度（attitude）和情態（modality）。

接觸指圖像參與者與圖像互動者目光對接，從而引起圖像互動者一定情感體驗的虛擬行為。需要指出的是，在接觸過程中圖像互動者的主觀能動性對于互動意義的識讀至關重要。與語言的即時對話不同，圖像交際時互動參與者之間并沒有直接的接觸；讀者（觀看者）和作者（圖像創作者）都是獨自與圖像本身接觸的，因此兩者的接觸是平面的而不是立體的。在視覺交流中有一種互動關系是普遍存在的，即一個讀者與多個該圖像的創造者互動。接觸分為提供和求取，兩者之間的區別在于圖像參與者和互動者之間目光是否可以實現對接。當圖像進行“提供”時，通常提供的是信息；當其“求取”時，則索取的是物品和服務或者來自讀者的回應。接觸具體由“注視”（gaze）體現，即直接或間接形式的投向讀者的目光接觸。注視由一個或多個來自圖像內有生命的表征參與者的視線以向量的投向讀者方式體現，同時伴隨著一些姿勢，如圖像中一人注視著同時用手指指向讀者。圖像內表征者所“求取”的東西取決于其面目表情，可能是一個微笑或一個怒視等。

除接觸外，人際功能也由社會距離（social distance）體現。社會距離的遠近與圖像的取景有關。一般來說，遠景表示社會距離較遠，近景表示社會距離較近。Kress & van Leeuwen（2006）對取景和社會距離做了劃分，即個人近距離：頭部至肩部的近距離取景；個人遠距離：腰部以上的距離取景；社會近距離：個體或人物的全身距離的取景；社會遠距離：整個人并且周圍有空間環繞；公共距離：至少有四至五個人的距離。取景的遠近決定對讀者介入要求的強弱，即越近距離的取景對要求讀者介入的程度越強烈，反之亦然。

另一個體現人際功能的語義系統是視點。態度通過視角（angle）來體現，表達對參與者所持的主客觀態度。圖像根據創造者的態度和意圖分為主觀圖像和客觀圖像。主觀圖像（subjective）創造者通過對視角系統的選擇表達出希望圖像參與者與讀者在閱讀過程中采取的角度。大部分圖像都采用多樣化的水平視角和垂直視角的主觀圖像；從水平角度看，正面角度給讀者帶來感同身受、融入其中的感覺（involvement），而傾斜的角度則表現出作為旁觀者的漠然與事不關己（detachment）；從垂直的視角看，讓讀者俯視代表讀者的強勢（viewer power），平視表示讀者和表征參與者關系相對平等（equality），仰視則表示參與者處于強勢的地位（representation power）。客觀圖像（objective）中，圖像創造者并沒有給出自己預設的理解角度，而是盡可能完整地向讀者呈現信息。這類客觀圖像多見于科教語篇中的圖形、圖表、以行動或指示為導向的地圖等。許多這類圖像以水平或垂直的角度呈現，以最客觀的方式展現。有時候在對立體圖形進行展示時可能會有側面或傾斜的角度，這并不表示圖像使用者的任何主觀態度，而是通過透視法展現圖形的一種手段。

圖像符號系統的情態語義系統與語言的情態系統類似，是指人們對關注的世界所做出的陳述的真實度或可信度，即視覺符號表現出的與真實世界存在的現狀相一致的程度，是一個變化區間，其體現資源豐富，被歸納為高、中、低三類。決定情態程度的體現資源被稱作情態標記，包括色彩、語境化、再現程度、深度、照明和亮度。色彩包括飽和度、色彩區分度和色彩調諧度，以區間的形式進行衡量，色彩的值與真實世界越接近則；語境化指從沒有背景到意味細致的背景的變化尺度；再現指從最抽象的表達到對細節最大限度的再現；深度指從沒有縱深到最大程度的透視的變化區間；照明指從對光和影的最大程度的再現到沒有光和影的變化；亮度指從最大數量的不同明亮程度到只有明與暗兩種對比的變化。這些情態標記用來衡量情態高低的標準實際上取決于是否最大程度地對要表征的世界做了真實再現。必須指出的是，我們需要區分圖像是屬于自然化（naturalistic）的還是科技化（scientific）的。以上的情態標記的變化標準只限于衡量表征自然化世界，因為在不同的語境下，真實度的標準不盡相同。自然化的圖像指的反映真實世界的圖像，例如圖畫、照片等。而科技化的圖像是用來表征科學世界的，相對抽象。由于人們習慣性地認為科學世界是抽象的，從而對其越是抽象、與真實世界相反的表達越是對科學世界相對真實的反映，越是具有高情態，這點與自然化的圖像相反。除了自然化圖像和科技化圖像，還有以展現不同感官感覺為目的的藝術化圖像以及抽象化圖像。根據不同的語境，Kress & van Leeuwen （2006）提出另外三種不同的衡量情態的標準，稱為“真實度原則”，又叫作“編碼取向”（coding orientation），具體為：

科技化編碼取向：有效地展現作為解釋和描述概述大綱或藍圖的圖像，除必要時，色彩的衡量區間越趨于最小化，情態程度越高；感觀化編碼取向：在以藝術、時尚或美食視覺語境下為以給讀者提供充分的感官壓力為主要原則，色彩的區間越趨于最大化，情態程度越高；抽象化編碼取向：以能夠總結共性和簡化細節為原則，存在于科學和教育語境下，再現區間越趨于最小，情態程度越高。

以上我們總結了體現人際功能的幾個語義系統，包括接觸、社會距離、態度和情態。然而需要指出的是，對這些語義系統的分析并不是絕對的，例如對科技語篇和自然語篇的情態分析就不能使用同一標準，要根據具體語境做出具體的判斷。

三、語言與圖像的互補性

各種符號系統通過互動和協商共同構建一個有意義的連貫的語篇。符號間是如何共同協作、互動協商構建意義的一直是多模態研究的關鍵點。Lim （2004）提出視覺符號資源和語言符號資源在語篇內容層進行互動和協調從而產生的語義擴展，即這兩個符號資源所制造的大于各自制造的意義之和。這個整合的過程發生在語篇內容層，由三個元功能組織。根據Royce（2007）的觀點，這一過程主要由符號間的互補機制體現。分析多模態語篇符號通過以下兩個符際互補性構建人際意義：即不同模態之間在語氣方面相互加強與否；在傳遞的態度方面存在一致或相反。前文提到，視覺圖像系統和語言系統一樣，在交際中最基本的角色是給予和求取。而交際物又可分為物品和服務、以及信息。因此符號系統的交際角色和交際物兩個變項組成了四種最主要的符號功能：提供、命令、陳述和提問。在分析多模態語篇中語言系統的言語功能時主要依靠對語氣系統的分析；對視覺符號系統的交際功能分析主要依靠對接觸系統的分析。在對兩個符號系統展現給讀者的交際功能分析后，則要分析兩者展現的功能是否相互加強。對態度趨向整合機制的分析則要兩個符號系統的情態系統。說話者對自己通過語言系統表達意義的成功性和有效性的判斷，或在命令中要求對方承擔的義務，或在提議中要表達的個人意愿都由情態系統實現。語言在交換信息時的表現形式是命題，而在交換物品或服務時的表現形式是提議。在命題中，意義的歸一性表現為肯定和否定。在這兩極之間有不同值的概率和頻率，前者相當于“可能是—可能不是”，后者相當于“有時是—有時不是”，兩者都有不同程度變化的值，即情態。對語言系統表現的態度趨向分析時對此情態系統的值的分析，然而視覺圖像符號系統的情態主要取決于語篇的編碼取向。前文提到，不同編碼取向的語篇的情態值的高低有不同的標準。通過分析兩個符號系統的情態值的高低來判斷兩個符號系統表達的態度趨向一致或不一致，從而構建不同的人際意義。

四、多模態語篇的人際意義構建

本文選取的語料來自由國家漢辦編著的HSK（漢語水平考試）標準教程第五冊中的文化語篇《中國人對年齡的詢問方法》。該教材中的文化語篇主要的交際目的是向外國學習者傳遞有關中國文化的信息。編寫者以兩種模態（圖像和文字）呈現語篇，使語篇能夠豐富地表達意義。

語料中語言符號系統表現的言語功能為陳述、提供和提問。在提供部分建議（對于10歲一下的孩子，一般問“你今年幾歲了？”）蓋然性中等，情態值居中；而在提供另一部分建議時（詢問年長的人的年齡則一定要用“您今年多大年紀了”）確定性高，情態值高。

語料中圖像符號系統是一張以綠色植物為背景的六個不同年齡段的中國人（兩位老年人，兩位青年人，兩位兒童）的合影。圖像符號的表征參與者是六位中國人及綠植覆蓋的公園背景。表征參與者平視的目光則表現其與閱讀者不存在權力差異，而照片中微笑的表情意味著表征參與者在邀請閱讀者與之形成友好的密切關系。表征參與者的目光直視鏡頭，與閱讀者有明顯的目光接觸，體現了求取功能，即表征參與者在強烈建議讀者參與到他們的幸福世界中。從態度這一語義系統來分析，該語料視覺符號的作者以水平角度，客觀正面地給讀者帶來感同身受、融入其中的感覺，體現了表征參與者與讀者平等的關系。照片的色彩飽和度很高，自然主義地表現在了六位中國人愉悅的生活狀態，因而情態值高。從照片的色彩區分度看，色彩對比比較明顯，紅色和白色的衣服與背景的綠色形成了鮮明對比。從照片的色彩調諧度來看，照片的色彩搭配有序，深淺有致，這些標記都體現了高情態。另外在語境化這個標記方面，該照片的背景也極為豐富：近處的長椅，修剪過的花草及遠處的綠樹，錯落有致，最大限度地再現了周圍環境，說明作者采用了高情態的表現手法表達意義。通過以上對情態標記的分析，我們知道該語料中視覺符號系統表征的是高情態。

語言系統和圖像系統通過協作構建人際意義。具體來看，構成該語料的兩個符號系統通過語氣和情態相互協作，語言系統給予信息，圖像系統求取信息或服務，因此兩個系統在語篇內容層并沒有通過相互加強。另外，兩個系統都通過高情態值表達了人際意義，因此在內容層通過態度一致性構建意義。

五、結語

人際意義是多模態語篇構建的搭建在讀者與語篇編寫者之間的橋梁。本文闡釋了語言的人際意義與圖像系統的人際意義構建方式。本文通過分析一篇選自《HSK標準教程》的多模態文化語篇的語言及圖像符號系統，探討了多模態語篇的人際功能的具體體現形式，即兩個系統各自通過具體的語義系統構建，并在語篇內容層上通過語氣加強與否和態度一致或相反兩個謀篇機制相互協作構建意義。目前，學術界對多模態語篇的意義構建研究還處在地定性研究階段，需要大量的語篇分析來驗證。

〔參 考 文 獻〕

〔1〕胡壯麟. 2007. 社會符號學研究中的多模態化. 語言教學與研究，（1）：1-10.

〔2〕Matthiessen， C. M. I. M. 2007. The Multimodal Page： A Systemic Functional Exploration. In T. D. Royce & W. L. Bowcher （eds.）. New Directions in the Analysis of Multimodal Discourse. pp：1-62. New Jersey and London： Lawence Erlbaum Associates.

〔3〕OHalloran， K. L. 2004. Multimodal Discourse Analysis. London： Continuum.

〔4〕胡壯麟，朱永生，張德祿，李戰子. 2017. 系統功能語言學概. 北京：北京大學出版社.

〔5〕Kress， G. and van Leeuwen， T. 2006. Reading Images： The Grammar of Visual Design. 2nd Ed. London： Routledge.

〔6〕Lim Fei， V. 2004. Developing an Integrative Multi-semiotic Model. In K. L. OHalloran （ed.）. Multimodal Discourse Analysis. pp： 220-246. London： Continuum.

〔7〕Royce， T. D. 2007. Intersemiotic Complementarity： A framework for Multimodal Discourse Analysis. In T. D. Royce and W. L. Bowcher （eds.）. New Directions in the Analysis of Multimodal Discourse. pp： 63-110. New Jersey and London： Lawence Erlbaum Associates.

〔責任編輯：楊 赫〕