社會(huì)符號(hào)學(xué)研究中的多模態(tài)話(huà)語(yǔ)構(gòu)建

摘 要： 近年來(lái)， 隨著多媒體的發(fā)展，話(huà)語(yǔ)的多模式性日益凸顯出來(lái)，應(yīng)運(yùn)而生的多模態(tài)話(huà)語(yǔ)分析逐漸成為語(yǔ)言學(xué)研究的熱點(diǎn)之一。本文在以Halliday的系統(tǒng)功能語(yǔ)言學(xué)上發(fā)展起來(lái)的視覺(jué)圖像語(yǔ)法為理論基礎(chǔ)，以中國(guó)2008年北京奧運(yùn)會(huì)會(huì)徽為例，進(jìn)行多模態(tài)話(huà)語(yǔ)的社會(huì)符號(hào)學(xué)分析，揭示文字與圖像共同作為社會(huì)符號(hào)的表意功能。

關(guān)鍵詞： 社會(huì)符號(hào)學(xué) 多模態(tài)話(huà)語(yǔ) 話(huà)語(yǔ)構(gòu)建 北京奧運(yùn)會(huì)會(huì)徽

隨著多媒體的發(fā)展，語(yǔ)篇研究日趨呈多模態(tài)化，應(yīng)運(yùn)而生的多模態(tài)話(huà)語(yǔ)分析逐漸成為語(yǔ)言學(xué)研究的熱點(diǎn)之一。胡壯麟指出，在人類(lèi)進(jìn)入社會(huì)符號(hào)學(xué)的多模態(tài)化的新世紀(jì)，對(duì)多模態(tài)識(shí)讀能力的培養(yǎng)應(yīng)引起重視。本文嘗試運(yùn)用多模態(tài)話(huà)語(yǔ)分析方法，以中國(guó)2008年北京奧運(yùn)會(huì)會(huì)徽為例，進(jìn)行多模態(tài)話(huà)語(yǔ)的社會(huì)符號(hào)學(xué)分析，探討圖像作為社會(huì)符號(hào)和語(yǔ)言作為符合如何共同作用構(gòu)成意義的手段和方法。

一、多模態(tài)話(huà)語(yǔ)分析及其理論基礎(chǔ)

1.多模態(tài)話(huà)語(yǔ)的普遍性

首先提出“多模態(tài)話(huà)語(yǔ)”（multimodal discourse）的是Kress和van Leeuwen。然而，話(huà)語(yǔ)的多模態(tài)（multimodality）并非是一個(gè)新現(xiàn)象，而是人們一直以來(lái)在實(shí)踐甚至理論研究中總是趨向于關(guān)注一種模式而忽略其他模式，人為地將各種交際模式區(qū)分劃界，導(dǎo)致單一模態(tài)研究成為主流，例如，語(yǔ)言學(xué)家只關(guān)注語(yǔ)言表達(dá)，而將文本中出現(xiàn)的圖像留給藝術(shù)家去分析。圖像建構(gòu)的意義以及只有通過(guò)兩種模式共同作用才能表達(dá)的意義就被置于邊緣地帶或者完全被忽略。但人們往往只關(guān)注語(yǔ)言，而將其他的意義建構(gòu)模態(tài)（如語(yǔ)音、語(yǔ)調(diào)、環(huán)境等）歸為副語(yǔ)言特征或語(yǔ)境因素，或干脆認(rèn)為其他模態(tài)（如文字的排版或書(shū)寫(xiě)方式等）與語(yǔ)言研究無(wú)關(guān)。實(shí)際上，這些符號(hào)模式也參與意義表達(dá)，只是它們屬于意義構(gòu)建的不同層次?！罢Z(yǔ)言使用，不管是口語(yǔ)還是書(shū)面語(yǔ)，總是不可避免地由多種交際模態(tài)構(gòu)建”（Scollon Levine ，2004），所以，“所有的文本都是多模式的”（Kress van Leeuwen，1998：186）。

2.多模態(tài)話(huà)語(yǔ)的社會(huì)符號(hào)學(xué)分析理論

多模態(tài)話(huà)語(yǔ)分析是近十年來(lái)發(fā)展并活躍于西方的一種新的話(huà)語(yǔ)分析方式。系統(tǒng)功能語(yǔ)言學(xué)以韓禮德的功能語(yǔ)言學(xué)為基礎(chǔ)，把對(duì)語(yǔ)言社會(huì)符號(hào)性（Halliday）的研究重心轉(zhuǎn)移到圖像（O’Toole Kress van Leeuwen）、聲音（van Leeuwen）、動(dòng)作（Martinec）等多模態(tài)的交際手段的研究。其中最為突出和具有代表性的是克瑞斯和勒文（Kress van Leeuwen）所構(gòu)建的分析視覺(jué)圖像的語(yǔ)法框架，從而為多模態(tài)話(huà)語(yǔ)分析提供了理論依據(jù)和分析方法。

多模態(tài)話(huà)語(yǔ)分析理論的出發(fā)點(diǎn)是：語(yǔ)言是社會(huì)符號(hào)，是以Halliday的功能語(yǔ)法為基礎(chǔ)，把語(yǔ)言作為社會(huì)符號(hào)所具有的三大元功能延伸到除語(yǔ)言之外的其他符號(hào)，并把包括語(yǔ)言在內(nèi)的各種符號(hào)看作是各自獨(dú)立而又相互作用的符號(hào)資源，在分析語(yǔ)言特征的同時(shí)強(qiáng)調(diào)圖像、顏色、聲音和動(dòng)作等視覺(jué)、聽(tīng)覺(jué)和行為方面的符號(hào)模態(tài)在話(huà)語(yǔ)中的作用。其主要觀(guān)點(diǎn)是隨著社會(huì)的發(fā)展和科技的進(jìn)步，特別是隨著數(shù)字、網(wǎng)絡(luò)和多媒體技術(shù)的廣泛使用，傳統(tǒng)語(yǔ)法認(rèn)為是副語(yǔ)言的圖像、顏色、聲音和動(dòng)作等符號(hào)在現(xiàn)代交流中不再處于輔助位置，而是正在和語(yǔ)言符號(hào)一起形成更為寬泛的符號(hào)資源共同參與構(gòu)建意義?，F(xiàn)代人類(lèi)的交流不再是單一模態(tài)的交流（monomodal communication），多模態(tài)交流（multimodal communication）已經(jīng)成為主流。按照社會(huì)符號(hào)學(xué)家（Hodge Kress，1988：6）的觀(guān)點(diǎn)，意義如此強(qiáng)大和廣泛地存在于視覺(jué)、聽(tīng)覺(jué)、行為、表情和動(dòng)作等其他社會(huì)符號(hào)的資源系統(tǒng)中，只注重語(yǔ)言文字是遠(yuǎn)遠(yuǎn)不夠的，因?yàn)闆](méi)有一個(gè)單一的符號(hào)能夠被孤立地完全理解。從嚴(yán)格意義上說(shuō)，現(xiàn)實(shí)中“所有的交流都是多模態(tài)的”（Baldry Thibault，2006；Kress van Leeuwen，1996）。

在克瑞斯和勒文的研究中，語(yǔ)法被延伸到包括視覺(jué)模式。他們認(rèn)為：“正如語(yǔ)言的語(yǔ)法決定詞如何組成小句、句子和語(yǔ)篇，視覺(jué)語(yǔ)法將描寫(xiě)所描繪的人物、地點(diǎn)和事物如何組成具體不同復(fù)雜程度的視覺(jué)的陳述?！痹趯D像也看作社會(huì)符號(hào)的前提下，他們將韓禮德功能語(yǔ)言學(xué)中的純理功能思想延伸到視覺(jué)模式，創(chuàng)建了以“再現(xiàn)意義”、“互動(dòng)意義”和“構(gòu)圖意義”為核心內(nèi)容的分析圖像的視覺(jué)語(yǔ)法（the grammar of visual design）。

二、北京奧運(yùn)會(huì)會(huì)徽多模態(tài)話(huà)語(yǔ)分析

中國(guó)2008年北京奧運(yùn)會(huì)會(huì)徽?qǐng)D案形似漢字“京”，表達(dá)了中國(guó)人民希望舉辦一屆屬于世界的、多元文化融合的奧運(yùn)盛會(huì)的強(qiáng)烈愿望。北京奧運(yùn)會(huì)會(huì)徽構(gòu)成一個(gè)多模態(tài)文本。

1.會(huì)徽釋義

北京奧運(yùn)會(huì)會(huì)徽名為“中國(guó)印·舞動(dòng)的北京”，將中國(guó)特色、北京特點(diǎn)和奧林匹克運(yùn)動(dòng)元素巧妙結(jié)合。其將中國(guó)傳統(tǒng)的印章和書(shū)法等藝術(shù)形式與運(yùn)動(dòng)特征結(jié)合起來(lái)，經(jīng)過(guò)藝術(shù)手法夸張變形，巧妙地幻化成一個(gè)向前奔跑、舞動(dòng)著迎接勝利的運(yùn)動(dòng)人形。會(huì)徽傳達(dá)了三層信息和含義：一是以中國(guó)傳統(tǒng)文化符號(hào)——印章（肖形?。?，作為標(biāo)志主體圖案的表現(xiàn)形式，選用中國(guó)傳統(tǒng)喜慶顏色紅色，作為主體圖案的基準(zhǔn)顏色，寓意北京將實(shí)現(xiàn)“舉辦歷史上最出色的一屆奧運(yùn)會(huì)”；二是北京張開(kāi)雙臂歡迎世界各地的朋友，傳遞出13億中國(guó)人民和世界和平、友誼、進(jìn)步事業(yè)作出積極貢獻(xiàn)的理念和精神；三是弘揚(yáng)堅(jiān)持“以人為本”、以運(yùn)動(dòng)員為中心的奧運(yùn)理念，“更快、更高、更強(qiáng)”的奧林匹克精神。其可謂傳統(tǒng)與創(chuàng)新的成功結(jié)合，體育與文化的完美交融，傳遞著“傳統(tǒng)與創(chuàng)新、體育與文化、藝術(shù)與科技”的理念。

2.會(huì)徽多模態(tài)話(huà)語(yǔ)分析

北京奧運(yùn)會(huì)徽“中國(guó)印·舞動(dòng)的北京”由意象、文字和數(shù)字組成。形似漢字印章“京”的會(huì)徽?qǐng)D案位于圖像的上方，并以紅色為主色調(diào)，這些構(gòu)成圖像的意象部分。意象與美化的數(shù)字和字母“Beijing 2008”采用了漢代竹簡(jiǎn)文字的風(fēng)格，以加粗、黑色毛筆體出現(xiàn)，將這一字體的筆劃和韻味有機(jī)地融入到“Beijing 2008”字體之中，自然、簡(jiǎn)捷、流暢，與會(huì)徽?qǐng)D形和編排在圖像最下方的奧運(yùn)五環(huán)渾然一體。字體與標(biāo)志主體圖案風(fēng)格相協(xié)調(diào)，總體解構(gòu)與獨(dú)立結(jié)構(gòu)比例協(xié)調(diào)。中國(guó)印、漢簡(jiǎn)體Beijing 2008和奧運(yùn)五環(huán)三部分之間在布局以及比例關(guān)系方面近乎完美?！熬迸c“Beijing 2008”以及五環(huán)的巧妙組合，表現(xiàn)出強(qiáng)烈的中西合璧、多元文化和諧融合的意境，抒發(fā)了中國(guó)人民面向未來(lái)，追求可持續(xù)發(fā)展的創(chuàng)造激情。

（1）圖像的再現(xiàn)意義

對(duì)應(yīng)于功能語(yǔ)法的概念意義，克瑞斯和勒文提出了多模態(tài)話(huà)語(yǔ)的再現(xiàn)意義。他們將再現(xiàn)意義區(qū)分為敘事的和概念的兩大類(lèi)。其中敘事的再現(xiàn)包括行動(dòng)過(guò)程、反應(yīng)過(guò)程及言語(yǔ)和心理過(guò)程三類(lèi)。概念的再現(xiàn)則相當(dāng)于功能語(yǔ)法中所描述的關(guān)系過(guò)程和存在過(guò)程。

李戰(zhàn)子認(rèn)為：“在圖片中，使圖中的元素形成斜線(xiàn)，通常是強(qiáng)烈的對(duì)角線(xiàn)，就形成矢量。矢量是敘事圖像的標(biāo)志。”在敘事再現(xiàn)的行動(dòng)過(guò)程中，動(dòng)作者即為發(fā)出矢量的參與者。在圖像中，他們通常最為突出?！斑@可以從尺寸、構(gòu)圖中的位置、與背景的對(duì)比、色彩飽和度或顯著性、聚焦程度，以及‘心理凸現(xiàn)程度’（如人形，尤其是人臉對(duì)觀(guān)看者來(lái)說(shuō)都具有心理凸現(xiàn)性）等方面來(lái)判斷”。

在北京奧運(yùn)會(huì)會(huì)徽?qǐng)D像的意象中，北京的“京”字演化為了舞動(dòng)的人體，隱含著行動(dòng)過(guò)程的動(dòng)作者。舞動(dòng)的“人”形，造型充滿(mǎn)力量與動(dòng)感，代表著生命的美麗與燦爛。在它的舞動(dòng)中，“以運(yùn)動(dòng)員為中心”和“以人為本”的體育內(nèi)涵被藝術(shù)地解析和升華。會(huì)徽中張開(kāi)的雙臂，是中國(guó)在敞開(kāi)胸懷，歡迎世界各國(guó)、各地區(qū)的人們加入奧林匹克這人類(lèi)“和平、友誼、進(jìn)步”的盛典。表達(dá)了活力的北京期待著2008年的狂歡，奧林匹克期待著全人類(lèi)與之共舞的愿望。在整個(gè)圖像中，“京”字圖形是最突出的參與者，被放置在圖像上方的顯著位置，用紅色色調(diào)這種高飽和的色彩填充，充分突出了中國(guó)2008年北京奧運(yùn)會(huì)賦予全世界人民“和平、友誼、進(jìn)步”的理念，強(qiáng)調(diào)對(duì)“京”字圖形隱含的動(dòng)作者——人的重視和以人為本的積極追求。

（2）圖像的互動(dòng)意義

對(duì)應(yīng)于功能語(yǔ)法的人際意義，在多模態(tài)話(huà)語(yǔ)中體現(xiàn)為互動(dòng)意義。“具體地說(shuō)，互動(dòng)意義是關(guān)于圖像的制作者、圖像所表征的事物（包括人）和圖像的觀(guān)看者之間的關(guān)系，同時(shí)提示觀(guān)看者對(duì)表征事物應(yīng)持的態(tài)度”。在實(shí)現(xiàn)互動(dòng)意義時(shí)，有四個(gè)要素：接觸、社會(huì)距離、態(tài)度和情態(tài)。本文著重分析圖像的情態(tài)要素。

“作為互動(dòng)意義的一個(gè)重要組成部分，情態(tài)指我們對(duì)關(guān)注的世界所做出的陳述的真實(shí)度和可信度，其體現(xiàn)資源在圖像中非常豐富。同在功能語(yǔ)言學(xué)中一樣，情態(tài)被歸納為高、中、低三類(lèi)”。克瑞斯和勒文（Kress van Leeuwen）從色彩飽和度、色彩區(qū)分度、色彩調(diào)和度、語(yǔ)境化、再現(xiàn)、深度、照明和亮度等八個(gè)視覺(jué)標(biāo)記探討了圖像中情態(tài)的現(xiàn)實(shí)意義的量值。

北京奧運(yùn)會(huì)徽標(biāo)“舞動(dòng)的北京”以紅色為主色調(diào)，文字以黑色為主色調(diào)。在中國(guó)傳統(tǒng)文化中，紅色是中國(guó)人崇尚的色彩，紅色代表熱烈、莊嚴(yán)、喜慶等情感，有中國(guó)色的美稱(chēng)。在這個(gè)標(biāo)志中，紅色被演繹得格外強(qiáng)烈，含有豐富的中國(guó)文化特色，代表著生命和新的開(kāi)始，是中國(guó)對(duì)世界的祝福和盛情。紅黑這兩種具有高情態(tài)的色彩加在一起，賦予會(huì)徽?qǐng)D像以強(qiáng)烈的視覺(jué)沖擊力和遠(yuǎn)視性，富有生命力，增添了向上、升騰、明快的動(dòng)感和意蘊(yùn)，充分表達(dá)了中國(guó)人民追求可持續(xù)發(fā)展的創(chuàng)造激情和舉辦一屆屬于世界的、多元文化融合的奧運(yùn)盛會(huì)的強(qiáng)烈愿望。

（3）圖像的構(gòu)圖意義

多模態(tài)話(huà)語(yǔ)的構(gòu)圖意義即對(duì)應(yīng)于功能語(yǔ)法的語(yǔ)篇意義。構(gòu)圖意義有三種資源：信息值、取景和顯著性。信息值是通過(guò)元素在構(gòu)圖中的放置實(shí)現(xiàn)的。任何特定的元素在整體中的角色取決于它是被放置在左邊還是右邊，中間還是邊緣，或者圖片空間的上方還是下方。在克瑞斯和勒文看來(lái)，上方與下方具有不同的信息值。如果某些因素被放置于上方，而其它因素被放置于下方，那么置于上方的是“理想的”，而置于下方的是“真實(shí)的”?！袄硐氲摹敝杆切畔⒌睦硐牖幕蚋爬ㄐ缘膶?shí)質(zhì)，因此它是信息的最顯著的部分?！罢鎸?shí)的”指更特定的信息，如細(xì)節(jié)等，或者說(shuō)更實(shí)際的信息。

在北京奧運(yùn)會(huì)徽標(biāo)圖像中，紅色的“京”字圖形出現(xiàn)在圖像的正上方，英文字母“Beijing”及數(shù)字“2008”出現(xiàn)在圖像的中部，奧運(yùn)五環(huán)出現(xiàn)在圖像的正下方。這樣的編排方式是一種縱向三聯(lián)畫(huà)（vertical triptych）：

ideal

mediator

real

（Kress van Leeuwen，1996：211）

“理想的”（ideal）往往是信息的理想化的或概括性的精髓，因此也是最顯著的部分，“真實(shí)的”（real）是具體（如細(xì)節(jié)等）、更實(shí)際的信息（Kress van Leeuwen，1996：193—194）。因此，圖像中的紅色“京”字圖形象征著北京奧運(yùn)會(huì)所倡導(dǎo)的以人為本的積極追求和全世界人民理解、溝通、歡聚、合作的“理想”。奧運(yùn)會(huì)五環(huán)標(biāo)志已為世界熟知，是確定、具體的信息，它所傳遞的世界團(tuán)結(jié)合作、攜手共同發(fā)展的理念是每一屆奧運(yùn)會(huì)的宗旨和目的，奧運(yùn)五環(huán)是“真實(shí)的”，它提供的信息讓人感覺(jué)可感、可信、實(shí)際。“Beijing”及數(shù)字“2008”是“中介”（mediator），意即通過(guò)北京2008奧運(yùn)會(huì)，奧運(yùn)精神將達(dá)到一個(gè)新的高度，將出現(xiàn)一種新的世界和平、和諧的圖景，就是被放置于頂部的意象想要傳遞的信息：中國(guó)人民期盼五洲同心，共同發(fā)展，這也是北京奧運(yùn)會(huì)的目的和理想。

三、結(jié)語(yǔ)

本文概述了在數(shù)字化時(shí)代出現(xiàn)的多模態(tài)話(huà)語(yǔ)，然后借鑒多模態(tài)話(huà)語(yǔ)的社會(huì)符號(hào)學(xué)分析理論，即克瑞斯和勒文的視覺(jué)語(yǔ)法框架，以中國(guó)2008年北京奧運(yùn)會(huì)會(huì)徽標(biāo)的圖像及會(huì)徽釋義的文字說(shuō)明為例，探討圖像和文字兩種模式如何相互作用，成功完成表意。分析證明了語(yǔ)言的圖像、顏色、文字、字樣和印刷版式等符號(hào)在現(xiàn)代交流中已經(jīng)不再處于輔助位置，而是正在和語(yǔ)言符號(hào)一起形成更為寬泛的符號(hào)資源共同參與構(gòu)建意義，這也就證明了多模態(tài)話(huà)語(yǔ)理論的觀(guān)點(diǎn)，即語(yǔ)言之外的其他符號(hào)系統(tǒng)也是意義的源泉，也和語(yǔ)言符號(hào)一樣具有多功能性。

正如胡壯麟（2007）所言，傳統(tǒng)的以讀寫(xiě)為主的識(shí)讀能力在多媒體時(shí)代已不夠用。本文力圖通過(guò)對(duì)北京奧運(yùn)會(huì)徽標(biāo)的圖像的解讀賞析，實(shí)例分析多模式話(huà)語(yǔ)，希望能引起更多學(xué)者關(guān)注多模式話(huà)語(yǔ)，以推動(dòng)多模式話(huà)語(yǔ)研究進(jìn)一步發(fā)展。

參考文獻(xiàn)：

［1］Halliday，M.A.K.Language as Social Semiotic［M］.London：Arnold，1978.

［2］David，M. van Leeuwen，T.Global Media Discourse［M］.London：Routledge，2006.

［3］O’Toole，M.The Language of Displayed Art［M］.London：Leicester University Press，1994.

［4］van Leeuwen，T Jewitt，G.Handbook of Visual Analysis［M］.London：Sage，2001.

［5］Hodge，R.Kress，G.Social Semiotics［M］.Cambridge：Polity Press，1988，vi.i

［6］胡壯麟，社會(huì)符號(hào)學(xué)研究中的多模態(tài)化［J］.語(yǔ)言教學(xué)與研究，2007，（1）.

［7］胡壯麟，董佳.意義的多模態(tài)構(gòu)建［J］.外語(yǔ)電化教學(xué)，2007，（6）：3-12.

［8］王銘玉，語(yǔ)言符號(hào)學(xué)［M］，北京：高等教育出版社，2004.

［9］李戰(zhàn)子.多模態(tài)話(huà)語(yǔ)的社會(huì)符號(hào)學(xué)分析［J］.外語(yǔ)研究，2003，（5）：1-8.

［10］朱永生.多模態(tài)話(huà)語(yǔ)分析的理論基礎(chǔ)與研究方法［J］.外語(yǔ)學(xué)刊，2007，（5）：82-86.

［11］成文，田海龍.多模態(tài)話(huà)語(yǔ)的社會(huì)實(shí)踐性［J］.南京社會(huì)科學(xué)，2006，（8）：135-141.

［12］顧曰國(guó).多媒體、多模態(tài)學(xué)習(xí)剖析［J］.外語(yǔ)電化教學(xué)，2007，（2）.

［13］葉起昌.超文本多語(yǔ)式的社會(huì)符號(hào)學(xué)分析［J］.外語(yǔ)教學(xué)與研究，2006，（6）：437-442.

［14］曾蕾.動(dòng)態(tài)多符號(hào)語(yǔ)篇的整體意義構(gòu)建［J］.外語(yǔ)藝術(shù)教育研究，2006，（3）：42-48.

［15］曾蕾.從功能語(yǔ)言學(xué)角度看“投射”與語(yǔ)篇分析［J］.外語(yǔ)與外語(yǔ)教學(xué)，2000，（11）：15-17.

（作者系中南大學(xué)英語(yǔ)語(yǔ)言學(xué)在讀碩士研究生）