多媒體語篇分析：以希拉里的一則總統競選廣告為例

■張 莉 謝韶亮

多媒體語篇分析：以希拉里的一則總統競選廣告為例

■張 莉 謝韶亮

由于多媒體語篇對于語言學研究來說是一種新的語篇形式，文章運用系統功能語法對一則多媒體語篇進行分析。其分析過程如下：首先是對多媒體語篇的轉錄，這種轉錄方法是區別于，純粹語音的轉錄，有其特有的方式；其次是系統功能語法的理論的框架的實際運用與驗證；最后，得出多媒體語篇的自身特點，主要在于視頻與音頻的聯系方式，以及多媒體語篇與整個社會知識的聯系，并且提出更廣闊的分析思路，例如批評語篇分析的方法的運用。

前言

隨著符號學的發展，多媒體語篇分析已越來越受到重視，尤其是語篇分析研究者們的重視。多媒體語篇分析起源于視覺符號在語篇中的作用，即視覺語篇分析（visual discourse analysis）。近年來，人們認識到視覺符號和聲音符號與語言符號同樣重要，都是語篇的構建和理解的重要因素，掀起了一場多媒體語篇分析研究的新浪潮。多媒體語篇分析并非無水之源，無本之木。它有著長期的理論準備，例如多媒體語篇分析從多媒體廣告的分析研究中得到啟發。然而，多媒體語篇分析畢竟剛剛起步，又鑒于語篇分析的復雜性，尤其是多媒體語篇分析的復雜性，人們采取不同的分析目的，會使用不同的分析方法，得到不同的結果。國內對于多媒體語篇的研究主要是局限于多媒體對于英語課堂教學的作用，而對于多媒體語篇本身的研究卻聊聊可數。正如Forceville（2007）所說“突然之間，多模式分析成了熱門的學術話題。”目前此類研究大致分為兩類，一類是語言學導向，另一類是非語言學導向的(Baldry&Thibault,2006)。按方法分，又可分為多模態分析和視覺語篇分析。國外所做研究的對象是多媒體廣告（Cook,1992;Stella&Adam,2005）和電影(Bordwell&Thompson,1988)等，并且從事此類研究的包括了理工科科技人員 (Watanabe等,2000)和社會文化學者和語言學家(例如，Kress，2001；O’Halloran，2004)；其中，Kress(2001)提出了多模式的交際理論，Scollon和Scollon（2003）開辟了新的符號研究領域——“geosemiotics”。國內相關的多模式研究是顧曰國（2005），他對北京外國語大學60周年慶祝儀式作了多模式語篇分析，誠如作者所言是嘗試性的（“exploratory”）。

文章的研究對象是希拉里的一則總統競選廣告，借鑒系統功能語法的觀點和批評語篇分析的觀點，對這則多媒體語篇進行解讀。文章主要以語言學導向，探討多媒體語篇的銜接方式及其語用效果，

一、轉錄

競選廣告的轉錄分為兩個部分：一為文本的轉錄，二為多媒體的整體轉錄。

（一）文本轉錄

文章進行文本轉錄的目的為描寫文本服務，即盡量還原希拉里的話語特點。采用的方法是Gee（1999）的stanza和line的劃分方法，由于具體的文本細節的不同，在方法上會有一定的出入。（++表示長時間的停頓，+表示較短時間的停頓，單詞大寫表示重讀）

HILLARY（screaming）:

As I travel around America,++

I hear from SO many people who feel like+

they're just invisible to their government.

ANNOUNCER:

Hillary Clinton has spent her life standing up for people others don't see.

HILLARY（sappy music）:

If you're a family that is struggling,and you don't have health care,

well,you ARE invisible+to this president.

If you're a single mom trying to find affordable child care so you can go to work,

well,you're INVISIBLE,too.

And I never thought I would see that+our soldiers who served in Iraq and Afghanistan+would be treated as though THEY were invisible as well.

Americans from all walks of life across our country+may be invisible to this president,+but they're not invisible to me

and they won't be invisible+to the next president of the United States!

（二）多媒體轉錄

多媒體的轉錄采用的是Thibault（2000）所采用的表格法（Table），作者也強調話語，多媒體（聲音視覺）符號是共現的，雖然文字轉錄與多媒體語篇不能完全對等但是這種方法基本上能實現者兩者的統一。文章因個案分析需要略作改動。需要說明的是，多媒體語篇本身是個流動的動態過程，在轉錄時必然會丟失一些動態信息。

二、多媒體語篇的銜接與連貫

任何語篇都具有七大特性（參見Beaugrande和Dressler，1981）其中之一便是場景的構建或稱場景性(situationality),我們認為此語篇特點對于多媒體語篇至關重要，并且體現的更直觀，更明顯。語篇分析的理論共識之一是語篇與文化或社會知識之間是相互影響的?？梢哉f多媒體營造了一個情景語境。多媒體語篇的銜接與連貫，通過話語和音樂等，直接與視覺符號和場景互動。

（一）指稱

指稱（或照應）（reference）分為內指包括前指(anaphoric)，后指(cataphoric)和外指(exophoric)（Halliday&Hasan:2001）；多媒體語篇從總體上來看主要是依靠外指達到連貫，即語言表達與視覺符號同步。例如，Hillary說到single mom,視頻上出現了“抱著嬰兒的婦女”，說道soldier視頻上出現了“抱著小孩的年輕男子”，說到“all walks of life”出現了一群人等。然而，我們并不能確定視頻中人物的確切身份，但是由視頻本身和話語共同構成的一個語境使話語和場景相互影響，這同時使得外指具有預設性，即“理所當然的認為”（taken-for-grantedness）。

另一方面，外指與視覺符號并非總是保持同步，外指的所指可以缺省，在這種情況下我們認為多媒體語篇要達到某種語用效果。例如，文章所分析的這則多媒體廣告，最后Hillary說到“這屆總統”(this president)但是并沒有任何人在畫面中出現以指稱現實的president（George W.Bush）。在語用效果上可以認為是總統無視人民，所以人民亦將無視總統；目的在于褒己貶人。整個多媒體語篇都是在指稱的大環境下的銜接。然而，需要指出的是，外指本身就是一個動態的概念，至少在多媒體語篇內如此，具體的說，話語外指多媒體的視覺符號，整個多媒體語篇則外指社會文化語境。另外，作為多媒體語篇的指稱，也可以是場景指稱（例如動態的視覺符號）；如競選廣告中“travel”一詞的動態外指。

（二）省略

就文章的研究對象而言，省略手段并不十分明顯，我們認為只是視覺符號使用了省略手段，例如，在視頻開始時聲道中出現了announcer的聲音時省略了希拉里的演說詞，另外，整個視頻表現的是希拉里在公眾面前的演說，但是視頻畫面省略了演說過程的大部分畫面，取而代之的是演說內容的視覺符號。我們認為，作為政治廣告話語上還應保持一定的嚴肅性，所以話語方面并沒有使用省略的銜接手段；另一方面，視覺符號的省略取舍也具有一定的語用效果，省略的部分一方面為了使視頻更簡潔，更重要的是為了突出重點，例如每當希拉里說到“invisible”時視頻畫面便回到演講的主線場景。值得一提的是上述提到的“this president”的外指在視覺符號上的省略，可以稱作“外指缺省”（exophoric default），這是有具體的語用含義的。

（三）替代

多媒體語篇的替代是雙重的：一是視覺符號的替代，二是話語語篇中的替代。正如上文所述視覺符號中的人物可以視為個體替代一類人。話語語篇中的替代一般是代詞，方式一般是名詞性替代，一般來說，被替代者則在畫面中以視覺符號的形式呈現，進一步分析話語指稱，視覺符號指稱，共同指向更廣闊的社會文化大語境。

（四）連接

本競選廣告的多媒體語篇的連接可以分為視覺符號、聽覺符號和話語符號的連接。視覺符號的連接主要是通過關聯性，本則廣告的主線是希拉里的公眾演說，主題是“invisible”所以人物的顯現尤其是希拉里的顯現是連接的主要方式。例如，視覺符號的希拉里身著紅色外套演說的場景即可視為視覺符號的連接。聽覺符號的連接主要是背景音樂的連續。話語的連接方式是通過排比的修辭手段實現的。需要指出的是，視覺符號的連接在多媒體語篇中需要有符號認知上的關聯意識，以達到對多媒體語篇的統一，連貫的整體性構建。

（五）重復

文章競選廣告的重復包括視覺符號重復和話語語篇內的重復。例如，視覺符號中，“擁抱”場面的重復和希拉里身著紅色外套演講場面的重復。本廣告重復手段的運用也具有一定的語用目的，即為了政治目的贏得大眾的支持；另外，使人們感到多媒體語篇的整體性和連貫性。但是此類場景重復并不一定與話語重復符合或同步，或可以說視覺語篇具有相對的獨立性。但是整體多媒體語篇的最終效果必然是各種符號的有機統一。

三、余論及更廣闊的視角

另外需要指出的是所謂“非人物”的視角（impersonal footing），Glinert（2005）認為這種視角主要是匿名的畫外音形式，通常是男性的冷靜的話語，給人以專家的權威。本則廣告也出現了男性畫外音即announcer的話語，但我們認為畫外音在具體的語篇中具有不同的效果或目的。我們認為此廣告的畫外音主要地是表達可證性，使語篇更具效力使人可信。

其次，不可忽視的是除了情景語境之外，還有文化語境對整個多媒體產生影響，在話語語篇，多媒體語篇和文化背景等劃分下產生明顯的層次結構特征。本則語篇的大文化場景應當是民主黨的政治路線，即將焦點放在國內，注重美國國民在國內的福利，權利和利益，另一方面不排除競選者Hillary作為女性政治家的女性主義觀念。由于篇幅所限本文不作詳細討論。

再次，任何語篇都是一個整體，將語篇尤其是多媒體語篇采用分析的手段分析只是為了滿足更好的理解語篇的需要，所以不能機械地認為多媒體語篇各個部分是可以獨立的，而應當在分析之后從整體上認識多媒體語篇的視覺符號，聽覺符號和話語符號之間的相互影響和聯系。

語篇分析由于目的和切入點的不同而采取不同的分析方法和理論，本文主要是依據韓禮德的銜接理論，對多媒體語篇的語用意義作了探討。當然還可以從其他方面進行研究，例如認知語言學的理論。本文的不足之處在于只是個案分析，在量上沒有達到喬姆斯基的描寫充分性，即所得結論的普遍性有待進一步的證實。

四、意義

通過對多媒體語篇的個案分析，可以為多媒體語篇的教學構建提供參考，例如，外指缺省的語用含義在多媒體語篇教學中的采用及其效果，更重要的是多媒體語篇作為話語語篇和社會語境的中間層面的地位，其語用指稱對于理解更廣闊和更抽象的社會文化現象的作用。

[1]Baldry,A.P.and Thibault,P.J. （2006）.Multimodal Transcription and Text.London:Equinox.de Beaugrande,R.,and W.U.Dressler.（1981）.Introduction to text linguistics.London:Longman.

[2]Bordwell,David&Thompson,Kristin.（1988）Film Art:An Introduction(2nd ed.).Berkeley,CA:University of California Press.

[3]Cook,G.（1992）.The Discourse of Advertising.London:Routledge.

[4]Forceville,C.（2007）.Book review.Multimodal Transcription and Text Analysis:A Multimedia Toolkit and Coursebook.Journal ofPragmatics.

[5]Gee,J.P.（1999）.An Introduction to Discourse Analysis:Theory and Method.Routledge.

[6]Glinert,Lewis.（2005）.TV commercials for prescription drugs:A discourse analytic perspective.Research in Social and Administrative Pharmacy,p.158-184.

[7]Halliday,M.A.K.&Hasan,R. （1976）,Cohesion in English,Longman,London.

[8]Kress,G.R.（2001）.Multimodal Discourse:The Modes and Media ofContemporary Communication.London:Arnold.

[9]O’Halloran,Kay L.,（ed.）.(2004).Multimodal Discourse Analysis.London:Continuum.

[10]Stella,J.and Adam,S.（2005）.Tropes in Advertising:A Web-Based Empirical Study, p. 93-105. Multimedia CD-ROM.In Treloar,A.and Ellis,A.（Eds.）

[11]Thibault,P.J.（2000）.The multimodal transcription of a television advertisement.In A.Baldry,Ed.,Multimodality and Multimediality in the distance learning age.Campobasso,Italy:Palladino.

[12]Watanabe,Yasuhiko,Okada,Yoshihiro,Kurohashi,Sadao,&Iwanari,Eiichi.（2000）.Discourse Structure AnalysisFor News Video.IEEE International Conference on Multimedia&Expo.New York New York.Electronic Proceedings

[13]顧曰國.（2003）.Forthcoming A multimodal text analysis of an anniversary ceremony in China A corpus linguistic approach.Submitted asa contribution to a special issue ofText.

張 莉（1980.4-），女，陜西蒲城人，渭南師范學院外國語學院教師，研究方向：外國語言文學;謝韶亮(1981.10-)，男，安徽全椒人，渭南師范學院外國語學院教師，研究方向：對比語言學。）