多模態(tài)翻譯中的文本分析模式
——《多模態(tài)語(yǔ)用學(xué)與翻譯：源語(yǔ)文本分析新模式》評(píng)述

廣東外語(yǔ)外貿(mào)大學(xué) 廖文君 藍(lán)紅軍

一、引言

“多模態(tài)”(multimodality)并不是翻譯對(duì)象的一個(gè)新特征，因?yàn)樵谀撤N程度上一切都是多模態(tài)的，即使在翻譯研究中被視為語(yǔ)言藝術(shù)的傳統(tǒng)文本中也時(shí)有出現(xiàn)插圖這類非語(yǔ)言模態(tài)，不過傳統(tǒng)文本中的非語(yǔ)言模態(tài)跟語(yǔ)言模態(tài)相比還只是外圍要素，隨著技術(shù)發(fā)展和多媒體的不斷進(jìn)步，翻譯活動(dòng)中出現(xiàn)的多模態(tài)文本類型日益增多，非語(yǔ)言模態(tài)在文本意義建構(gòu)中的作用和重要性才逐漸凸顯。真正將翻譯文本視為多種符號(hào)資源共同協(xié)調(diào)而產(chǎn)生意義的整體加以考察是翻譯研究中的新視角。翻譯研究者對(duì)不同符號(hào)之間的相互作用以及這種相互作用對(duì)翻譯活動(dòng)的影響這一特殊問題的認(rèn)識(shí)還很有限。在翻譯研究中，除了語(yǔ)言之外的符號(hào)資源能夠并且確實(shí)干預(yù)文本的構(gòu)成，它們?cè)诤艽蟪潭壬隙紱]有得到足夠的研究，只有少數(shù)在該領(lǐng)域的特定子領(lǐng)域(如視聽翻譯)中有顯著的例外。而且，多模態(tài)研究領(lǐng)域中很少關(guān)注翻譯活動(dòng)，如《勞特里奇多模態(tài)分析手冊(cè)》(2012)以對(duì)多模態(tài)研究的綜合全面介紹而著稱，而該書的索引部分卻沒有出現(xiàn)任何有關(guān)翻譯的詞條。在翻譯研究中尋找發(fā)現(xiàn)開啟多模態(tài)分析潛力的鑰匙，似乎就落在了翻譯研究者自己身上(Taylor 2013: 98)。

《多模態(tài)語(yǔ)用學(xué)與翻譯：源語(yǔ)文本分析新模式》(MultimodalPragmaticsandTranslation:ANewModalforSourceTextAnalysis)(下稱《多模態(tài)語(yǔ)用學(xué)與翻譯》)正是翻譯研究打開多模態(tài)世界而付出努力的一個(gè)成果，為譯者在多模態(tài)翻譯實(shí)踐中提供了一種指引。該書于2018年由Macmillan出版公司下屬的Palgrave Pivot出版，屬于PalgraveStudiesinTranslatingandInterpreting系列。作者Sara Dicerto是倫敦國(guó)王學(xué)院的一位青年學(xué)者。全書共有181頁(yè)，內(nèi)容豐富，既有完整的理論建構(gòu)，也有翔實(shí)的案例分析。該書探討了多模態(tài)文本的意義生成機(jī)制系統(tǒng)，對(duì)多模態(tài)翻譯形成了較全面的認(rèn)識(shí)，并建構(gòu)了一個(gè)運(yùn)用于多模態(tài)翻譯的文本分析模式。

二、內(nèi)容簡(jiǎn)介

《多模態(tài)語(yǔ)用學(xué)與翻譯》共分為6個(gè)章節(jié)，各章節(jié)內(nèi)容如下：

第一章從多模態(tài)翻譯實(shí)踐及研究現(xiàn)狀闡明選題的背景及意義，介紹了全書的主要論點(diǎn)和大致結(jié)構(gòu)，明確其研究目的——建立針對(duì)多模態(tài)翻譯的文本分析模式。

第二章梳理了社會(huì)符號(hào)學(xué)及多模態(tài)研究的文獻(xiàn)，探究了各類模式的組織方式，彼此之間的異同，界定了多模態(tài)文本的概念，探討了語(yǔ)言、視覺和聲音3種模態(tài)與皮爾斯符號(hào)學(xué)中3種符號(hào)的關(guān)系，歸納出多模態(tài)翻譯文本分析的3個(gè)維度：不同模態(tài)各自的特點(diǎn)、各模態(tài)的合作互動(dòng)、語(yǔ)境和受眾的背景知識(shí)。此外，該章還介紹了社會(huì)符號(hào)學(xué)中“自上而下”和“自下而上”的兩種多模態(tài)研究途徑，并對(duì)其成就和缺陷進(jìn)行了批判性分析。

第三章是對(duì)多模態(tài)文本的語(yǔ)用學(xué)分析，分為兩部分。一是評(píng)估語(yǔ)用學(xué)對(duì)分析多模態(tài)文本的適用性，指出“語(yǔ)用學(xué)不僅可以用來(lái)分析多模態(tài)文本，而且還是開啟多模態(tài)世界的鑰匙”(Dicerto 2018: 42)；二是對(duì)比“合作原則”和“關(guān)聯(lián)理論”對(duì)多模態(tài)文本意義的解釋力，發(fā)現(xiàn)關(guān)聯(lián)理論最適合用于多模態(tài)文本的語(yǔ)用分析，指出多模態(tài)翻譯是雙重明示-推理過程，譯文與原文的最佳釋義相似性是譯者運(yùn)用多模態(tài)資源的指導(dǎo)原則和終極目標(biāo)(Dicerto 2018: 57)。

第四章是全書的核心內(nèi)容，呈現(xiàn)了多模態(tài)文本分析模式的3個(gè)維度。第一維度是多模態(tài)語(yǔ)用意義，作者借用了關(guān)聯(lián)理論的核心概念，認(rèn)為多模態(tài)文本語(yǔ)義表征的語(yǔ)用學(xué)基礎(chǔ)是“最佳關(guān)聯(lián)性”，其邏輯處理是基于推理而不是語(yǔ)法。第二維度是多模態(tài)文本的語(yǔ)義表征，體現(xiàn)在多模態(tài)互動(dòng)關(guān)系框架之中，包含互動(dòng)方式和結(jié)果。第三維度是個(gè)體模態(tài)的語(yǔ)義表征，分別針對(duì)語(yǔ)言、視覺和聲音3種模態(tài)進(jìn)行闡述。該章還通過探討多模態(tài)文本的轉(zhuǎn)錄、切分工具提高了分析模式的操作性。

第五章簡(jiǎn)要介紹了應(yīng)用多模態(tài)文本分析模式時(shí)語(yǔ)料的選取、分析步驟和編碼系統(tǒng)，對(duì)12個(gè)多模態(tài)文本做了案例分析，文本類型分為表達(dá)型、信息型和操作型3類，涵蓋漫畫、網(wǎng)頁(yè)、兒童讀物、雜志、海報(bào)、傳單和廣告等。作者對(duì)每個(gè)文本都從3個(gè)維度討論了潛在的翻譯問題及可行的解決方案，最后總結(jié)出了多模態(tài)文本翻譯問題的兩個(gè)普遍特征。

第六章評(píng)估了文本分析模式對(duì)多模態(tài)翻譯實(shí)踐的指導(dǎo)力和局限性，指出該模式今后的完善方向，特別提到對(duì)文本與信息接收者之間的關(guān)系，信息接收者對(duì)文本與自身相關(guān)性認(rèn)知的考察。最后，作者展望了該模式在視聽翻譯、本地化翻譯、譯員培訓(xùn)及其他多模態(tài)相關(guān)領(lǐng)域的應(yīng)用前景以及可對(duì)分析框架做出的針對(duì)性調(diào)整。

三、學(xué)術(shù)貢獻(xiàn)

描繪多模態(tài)翻譯的宏觀圖景是一項(xiàng)跨學(xué)科工程，但究竟應(yīng)該納入哪些學(xué)科，這種跨學(xué)科研究應(yīng)該如何開展尚未達(dá)成共識(shí)。絕大多數(shù)關(guān)于多模態(tài)翻譯的研究都是針對(duì)特定領(lǐng)域的多模態(tài)翻譯進(jìn)行的，并不足以說(shuō)明多模態(tài)翻譯活動(dòng)的全貌和普遍規(guī)律。該書區(qū)別于這些研究之處在于對(duì)多模態(tài)翻譯活動(dòng)宏觀特征的把握，將各種文本類型、靜態(tài)、動(dòng)態(tài)都囊括其中。該書在理論建構(gòu)中博采眾長(zhǎng)，不拘泥于單一的學(xué)科領(lǐng)域，以翻譯為出發(fā)點(diǎn)，吸收融合了社會(huì)符號(hào)學(xué)、語(yǔ)用學(xué)、系統(tǒng)功能語(yǔ)言學(xué)和多媒體語(yǔ)義研究的成果。該書的最大貢獻(xiàn)在于創(chuàng)建的多模態(tài)翻譯文本分析模式以及應(yīng)用該模式對(duì)真實(shí)的翻譯語(yǔ)料進(jìn)行的案例分析，這對(duì)于翻譯研究和譯員培訓(xùn)都具有相當(dāng)重要的意義。

3.1 對(duì)多模態(tài)翻譯研究的認(rèn)識(shí)論意義

多模態(tài)翻譯目前尚未有公認(rèn)一致的定義。在近兩年國(guó)內(nèi)有代表性的多模態(tài)翻譯研究綜述中，王紅芳、喬孟琪(2018)將多模態(tài)翻譯區(qū)別于視聽翻譯和多媒體翻譯，認(rèn)為多模態(tài)翻譯即“多模態(tài)話語(yǔ)意義的翻譯”，其理論基礎(chǔ)包括“多模態(tài)話語(yǔ)與多模態(tài)話語(yǔ)分析、與多媒體技術(shù)相關(guān)的理論知識(shí)及符際翻譯”；許勉君(2017)認(rèn)為多模態(tài)翻譯的含義包括多模態(tài)話語(yǔ)的翻譯、不同模態(tài)之間的轉(zhuǎn)換或綜合運(yùn)用以及翻譯教學(xué)和實(shí)踐中的多模態(tài)理論運(yùn)用。參照J(rèn)akobson對(duì)翻譯的分類方法，依據(jù)目前多模態(tài)翻譯中實(shí)際涉及的轉(zhuǎn)換對(duì)象來(lái)看，國(guó)內(nèi)研究的絕大多數(shù)多模態(tài)翻譯屬于語(yǔ)際翻譯，最典型的是字幕和漫畫翻譯。雖然此類文本本身包含多種模態(tài)，但實(shí)際翻譯中只存在語(yǔ)言轉(zhuǎn)換，并不涉及非語(yǔ)言模式(如電影聲像和漫畫圖片)的轉(zhuǎn)換或調(diào)整。在這類研究中，非語(yǔ)言模態(tài)僅被視為語(yǔ)言轉(zhuǎn)換的“限制性”因素用來(lái)評(píng)價(jià)譯文(余小梅、耿強(qiáng) 2018: 79)。該書在討論此類文本的翻譯時(shí)，最大的突破之處在于將視覺模態(tài)納入翻譯活動(dòng)中的可操作對(duì)象加以考察，例如在分析“The Backbone”(下頁(yè)圖1)漫畫的翻譯策略時(shí)，考慮到圖中V型手勢(shì)含義的目的語(yǔ)文化(該書以意大利語(yǔ)作為目的語(yǔ))中的信息缺失，而該信息又是理解圖文關(guān)系的關(guān)鍵，作者提出對(duì)圖中V型手勢(shì)做出改動(dòng)，替換成目的語(yǔ)文化中相同性質(zhì)的手勢(shì)，或在旁邊用對(duì)話框插入侮辱性的語(yǔ)言。這一做法的實(shí)際操作性如何暫且不論，重要的是展現(xiàn)出了新的可能性。類似關(guān)于翻譯中視覺模態(tài)的調(diào)整轉(zhuǎn)換在其他案例分析中也有探討。由此可見，多模態(tài)文本的翻譯不僅涉及語(yǔ)際轉(zhuǎn)換，也可能存在“符際轉(zhuǎn)換”。該書中出現(xiàn)的“符際轉(zhuǎn)換”不同于符際翻譯，是特指同一非語(yǔ)言符號(hào)系統(tǒng)內(nèi)的轉(zhuǎn)換，這種轉(zhuǎn)換具有跨文化意義，值得翻譯研究者進(jìn)一步探討。

圖1 The Backbone (Dicerto 2018: 105)

3.2 對(duì)譯員培訓(xùn)的指導(dǎo)意義

多模態(tài)文本由不同模態(tài)共同建構(gòu)意義，相互交織關(guān)系復(fù)雜(Kress & van Leeuwen 1996: 21)，若譯員缺乏對(duì)各模態(tài)對(duì)于意義建構(gòu)和信息傳遞的系統(tǒng)認(rèn)識(shí)和整體把握，一來(lái)無(wú)法對(duì)文本做出全面、深入的解讀，二來(lái)無(wú)法利用多模態(tài)資源重新建構(gòu)與源文本釋義相似的目標(biāo)文本。對(duì)此類文本進(jìn)行翻譯需要譯員進(jìn)行“認(rèn)知性翻譯”，有意識(shí)地分析翻譯問題并選擇解決策略，而非僅僅依靠本能和自然聯(lián)想進(jìn)行“直覺性翻譯”(賀鶯 2016: 87)。Taylor談到，如果各模態(tài)建構(gòu)意義的方式及其關(guān)系能夠得到確定，那么譯者在視聽翻譯中就有望得到一個(gè)有力工具(Taylor 2013: 99)，該書的獨(dú)特貢獻(xiàn)正是在于通過確定多模態(tài)文本的信息結(jié)構(gòu)為譯者提供了一個(gè)文本分析工具，通過對(duì)文本特點(diǎn)和翻譯中潛在難點(diǎn)的細(xì)致分析，為翻譯做準(zhǔn)備(Williams & Chesterman 2014: 9)。諾德也在《翻譯的文本分析模式：理論、方法及教學(xué)應(yīng)用》(第二版)的引言部分闡述了翻譯中進(jìn)行文本分析的必要性，指出文本分析“是確保準(zhǔn)確、全面地理解源語(yǔ)文本的唯一途徑”，以翻譯為導(dǎo)向的文本分析應(yīng)為譯者提供“永久性的參考框架”，使其明確翻譯問題，從而在翻譯過程中做出相應(yīng)決策(諾德 2013: 1)。譯員應(yīng)用該書提供的模式對(duì)多模態(tài)文本傳遞信息的方式進(jìn)行分析，能提高翻譯實(shí)踐中的問題意識(shí)，從對(duì)多模態(tài)文本“無(wú)意識(shí)”的“直覺性翻譯”轉(zhuǎn)向“有意識(shí)”的“認(rèn)知性翻譯”。

四、不足與局限

作為多模態(tài)文本分析框架，該模式涵蓋了多模態(tài)文本的各個(gè)方面，從分組到個(gè)體模態(tài)再到模態(tài)間的互動(dòng)，最后到文本的推理意義，細(xì)致全面地呈現(xiàn)出多模態(tài)的信息結(jié)構(gòu)和意義生成。但是分析框架中多模態(tài)互動(dòng)關(guān)系類型的窮盡性、界限性和分類標(biāo)準(zhǔn)值得進(jìn)一步商榷。作者對(duì)每一種互動(dòng)類型概念的定義不夠充分、明確，且缺乏舉例解釋。這一點(diǎn)似乎也是多模態(tài)話語(yǔ)研究的通病，朱永生(2007: 85)就曾表示，多模態(tài)之間的“互動(dòng)關(guān)系和互補(bǔ)作用難以確定”。

多模態(tài)文本分析模式局限于多模態(tài)的語(yǔ)義信息，仍然停留在語(yǔ)義分析的層面，即確定構(gòu)成成分之間的“結(jié)構(gòu)”概念，將各模態(tài)視作多模態(tài)文本的構(gòu)成成分，試圖以模態(tài)互動(dòng)關(guān)系來(lái)確定多模態(tài)結(jié)構(gòu)，然而多模態(tài)文本還有其他重要的維度，例如布局結(jié)構(gòu)傳遞的美學(xué)信息。

作者將該研究考察的多模態(tài)類型界定為語(yǔ)言、視覺和聲音，這3種模態(tài)在前4章的討論中均有涉及，然而第五章實(shí)際應(yīng)用中用到的語(yǔ)料都是靜態(tài)的視覺文本，沒有包含聲音模態(tài)的動(dòng)態(tài)文本。

該模式運(yùn)用在譯者實(shí)際的文本分析中有以下幾點(diǎn)缺陷：1) 模態(tài)互動(dòng)分類繁多，譯員使用起來(lái)有一定的困難。正因?yàn)槿绱耍髡咭渤姓J(rèn)該模式不適用于專業(yè)譯者快節(jié)奏的日常翻譯活動(dòng)。當(dāng)然，這并不否認(rèn)該模式對(duì)于拓寬譯者對(duì)多模態(tài)文本的認(rèn)識(shí)，提高其分析能力上的作用。2) 在很多情況下，解讀多模態(tài)語(yǔ)義表征需要額外的語(yǔ)境知識(shí)，如作者分析圖1的時(shí)候指出有兩個(gè)背景是理解的必要前提，一是漫畫上方的文字“My message to conservative members, the backbone of our party”是卡梅隆社交媒體上的推文，二是漫畫中掌心向內(nèi)的V型手勢(shì)在英國(guó)文化中是一種侮辱和挑釁。沒有背景知識(shí)，我們就無(wú)法判斷圖文的互動(dòng)關(guān)系。相反，如果譯者已經(jīng)具備背景知識(shí)，則無(wú)需互動(dòng)框架也可以推理出明示意義和隱含意義。

五、啟示

國(guó)內(nèi)多數(shù)的多模態(tài)翻譯研究是應(yīng)用研究，多是套用多模態(tài)話語(yǔ)分析理論對(duì)特定類型文本譯文的翻譯批評(píng)研究，研究對(duì)象、視角和方法較為單一，且多數(shù)研究成果零散，翻譯學(xué)尚缺乏能用于深入分析多模態(tài)文本翻譯的理論模型(許勉君2017: 43、45)。筆者希望借由該書的評(píng)述引起我國(guó)翻譯學(xué)界對(duì)多模態(tài)翻譯理論建構(gòu)的重視。目前國(guó)內(nèi)外雖有一些較為成熟的多模態(tài)話語(yǔ)分析理論，但在多模態(tài)文本的翻譯研究中大多將其生搬硬套。若要真正建立起成熟的多模態(tài)翻譯理論還需結(jié)合翻譯活動(dòng)本身的特點(diǎn)和翻譯理論，國(guó)內(nèi)在這方面理論創(chuàng)新的嘗試還較少，尚未出現(xiàn)建構(gòu)完備的多模態(tài)翻譯理論框架。多模態(tài)翻譯研究需要放眼多模態(tài)話語(yǔ)研究以外的世界。潘艷艷、李戰(zhàn)子(2017)通過歸納以2003—2017年國(guó)內(nèi)外語(yǔ)類為主的核心期刊發(fā)現(xiàn)國(guó)內(nèi)多模態(tài)話語(yǔ)分析主要以社會(huì)符號(hào)學(xué)和系統(tǒng)功能語(yǔ)言學(xué)為理論基礎(chǔ)，指出多模態(tài)話語(yǔ)研究的未來(lái)發(fā)展應(yīng)該融合視角，擴(kuò)展領(lǐng)域及拓寬視野，探索其他路徑。陳風(fēng)華、維勒索(2017)在對(duì)國(guó)內(nèi)外核心期刊進(jìn)行知識(shí)圖譜演化分析的基礎(chǔ)上提到多模態(tài)話語(yǔ)研究作為新興學(xué)科仍然缺乏獨(dú)立、完整的理論儲(chǔ)備，需要走一條多學(xué)科融合的發(fā)展路徑。因此，多模態(tài)翻譯研究的理論建設(shè)若只關(guān)注多模態(tài)話語(yǔ)研究成果，只是一味借鑒，便只能尾隨其后，受限于這個(gè)特定研究領(lǐng)域的發(fā)展水平。多模態(tài)翻譯研究作為一門獨(dú)立的研究領(lǐng)域應(yīng)當(dāng)培養(yǎng)自身直接從其他學(xué)科獲取養(yǎng)分的能力，從多模態(tài)話語(yǔ)分析單腿跳發(fā)展為多足鼎立的研究局面。

翻譯學(xué)界尚缺乏對(duì)多模態(tài)翻譯理論的建構(gòu)，該書是一次大膽創(chuàng)新和成功嘗試，從多模態(tài)研究成果的梳理、發(fā)展現(xiàn)狀的分析以及研究方法的歸納評(píng)述，到理論基礎(chǔ)的確立、分析框架的建構(gòu)，再到實(shí)際應(yīng)用，雖然并不盡善盡美，但研究前景廣闊，既可在此基礎(chǔ)上進(jìn)行完善，亦可作為其他相關(guān)研究的起點(diǎn)。同時(shí)，書中的文獻(xiàn)綜述體現(xiàn)了國(guó)外多模態(tài)研究領(lǐng)域的發(fā)展?fàn)顩r和最新進(jìn)展，內(nèi)容翔實(shí)，分析到位，對(duì)剛接觸該領(lǐng)域的研究者而言是不錯(cuò)的入門讀物。最后，該書針對(duì)多模態(tài)翻譯建構(gòu)的文本分析模式豐富了譯者的學(xué)習(xí)包和工具箱。