跨模態(tài)傳播新路徑：評?《多模態(tài)翻譯理論與實踐研究》

摘要：在對 《多模態(tài)翻譯理論與實踐研究》一書進行述評的基礎上，本文從跨模態(tài)傳播重構、符際傳播重釋、文化符號的多維傳播重寫等方面探索跨模態(tài)國際傳播的有效路徑。研究發(fā)現，跨模態(tài)國際傳播可充分理解本土文化和目標傳播環(huán)境，利用符號的模態(tài)資源再配置實現跨符號、跨媒介的意義再闡釋和再表達。未來可利用人工智能和大語言模型技術的應用提高跨模態(tài)國際傳播的效率。研究結果可為跨模態(tài)國際傳播提供啟示和借鑒。

關鍵詞：多模態(tài)文本；跨模態(tài)傳播；文化符號；國際傳播

全球化和讀圖時代，多模態(tài)傳播成為視聽媒體信息傳播的主要形式，多模態(tài)不僅豐富了傳播方式，也極大地提高了信息的表達力和感染力。隨著數字技術的快速發(fā)展，多模態(tài)文本的國際傳播面臨著傳統和創(chuàng)新融合的機遇和挑戰(zhàn)。多模態(tài)文本翻譯不再是傳統意義上的語言轉換，而是涉及跨模態(tài)、跨符號和跨媒介重構，以及文化意義的再創(chuàng)造。比如，一個成功的品牌國際傳播，不僅是語言信息的準確傳達，更是品牌形象和文化價值觀念的全球重塑，涉及圖像、聲音、文字等多種符號系統的有機結合和創(chuàng)新性重構，以適應不同文化的接受習慣和審美標準。[1]

相關研究或聚焦多模態(tài)文本的符號特征，或著重分析多模態(tài)翻譯策略，或關注多模態(tài)傳播的話語路徑，[2][3][4]較少結合符際翻譯和國際傳播視角進行跨模態(tài)符際傳播研究。浙江萬里學院王洪林教授的新作 《多模態(tài)翻譯理論與實踐研究》一書在一定程度上彌補了先前研究的不足。該書兼顧多模態(tài)翻譯理論和國際傳播實踐，從符號學和多模態(tài)雙重理論視角出發(fā)，探討跨文化語境下多模態(tài)翻譯的跨符號和跨媒介表意路徑；以視覺和視聽多模態(tài)翻譯的國際傳播為實踐案例分析，并從符際書寫視角提出中國地方特色文化國際傳播的對策建議。該書除緒論和結語外，共有五章，以多模態(tài)翻譯研究的學術史考察、視覺多模態(tài)翻譯案例分析、視聽多模態(tài)翻譯案例分析、中國文化對外傳播中的多模態(tài)翻譯和符際書寫、多模態(tài)翻譯研究焦點與前瞻為主題，分別從理論闡釋到案例分析，從跨符號表意到符際書寫，從多模態(tài)翻譯到國際傳播，從品牌、電影、宣傳片到兒童繪本故事和地方文化國際傳播展開分析，層層遞進，其研究視角和觀點具有創(chuàng)新性，對多模態(tài)翻譯，以及全球品牌和文化的國際傳播研究和實踐均具有實際借鑒和啟示價值。

本文在國際傳播視域下，從符號學和多模態(tài)翻譯學的跨學科視角，探討多模態(tài)文本的跨符號和跨媒介重構實踐，基于 《多模態(tài)翻譯理論與實踐研究》一書的述評探索跨模態(tài)國際傳播的有效路徑，以不斷優(yōu)化視聽跨文化信息的傳播和接受效果。

一、跨符號和跨語言的跨模態(tài)傳播重構

意義是視聽多模態(tài)文本傳播過程中的核心問題。多模態(tài)文本通過圖像、聲音、文字等多種符號的組合和配置，提供視覺、聽覺、觸覺等不同模態(tài)的信息體驗，使得抽象或復雜的概念更容易被理解。通過多感覺的刺激，更強烈地影響受眾的情感和認知。而在跨文化和跨語言語境中，傳播發(fā)送端和接收端文化和語言的差異使得傳播過程中不可避免地發(fā)生意義的重構和重新解讀，主要涉及意義再生、意義變異、多模態(tài)符號再配置等方面。

意義再生指跨模態(tài)傳播中原有的符號信息被重新解讀和表達，重新構建信息意義，使之適應新的文化語境。意義變異的產生通常是由于接收者/解讀者文化背景的差異，導致原始信息的意義在新的文化語境下發(fā)生變化。意義再生和變異是 《多模態(tài)翻譯理論與實踐研究》一書的核心理論觀點之一。王洪林指出，多模態(tài)翻譯涉及跨文化語境下語言符號和非語言符號的互相配合，共同參與意義建構。因此，相對于單一文化符號文本翻譯的意義轉換過程，多模態(tài)文本翻譯需要處理并調和原始文本和譯文中的文化差異，其意義轉換和再生涉及更突出的變異問題。比如，華為中英文網站對平板電腦和手機互聯功能進行宣傳時，中英文網站的圖片和圖形均相同，中文網站配文 “雙設備”“優(yōu)勢互補”，英文網站配文 “One Super Device”，前者關注平板電腦和手機兩種設備的優(yōu)勢互補功能，后者則從整體上關注將兩種功能合二為一形成的超級設備，而不同的解讀者又將對中英文網站不同的圖文符號配置進行不同視角的解讀，從而產生意義的變異和

無限衍義。

除此之外，意義再生和變異過程還涉及多模態(tài)符號的重新配置。76集電視連續(xù)劇 《甄嬛傳》在美國播出時剪輯為6集，美國版精簡故事情節(jié)，對視覺表達效果和表達方式、配樂、臺詞及字幕翻譯等視聽符號進行重新配置，構建新的敘事和符號意義，實現意義的再闡釋和表達。如美國版中向皇上下跪的畫面，配有中文字幕 “參見皇上”以及英文字幕 “bow in respect” （直譯為恭敬鞠躬），由于中西宮廷禮儀文化差異，英文字幕中的 “bow” （鞠躬）與畫面中的下跪動作在符號意義上不是一一對應關系，西方受眾需結合視覺模態(tài)的下跪畫面，才能理解中國宮廷禮儀中 “參見皇上”的符號意義。

自20世紀50年代雅各布森 （Roman Jakobson）提出語內、語際和符際翻譯概念以來，大部分學者關注語際翻譯，較少關注符際翻譯，更少有兼顧語際和符際翻譯的研究。《多模態(tài)翻譯理論與實踐研究》一書將多模態(tài)翻譯和國際傳播視域相結合，追問符際翻譯中的意義再生和變異，并將意義再生和變異機制用于闡釋阿里巴巴集團中英文官網品牌標識翻譯、華為官網產品圖文說明翻譯等場景，這為商業(yè)品牌通過視覺多模態(tài)翻譯策略來適應和優(yōu)化其在目標文化市場中的品牌識別和產品特色信息傳達提供了新的思路。但該書對多模態(tài)傳播中意義再生和變異的理論建構主要基于案例和質性分析，尚未建立系統的理論框架，因而在跨符號和跨語言的意義機制解讀上存在一定的主觀性。后續(xù)研究可進一步利用多模態(tài)翻譯和國際傳播視域的互補性，增加定量分析數據，對跨模態(tài)國際傳播過程中的意義再生和變異機制進行更深入的闡釋。

二、跨文化和跨媒介的符際傳播重釋

電影、電視、短視頻、廣播、網絡直播、虛擬現實等視聽媒介，通過視覺和聽覺手段提供豐富而多維的信息體驗。由于媒介的不同特點，如電影通過講述完整的故事，能夠提供深刻的情感體驗和視覺沖擊；短視頻易于分享，適合快速傳播；網絡直播提供即時互動和反饋等，不同媒介可實現不同的傳播目的，優(yōu)化信息的全球傳播和接受效果。同時，視聽媒介的信息內容和多模態(tài)符號呈現方式各異，信息的內容、形式、情感、文化內涵將適應其選擇的媒介傳播渠道而各不相同。國際傳播背景下，如何借助符號的媒介資源轉換，實現有效的多模態(tài)信息再闡釋和表達，是跨模態(tài)、跨文化和跨媒介信息傳播的關鍵問題。

《多模態(tài)翻譯理論與實踐研究》在視聽多模態(tài)傳播章節(jié)詳細分析的 《三只小豬》正是不同國家、不同文化背景下跨媒介傳播的典型案例。英國童話故事 《三只小豬》在全球廣為流傳，有不同的媒介形式，包括繪本、動畫片、電視劇、電影、廣播劇、舞臺劇等；不同的文體，包括兒歌、短篇故事、繪本故事、晚安故事等；三只小豬的繪本插圖和影視劇形象各異，包括保留動物原型、擬人化形象，以及在中國動畫片中模仿豬八戒半人半豬的形象等。動畫片中色彩鮮艷的畫面和動感的音樂協同作用，講述了生動有趣的故事并營造了童趣氛圍，廣播劇通過語音表演和聲音效果的聽覺刺激引發(fā)聽眾的想象力，舞臺劇則結合了表演、布景、音樂等多種元素，通過現場互動增強觀眾的體驗感和參與感。除此之外，類似的跨文化和跨媒介傳播案例如 《哈利·波特》系列在全球范圍內被翻譯成多種語言，通過電影、舞臺劇、視頻游戲、網絡平臺、主題公園等多種形式的媒介傳播；中國古典小說 《西游記》通過電視劇、電影、動畫片、舞臺劇、視頻游戲和漫畫等媒介在全球傳播，孫悟空、唐僧、豬八戒和沙僧在不同文化中被改編為不同的符號形象，中國文化元素不斷重塑、闡釋、傳播、接受。

值得注意的是，該書探討視聽多模態(tài)翻譯中的符號關系、文化符號的意義轉換，以及多模態(tài)符號在跨語言、跨文化、跨媒介傳播中的闡釋和衍義問題，但主要聚焦視覺模態(tài)和視聽模態(tài)，未涉及聽覺模態(tài)的案例分析；主要聚焦語言符號和非語言符號間的符號轉換，未涉及非語言符號間的符號轉換研究。比如，影片 《臥虎藏龍》成功的原因之一是其配樂大量使用了中國傳統樂器如二胡和古箏，同時結合西方管弦樂，創(chuàng)造出一種既有東方神秘感又符合西方聽眾審美的音樂風格。這種音樂的跨文化融合不僅增強了影片的情感表達，還能幫助西方觀眾更好地理解和感受中國文化的獨特美學，實現聽覺模態(tài)的有效傳播。而配樂、人物臺詞、視覺畫面的多模態(tài)符號組合及其在國際傳播中的融通和再塑則值得進一步探索。

三、文化符號的多維傳播重寫

跨模態(tài)傳播重構以意義再生和變異為核心議題，跨媒介符際傳播關注傳播渠道的策略性使用，文化符號的傳播則關注跨文化傳播的語內、語際和符際融通與重寫。符際書寫是 《多模態(tài)翻譯理論與實踐研究》中提出的另一關鍵概念，定義為 “一種更加靈活的符際翻譯方式，借助跨語言、跨文化、跨模態(tài)、跨媒介和跨符號轉換等多種手段，可以更有效地提升跨文化傳播效果”。符際書寫與文化記憶緊密相關，在文化符號學理論視野下，它關注的是符號傳播過程中文本發(fā)送端的文化記憶及文本接收端的闡釋和意義變異。這與意義再生和變異的核心議題相呼應。在多模態(tài)文本的國際傳播過程中，符際書寫不局限于傳統 “翻譯”概念中原文和譯文的直接對應關系，而是更關注傳播效果的優(yōu)化。通過文化符號的重寫和再創(chuàng)造，以提升地方特色文化符號的本土和國際傳播效果以及國際影響力，增強文化交流的雙向性和多向性。

通過有效利用文化符號的模態(tài)資源，跨模態(tài)、跨媒介符號表意和符際書寫行為，能夠顯著提升符號意義的傳遞效果，為中國文化國際傳播提供新的視角和思路。近年來，通過對外宣傳片和包含中國特色元素的電影進行對外傳播，中國文化在國際舞臺上的呈現方式得到了創(chuàng)新性拓展。比如，中國故宮博物院利用虛擬現實技術和在線數字展覽對外展示中國藝術藏品和傳統文化。這種多模態(tài)傳播方式通過數字媒介和虛擬技術的結合，不僅提升了文化遺產的全球可達性，也創(chuàng)造了新的文化體驗方式，通過中國傳統文化和現代技術的融合，增強了文化的傳播效果和文化記憶的保存。又如，張藝謀導演的電影 《英雄》使用了高度風格化的武術符號，以及具有中國美學特色的色彩符號，如紅色、藍色、白色和綠色等來代表不同的情感，通過符際書寫將中國的武俠文化和美學轉化為全球觀眾都能欣賞和理解的視覺語言。其跨文化符號轉換不僅提升了藝術表達的深度，也增強了其全球市場的傳播力。

同時，我們也發(fā)現，不同文化空間主導的符際書寫可能影響文化記憶的傳播。比如，中國古詩 《花木蘭》講述木蘭代父從軍的故事，美國迪士尼公司將其改編為動畫和真人電影，在改編過程中，迪士尼在人物形象、情節(jié)和臺詞設計，以及畫面構圖和聲效等方面著重強調女性的自由意識和個人覺醒，增加了影片的現代感，但改變了原文本的文化內涵和歷史記憶。可以看出，在跨文化的符際書寫和國際傳播過程中，文化傳播者和翻譯者扮演著至關重要的角色。中國文化的對外傳播者需要在深入理解傳統文化核心價值和象征意義，以及國外受眾接受習慣的基礎上，調整可能被誤解或曲解的符號內容和表現形式，確保傳統文化的真實和有效傳播。

《多模態(tài)翻譯理論與實踐研究》一書主要從文化符號學視角探討跨文化的符際書寫實踐，隨著人工智能技術和大語言模型的迅速發(fā)展，國際傳播中符際書寫的內容、形式和傳播途徑都將發(fā)生極大的變化，從符號學、文化研究、媒介學、傳播學、計算機科學、計算語言學、自然語言處理等多學科視角進行跨文化、跨模態(tài)的符際書寫研究，可能成為跨文化國際傳播研究和實踐的趨勢。比如，針對多模態(tài)新聞的國際傳播，可利用NLP技術自動從不同語言的新聞源中抽取和總結新聞內容，基于符號學視角確定適應目標受眾偏好的圖像和語言符號，運用傳播學和媒介學分析新聞內容的受眾定位和媒介使用策略，并借助AI技術對新聞內容進行編譯和重寫，確保新聞在全球范圍內的及時有效傳播。

四、結束語

多模態(tài)翻譯和國際傳播涉及語言、圖像、聲音等多模態(tài)符號間的動態(tài)互動和文化意義的深層重構。本文在對 《多模態(tài)翻譯理論與實踐研究》一書進行述評的基礎上，從多模態(tài)傳播重構、符際傳播重釋、文化符號的多維傳播重寫等方面分析國際傳播視域下多模態(tài)文本的跨符號和跨媒介重構。研究發(fā)現，跨文化和跨模態(tài)符際轉換需充分考慮本土文化和快速變化的目標傳播環(huán)境，利用符號的模態(tài)資源再配置實現符號意義在國際傳播語境中的再闡釋和再表達。同時，人工智能和大語言模型技術的應用提高了翻譯的效率和準確性，也有助于更好地理解和重構復雜的文化符號。未來的研究可進一步探索這些技術在國際傳播中的應用效果，特別是如何通過技術賦能促進文化符號的表達，實現傳統文化和本土品牌的有效國際傳播。

參考文獻：

[1] 王洪林.多模態(tài)翻譯理論與實踐研究[M].杭州：浙江大學出版社，2023.

[2] 尹素偉，姚喜雙.信息傳播中互動機制的建構與意義生成：基于中美氣象頻道節(jié)目的多模態(tài)話語分析[J].現代傳播（中國傳媒大學學報），2020，42（03）：96-100.

[3] 胡蒞敏.多模態(tài)視域下原創(chuàng)繪本里中華文化符號的功能與傳播特征：基于 “豐子愷兒童圖畫書獎” 作品的文本分析[J].傳播與版權，2023（02）：91-93.

[4] 孫小孟.中國故事多模態(tài)話語敘事與國際傳播[M].成都：西南財經大學出版社，2023.