《文本與圖像：視覺和言語劃界的批評性導論》評介

李健雪　鄭慧

1.引言

繼《多模態與體裁》（Multimodality and Genre）（2008）與《多模態電影分析》（Multimodal Film Analysis）（2012）之后，德國不萊梅大學應用英語語言學教授John A.Bateman于2014年隆重推出了由勞特利奇出版社出版的學術巨著《文本與圖像：視覺和言語劃界的批評性導論》（Text and Image： A critical introduction to the visual/verbal divide.）。該書從社會符號、視覺交際、話語的心理語言學方法、廣告和視覺勸說及認知隱喻理論等多維視角，探討了文本與圖像關系的各種多模態分析方法，為英語語言和語言學、媒體傳播學、視覺設計等研究提供了理論借鑒。

2.主要內容

全書共分三個部分，每個部分又分成不同的模塊和單元。

第一部分是建立文本和圖像的聯系。這一部分由模塊一及兩個單元組成。在第1單元中，作者從多模態性和“意義增值”的關系出發，尋找建立文本與圖像聯系的基礎。作者指出，文本和圖像既非完全相似，又非截然不同，將文本和圖像結合起來，可使兩者在相似中融合、在差異中增值，從而建立兩者之間的兼容和對話。為此，作者提出了構成全書基礎的圖文關系整體觀，認為“文本和圖像是一個二維及靜態特質組成的合成體。在這個合成體中，文本和圖像既是視覺實例，又是意圖的共現”（P.28）。在第2單元中，作者以文本—圖像結合所產生的意義類型為出發點，對文本與圖像關系的研究進行了理論回顧。作者發現，自羅蘭·巴特（Roland Barthes）將文本—圖像關系劃分為錨定、說明和傳遞這三種關系以來，文本—圖像關系開始進入學術研究的領域。其中，系統功能語言學及其純理功能思想正式確定了文本—圖像的多模態意義建構關系，使視覺模式具備了語言的性質，也為視覺語法的建立奠定了理論基礎。

第二部分聚焦視覺語境，探究在不同視覺語境中，文本—圖像關系在實現多模態語篇的敘事功能（模塊二）和勸說功能（模塊三）中的途徑與方法。模塊二的主題是視覺敘事，包括第3-5單元。在第3單元中，作者引入了敘事學和語類兩大理論框架，作為視覺敘事的理論基礎。作者發現，聚焦、時間順序和敘事角度等基本的語言敘事策略，可以拓展到非語言的模態。同樣，不同語類的會呈現出獨特的語言特征，語類所表現的語言特性同樣適用于視覺模態。第4單元和第5單元分別聚焦兒童圖畫書和漫畫。作為視覺敘事的兩大典型語類，圖畫書和漫畫存在許多相似點，作者對二者做了詳細的區分，二者之間在圖文的相對位置、距離，時間順序的表現，以及同一頁面圖像數量等方面存在不同。作者認為，這些不同點會直接影響圖文關系。在第4單元中，作者首先對兒童圖畫書語類涉及的實證和理論研究進行梳理，然后概括總結出兒童圖畫書這一語類中存在的圖文關系的類型、可靠判斷組合關系的標準，以及文本—圖像關系對整體意義建構的作用（P.73）。在第5單元中，作者回顧了針對漫畫語類的研究，介紹了Neil Cohn 和Thierry Groensteen兩位學者的研究成果，并詳述了前者提出的內在關系、相鄰關系、獨立關系、浮現關系四種圖文關系（P.107）。

模塊三是視覺勸說，包括視覺修辭（第6單元）和視覺勸說與廣告（第7單元）。在第6單元中，作者首先介紹了傳統修辭分類（包括結構性修辭與轉義性修辭兩大類），然后對現有修辭研究進行了梳理和總結，發現傳統語言修辭逐漸擴展到視覺材料和語言—圖像組合的分析中。作者認為以修辭概念為基礎的文本—圖像關系分類，在可靠性、關系識別和分類效果方面還有待進一步驗證。第7單元是第6單元的延伸，即以廣告語篇中視覺修辭的實證研究為基礎，驗證了將傳統的修辭概念應用于視覺材料和圖文組合分析的可行性與效果。

第三部分涉及具體圖文關系的理論框架，由模塊四和模塊五組成。模塊四包括第8-11單元，主要側重建立語言系統框架下，以語法層面、語篇層面、修辭層面為核心的圖文關系理論框架。第8單元側重多模態銜接和圖文關系。作者介紹了現有以銜接理論為基礎建立的多模態圖文關系框架，如基于頁面的符際互補框架。這些框架雖然在概念意義層面肯定了圖像和文本之間存在著類似于語言實體之間的關系，如重復、同義、反義、部分—整體和上下義搭配關系，但作者認為這些多模態銜接框架還存在諸多問題，譬如何識別并說明多模態銜接關系、假定的銜接關系和讀者的理解過程是否一致、歸納出的銜接關系或圖文關系對解讀多模態意義的作用等。在第9單元中，作者基于現有的多模態隱喻研究，認為隱喻有能夠連接不同領域的功能（如從源域向目標域進行屬性轉移），非常適用于解釋信息在不同模態間流動的運作機制。鑒于隱喻和合成（Blending）是既有聯系又有區別的兩種概念，即前者具備定向屬性轉移且過程不可逆的特質，后者是可逆的。因此，作者認為多模態隱喻理論有助于理清多種模態結合后意義得到增值的原理，有助于說明圖像和文本關系在意義建構過程中作用。第10單元是語法層面的圖文關系建構。本章中，作者首先綜述了前人依據系統功能語法中的及物性和小句關系建立的圖文關系框架，認為此框架優點在于分類標準明確、體系具有封閉性。盡管如此，該框架也存在難以確定分析單位、忽視布局對多模態意義建構的影響、沒能涵蓋所有的圖文關系等不足，并提出了針對性的建議和設想。第11單元從語篇層面對圖文關系進行了解讀。鑒于語言不是實現交際目標的唯一方式，語篇的不同成分如連接關系和修辭結構等可以共同作用，推動語篇實現特定的交際目標。隨后作者介紹了以連接關系為基礎的圖文關系分類，以及多模態修辭結構理論（Rhetorical Structure Theory） 語篇分析法。但是作者認為前者面臨劃分標準不夠精確和實證研究數據不足的問題；后者也面臨一些挑戰，譬如修辭結構分類多大程度上可以解釋圖文關系，RST分析方法針對的是線性符號模態（如文本），對于非線性、空間性的符號模態（如圖像）的適用性問題等。

模塊5包括第12-14單元。第12單元從語用學和交往行為角度考察了文本—圖像關系的建構。作者發現從語言的角度研究視覺表征或圖文關系面臨諸多挑戰，主要原因是由于圖文關系缺少像句法、音系學、語音學這樣具體明確的分析單位，也很難識別抽象的、脫離語境的形式特征。因此，研究從純語言系統層面向語用學、視覺交際方向轉向，更有利于關注圖像的使用，而非圖像的形式，從而有效彌補語言系統解讀圖文關系的不足。語用學能夠有效解決多模態語篇中的圖片關系類型；交際行為能夠解決圖文關系（即多模態交流）以外受眾的接受過程。在第13單元中，作者介紹了探究圖文關系所用到的實證研究方法，如眼球追蹤技術（Eye-tracking methods）和語料庫方法。前者可以用來探索讀者對圖文材料實際理解和接受過程，后者可以以大量實際數據為基礎檢測圖文關系分類的信度和準確性。在第14單元中，作者總結了今后還有待研究的領域并提出了建議。

3.簡評

本書有以下幾個方面的特點：

第一，視角的廣泛性。該書涉及的內容涵蓋了社會符號學、視覺傳播學、修辭學（針對廣告和視覺勸說）、認知心理學（隱喻）等諸多方面。多模態分析對象種類多樣，包括廣告語篇、兒童圖畫書、漫畫、新聞語篇、教科書，等等。作者將多模態文本—圖文關系置于廣泛的背景之下，有助于讀者形成對圖文關系全方位的認識，對從事多模態研究的學者來說是必不可少的參考書。

第二，內容的系統性。首先，內容全面完善，本書是一部聚焦圖文關系的綜述類文獻，作者多學科多角度地介紹了現階段國外圖文關系的框架和模型，共介紹了Barthes、Kloepfer、North、Pegg、Spiller McQuarrie &Mick、Van Mulken、Groupe Mu、Forceville、Phillip & McQarrie、Martinec & Salway、Unsworth、Kong、 van Leeuwen等二十余位該領域領銜學者對于多模態研究中圖文關系的論述，他們從各自的研究興趣和關注點出發，探索文本和圖像在多模態整體意義建構中的作用，尋求多模態意義倍增的運作機制。這些學者的研究一定程度上可以代表和反映現階段國外圖文關系研究的水平和進度，研究中存在的問題和不足之處都是國內外多模態研究者未來努力的方向。其次，內容系統連貫。本書并不是簡單羅列各位學者的理論，而是采用“理論基礎導入—學者研究成果介紹—評述”的方式，對他們提出的圖文關系分類追根溯源，從理論角度論述這些圖文關系框架的分類依據，如在介紹基于頁面的符際互補框架時，作者先簡要闡述銜接理論的關鍵點，從而清晰地展示從語言向圖像—文本結合的推導過程。同時，作者比較各個圖文關系框架的異同點，如對現有研究者的圖文關系的分類進行了標注、解釋和說明，為正確把握文本—圖像關系關系及其發展提供了清晰的脈絡。

第三，理論的前瞻性。作者對各個理論框架的評述，對今后圖文關系的研究具有啟發和借鑒意義。在評估各個圖文關系分類時，作者反復強調對圖文關系的探究要注意以下五個方面：

（1）分析單位（Unit）的識別和確定問題。語言的分析單元容易確定，但是圖像的最小分析單位到目前為止沒有精確的劃分標準。如采用“視覺語法”解讀圖像意義，其方法是分解圖像，提取出視覺信息元素，然后和文本進行意義匹配，從而確定圖像—文本的關系。這種做法的弊端在于如果缺少對文本的理解，分析者就不可能提前鎖定某些視覺信息元素。也就是說，正因為圖像和文本之間存在互動，才使得一些視覺信息元素必須得以重視。

（2）重視布局（Layout）對圖文關系的影響。布局是視覺設計或頁面組織的重要組成部分，對文本的理解有很大的影響，但是在圖文關系探究中經常被忽略。Pegg（2002）的圖文關系分類就強調了頁面的布局和構成對圖文關系的影響。

（3）圖文關系分類標準的準確性有待提高。圖文關系分類容易存在不詳盡和有重疊的問題。比如Barthes（1977）提出基本的圖文關系只有三種，分類未免過于簡單，不能涵蓋所有圖文關系；Marsh 和 White（2003）的圖文關系分類包含三層，第一層分為三大類，三大類再細化為11種關系，11種關系又可以區分成30種分類，如此分類雖然很詳細，但難免會有所重疊。精準的分類標準有助于不同的分析者在使用同一種圖文關系分類框架時得到相同的結論，從而增強圖文關系框架的內部信度。

（4）根據語類探究圖文關系。Bateman（2008：147）指出不同語類的語篇不能用同一種圖文關系解釋。比如漫畫書和廣告語篇分別實現敘事和勸說兩大功能，圖文關系在實現這兩大語類功能時發揮的作用不同，存在的圖文關系也會有所差別。歸納出同一語類圖文關系的普遍模式，有利于比較不同語類在建構多模態意義時所使用策略的異同。

（5）利用實證研究增強分類的科學性。研究者在對圖文關系歸納時，如果主觀判斷讀者對于多模態文本的理解過程和結果，缺少實際數據的支撐，這樣的分類框架就有待進一步實證研究的驗證和改善。開展大量的實證研究得出的結論很可能會與理論推導出的結果不同，例如Holsanova 等人（2006）在利用眼球追蹤技術探究讀者對圖文并置的新聞語篇的理解過程時發現，根本不存在從左到右，從上到下的閱讀路徑（Reading path），讀者閱讀時會跳過某些圖片，而在“視覺語法”中，理解圖像構圖意義的方式之一是通過判斷各元素在圖像中占據不同的位置，左邊的代表已知信息，右邊的代表新信息，上方的代表理想的信息，下方的代表真實的信息。

當然，本書還存在一些不足和局限性。首先，本書將研究對象——圖文關系做了嚴格的范圍限定，必須滿足三個條件要素：視覺共存、二維平面及有意被放置在一起共同建構意義。這樣就排除了許多其他種類的組合關系，比如口語與圖像、三維的圖像文本組合。還有一些在范圍內但沒有涉及的領域，如新聞照片和文字標題的關系、網頁中的圖文關系等。這些沒有涉及的模態間關系都值得今后進一步研究。其次，本書更多關注對各個圖文關系分類的理論闡述和評估、異同點比較，缺少在實際案例中的運用。雖然給讀者展現了多種多樣的圖文關系分類框架，但是在多模態語篇分析的實際操作層面的指導相對較少，難免給分析者造成困惑。最后，本書可以用作反映多模態意義建構的教材，教材與其他理論著作在體例上有所不同，優點是具有可讀性，便于理解，但是正因為如此，對書中涉及的理論框架的闡述的深度就會有所減損。

總體來說，本書聚焦圖文關系，以清晰合理的結構安排、簡潔易懂的語言向讀者展示了現階段國外在該領域的研究成果，它的出版對今后多模態研究中的模態間相互關系探究有很多借鑒和啟發，是多模態研究中的一本重要的參考資料。

參考文獻：

[1]Bateman， J.A.2008.Multimodality and Genre： A Foundation for the Systematic Analysis of Multimodal Documents[M].London & New York： Palgrave Macmillan.

[2]Bateman，J.A.& K-H.Schmidt.2012.Multimodal Film Analysis： How Films Mean[M].London & New York ： Routledge.

基金項目：本文為江蘇省2014年度普通高校研究生科研創新計劃項目《視頻廣告的多模態批評話語分析》（編號：KYZZ_ 0312）的階段性成果。