基于符號學(xué)和系統(tǒng)功能語言學(xué)理論的圖文關(guān)系綜合探索

戴春玲 龔曉斌

引言

隨著網(wǎng)絡(luò)技術(shù)、智能手機(jī)、互聯(lián)網(wǎng)等的發(fā)展，圖像在語言中所占的比重逐漸加大，對圖像與文字關(guān)系的研究也逐漸吸引了越來越多學(xué)者的興趣。圖文關(guān)系并不是一成不變的，它不但與文本語類有關(guān)（汪燕華 2011），而且與文化環(huán)境、閱讀者的語言水平和年齡（國防 2017）、所處時代（謝忱霖 2014）都有關(guān)聯(lián)。比如文學(xué)材料中的圖文關(guān)系與網(wǎng)頁材料中的不同；幼兒圖書中的圖文關(guān)系和成人圖書中的不同；古代的圖文關(guān)系與現(xiàn)代的也不同。除此之外，圖文的意義還隨著時代的變遷相互滲透。李佩穎（2016）曾對數(shù)字媒介時代的圖文互文關(guān)系進(jìn)行研究，發(fā)現(xiàn)文學(xué)在創(chuàng)作過程中受到圖像思維的影響，圖像藝術(shù)也受到文學(xué)精神的浸潤。

對圖文關(guān)系的研究紛繁而復(fù)雜。從語篇類型來看，圖文關(guān)系研究涉及廣告語篇、科學(xué)語篇、數(shù)學(xué)語篇、文學(xué)語篇、多模態(tài)教學(xué)、傳單、檔案、教科書、圖畫書等；從研究角度來看，有從信息結(jié)構(gòu)、銜接、及物性、邏輯語義關(guān)系、語類結(jié)構(gòu)潛勢等不同角度切入研究圖文關(guān)系的。本文主要分析了符號學(xué)和系統(tǒng)功能語言學(xué)理論框架下知名學(xué)者的圖文關(guān)系理論，從而得出圖文關(guān)系探索的大致框架。

一、符號學(xué)視角下的圖文關(guān)系模式

20世紀(jì)德國著名哲學(xué)家恩斯特·卡西爾（Ernst Cassirer）在《人論》中給人下了一個全新的定義：從人類文化的角度來看，符號化的思維與符號化的行為是人類生活最富有代表性的特征，可以把人定義為符號動物（王銘玉 2015：4）。符號系統(tǒng)使得人類從本能地、被動地對外界刺激作出反應(yīng)進(jìn)化為積極主動地進(jìn)行思考。依托符號系統(tǒng)，人類能夠?qū)€人感覺傳達(dá)給其他個體，或者將知識進(jìn)行儲存以便傳達(dá)給后代。沒有符號就不可能有文化，同時文化的進(jìn)化也使符號系統(tǒng)更加體系化。眾多符號學(xué)家諸如皮爾斯（Peirce）、莫里斯（Morris）、艾柯（Ecco）、巴特（Barthes）等都對符號下過定義，然而由于思想基礎(chǔ)、出發(fā)點(diǎn)不同，符號至今沒有簡潔而清晰的定義。王銘玉（2015：12）嘗試性地對符號下定義，認(rèn)為符號是指對等的共有信息的物質(zhì)載體。具體來說，符號具有物質(zhì)性，能傳遞一種接收者共同理解的、不同于載體本身的信息。并且任何符號都由符號形式和符號內(nèi)容構(gòu)成，二者之間是對等的關(guān)系。

語言作為最常用的符號形式，是一種特殊的符號系統(tǒng)。然而隨著時代的變化和科技的發(fā)展，語言的地位發(fā)生了變化，特別是隨著圖像時代的到來，圖像符號在人們的溝通交流中占據(jù)了越來越大的比重，使得人們開始認(rèn)識到不同符號系統(tǒng)的優(yōu)缺點(diǎn)，并且開始研究怎樣使得不同的符號系統(tǒng)更好地結(jié)合在一起。

（一）巴特的圖文觀

索緒爾（1980：39）認(rèn)為語言的問題主要是符號學(xué)的問題，我們的全部論證都從這一重要的事實(shí)中獲得意義。要發(fā)現(xiàn)語言的真正本質(zhì)，首先必須知道它與其他一切同類的符號系統(tǒng)有什么共同點(diǎn)。在索緒爾語言符號理論的啟發(fā)下，法國符號學(xué)家巴特（1977）對圖文關(guān)系提出了自己的認(rèn)識。巴特選擇廣告圖文作為研究對象，認(rèn)為廣告圖像中包含三種信息：文本信息（linguistic message）、有符碼的像符信息（coded iconic message）和無符碼的像符信息（non-coded iconic message）。在巴特看來，所有的圖像都是多義的，在圖像的“能指”之下暗藏著一長串“所指”，而文字就是用來固定圖像一部分意義的工具之一。同時，巴特還指出圖像和文字之間存在三種關(guān)系：錨定（Anchorage：文字固定一部分圖像意義）、圖解（Illustration：圖像解釋文字）和接力（Relay：兩者地位平等，相互補(bǔ)充）。

（二）Kress&Leeuwen的視覺語法

雖然國內(nèi)有大量文獻(xiàn)將克雷斯（Kress）和路溫（Leeuwen）的研究成果歸于多模態(tài)和系統(tǒng)功能視角下，誠然他們的理論框架建立在韓禮德系統(tǒng)功能語言學(xué)中“語言三大元功能”基礎(chǔ)之上，然而這兩位學(xué)者在Reading Images一書中這樣寫道：“我們關(guān)于視覺表征的研究是建立在‘社會符號學(xué)'的理論框架內(nèi)的”（Kress&Leeuwen 2006：6）。故而本文將二位的研究成果置于符號學(xué)框架之內(nèi)。

克雷斯和路溫（2006：18）認(rèn)為巴特的研究漏掉了很重要的一點(diǎn)：文本中的視覺成分本身就是一個有著獨(dú)立組織結(jié)構(gòu)的信息，雖與文本相連接，卻并不依賴它，反之亦然。根據(jù)韓禮德的系統(tǒng)功能學(xué)理論，語言同時體現(xiàn)三種元功能：概念功能（ideational metafunction）、人際功能（interpersonal metafunctional）和語篇功能（textual metafunction）。與韓禮德的三大元功能相對應(yīng)，圖像也有三大意義：再現(xiàn)意義（representational meaning）、互動意義（interactive meaning）和構(gòu)圖意義（compositional meaning）。

再現(xiàn)意義主要有兩種類型：敘事的（narrative）再現(xiàn)和概念的（conceptual）再現(xiàn)。敘事過程和概念過程的區(qū)別在于“敘事結(jié)構(gòu)永遠(yuǎn)都有一個矢量，而概念結(jié)構(gòu)中沒有矢量的存在”（Kress&Leeuwen 2006：59）。敘事結(jié)構(gòu)描述的是正在進(jìn)行的動作、事件或變化過程，而概念結(jié)構(gòu)描述的是概括性的、靜止永恒的分類、結(jié)構(gòu)或意義等。互動意義由接觸（contact）、距離（social distance）和態(tài)度（attitude）三部分組成。除此之外，互動意義還有另一個重要的組成成分：情態(tài)（modality）。“情態(tài)”一詞來源于語言學(xué)。在功能語法中，“除了yes和no之外，還有過渡狀態(tài)，即處于中間的各種類別，統(tǒng)稱為情態(tài)”（韓禮德 2010：99）。而在視覺語法中，“視覺效果可以將人、地點(diǎn)和事物視為真實(shí)，好像它們確實(shí)以這種方式存在，或者就像它們不存在一樣——好像它們是想象、幻想、漫畫等”（Kress&Leeuwen 2006：156）。視覺效果的真實(shí)度越高，情態(tài)越高；反之則情態(tài)降低。隨著色彩飽和度（colour saturation）、色彩區(qū)分度（colour differentiation）、色彩調(diào)節(jié)度（colour modulation）的升高，情態(tài)會逐漸升高，至最高點(diǎn)后又會逐漸下降，如圖1所示：

圖1

構(gòu)圖意義對應(yīng)功能語法中的語篇功能，有三個組成成分：信息值（information value）、顯著性（salience）和邊框（framing）。事物在圖片中的不同位置有不同的信息值，比如左邊的事物被默認(rèn)為已知信息（given），而右邊的事物被默認(rèn)為新信息（new）。圖像上方往往是理想性（ideal）的事物，而下方往往是現(xiàn)實(shí)性（real）的事物。顯著性指的是圖片某元素吸引注意力的程度，由色彩對比、所處位置、視角等復(fù)雜因素決定。最后邊框指的是事物之間的連接程度。通過加入分割線或分割框架，元素被分離，元素之間的從屬關(guān)系也更清晰。

克雷斯和路溫的視覺語法意在表明圖像也有自己的表意結(jié)構(gòu)，與文字一樣具有三大元功能，只是實(shí)現(xiàn)其功能的方式不同。圖文關(guān)系可從構(gòu)圖意義中側(cè)面推斷出，比如，若文字在左圖片在右，則說明文字相對于圖片來說是已知信息。除此之外，路溫（2005：230）進(jìn)一步完善了巴特的圖文關(guān)系理論，如表1所示。該表中將圖文關(guān)系分為詳述和延展兩大類，并對兩類關(guān)系進(jìn)行進(jìn)一步細(xì)分?？梢钥闯觯诎吞氐娜髨D文關(guān)系的基礎(chǔ)上增加了解釋、類似和相反三種圖文關(guān)系，補(bǔ)充了巴特理論的空缺。同時，克雷斯和路溫（2002）對顏色有特殊的看法，他們認(rèn)為顏色并不是實(shí)現(xiàn)元功能的元素之一，而是一種獨(dú)立的模態(tài)。但是與文字模態(tài)和圖像模態(tài)不同的是，顏色模態(tài)不能單獨(dú)存在，而是“只能存在于多模態(tài)的環(huán)境中”。

表1

與克雷斯和路溫的研究成果類似的有萊姆基（Lemke，1998：91-94）。同是在元功能思想的指引下，萊姆基研究了科學(xué)語篇的圖文關(guān)系后認(rèn)為多符號模態(tài)的意義構(gòu)建包含表達(dá)意義（presentational functions）、指向意義（orientational functions）和組織意義（organizational functions），并認(rèn)為不同模態(tài)的符號基本上是不可通約的。

（三）Peirce的符號思想

圖像和文字作為兩種重要的符號組成成分，在符號學(xué)研究中得到了充分的體現(xiàn)。皮爾斯（Peirce）在“范疇”思想的影響下提出了自己的“范疇”觀點(diǎn)。他認(rèn)為，任何判斷或命題都應(yīng)該包括三個成分：第一性、第二性和第三性（張彩霞 2015：76）。第一性是事物本身，與其他事物不發(fā)生關(guān)聯(lián)。皮爾斯認(rèn)為它是一種“感覺質(zhì)（QualityofFeeling）”。第一性也可以被描述為一種可能性，比如顏色，無論某種顏色是否被視覺觀察到，它都是獨(dú)立存在的，不受時間、空間的約束。第二性是第一性的外在表現(xiàn)，相對于第一性而存在。它是兩種事物的相互作用過程，這個過程沒有被第三者感知或理解。比如雨滴掉落在樹葉上發(fā)出沙沙的聲音，就是一種第二性存在。第二性必須依存一定的時間和空間存在，是現(xiàn)實(shí)性的、經(jīng)驗(yàn)性的。當(dāng)雨滴掉落在樹葉上的聲音被某個人感知，從而生出了“下雨了”的想法時，就是第三性的存在了。第三性的存在將第二者和第三者相連接，沒有了第一性和第二性，第三性也無法存在。簡而言之，第一性以知覺或感覺的樣式存在；第二性以經(jīng)驗(yàn)或活動的樣式存在；第三性則以思維或符號的樣式存在。

在三個“普遍范疇”的理論下，皮爾斯又提出了符號的三要素：媒介關(guān)聯(lián)物（M-medium）（代表第一項(xiàng)）、對象關(guān)聯(lián)物（O-object）（代表第二項(xiàng)）和解釋關(guān)聯(lián)物（I-interpret）（代表第三項(xiàng)）（王銘玉 2013：109-114）。也就是說，任何符號都要具備這三個要素，否則就不是一個完整的符號。符號的三要素也可以兩兩之間相互組合，形成符號的“下位符號”。如表2所示：

表2

如表2所示，符號的三要素相互之間兩兩組合后可以形成9種下位符號。其中的象似符號是通過對所描寫對象的寫實(shí)或模仿來進(jìn)行表征的。圖像、圖案、模型、草圖、比喻等都屬于象似符號，而文字則是一種完整的符號。從中可以發(fā)現(xiàn)文字和圖像的區(qū)別。從皮爾斯理論角度來看，文字和圖像共同擁有媒介關(guān)聯(lián)物和對象關(guān)聯(lián)物，區(qū)別在于文字擁有圖像不具備的解釋關(guān)聯(lián)物。通俗地說，因?yàn)槲淖忠呀?jīng)在一定人群范圍內(nèi)有規(guī)約的意義，不同的人對相同的文字有相同的理解；而圖像卻不具備這種規(guī)約性，不同的人對相同的圖像往往有著不同的理解。然而，規(guī)約意義是由后天學(xué)習(xí)形成的，并且在一定程度上會限制人們的理解速度，相對而言，圖像則更直觀，更容易吸引人們的注意力。

二、系統(tǒng)功能語言學(xué)理論視角下的圖文關(guān)系

系統(tǒng)功能語言學(xué)理論雖然以文字符號為主要研究對象，但也是最合適的研究不同模態(tài)之間關(guān)系的理論。張德祿（2009）認(rèn)為“系統(tǒng)功能語言學(xué)理論本身不需要做任何改動就可以直接作為其理論框架”。韓禮德的語言學(xué)理論本身就受到歐洲語言學(xué)派和美國語言學(xué)傳統(tǒng)的影響，認(rèn)為語言是一種社會符號，是人類眾多交流信息方式的一種，并提出了純理功能、系統(tǒng)、語境等核心思想。在他的影響下，大量學(xué)者從系統(tǒng)功能語言學(xué)理論角度對圖文關(guān)系作出了研究。

（一）多模態(tài)綜合分析模型

利姆（Lim Fei，2004）建立了分析帶有視覺圖像和語言文字等符號資源的多模態(tài)綜合分析模型，簡稱IMM（Integrative Multi-Semiotic Model）。如圖2所示：

圖2

該模型采用多層平面，將圖像和文字的意義由上至下劃分為表達(dá)層（expression plane）、內(nèi)容層（content plane）和語境層（context plane）。表達(dá)層是文本（或圖像）意義被讀者理解的界面，分別表現(xiàn)為排?。╰ypography）和圖案（graphics）。表達(dá)層之下是內(nèi)容層，由語法層和語義層組成，并且采用了三種不同的顏色來表示三大元功能。最后是語境層，利姆認(rèn)為圖像和文字共享語境層面，包括語域（register）、體裁（genre）和意識形態(tài)（ideology）。然而無論是意義的哪個層面，都與載體媒介和物質(zhì)性（medium&materiality）有關(guān)。中間突出的平臺被稱為整合空間（Space of Integration，簡稱SoI），理論上指符號過程聯(lián)系語境發(fā)生的地點(diǎn)。整合空間之所以突出來一塊，是為了表示不同模態(tài)符號相互作用造成的語義延伸?？紤]到多模態(tài)文本意義形成的復(fù)雜性，IMM模型將不同領(lǐng)域的研究成果統(tǒng)一到一個模型中，形象、直觀地顯示了圖文關(guān)系研究的一個綜合性框架，使研究者對圖文關(guān)系有了更深入的了解。IMM模型的不足在于，就像作者自己指出的，這個模型過于簡化和死板，實(shí)際研究中意義的分布會更復(fù)雜、更具靈活性。另外，三大元功能的比例不可能像模型中那樣都處于相同地位，在實(shí)際應(yīng)用中可能某一功能占主體地位，或者兩個功能之間會有交疊。

與利姆的多模態(tài)綜合分析模型相類似，羅伊斯（Royce，1998）同樣認(rèn)為在視覺符號和文本符號中存在“整合空間”，他稱之為“符間互補(bǔ)”（intersemiotic complementarity）。羅伊斯認(rèn)為每種元功能之間的符間互補(bǔ)關(guān)系不同，并對圖像意義、符間互補(bǔ)和文本意義各自的元功能進(jìn)行了詳細(xì)分析。張德祿（2009）在利姆的基礎(chǔ)上宏觀地解釋了不同符號模態(tài)（包括語言、圖覺、聲覺、感覺等）在文化層面、語境層面、內(nèi)容層面和表達(dá)層面上的形式和它們之間的關(guān)系，相當(dāng)于對利姆的模型進(jìn)行了進(jìn)一步解釋和細(xì)分。

（二）Martinec&Salway的圖文分析模式

馬丁內(nèi)克和薩爾韋（Martinec&Salway，2005）結(jié)合了韓禮德和路溫的理論，提出了一個結(jié)合地位和邏輯語義關(guān)系的圖文關(guān)系分析模式，并認(rèn)為該圖文分析模式適用于新、舊媒體的所有圖文關(guān)系分析。如圖3所示：

圖3

馬丁內(nèi)克和薩爾韋認(rèn)為前人的研究成果主要牽涉完整的圖像和文本之間的關(guān)系，沒有將圖像和文本細(xì)分為不同的“單位”，從而研究“單位”之間的圖文關(guān)系。由圖3可知，地位系統(tǒng)包括平等（圖文相互獨(dú)立或圖文互補(bǔ)）和不平等（圖從屬于文或文從屬于圖）兩個子系統(tǒng)。在平等關(guān)系中，牽涉的是完整的圖像和完整的文字之間的關(guān)系。在不平等關(guān)系中，若圖像只牽涉一部分文字意義，則圖像從屬于文字；而文字從屬于圖像的情況則由文字中的指示詞（deixis）決定。邏輯語義系統(tǒng)包括擴(kuò)展（expansion）和投射（projection）兩個子系統(tǒng)，主要按照圖文內(nèi)容進(jìn)行分類：擴(kuò)展主要指被表征的事件中的關(guān)系，而投射涉及的是已經(jīng)被表征過的事件。擴(kuò)展有三種形式：若圖片和文字表征的內(nèi)容相同，只是概括程度（level of generality）不同，就是詳述（elaboration）；若圖片或文字任意一方為對方提供了相關(guān)的新信息，就是延展（extension）；若圖片或文字任意一方從環(huán)境（時間、空間、因果）限制了另一方，就是增強(qiáng)（enhancement）。投射則分為言語（locution）和思想（idea）兩種，在語言中分別表現(xiàn)為間接引述和思考，在圖像中分別表現(xiàn)為思想泡泡和語言泡泡。

三、小結(jié)

對圖文關(guān)系的研究建立在對圖像模態(tài)和文字模態(tài)單獨(dú)研究的基礎(chǔ)上。從以上學(xué)者的研究成果來看，符號學(xué)傾向于從符號本身發(fā)現(xiàn)不同模態(tài)之間的聯(lián)系而系統(tǒng)功能語言學(xué)則更傾向于從功能角度，聯(lián)系語境來建立圖文關(guān)系模型。結(jié)合以上學(xué)者的研究成果，從概念意義來看，圖文關(guān)系存在克雷斯和路溫的詳述和延展五種分類等；從人際意義來看，圖文之間的語氣和情態(tài)存在一致或沖突的情況；從語篇意義的角度來看，可以從排版中圖文各自的顯著性、信息值來分析圖文關(guān)系。