從邏輯——語義學角度看新傳媒時代圖文的關系

摘要 人類歷史上，圖畫先于文字出現，但文字出現后，圖畫常常與文字一起，起到信息表達和認知世界的功用。而隨著生活節奏的加快，超文本的普及，包含了大量的圖像和文字的圖話文也掀起潮流。對此，當代新傳媒語境下的圖像與文字關系也需要重新加以審視。本文試圖利用系統功能語法理論從其相互關系和邏輯——語義關系視域對此作出闡釋。

關鍵詞：圖像——文字關系 邏輯——語義關系 新傳媒

中圖分類號：G254 文獻標識碼：A

一 前言

隨著生活節奏的加快，各種新傳媒的涌現，尤其是超文本的普及，以及包含了大量圖像和文字的圖話文也掀起了一波新潮流，從而不斷促發著學界關于新傳媒時代語境下的圖像和文字關系的再思考。

國內外學者對圖文關系進行過各個角度地探討，比如Bathes(2005)將報紙和其它所有使用照片的媒體視為“一種復雜而同時存在的訊息組合體，而照片是中心，周圍被文本、標題、說明文字、排版方式、報刊的名稱包圍”。Bathes認為圖文關系有兩種形式，一是照片作為插圖，照片增加文字的可信度；另一是用文字將意識形態加于照片，照片之外的訊息都會影響讀者詮釋照片。同時他認為文字的功能主要有兩種：不平等關系，又分為“錨定”關系(anchorage)即文字支持圖像（如新聞攝影）和廣告或圖像支持文字（illustration）；平等關系即“傳遞”(relay)關系，即言語和圖像處于一種互補接替的關系之中，如幽默性連環畫。

MartinecSalway (2005)以Halliday系統功能語言學關于小句邏輯語義關系和地位，及Bathes的圖文理論為基礎，詳細地探討了新舊媒體中的圖文二者之間的關系。Len(2006)對二者關系作了進一步詳細的闡述。

國內，葉起昌（2005）就傳統符號學對圖文關系在進行一番全面細致的總結后，指出了后印刷時代話語中圖像與文字的關系樣式——超媒體和互動電視網絡系統兩種形式：其中前者指圖像起著超文本鏈接的作用，后者指用圖像代替文本直接交流，如網絡視頻聊天、網絡會議及網絡會診等。本文認為上述這兩者如其說是圖文關系，不如說是圖像在超文本情況下的功能。曾蕾和梁紅艷（2007）認為多語式(multimodality)表現超鏈接及其內容通過文字接點下劃線、圖像、動態文字、剪輯等網站首頁體現超鏈接，文字與所鏈接的內容之間是投射關系。

本文主要結合系統功能語言學中關于小句的邏輯——語義關系和Bathes(1961—1964)關于圖文之間地位的理論，結合實例來探討當代話語中圖像與文字的關系，并認為圖畫和其他視覺成分與語言一樣也具有符號的語法功能。

二 話語中的圖文關系分析

從社會符號學角度來看，任何符號體系，不管是圖像還是文字都必然具備三大元功能：必須具備概念功能，即符號體系要表征經驗世界的方方面面；必須具備人際功能，即體現符號生產者、被表現的客體以及符號接收者三者之間的社會關系；必須具備語篇功能，即任何符號體系都應該有形成與外部語境相關聯的內在連貫性語篇。

當考察圖文關系時，圖中既可出現零星的文字，再與另一語篇構成一個更大的系統；或者是單純的文與圖構成一個語篇。因此需區別對待：當一個完整的圖像與一個完整的語篇相聯，且其中一方并不修飾另一方，并不共同構成一個更大的系統，各自有各自的過程類型，二者是并列關系；如果兩者平等但其中一方修飾另一方，則是互補關系，二者共同構成一個更大的系統，各自擔當一個過程類型中的成分。當一個圖像與一個語篇的部分相連，但如果圖不是與全文相關，它們之間就是不平等關系。

MartinecSalway (2005)認為，圖文之間關系從地位上來說，可以分成平等關系和不平等關系兩種類型；從邏輯語義關系上來說，可以分為擴展和投射兩種類型，其中擴展又分為詳述、延伸、增強；投射又分為報道、思想。其中又有一些細分。

平等關系相當于Bathes的傳遞關系，二者是平等的，因為二者都是完整且各自有獨立的過程。而這種平等關系又可分為圖像和文字相互獨立和圖像和文字相互依賴兩種關系。而從邏輯—語義關系來說，平等關系的圖像與文字又可分為：

詳述(exposition)關系，這又可分為闡釋(exposition)關系和例證（exemplification）關系。闡釋關系指兩者是同義詞關系，如在一些地圖中，陰影部分表示一個物種分布，二者是圖像和文字相互獨立的并列關系。例證關系又可分為文字大于圖像或圖像大于文字兩種情況，在文字大于圖像時，兩者是上下義關系，即語篇是上義詞，而圖像是下義詞關系，圖像作為語篇的例子；而圖像大于文字，圖像中的某些元素是上義詞與文字中的下義詞相呼應。圖像與文字延伸（extension）關系，則二者都增加了新的信息。如流程解釋了發酵的過程。

圖像與文字加強（enhancement）關系，則一方是作狀語修飾另一方，必須與其中的意義相關。如在生物教科書中，關于一個生物的結構說明，文字增加說明，解釋某結構的用途。圖像與文字話語（locution）的并列關系不成立，因為二者不可能相等。圖像與文字的思想(idea)關系，如一個圓圈表示一個范疇或想法，而圈中的文字則表示具體的內容，圖表再次投射思想。

不平等關系又分為圖像依附文字和文字依賴圖像關系。從邏輯—語義關系來說，圖像與文字是詳述關系時，圖像與語篇在關系身份過程中各自扮演相應的角色。當它們地位平等時，如圖像作為被表征者(identified)，而文字則點明作為身份者(identifier)。圖像大于文字的情況常出現在商標上，圖像作為主體，文字進一步說明圖像的意思。如一商標為關系屬性過程（intensive attibutive relation），文字是載體，圖像是屬性。文字大于圖像：如雀巢咖啡的廣告“味道好極了！”圖作為載體，文字作為屬性。圖像與文字延伸關系：如“I love you”，“love”情感過程用圖形心來表示。圖像與文字增強關系，判斷圖像和文字是否增強，主要從意義上從解釋，如能否說明時間、地點、原因/目的。如在動畫中，常出現表示地點的商店招牌。圖像與文字話語關系：圖中的人作為說話者（sayer），而說圖中的說話符號作為說話過程，而文字作為被投射的說話內容（verbiage）。卡通、圖像與文字思想關系：圖中的人作為感覺者（senser），而對話泡是思考的內容，文字作為被投射的思想。在柜員機ATM中的屏幕上、地鐵的購票上都有大量的這種模式。

Len(2005)在MartinecSalway (2005)的基礎上加以細化和補充，并區分了圖文之間有矛盾關系、圖文同形關系，即同現中的一種特殊形式，指圖亦圖亦文，在可口可樂的“可口可樂，暢爽開始”廣告中找到了很有趣的例證：可口可樂瓶子噴出的液體巧妙地排成“北京2008”的圖案，即是液體的圖，也可讀文。中國傳統書法也講字圖同文。

三 話語中的圖文關系辨析

如何區別圖文地位關系，可以從下列來判斷：

頁面布置和格式、指示詞。如在頁面設計中，如左右代表舊新信息的區分，左邊代表已知信息，已知信息也充當主題作用，右邊代表新信息，上下是理想與現實之間的區別；中央/邊緣位置分別排列主要信息和次要位置。在歐洲書寫習慣中，左上方是主題、新信息和理想信息的交會處，是最重要的地區，如在網頁中，此處常常是公司的商標所在之地和新聞標題、作者及圖名稱所在。突出度指各種成份在前景或背景中位置、大小、亮度級別等方面的差異， 從而引起讀者不同程度的注意。如新聞的第一段常常在左上方并且用較粗的字體醒目標出，但在以圖為主的網頁中，圖在網頁中處于較上方并且比文字大。

詞匯——語法的指代，指示語上如“此圖”或“圖X表明”表示文字是從屬地位；當“看圖X”，特別是它出現在文字后面常表示二者的平等地位。

語篇的語法特點：如時態，現在時態常表示文字附屬于圖，而過去時態常是圖附屬于文。過程類型較多的句子、數量是復數、帶有完整句子的常表示兩者關系并列；反之常表示二者是附屬關系。在對圖的描繪中，如新聞照片說明中，文字是附屬于圖的，因為物質過程或行為過程與現在進行時相結合，則表明文屬于圖像；反之如果文字中出現過去時，則表明圖像附屬于文字。

圖像的情態指的是某種圖畫表達手段（色彩、再現的細節、深度、色調等）使用的程度，分為高、中、低三類。高感官情態指圖像使用了高飽和度的色彩，中情態指色彩不太飽和，低情態指圖像只是運用黑白色。

圖像的取景：有一個中心或無中心，取景指用來切斷或聯接語篇的成份，取景手段的明用或暗用，表明這些成份是相連或不相連。

四 結論

通過以上的對比，Bathes認為圖像與文字的“錨定”關系，其實是指文字與圖像附屬關系，“傳遞”關系指圖文兩者互相平等關系。但運用系統功能語言學小句之間的關系，可以對此做更詳細的區分，并且能分清二者是平等關系還是不平等關系。因此可見，首先通過考察兩者是否平等，再從邏輯語義關系去考察是否屬于擴展或投射，能得到一個比較科學和清晰圖文關系。

關于圖文關系的分類，在多模態文本和超文本中有實際運用價值，如在對圖片的搜索引擎中；在手勢和演講及電影中，動作和語言不同的模態之間也有實際作用，如電影中的字幕等；網頁設計中，在網頁中，常利用一些有下劃線的關鍵字或一些圖標進行超鏈接的投射，可以表達更多的思想，形成互文性和多線性閱讀，如何安排好圖像與文字的關系直接決定讀者的識讀。

對比《廣州日報》、《南方都市報》和《新快報》的在線電子文本，《新快報》有導航，每頁都有一個明確簡單的標題內容；讀者直接點擊標題就能進入頁面，這樣方便讀者多模態識讀，甚至同一頁的每一則新聞都分成不同的圖塊，有一個獨立圖標，讀者可自由直接點擊選擇閱讀；而《南方都市報》的導航僅標出頁碼，并沒有給出該頁內容，讀者不能從中判斷選擇閱讀；《廣州日報》更加完善，既有標題導航，又有頁碼導航，但兩者之間要轉換。以版塊為一級單位；每頁為次級單位，每頁中的各個內容為第三級單位。這樣讀者要經過三次投射鏈接，無形中加重了讀者的閱讀負擔。并且也有語音閱讀，利用聲音模態方便有視力障礙或不識字的人閱讀。

可見，利用圖文關系可改進網頁設計，提高讀者的多媒體識讀能力。在汶川大地震時期，各大報紙版塊都是用黑白色，而沒用彩色，從情態來說是低情態，顯得嚴肅，傳導出一種悲哀之情。在教育上，可以更好設計教科學，安排好如圖表、插圖等與文字的關系。

注：本文系廣東商學院高校人文社會科學研究項目一部分成果。

參考文獻：

[1] London: Edward Arnold. Beijing: Foreign Language Teaching and Research Press.

[2] Kress，Gunther T，Van Leeuwen.Reading Images:the Grammar of Visual Design [M]，London And Newyork:Routledge.1996.

[3] Martineca， R， Salway， A.a System for Image-Text Relations in New and Old Media. Visual Communication，2005.

[4] 羅蘭·巴特：《顯義與晦義——批評文集之三》，百花文藝出版社，2005年。

[5] 葉起昌：《論后印刷時代話語中圖像與文字的關系》，《北京交通大學學報》(社會科學版)，2005年第4期。

[6] 曾蕾、梁紅艷：《學術話語中多模式投射“隱喻式”》，《西安外國語大學學報》，2007年第4期。

作者簡介：李妙晴，女，1979—，廣東乳源人，碩士，講師，研究方向：話語分析，工作單位：廣東商學院外國語學院。