多模態英語語篇圖文關系識解能力調查研究

王佳娣

（湖南第一師范學院 外國語學院，湖南 長沙 410205）

引言

隨著媒介技術的不斷發展，人類交際的多模態化現象越來越凸顯，文字、圖像、語音、動畫等多模態話語呈現模式不斷涌現。因此，語篇的意義生成不再單純地依賴語言符號，而是多種符號系統融合后，共同構建出語篇的意義。“意義的構建需要多種符號的協同作用。”[1]在多模態語篇中，圖和文是最常見的兩種符號，他們的組合往往呈現出一加一大于二的效果。在英語閱讀教學中，培養學生的多模態語篇閱讀能力的關鍵就在于圖文識解能力的培養。

一、研究綜述

“多模態話語”的概念來自系統功能語言學的社會符號學。1994年，新倫敦小組提出了“多元識讀”的概念，開創了多元讀寫能力培養研究的先河。1996年，Kress和van Leeuwen首次提出“多模態話語”的概念，創建視覺語法分析框架，為多模態話語分析的發展奠定了基礎。二人認為語言和圖像都可以用來實現人類蘊含文化元素的基本意義系統，二者具有自己特有的表達方式[2]。Van Leeuwen后來撰文表達在很多交際場合，圖與文各有分工，文本負責提供事實，而圖像負責對文本的解讀[3]。Royce認為，在圖文結合的語篇中，從概念意義上講，圖文關系與語言本身的關系相類似，但從交際意義上講，語言表達的意義更加確定，而圖像的意義需要借助文本來確定[4]。Martinec總結出4種圖文關系：即相互獨立、相互補充、以文為主、以圖為主[5]。Wignell在對6個不同年齡組的繪本進行系統分析的基礎上，提出圖文關系隨著目標讀者年齡的變化而發生變化。隨著目標讀者年齡的增加，文本對圖像的依賴性在變小，概念功能及語篇功能逐漸超越人際功能[6]。

在胡壯麟[7]、朱永生[8]、顧曰國[9]、張德祿[10]等中國學者的推介下，國內多模態話語研究開始發展起來，并應用于語言教學研究。朱永生意識到中國在多元讀寫研究和多元讀寫能力培養方面已落后于其他國家[11]。汪燕華指出，圖像和文本的關系問題是“多模態話語分析中存在的瓶頸問題。”[12]耿敬北等統計了2007—2013年間國內外語類核心期刊發表的134篇多模態話語和多模態外語教學研究文章，提出多元讀寫能力的培養仍需結合中國文化區別對待，外語教學各個環節的研究可以與認知理論結合，多做本體研究，多種研究方法結合并用將成為多模態外語教學實證研究的趨勢[13]。國防運用觀察法比較分析了中美兒童與成人閱讀英文繪本過程中對圖文關系識解的異同，揭示語言水平及年齡對多模態語篇圖文關系識解的影響，該文是國內少有的關于圖文關系的文章[14]。雷茜、張德祿運用實證研究的方法，對英語模態寫作中的學習者身份認同問題進行了研究[15]。韓穎則從多元讀寫理論的視角，通過定量和定性分析，研究媒介讀寫能力培養[16]。

綜上所述，多模態理論應用于教學研究經歷了20世紀末期的萌發、20世紀初期10年的發展后，在第二個10年呈現出繁榮的趨勢。在研究漸趨成熟之時，研究內容呈現多樣性、研究方法更趨科學性、研究目標越發關注實踐性。在這種發展趨勢下，本文關注多模態英語閱讀活動中學習者的圖文關系識解能力問題，通過定量與定性相結合的研究方法，分析英語學習者的圖文識解過程、對圖文關系的認知以及圖文識解能力對閱讀理解的影響，對英語學習者圖文識解能力提出建議。

二、實驗研究

（一）實驗目的

實驗擬驗證多模態英語語篇閱讀中，閱讀者圖文關系識解的動機、過程和效果，厘清影響閱讀者圖文關系識解能力的因素，為多模態英語語篇閱讀教學提供依據和策略。實驗擬提出以下問題：多模態英語語篇閱讀中，圖片對文本理解的影響是否顯著？閱讀者處理圖文關系時有何特征？效果如何？

（二）實驗對象

實驗對象是湖南省某高校2018級英語專業學生，共90人。實驗對象分為實驗組和控制組，每組45人。從學生第二學期英語閱讀課程期末考試成績為參考，實驗組和控制組的閱讀能力和水平之間不存在顯著差異。

（三）測量工具

實驗的測量工具是語言測試與調查問卷。語言測試主要測試學生在多模態英語閱讀中對信息觀測點的理解情況，并記錄閱讀過程。再通過調查問卷的形式了解學生對圖文關系的處理情況。實驗組與控制組均參加了語言測試，語言測試采用英語閱讀的形式，材料選自中國日報網站的文章《18個事實告訴你：歷史真的不是你想的那樣》，從中選取10組圖片及文本作為語言測試的內容。實驗組在語言測試后還接受了測試者編制的問卷調查。

（四）實驗過程

控制組與實驗組同時進行閱讀測試。實驗組的閱讀材料是彩色打印圖文版，包含10個長句，每個句子中設置一個信息觀測點，每個長句后配了一幅與文本內容相關的圖片。要求學生在30分鐘內完成閱讀，并用中文寫出句子大意。此處并不要求學生嚴格按照翻譯的標準來寫，而是著重將文本中的重要信息點呈現出來。控制組獲取的閱讀材料是黑白打印純文本版，其余要求與實驗組相同。

實驗組在閱讀測試后，完成問卷調查，用時大約10分鐘。

（五）結果及討論

實驗結束后，研究者依據語言測試和問卷調查結果、現場記錄及記憶，對整個實驗過程的數據進行整理、統計與分析。

1.圖文關系識解過程分析

圖文關系識解過程呈現的是被試者在閱讀過程中對圖片和文字信息的處理方式，以此可以觀測出被試者的閱讀習慣和閱讀心理。

從表1可以看出，絕大多數被試者選擇文本作為閱讀起點，是選擇圖片人數的兩倍。選擇文本作為起點也就直接影響了圖文切換點的調查結果，絕大多數選擇在文本閱讀中和閱讀后切換圖片。調查顯示被試者的圖文切換頻次較低，以1-2次為主。同時，被試者在文本上停留的時間也比圖片要長。

表1 實驗組圖文關系識解過程調查結果

該調查結果顯示出被試者的閱讀習慣仍以文字為主，對圖片信息的關注度不夠，對圖文關系的理解有待提高。從閱讀起點和圖文停留時間的調查結果可以明顯看出被試者的閱讀習慣仍較為傳統，可能受到測試環境——課堂的影響，同時，傳統的教材形式也是以文本為主，這些因素都影響了被試者的閱讀習慣養成。近一半的被試者是在文本閱讀后才切換到圖片，且切換頻次較低，這也說明被試者常常忽視圖片提供的信息，未意識到圖片與文本實為一體，二者相結合可以提高閱讀速度和理解能力。

2.對圖文關系的認識分析

對圖文關系的認識分析可以了解被試者對圖片和文本提供的信息的基本認識，是被試者的主觀判斷，可與圖文識解過程的調查結果進行比對，發現問題。

表2顯示有三分之二的被試者認為文本與圖像的關系是文本為主、圖像為輔，其余的三分之一則認為圖文同等重要、互為補充。在考察圖片對文的理解的重要性時，絕大部分被試者選擇了較為持中的重要和一般重要，選擇很重要的僅有7人。調查結果顯示圖片切換的原因涉及到多個方面，所有被試均選了主動尋求與文本相關的信息，大部分選擇了在文本理解遇到困難時尋求圖片信息的幫助，這也從側面印證了表1中圖文切換的頻次。

表2 實驗組圖文關系認識調查結果

將表2與表1的結果進行對比，我們可以發現一種矛盾的現象。即絕大多數被試者認為圖片與文本的關系非常或者比較密切，圖片信息對于理解文本有幫助或重要幫助，但從實際的過程來看，他們對文本的關注度卻遠遠地高于對圖片的關注度。這說明在英語閱讀活動中，學習者的閱讀意識與閱讀行為之間存在著偏差。主觀上，他們樂意接受多模態的閱讀方式，并且承認多模態閱讀的優勢，但行為上依然不自覺地偏向傳統的文本閱讀。這其中的原因是多方面的也是復雜的，但如何引導學生從自覺意識走向自覺行為，對于學習者的圖文關系識解能力培養來說有著重要的思考價值，留給閱讀教學很大的探索空間。

3.圖文關系識解能力分析

實驗組與控制組的語言測試結果可以看出兩組被試的閱讀理解情況，從中可以分析出圖片對文本理解的影響是否顯著。對實驗組測試結果的單獨分析還可以看出被試者的圖文識解能力。

根據對比分析實驗組與控制組語言測試結果，采用兩獨立樣本T檢驗比較差異，可以發現在最低值上兩組沒有差別，最高值相差3分，在平均值上實驗組明顯高于控制組。P＜0.001，實驗組和控制組在總分上存在顯著的差異。由此可見實驗組與控制組在語言測試環節的差異較明顯，即圖片信息對文本信息的理解產生較顯著的影響。

表3 實驗組與控制組語言測試結果對比

從表4可以看出兩組在各小題的回答上的差異。差異性較顯著的有第1、2、6、10觀測點，在這幾個觀測點上，實驗組的正確率要明顯高于控制組的正確率，其他觀測點的差異性表現不明顯。觀測點1原文的5英尺6英寸對于被試來說是陌生信息，但圖片（圖1）上提供了英尺與米的對照信息，相當于1.67米，從圖片上看約等于1.7米。實驗組的部分被試注意到了圖片信息，并利用了圖片信息，將陌生信息轉化為可知信息，達到深度理解的目的。而控制組的被試在這一點上全軍覆沒，仍然停留在5英尺6英寸的陌生信息層次，理解沒有深入下去。另一比較典型的例子是觀測點6，大部分控制組的被試將其理解為范圍，而實驗組在圖片（圖2）信息的幫助下，可以更清楚地看到兩幅畫作的尺寸的差異，因此理解正確的人數明顯高出控制組。

從語言測試的結果，可以看出以下兩點。第一，圖片信息與文本信息之間關系非常密切，圖片信息的解讀直接影響文本信息的理解。從實驗組和控制組對觀測點的理解程度就可以看出較明顯的差異，總體上，實驗組的理解力要高于控制組。第二，學生的多模態圖文識解能力仍有待提高。在一些觀測點上，實驗組與控制組的理解水平相當，實驗組并沒有體現圖片輔助的作用。就實驗組本身的測試結果來看，并非所有的觀測點都達到了較好的理解效果。

表4 重要觀測點測試結果統計

圖1 觀測點1配圖

圖2 觀測點6配圖

結語

課題組對兩組學生進行了語言測試和問卷調查，結果表明學生具有一定的圖文識解意識，但在具體的閱讀活動中，仍以傳統的文本閱讀為主，忽視了多模態篇章的特點，沒有在閱讀活動中將圖片信息與文本信息進行整合，圖文識解能力有待提高。該調查結果為英語閱讀教學帶來了以下幾個方面的啟發：第一，英語閱讀教學中要有意識地培養學生多模態閱讀的能力。隨著信息技術的發展，閱讀的渠道和方式都在發生著變化，傳統的閱讀方式已逐漸被多元化的閱讀方式所取代，因此培養學生的多模態閱讀能力應該成為英語閱讀課程的重點之一。第二，英語閱讀內容要實現多模態化。現有的教材均以文本為主，缺少多模態的信息呈現方式，是限制學生閱讀習慣的重要因素。在改良教材的同時，要引導學生主動尋求多模態的閱讀內容，如網絡新聞等應用文體。第三，英語閱讀要培養學生全面關注信息的習慣。語言的信息并非都是以文本的形式呈現，插圖、美工、頁眉、頁腳都可能為閱讀理解提供有效信息，值得閱讀者注意。本研究對大學生多模態英語語篇圖文關系識解能力的現狀進行了調查分析，旨在為閱讀者圖文識解能力的培養和提高提供參考。