多模態視角下英語視聽認知影響機制研究

摘 ? 要?多模態環境下，視聽相結合的英語視頻材料廣泛應用于英語聽力教學中。視覺和聽覺是兩個獨立的認知系統，它們相互影響、制約和融合。對視頻中視覺和聽覺影響機制進行實證研究，發現視覺認知和聽覺認知的相關性及學生的英語語言能力會影響視聽材料的理解效果，對英語聽力教學有指導意義。

關鍵詞?英語視聽 ?認知 ?影響機制

計算機和網絡技術的發展為語言學習提供了多模態、多媒介的學習環境。隨著計算機輔助教學及網絡的普及，英語聽力教學也發生了質的變化[1]。學生和教師都不再滿足于單純的音頻材料，而是更多地接觸到有視頻介入的聽力材料。隨著英語教育的改革，學生英語聽說能力的培養受到了越來越多的關注，計算機和網絡在英語聽力教學中發揮著越來越重要的角色，英語聽說課已從單純的聽、說轉變為視、聽、說多模態結合的模式。自80年代開始，視頻媒介介入的英語聽力教學得到了大力的發展和應用。視頻主要包括內容視頻和場景視頻。內容視頻就是視頻中包含了實景事物和事件發生的實際過程;而場景視頻主要包含了談話者的舉止神態和一些次語言特征，比如手勢、唇形等[2]。隨著視頻媒介在英語聽力教學中的推廣使用，師生對視頻材料參與英語聽力教學過程持積極態度，但對如何使用視頻材料及聽力理解中視聽相互的影響機制還很模糊，相關研究很少。因此，本研究從定性和定量角度考查英語聽力中內容視頻資料對聽力理解影響機制，從而為聽力教學提供有益的啟示。

一、研究理論依據

1.認知負荷理論

聽力理解是一個主動和復雜的過程，聽者會從看到的和聽到的線索中提取信息并將這些信息和大腦中長期記憶中的信息相關聯，從而更好地理解聽到的內容[3]。澳大利亞認知心理學家Sweller的認知負荷理論，是本研究的基本理論基礎。Sweller認為，聽覺記憶和視覺記憶是相對獨立的，當材料通過聽覺和視覺同時輸入，聽覺和視覺的認知負荷可以相互分擔，也就是說視覺輸入可以有效減少聽覺中的工作記憶負荷[4]。認知負荷理論提出，知識以圖式的形式存儲在大腦長時記憶中，人們大腦的工作記憶是有限的，當太多的信息同時輸入時，就會出現負荷過量。如果輸入信息和大腦長期記憶中的圖式相關，工作記憶負荷就會被降低。

2.多模態語篇分析理論

Walma van der Molen的多模態語篇分析理論建立在Halliday的系統功能語言學基礎上。該理論側重研究符號學之間的關系，它從語義分析的角度去研究視頻材料中視覺和聽覺模式符號學之間的語義聯系[5]。從語義加工角度，聽力理解包括自下而上和自上而下的過程。自下而上是指聽者語義建構的過程，將聽覺信息從音位層次過渡到語篇層次;自上而下是指聽者利用存儲于長期記憶中的已掌握的知識和宏觀組織去幫助理解聽力內容[6]。語義相關的視覺信息可以給受眾提供附加的記憶代碼從而幫助提高聽力的理解能力，而語義不相關的視覺圖片會增加工作記憶的認知負荷并影響聽力理解。

二、研究設計及實施

基于以上理論，研究方法采用對比實驗、調查問卷和訪談相結合的方法。對比實驗我們選取西部某學校的四個不同班級各30名學生作為研究對象。這四個班級分別為使用視聽材料教學英語提高班（英語基礎好）、英語普通班（英語基礎薄弱），僅使用聽力材料教學英語提高班（英語基礎好）、英語普通班（英語基礎薄弱）。

1.定性研究

針對使用視聽材料上課的班級，選取來自CCTV-NEWS中一段報道地震災害的新聞視頻作為上課材料。視頻中包含了視聽相關性高的兩段視頻，畫面清晰地描述了新聞中口頭所表述的內容，一段顯示地震發生時山體的滑坡和地面的開裂，一段顯示地震時房屋的倒塌和人們的神情;視頻還包含了一部分視聽相關性低的內容，主要通過圖片和圖表講述了地震的震中、地質活動情況、地震天氣情況及未來災害的預測等;還有部分片段是標準的新聞圖片，和口頭報道相關性不大。

視頻播放完畢，學生需要完成四道題，分別考查對視頻大意的理解情況、對主持人報道內容大意的理解情況、低試聽相關性特殊信息的理解和高視聽相關性特殊信息的理解。通過對答題情況的分析，主要考察兩個問題：（1）不同的內容視頻對聽力理解的影響程度，是有助于聽力理解還是影響聽力理解;（2）視頻材料對不同英語基礎的學生影響有何不同。

2.定量研究

主要包括問卷調查和面對面訪談。調查問卷共兩套，一套針對聽力任課教師，一套針對學生。面對面訪談采用即時采訪的方式，在完成相關聽力任務后隨機抽取學生馬上進行采訪。問卷主要涉及以下幾個方面：（1）教師對有視頻介入聽力訓練材料的使用情況和他們對視頻材料運用于聽力教學的態度;（2）教師是否觀察到學生對視頻材料中視覺信息使用的情況;（3）英語基礎好和英語基礎薄弱的學生對視頻介入聽力材料的認識及他們在聽力過程中使用視頻材料的習慣和熟練度。訪談主要是讓學生對參加測試中的視頻材料談談自己的看法，他們對視頻材料中視覺信息的認識、使用策略及是否使用視覺信息有效地幫助理解所聽的內容。

三、研究結果

1.高視聽相關性的視聽材料有助于提高學生的聽力理解

通過對學生答卷的整理和歸類，我們采用定量研究SPSS 19.0軟件進行數據分析。因為涉及到兩組變量——高水平組（提高班）和低水平組（普通班）、視聽材料組和單純聽力材料組，我們采用單項方差分析（one-way ANOVA）來檢查每個變量的情況。

分析結果顯示，在視頻大意的理解掌握上，視聽組的平均值要大于聽力組，P=0.025<0.01，說明視聽材料的輸入比單純的聽力材料輸入能更有效地提高受眾對材料大意的理解;在主持人報導內容大意的理解上，視聽組和聽力組并沒有太大的區別，說明中國學生對主持人的嘴唇活動和面部表情反映不敏感，很難借助主持人的外部特征獲取有效信息來幫助理解說話內容;在不相關方面，兩組的差別不大，說明視頻材料中不相關的圖片內容對聽力理解的支持作用不大。在相關信息方面，視聽組的平均分高于聽力組，P=0.032<0.05，說明當視聽材料中視覺信息和聽覺信息一致，可以有效地提高聽力理解。

以上實證分析證明，高視聽相關性的視聽材料比單純的聽力材料更有助于聽力的理解。當聽覺和視覺信息重合，它們之間就可以有效地互補并形成有效的理解。外來的認知負荷降低了，有關聯的認知負荷提高了，聽者的理解力得到提升。

2.視聽材料對英語基礎不同的學生影響不同

實證研究數據顯示，高水平組的學生更善于利用視覺信息來理解視聽材料的大意并有效構建大腦圖式。高水平組的學生對主播的唇部動作和面部表情會更為敏感些。高語義相關的視頻對低水平學生影響力超過高水平學生。不相關的視覺信息對聽力理解沒有任何的幫助。

這說明視聽材料的理解受到學生英語語言基礎的影響，不同英語基礎的學生利用視覺信息的能力是不同的。英語基礎強的學生更善于利用視覺信息和相關背景信息，而英語基礎弱的學生對視覺信息敏感性弱，不善于利用高試聽相關性的視覺材料理解聽力內容，他們很容易受視覺信息的干擾而忽略聽覺信息。因此，英語基礎低的學生利用視覺信息的能力還有待提高。

3.視聽材料類型不同，對聽力影響也不同

面對面訪談結果顯示，提高班和普通班學生都認為視頻資料比單純的聽力材料更有利于聽力的理解。但是，不同類型的視頻資料對聽力的影響不同。學生普遍認為“動畫畫面”很形象，有助于提高聽力的理解力;“圖表和公式”比較直觀，可以幫助理解聽力中部分相關內容;“邏輯相關事件”可以顯示實物并傳遞詞語的意思，有助于語義解碼;但“標準的新聞圖片”只對理解大意有幫助。對于視覺信息是否會有助于理解材料中特定信息，學生認為如果視覺畫面變化太快，則會帶來過多的信息負荷，不利于特殊信息的掌握。視頻中主持人的唇形、手勢及面部特征，對學生聽力理解影響不大，但對高水平學生來說，它們可以間接加深對某些詞匯的記憶。

4.教師和學生對視頻材料的認識和使用不夠

對教師的問卷顯示，英語教師普遍認可有視頻介入的聽力材料，認為視聽材料比單純的聽力材料更直觀、更形象、更貼近真實的語言環境，并主動將視頻材料應用于英語聽力教學中。但是教師對視頻在聽力中的作用并不很清楚，他們對于視聽材料中視覺信息對聽力理解的影響及作用知之甚少，基本沒有概念和相關理論支持。教師對視頻的類型也不是很清晰，不同類型視頻對聽力理解的影響還未主動納入聽力理解考查范圍。在課堂上不會引導學生關注視頻資料中的視覺信息，也不太會選擇合適的視頻材料應用于聽力教學。

對學生的調查問卷顯示，兩個組別的學生更喜歡去接觸有視頻信息的聽力材料。英語基礎好的學生對視頻信息在提高聽力理解方面持更加肯定的態度，他們習慣利用背景材料、圖表、主持人的手勢、表情等來幫助聽力的理解。但英語基礎低的學生對視聽材料中的視頻資料沒有概念，基本不關注視頻信息。

四、啟示

有視頻介入的視聽材料對英語聽力教學提供了新的思路，也帶來了新的問題和挑戰。明確視聽資料中視聽的相互影響機制，會更有效地提高聽力教學的效果。在今后的聽力教學中，要注重以下方面。

1.加強師資培訓

對從事英語聽力教學的老師進行相關理論培訓，從而明確視聽材料中視聽的認知關系，科學有意識地引導學生利用好視聽材料。教師既要注重學生語音和聽力技巧的培養，也要注重培養學生對視覺信息的認知，并介紹有效的視覺信息理解技巧，從而全面提升聽力理解能力。

2.合理選擇視頻材料

常見的視頻材料通常表現為“動畫”“圖表和公式”“邏輯相關事件”“標準的新聞圖片”和“不相關圖片”等，它們和聽覺的語義相關性依次減弱。我們在視頻材料的選擇上，要多選擇視聽相關性高的“動畫”或“圖表和公式”，避免使用“標準的新聞圖片”和“不相關圖片”等。只有高視聽相關性的視頻材料才能夠更好地幫助理解聽力內容，有效地服務于聽力教學。

3.培養學生利用視頻材料的意識

對于低水平學生來說，視覺信息的替代效果要更強，他們在視聽材料中，更關注視覺信息超過聽覺信息;對高水平學生來說，視覺信息的補充效果更強，即他們有能力更好地使用視覺信息來提高聽力理解。也就是說，低水平學生受視頻材料中視覺信息影響更大，視聽高相關性的材料有助于提高他們的聽力理解，而視聽低相關性的材料會更大程度上干擾他們的聽力理解。因此，加強學生英語基礎知識的儲備，訓練并提高學生對視覺信息的認知水平，降低視頻信息的替代效果，加強它的補充效果，可以更有效地利用好視聽材料并運用于教學。

參考文獻

[1] 馮德正.“多模態研究的現狀與未來——第七屆國際多模態會議評述”[J].外國語，2015（04）.

[2] 顧曰國.多模體、多模體學習剖析[J].外語電化教學，2007（02）.

[3] Mayer，R.Multimedia Learning：Are We Asking the Right Questions.Educational psychologist，1997，32（01）.

[4] Sweller，J.Implications of cognitive load theory for multimedia learning.In R.Mayer（Ed.），Cambridge Handbook of Multimedia Learning.New York：Cambridge University Press，2005.

[5] Walma van der Molen，J.H.Assessing text-picture correspondence in television news：the development of a new coding scheme.Journal of Broadcasting and Electronic Media，45（03）.

[6] Vandergrift，L.Learning to listen or listening to learn. Annual Review of Applied Linguistics，2004，24.

[作者：史煜（1975-），女，甘肅平涼人，西北政法大學外國語學院講師，碩士。]

【責任編輯 ? 王 ? 穎】