視聽資源在二語詞匯習得中的應用

山麗萍

內容摘要：隨著多媒體教學的興起，視聽資源得益于計算機輔助技術的發展開始被廣泛運用于二語詞匯教學，于是探究視聽資源到底是否能促進二語詞匯習得以及其如何對二語詞匯習得產生影響成為了研究者們研究的熱點。本文回顧了視聽資源在二語詞匯習得領域應用的研究并解釋了其工作的原理，這將有助于教師更合理地組織視聽教學資源，以達到最佳的詞匯教學效果。

關鍵詞：視聽資源 多模態交互 雙重編碼理論 認知負荷理論

1.研究背景

隨著全球化的發展， 人們越來越意識到掌握一門第二語言可以幫助他們在學業和職業發展中獲取更大的優勢， 而學習一門語言的關鍵和難點就在于掌握其豐富的詞匯， 詞匯的習得確保了人們在不同場合能進行基本溝通。自語言學建立以來， 二語詞匯習得一直受到學者們的關注， 越來越多的二語詞匯習得方法和輔助技術也得到研究和發展。這些研究成果促進了二語教學的發展， 為無數二語學習者和教學者節省了時間和精力。其中數字化技術的發展使得老師和學生可以不再被單一文本學習所限制， 可以通過視聽學習從不同感官通道獲取資源信息， 提高學習效率。

在視聽學習中， 通過視覺通道可以獲取文字， 圖片等信息， 而通過聽覺通道則可以獲取言語， 聲音等信息， 盡管這些視覺資源和聽覺資源都可以傳遞一定的意義， 但在詞匯習得領域， 它們并不都能發揮正向刺激效果， 有的甚至會對學習效果起到抑制作用， 因此學界對視聽資源在二語詞匯習得領域的研究一直未能達成一致的結果。如在Tripp和Roby （1994）的研究中， 作者基于超文本， 研究了聽覺資源（pronunciation）是否能夠促進二語詞匯（日語）習得。實驗結果表明， 相較圖片信息， 聲音信息并沒有對詞匯習得起到促進作用。作者分析其原因表示聽覺資源相較于視覺資源更難被受試識別利用， 只有具有一定聽力練習經驗的學生才能利用聽覺資源幫助記憶詞匯。而在MallAmiri， Oghyanous， Zohrehvand （2017）的實驗中， 作者探究了聽覺輸入強化（通過劃線、粗體、斜體、大小寫等策略突出目標材料）和視覺輸入強化（通過研究人員大聲重復， 使用提高的語調和音調突出目標材料）對母語為伊朗文， 二語為英語的受試學習非一致短語動詞（non-congruent phrasal verb）的影響。實驗結果顯示相較于控制組既沒有聽覺輸入強化也沒有視覺輸入強化， 實驗組聽覺輸入強化組和視覺輸入強化組在實驗測試中都取得了比控制組更優異的成績。這說明聽覺資源輸入和視覺資源輸入對非一致短語動詞的學習都具有明顯促進作用。這些不一致的實驗研究結果激勵著更多的研究人員參與到視聽資源對二語詞匯習得影響的研究中， 為二語詞匯學習尋求最優的學習和教學方法。

2.視聽資源間的多模態交互

模態意指感官與外部環境的交互方式， 如果多感官通道被包含其中， 就可稱其為多模態交互。因此， 多模態便具有多種符號資源包括口頭文字， 書面文字， 圖片， 圖表， 空間以及其他可以傳遞意義的資源符號（Baldry &Thibault， 2006）。

Kress和Van Leeuwen （2001）也認為多模態話語（multimodal discourse）是一種包含了多種交互方式的話語模態， 包括聲音， 文本， 圖像以及其他可傳達信息的資源。因此， 不難看出， 區分多模態和單一模態的關鍵就在于有多少種資源符號參與語篇的建設。在國內關于多模態的研究中， 朱永生（2008）， 李戰子（2003）認為模態是信息交互的中介和通道， 它不僅包含文本， 也包含其他語義系統， 如圖片， 聲音， 顏色等。而在詞匯習得研究領域， 研究者通常將多模態學習方式引入實驗方案設計。通過讓被試就目標詞在不同模態下進行學習， 探索哪種模態或哪幾種模態的結合更有利于詞匯習得， 以此促進詞匯習得研究的發展。

在Yeh和Wang （2003）的實驗中測試了聲音注解（sound annotation）對詞匯習得是否有促進作用。在該實驗中作者采用的聲音注解方式是通過播放小段音頻實現的， 其中包括了目標詞匯的英語發音， 詞匯拼讀以及目標詞所在句子的朗讀（read the word + spell the word + read the sentence）。實驗結果表明與文本組和文本+圖片組相比， 文本+圖片+聲音組并沒有在詞匯習得測試中取得更好的成績， 由此可見聲音注解沒有對詞匯習得產生促進作用。作者分析其原因可能有二。一是受被試母語（漢語）的影響， 漢語文字屬于表意文字， 因而在實驗中被試會更加注意語言文字的視覺信息， 而忽視了通過聽覺傳達的聲音信息， 從而導致了聽覺資源的低效性;而是考慮到實驗中添加的聽覺資源可能語速過快， 被試沒有足夠的時間加工這些信息從而使得聽覺資源對詞匯習得沒有起到促進作用。可以看出在多感官資源同時被被試接收時就會出現被試對資源加工的偏差， 這是由于對有限工作記憶的資源競爭引起的。

由此可見， 盡管視聽資源的引入使得學習者不再受制于與學習材料之間的單一模態交互方式， 但是多種資源的加持， 學習者受限于有限的認知加工能力， 會將其認知和注意力的分配傾向于更易于理解和加工的資源。比如相對于聽覺資源， 視覺資源更容易獲得受試更多的關注也更易被識別加工。在對一語詞匯習得的研究中， 有研究結果顯示在聽與讀的對照實驗中， 聽比讀更有挑戰性， 受試并不能像輕易理解掌握視覺輸入信息那樣理解掌握聽覺信息（Anderson， 1980; Rost， 1990）。在一語詞匯習得中， 受試處理聽覺資源尚且要比處理視覺資源付出更多的努力， 更不必說在二語詞匯習得中， 聽覺資源對學習者注意力的額外占有情況。因此在這種情況下， 多模態交互方式也許并不能幫助學習者實現更好的學習效果， 只有恰到好處的資源配比和交互方式才能幫助學習者實現學習效益最大化。

3.視聽資源與雙重編碼理論

在多模態的學習情境下， 學習者必定要接受來自不同感官通道的信息， 這些不同的感知渠道導致了不同的交際模態（朱永生， 2008）， 其中最重要的兩種交際模態就是聽覺模態， 視覺模態。而學習者要對在多模態下接受的信息進行加工處理就必須談到人的認知系統對信息的識別與加工， 即雙重編碼理論。

雙重編碼理論是Paivio （1986）在圖式理論的基礎上提出的一條關于言語和非言語信息認知加工和記憶的理論。它彌補了以命題表征為基礎的圖式理論無法描寫新信息難以被理解和舊信息難以被激活的缺陷（黃文硯， 2018）。雙重編碼理論認為人的認知系統包括了言語和非言語兩個系統。這兩個系統彼此獨立運行， 在言語系統中， 言語刺激主要包括了言語， 如口頭交流， 文本朗讀音頻和文字等， 人們可以分別通過聽覺通道和視覺通道對他們進行處理;而在非言語系統中， 非言語刺激主要包括了背景音， 音樂和圖片等， 這些信息雖然會傳遞一定含義但不會傳達出明確的指令或信息， 它們通常在情感層面上對人產生影響， 因此被歸于非言語資源。對于這類資源， 人們也同樣可以從聽覺和視覺兩個通道來對其進行編碼處理（Paivio， 1991）。

在視聽輸入模式下學習二語詞匯， 學習者會同時接收到言語信息（詞匯發音， 文本音頻和文字等）和非言語信息（圖片， 背景音等）。運用雙重編碼理論， 便可以了解二語學習者是如何對不同的試聽資源進行理解和記憶的。雙重編碼理論認為彼此獨立運行的言語和非言語系統在完成對信息的加工儲存時都會經過三個階段， 即表征處理階段， 表征連接階段和意義關聯階段（Paivio， 1986）。在第一階段， 當學習者接收到來自外界的言語刺激和非言語刺激時， 學習者大腦中的言語表征系統和非言語表征系統會被立刻激活， 學習者便會立刻聯想到與言語刺激和非言語刺激相關的表征信息。例如， 當學習者聽到一個詞時， 學習者能想到關于這個詞的其他語言信息， 比如它的發音， 拼寫和語義等;而在看到一張圖片時能想到關于這個圖片的其他圖像信息， 比如它的環境， 場景等。在第二階段， 獨立的言語系統和非言語系統之間會產生參照連接， 使得言語系統在處理言語刺激時能獲得非言語表征信息， 非言語系統在處理非言語刺激時也能獲得言語表征信息。這就是學習者在聽到一個詞時能在頭腦中產生與之相關的圖像， 而在看見圖片時能聯想到與圖片相關的聲音的原因。在第三階段， 也就是意義關聯階段， 由于言語和非言語表征被激活， 言語表征， 非言語表征以及它們兩者之間都會產生連接， 一旦學習者獲得言語或非言語刺激傳達的某一個意義， 緊接著與之相關的意義便會被迅速激活， 由此一傳十， 十傳百， 最后形成龐大的意義關聯網絡。并且當新的語義一致信息同時在言語和非言語系統中編碼時， 來自一個系統對信息的識別和記憶可以作為線索來幫助激活另一系統對信息的識別和記憶。由此可見， 言語系統與非言語系統既各自獨立又相互聯系， 它可以在視覺心理表征和聽覺心理表征之間建立聯系以此對語言進行解碼處理。

在視聽輸入模式下， 言語和非言語系統保證了學習者在獲得多種類型資源時能快速地對其進行解碼處理， 這也是試聽資源之所以能幫助學習者達到更快速準確地習得二語詞匯的原因。

4.視聽資源與認知負荷理論

認知負荷理論首次由澳大利亞心理學家Sweller （1988）年提出， 該理論是在工作記憶模式的基礎上延伸而得， Sweller認為那些使學習變得不必要復雜的因素， 或使我們從試圖關注的信息中分心的因素， 會增加一個人在處理信息時的認知負荷， 較高的認知負荷會讓學習者更難以集中注意力、更難對信息進行記憶和處理， 使得學習效果更差。此外， 認知負荷理論（Sweller， 1994）如還通過解釋工作記憶在容量和持續時間上的局限性， 為視聽資源教學在二語詞匯中的運用提供了指導。

在多模態學習模式下， 視覺資源與聽覺資源在雙重編碼的處理下， 既會相互建立聯系， 實現對信息的解碼， 但它們彼此也會形成競爭關系， 因為學習者短時間內對信息資源的加工能力是有限的， 在此過程中， 通過文字和圖像呈現的信息往往會與通過聲音傳遞的信息形成競爭關系， 加大學習者的認知負荷， 從而降低學習效果。此外不僅視覺資源和聽覺資源之間會產生競爭， 各類視覺資源之間和聽覺資源之間也會產生競爭。如Kaplan-Rakowski 和 Loranc-Paszylk （2019）在實驗中探究了言語聽覺資源（詞匯發音）和非言語聽覺資源（聲音特效）對二語詞匯習得的影響。他們在其實驗中比較了添加言語聽覺資源， 非言語聽覺資源， 和同時添加言語與非言語聽覺資源這三種情況對二語詞匯習得的影響。結果顯示只有添加非言語聽覺資源對二語詞匯習得產生了顯著影響， 而添加非言語聽覺資源和同時添加這兩種聽覺資源都沒有對二語詞匯習得產生顯著影響。作者在解釋同時添加兩種聽覺資源卻沒有取得更好的學習效果時提出這是因為學習者即時處理信息的能力是有限的， 兩種聽覺資源極增大了學習者處理信息的心理負荷， 使得結果適得其反。

由此可見， 在運用試聽資源幫助學習者習得二語詞匯時， 不僅要考慮視聽資源之間的占比， 也要考慮各類視覺資源和各類聽覺資源之間的取舍。一味地添加各類資源不但不會有助于二語詞匯習得， 還可能產生抑制效果。

5.結語

本文回顧了視聽資源在二語詞匯習得領域的應用情況， 對二語詞匯教學具有一定啟示。教師在選用視聽資源時， 除了要考慮何種類型的資源對二語詞匯習得有更好的促進效果， 還要考慮各類資源之間的配比問題。只有資源配比例得當才能盡量避免各類資源之間出現對有限的認知和記憶能力產生競爭關系， 加大學習者的認知負荷， 從而降低學習效果。而關于試聽資源配比的定量研究也正是研究者們需要繼續探索的問題。

參考文獻