視頻加速對二語字幕影視使用效果的影響*

王懌旦

(江蘇第二師范學院 外國語學院，江蘇 南京 211200)

一、引言

繼20世紀中后期人文領域的“語言轉向”與“文化轉向”后，[1][2]視覺符號、影像呈現開始發展，并大行其道，成了一種越來越重要的媒介與手段。20世紀90年代初開始了“圖像轉向”，Mitchell于1995年在《圖像理論》一書中明確提出，“圖像轉向”是在影像和信息技術時代所興起的以圖像為研究對象、探索視覺經驗獨有的解釋模式的后語言學的、后符號學的人文科學研究范式。[3]“圖像轉向”強調圖像和語言都參與意識本質建構，圖像像語言一樣，也是人類進行思考與表達的一種思維方式與符號性言說方式，也可以突破時空局限而傳播信息，不存在純粹的視覺或語言，它們彼此交互融通，圖像觀看與文本閱讀均為深度式的接受活動，圖像轉向并不意味著圖像的狂歡和霸權以及與此相對應的語言式微,而是對圖像表達比重日益增加的趨勢和過程的描述；圖像轉向既表明圖像增長的速度之快,也表明圖像增長的技術支撐性；“圖像轉向”的實質在于語言與圖像之間互為他者、和諧共生，是一種視覺和話語之間的復雜互動，一種抽象與具象交融。它是對結構主義一種突破，是對語言本身張力的進步，也是對媒介局限性的一種符號性超越。它還指出，圖像與文本一樣有意義，其能指對應所指，是一個符號系統，是不能脫離意義而存在的，圖像與文本的意義之間，往往存在一種互文性關系。[4]

字幕視頻集動態效果、口語對話和書面文字為一體，它往往提供了意義的圖像、語言和文本之間的三重聯系，[5]展示了語境、話語、副語言線索等之間同步動態互動，促使多感官、雙編碼系統交互，是一種可以擴充詞匯、促進語言記憶、提升理解能力、促進知識內化度和增強學習動機、提升視聽元素意義建構能力的有效方法。[6]字幕視頻往往兼具娛樂和學習的雙重功能，近年來，隨著手機、平板等技術設備的日益普及以及網絡資源共享化的趨勢，當前字幕視頻在傳統課堂和網絡課堂被廣泛應用，豐富了學習模式，學習者可以接觸豐富的互聯網字幕視頻，[7]且其中大多為免費，它已被公認為一種獲取語言技能的時代性教學工具與寶貴資源，現代外語教學基于“互聯網+”、泛在學習、移動學習等多元化教學理念，也更傾向于采用與這種多模態相結合的教學方法。[8]當然，在數字資源盛行的時代，這些免費的字幕視頻并非都是高質量的，它也很容易成為填鴨式學習等低效學習的幫兇，教學人員需要對其進行篩選，找出優質材料并加以必要加工，以支持優化學習體驗和提高學習效果，設計合理的字幕視頻，可以有效引導高層次學習。[9]字幕視頻有一個不足之處：相較于帶或不帶圖片的文本閱讀，它需要花費更長的時間來聆聽敘述、觀看視頻。事實上，英語為母語者話語速平均每分鐘約為130-180個單詞，而平均閱讀速度則為200-350個單詞,而接受高等教育的學習者一般閱讀速度為350-450個單詞。[10]考慮到時間的價值，任何可以減少時間提高效率的方式都是學習者和教學設計者所期望的。字幕視頻雖廣為用作教學工具，但在發展學習者語言能力這方面，它的潛能尚未得到完全開發。隨著字幕視頻的流行以及媒體壓縮技術廣泛使用，學習者有能力將視頻壓縮到其想要的速度，因而有必要對字幕視頻加速播放展開探討，目前針對字幕視頻學習中視頻加速的相關研究十分有限，故本研究將基于學習者學習成績和滿意度分析，探討字幕視頻加速對字幕視頻學習的影響。

二、多媒體學習認知理論——字幕影視學習的理論支撐

Mayer在其《多媒體學習》一書中較為系統地闡述了其多媒體學習認知理論。該理論的核心目標是促進學習者從視聽形式呈現的材料中主動建立起一個一致的心理表征，促進學習者在對材料信息的認知加工和處理過程中積極實現對新知識的建構，充分運用所呈現的材料進行有意義的學習。該理論主張，人們對視覺表征和聽覺表征的學習材料擁有視覺和聽覺兩個各自獨立的信息加工通道，聽覺信息和視覺信息材料由不同通道處理和加工，人腦會為每個通道所加工處理的信息創造各自不同的表現形式。視覺通道處理諸如圖像、動畫和屏幕文本信息等視覺信息，而聽覺通道則處理諸如旁白等聽覺信息。該理論試圖賦予聽覺加工和視覺加工以同等重要地位，它強調這兩個通道是處理信息的基礎，所有的認知都會涉及到聽覺和非聽覺機制的結合，因而聽覺信息和非聽覺信息的結合并不矛盾，學習者通過視聽結合的學習方式要比光聽的學習方式更能深入學習。它還強調視聽編碼信息在大腦中的整合，并認為同時融合運用這兩個心理通道比單一通道在信息處理方面更有效率，這能夠減少視覺通道或聽覺通道的認知負荷，相關信息由視覺和聽覺同時呈現時學習者的學習效果要好于只通過聽覺或視覺方式呈現的信息，動態視聽呈現形式是多媒體的優勢之一。[11]

該理論主張，學習者會選擇性注意經由眼睛、耳朵進入認知處理系統的視聽覺信息中的有關內容，從呈現的聽覺信息中，學習者主要選擇重要的詞語語音信息等進行言語表征，從而側重構建命題表征或言語庫；從呈現的視覺信息中，學習者主要選擇重要的景象信息等進行圖像表征，從而側重構建表象表征或圖像庫。工作記憶或短時記憶將選擇后的信息表征片段進行組織并構建相應的言語和圖像模型，當學習者選擇了一定的圖像和語音材料后，就會在其工作記憶中將相關信息進行重新組織，形成一個連貫的關于言語所描述情境的言語心理模型或圖像中所描述情境的圖像心理模型，這兩個模型均是具有內在聯系的整體結構。學習者在所組織的兩種平行的心理模型之間建立對應的映射聯結，同時利用言語心理模型和圖像心理模型將新攝入信息與長時記憶中的先驗知識或己有知識整合聯結起來，這種整合發生在工作記憶中，學習者往往在接收到少量的言語和圖像共現信息后就開始整合加工了，經過這樣的整合后，真正的意義上的學習才會發生。對學習者而言，言語(如口語解說或書面文本)和畫面結合多媒體呈現形式的學習效果要優于純言語呈現的材料，在學習情境中對于一個概念的陳述，言語和影像共現的效果更好，它比單一語言形式更能吸引學習者的關注，激發學習者的興趣，也更加有利于學習者的認識加工，利于在工作記憶中同時激活言語和圖片兩個處理模型以及兩個過程之間的互動，避免一個處理器閑置而另一個負荷過重，更能促進學習者的有意義學習。[12]

在字幕影視中，當對應的語言與畫面同步呈現時，有助于學習者在工作記憶中同時保持兩種材料的心理表征，也有助于學習者在二者之間建立起心理聯系，有助于學習者構建對應的語詞與畫面之間的認知關系。整合到一個視屏，就會減少學習者尋找、匹配的過程，降低認知負荷，提高學習效率。可見，多媒體學習認知理論為字幕影視學習提供了重要理論支撐。

三、視頻加速——字幕影視學習的有效方式

變速播放或變速處理是時下一種十分流行、廣為使用的的音視頻處理技術，它是把即將輸入的各種音視頻信號，按照使用者的意愿提速或者減速播放，是通過改變單位時間內輸出的音視頻信息量達到變速要求。[13]視頻變速播放常見于影視觀看者想要定位視頻的某一個時間點時，除了直接拖放進度外，還常用倍速播放來實現以節省時間，當然這種快進對視頻內容跳躍較大、失真明顯，還有一些視頻觀看者或制作者為了達到特定的效果而將視頻降速，此外，一些外語學習者特別是初學者希望能減慢語速以提高自己的理解度和學習效果。當前，許多課程，特別是一些考研輔導課程、資格證書輔導課程等通過在線或離線視頻形式展開，這些網絡課程往往耗時長、內容多、講解速度偏慢，而學習者又迫切希望提高學習效率，此外還有一些人在聽小說、評書或者是觀看娛樂視頻時覺得情節拖拉、速度太慢,于是就借助了各種媒體播放器(如Potplayer、KMPlayer、VLC、AVPlayer、Windows、DicePlayer、GomPlayer、RushPlayer、Astroplayer、QQ影音、完美解碼等)的加速功能，這些媒體播放器能支持多種格式的音視頻，播放速度控制功能使用簡便、易于操作且變速不變調(即在加速時音質一般也不會發生夸張變化)，往往同時支持電腦、手機和平板操作系統，支持網絡流媒體，還支持硬件加速，軟/硬解碼齊全，支持倍速播放范圍一般為0.1倍到16倍速之間。其中，正常速度播放為1倍速，即按照常規速度播放視頻文件；加速播放，即在常規速度的基礎上使播放速度加快，其倍速值大于1；降速播放，即在常規速度的基礎上使播放速度減慢，其倍速值小于1；變速視頻播放主要通過調用ActiveX控件實現。[14]

視頻加速，亦稱時域壓縮，是指視頻媒體在保留質量的前提下加快視頻的速度，它目前已成為媒體播放器的一種重要功能，不僅能對本地視頻文件實現加速，而且也能對實時流媒體加速。圖像視頻加速主要通過改變數據的實際播放期限或間隔來實現，其中因為圖像幀播放速率提升或幀間間隔縮小對人眼視覺影響較小，所以主要加快速率或縮減每幀播放期限就可以；而音軌信息如果僅僅依靠改變每幀間間隔，會導致播放頻率變化引起的音調高低變化，從而失去原有音質或自然音效，因而音軌信息加速只能在數據的播放頻率或時間間隔不變的前提下，通過刪減一定長度的數據同時保證音視頻同步來實現，從而保留較好音質音調，確保觀看者的聽覺效果。視頻加速后仍然具有較高保真度，實際上基于人們認知系統的視覺暫留、聽覺暫留現象，視頻加速時語音語調都正常，只不過語言間停頓被壓縮，它允許視頻提高速度時不產生發聲不正常，因此，壓縮字幕視頻和正常節奏的視頻非常相似。但是，不是任何倍速的視頻加速播放都能避免因速度的突然變化造成的對播放質量的損害，研究表明，基于目前巳經成熟的視頻信號處理技術(如自適應差分脈沖編碼調制等)，[15]1.2倍速以內的加速仿真度高，對觀看者造成畫面、音軌質量損失不明顯，其失真度不易為人眼和人耳感知，觀看者往往難以區分正常節奏視頻和這些低級別加速視頻，即不知道視頻是否壓縮了時間，而倍速超過1.2的加速視頻觀看者會有明顯的不平滑或跳躍感、語音不清晰感。視頻加速在視頻合成、視頻識別和分析等方面有著廣泛應用前景，引起了很多研究者的關注。

四、研究方法

(一)研究問題和實驗對象

本研究在字幕視頻教學中引進視頻加速手段，通過學習者學習成績和滿意度情況調查實證分析了字幕視頻加速對字幕視頻學習的效用，以期提高學習者字幕視頻學習的效率。本研究受試對象為南京三所公辦高校英語專業二年級9個自然班的270名本科生，其中216名受試對象為女性(80%)，64名為男性(20%)，受試對象年齡為18至23歲之間，平均年齡20.4歲(SD=3.68)。所有受試對象具有共同的母語背景，均通過了大學英語四級考試，有9至13年的英語學習經歷，受試對象的英語水平處于中高級，視力或矯正視力正常。所有受試班級隨機分配各個實驗條件。本實驗中的受試對象不存在任何導致視頻理解困難的聽障問題，也未曾接受過任何視頻加速型視聽材料的體驗或訓練。實驗開始前對受試對象的統一英語水平測試表明，各班的成績平均值非常接近，分數段的分布、離散度類似，獨立樣本T檢驗P=0.712>0.05，這表明各組受試對象的英語能力無顯著差異，總體處于同一水平，研究的有效性可以得到保證。

(二)實驗材料、工具與過程

本實驗選擇BBC紀錄片《生物鐘：身體運轉的奧秘》，視頻格式為AVI，該視頻為通俗性科普敘述語篇，主要探討關于生物鐘是生物體生命活動的內在節律性，是由生物體內的時間構序所決定等方面的問題。該視頻質量較高，為1280×720分辨率高清畫質，文件大小為498MB。視頻轉錄約有4233詞，受試對該話題熟悉度一般，弗萊士易讀度指數63.4，弗萊士-金凱德難度級數10，總體難度適中。三種不同播放速度下視頻材料各自的總時長、平均語速(詞/分鐘)如表1所示。

表1 三種不同播放速度下字幕視頻概況

本研究的實驗工具主要包括背景問卷調查、成績測試與滿意度問卷調查。背景問卷調查共20個問題，主要收集受試性別、年齡、專業、學習英語年限等個人信息及受試對字幕視頻學習和字幕視頻加速熟悉度等信息。視頻成績測試包括40個多項選擇題，總分為40分，直接針對視頻中的信息展開測試，其中20個主要涉及詞匯理解，20個主要涉及內容理解。每題包括四個選項，受試被要求從中選擇最佳答案，正確答案記“1”分，錯誤答案記“0”分。受試須在40分鐘內完成測試。對試卷的先導測試的克隆巴赫系數是0.79，超過了0．7可接受水平，這表明其題目設計合理、可信度高。為了收集受試對象對加速手段的反饋，更好地了解其對視頻加速的態度，本研究還展開了滿意度調查。學習者滿意度調查包括15個問題，涉及學生對視頻加速的舒適度感受、興趣態度、作用評價等，這些問題被設計來測量學習者對這種變速干預的滿意程度，本部分調查問題采用五級李克特量表，每個問題有五個選項，包含從非常不滿意到非常滿意五個等級(1=非常不滿意，2=不滿意，3=不確定，4=滿意，5=非常滿意)，最終獲得的總分數反映了參與者的感知享受度或滿意度。該滿意度調查的克隆巴赫系數為0.81，表明量表具有較高的可靠性。本實驗設計為3(視頻播放速度：1倍速即正常速度、1.2倍速、1.3倍速)×3(字幕類型：全字幕、關鍵詞字幕、無字幕)的受試間設計。開始播放視頻之前，每位受試對象都完成了背景調查和英語水平測試，對各組之間差異進行了有效控制，加速視頻測試的準確性得以保證。所有受試組被隨機分配觀看視頻加速的不同字幕類型視頻。鑒于視頻加速情況不同，各組持續可能不同(參見表1)。觀看結束后，受試對象需要先完成相關成績測試，然后各組學生在觀看完所有其余類型視頻后展開滿意度調查。研究所收集的原始數據，將用SPSS18.0進行分析處理。

五、結果與討論

在成績測試方面，數據偏度值為0.13，峰度為2.32，列文方差齊性檢驗表明,樣本的總體方差不存在顯著差異(F=0.19，P=0.82)，因變量符合正態分布，且彼此獨立，即不存在自相關，數據適合標準推斷統計分析。所有測試數據被輸入到一個有3(播放速度)×3(字幕模式)的組間因素方差分析，結果表明，測試成績之間有存在統計學意義。表2給出了平均得分和標準差。單獨分析視頻速度的影響時，同一字幕模式的各組結果表明視頻速度不存在顯著的主效應(6.1>F>2.2,P>0.56,0.12>偏η2>0.04)，不同組之間的平均值和標準差表現出輕微變化。結果還表明,字幕模式×視頻速度之間不存在顯著的交互作用(F=1.12，P=0.34，偏η2=0.01)。成績段的分布方面，同一字幕模式的各組結果非常接近。這表明，在九個實驗組中，視頻速度與字幕模式之間不存在互動效應，也就是說，基于不同視頻速度的學習之間在最終學習成績上不存在差異。皮爾遜相關系數檢驗也表明，視頻速度和學習成績不存在顯著關聯(P=0.12>0.05)。雖然實驗中未發現視頻速度存在顯著主效應，但視頻觀看測試中發現字幕模式存在顯著的主效應，F=5.12,P=0.016，偏η2=0.01。從表2實驗成績中可以看出，受試對象在處理字幕視頻時顯著優于無字幕，而關鍵詞字幕又優于全字幕，無字幕組的平均分比全字幕組低3-4分，而全字幕組又比關鍵詞字幕組低4-5分，配對樣本T檢驗表明，字幕模式的主效應差異也極其顯著(T值=4.38，P值=0.02<0.05；T=5.66，P=0.01<0.05)，效應量較大(Φ值=0.62﹥0.50；Φ值=0.66﹥0.50)，三者在統計學上存在顯著差異。

表2 不同播放速度與字幕類型下受試對象的成績

在學習者滿意度方面，對加速組學習者滿意度量表調查的15個問題，針對學習者滿意度提供了一個整體的綜合分析。所有組的滿意度平均評級均比較高，分別為是4.21、4.36和4.15，其中數據的偏度系數為-1.02，峰度系數為2.88，列文方差齊性檢驗表明樣本的總體方差不存在差異(F=4.23，P=0.88)，實驗數據可用于相關分析。這些數據被輸入視頻速度×字幕模式的雙因子實驗分析，視頻速度與字幕模式分別為組間因素，學習者滿意度則為因變量。表3呈現了每個條件下平均值和標準差。結果表明，視頻速度與字幕模式均不存在主效應，這些數據不存在顯著差異，即在不同視頻速度或字幕模式下，未發現滿意度顯著差異,P>0.68，0.08>偏η2>0.01，也未發現視頻的速度和字幕模式之間存在顯著的交互作用F=2.56,P=0.42,偏η2>0.02。這意味著，隨著視頻速度逐漸增加或字幕模式的變化，滿意度總體不變。但同時，標準差較大(SD>3)意味著受試對象的個體成績間存在相當大變化，個體間滿意度的差別較大。實驗數據表明，總體而言，絕大多數受試對象對視頻加速這種方式較為滿意、有興趣，意識到了字幕加速對減少視頻觀看時間、提高信息處理速度的重要意義。

表3 受試對象對不同播放速度與字幕類型的滿意度

本研究有兩個重要發現。首先，在學習成績方面，可以合理地推斷出三種視頻播放速度對測試結果不存在統計學意義上的顯著差異，對字幕視頻材料提速20%的學習與常規速度下并沒有顯著不同，即1小時的指令可以在45分鐘內交付，仍然可以滿足相同的學習目標和學習者期望的成就水平而不增加工作記憶的負擔。這是一個特別重要的發現，因為它表明，學習者可以操縱字幕視頻播放速度高達1.2倍速，而認知資源不超載，對學習效果不存在任何負面影響，節省的時間隨著不斷的積累將變得非常重要，因而教學設計人員可將這種變速視頻手段用于外語教學，加快教學視頻的速度，提高學習效率，而不必擔心對學習者的學習效果產生消極影響。這些發現與先前一些有關多媒體教學中視頻加速研究的結果相一致。[16]

其次，在滿意度方面，總體而言，絕大多數的受試對象對視頻加速滿意，各組受試對象對各種視頻速度的總體滿意度不存在顯著差異，對于在字幕視頻學習中采用視頻加速，總體持肯定支持態度，認為它有效、易用，有助于改善其自身學習，讓他們受益，但同時無論字幕視頻的播放速度為多少，學習者個體由于學習動機等因素，對視頻的滿意度都存在一些差異。這可能說明，不同學習者對視頻播放速度會有不同的偏好，也從側面反映了字幕視頻學習過程中學習者對視頻播放速度自我控制的意義。未來的研究可以納入更多選項，讓受試可以在一定程度上選擇和調控其字幕視頻速度，讓學習者按照自己的節奏學習，實現教學多樣性和個性化，充分挖掘學習者潛能。本部分研究通過一系列的成績測量方法，為加速播放效用提供了一個全面詳實的描述，實驗表明,合理使用符合認知原則的字幕技術，將使學習者更好地學習。

總而言之，學習者可以利用視頻加速技術來控制字幕視頻演示的速度，減少學習任務所花費的時間，有助于提升學習質量與效果，使教學設計最優化以及學生學習效果最佳化，同時也利于學習者效率意識的培養與加強。我們必須充分理解這一技術對基于字幕影視的二語學習的影響及其在大數據時代背景下的顯著實用價值。

六、結語

當前如何使計算機多媒體技術成為有效輔助教學工具，這是研究者和教師共同關心的問題。在計算機軟件中的加速播放功能較為流行的背景下，如何最大限度地促進學習者提高學習效率，也是衡量學習者外語水平的一項重要指標，據此，本研究探討了在二語習得語境中視頻加速這種創新模式對字幕視頻教學的影響。研究結果清楚地指出，加速字幕視頻可以作為增強二語教學和學習的有效工具，使用加速字幕視頻時的增益效果是顯著的，并且受試對象對使用視頻加速的看法與實驗結果是一致的，他們認為它提高了語言學習效率，同時也不影響他們的學習效果。本研究以實踐和過程為導向，以學習者為中心，旨在鼓勵學習者提高效率、促進其語言習得，試圖打破字幕視頻常規速度模式，研究分析視頻加速型字幕視頻，積極推動引入這種體驗式、互動式、重實效的教學模式，從而對現有字幕教學方法進行有益補充，優化教學過程和效果，并更新字幕視頻教學理念。隨著多媒體技術創新工具不斷納入語言教學，字幕教學視頻將有更大的發展前景，同時，這也有助于消除關于以將字幕作為教學工具的擔憂。本研究結果具有較強的現實指導價值：學習者應充分利用視頻加速，進而提高二語學習效率，實現高效學習；同時，二語教師也應向學習者介紹推廣相應的字幕視頻加速策略，培養學習者在二語學習中的效率意識，逐步培養學習者發現和有效利用學習進程加速工具的能力，從而優化外語教學效果，擴大此類練習帶來的益處。

需要注意的是，雖然本項研究通過定量和定性的方法進行了驗證，但在受試對象和樣本數量方面也存在一定局限性，研究所采用的字幕視頻內容認知負荷中等，結果僅證明對高校學生或相似群體適用，未必適用于其他學習者群體，也未將個體對語速偏好納入考慮，所以不能一概而論。希望未來研究者能進一步展開探討，并進一步擴大適用范圍，使實驗結果更為客觀、可信度更高。另外，因為1.2倍速最高值的相關實證研究較少，未來研究可以進一步驗證二語學習時視頻加速即時域壓縮的最大值，為今后展開全面、深入的字幕視頻研究提供一定理論框架基礎與借鑒。