測試環境下同伴口語水平影響效應研究

馬瑞娟

(中北大學外語系，山西 太原030051)

一、引言

隨著英語教學改革的深入，口語交際能力表現性評估近年得到廣泛關注。它受到受試者、任務、評估標準及考官特征等諸多因素的影響。最近的研究多集中于受試者特征對其表現的影響，如Ockey研究了同組成員自信心對其他受試者表現的影響［1］;O'Sullivan研究了受試者教育水平及熟悉程度等特征對口試中受試者表現的影響［2］。這些研究在一定程度上能夠解釋測試中受試者表現差異的原因。受試者表現差異的原因是多種多樣的，影響因素也不是單一的。盡管目前對受試者特征方面有很多研究，但仍有許多未探知領域。口語水平也是受試者的特征之一，目前對這一表現性評估變量的研究較少。McNamara＆Lumley研究了考官水平和評分之間的關系［3］。Purpura研究了高水平和低水平受試者在測試中策略使用情況［4］。本文提出如下問題:成對錄音口試中，在沒有考官介入的情況下，受試者的表現是否會受到同伴口語水平高低的影響?基于目前的研究現狀，本研究將口語水平的影響作為研究重點，旨在研究成對角色扮演錄音口語測試中不同口語水平的同伴對同一受試者的表現是否產生影響。

Foster和Skehan對語言語法正確性和復雜性作出了定義［5］，也成為口語交際表現性評估中衡量語言質量的兩個重要因素。如O'Sullivan應用此定義，研究了成對口試中受試者熟悉程度對表現的影響［2］。本文采用此定義，從定量和定性兩個角度分別對受試者的測試分數和輸出語言的語法正確性和復雜性進行研究，旨在探討測試環境下同伴口語水平對受試者表現的影響。

二、研究設計

(一)研究問題

本研究主要回答下述問題:第一，高、低分組受試者的口語測試成績是否受到同伴口語水平的影響?如果受到影響，成績有什么樣的趨勢?第二，高、低分組受試者輸出語言的語法復雜性是否受到同伴口語水平的影響?語法復雜性是否具有顯著差異性?第三，高、低分組受試者輸出語言的語法正確性是否受到同伴口語水平的影響?語法正確性是否具有統計學意義上的顯著差異性?

(二)研究對象

參與實驗的是山西大學外國語學院66名英語專業的本科生，其中56名女生，10名男生，分別來自3個不同的班級，接受英語教育的時間和學習課程大體相同。專業四級口語成績是本研究中劃分高、低分組受試者的依據，為了減少學習效應的影響，在專業四級口語成績剛剛揭曉之后即進行本實驗。

(三)模擬實驗設計

1.考試方式

為了驗證英語測試環境下同伴口語水平的影響效應，本研究進行了一次模擬實驗。實驗采用語音實驗室和錄音的方式，在沒有考官介入的情況下測試考生的口語能力。考生要對著話筒，按照耳機中所提示的內容和考試要求進行考試，口試內容全部錄音。

2.試題設計原則和形式

模擬實驗試題設計時考慮了以下兩個因素:一是題目難易適中，選題沒有性別偏頗性。低水平的考生有話可說，高水平的考生也能充分表現自己的口語能力，男女生都能順利展開話題;二是題目內容為考生所熟悉的真實口頭交際語境。遵循以上試題設計原則，本研究采用了專業四級口語測試的題型:兩人一組角色扮演口語測試。口試內容分為兩部分，第一部分為自我介紹，是考前熱身部分，目的是使學生放松，該部分不計入成績;第二部分為口試內容，計入成績。

3.分組原則

根據受試者的專業四級口語成績，他們被分為高分組和低分組兩組。專業四級口語測試中4分和3分的學生較少，因此在此研究中2分的學生屬于高分組，1分的學生被劃入低分組。根據學生的成績和研究目的，這些學生分別和不同水平的同伴進行口語測試。

(四)數據的收集與分析

模擬實驗在課堂時間三個班級同時進行，受試者剛剛參加了專業四級口語測試，所有學生熟悉測試程序，實驗結束后共回收33份有效錄音材料(兩名學生的材料在一盤錄音磁帶上)。隨后5名有經驗的評分員對錄音材料進行了評分，評分量表根據英語專業四級口試使用的評分量表并依據研究目的改寫為整體評分量表和分析評分量表。為了確保評分的信度，2名評分員采用整體評分法，3名評分員采用分析評分法。5名評分員的成績平均后得到每名受試者的最后口試成績。評分結束后又對錄音材料進行轉寫，所有口試內容全部轉寫為書面形式，并對輸出內容的語言特征即語法正確性和語法復雜性進行分析。利用SPSS(Statistical Product and Service Solutions)“統計產品與服務解決方案”統計軟件分別對低分組和高分組的口試成績和輸出內容的語法正確性和復雜性進行單維方差分析(One-Way ANOVA)。

三、結果和討論

(一)評分結果的相關性

本研究對評分信度要求很高，否則會直接影響后續方差分析的質量。我們對評分員的評分信度進行了相關計算，分數呈極其顯著性相關，可以判斷本次評分的信度很高。該數據有一定的啟示性:對于口試之類的主觀性考試，同一份材料的評分最好是由多名評分員進行，并且采取不同的評分方法即整體評分法和分析評分法相結合，最后計算其平均分為該考生的最后成績。

(二)口試成績的差異

在確保評分的信度之后，我們運用單維方差分析法對高、低分組的口試成績差異進行了研究。

低分組受試者和高分組同伴進行口試時，平均分、最低分和最高分都比和低分組同伴口試時有很大提高，而高分組受試者和不同水平的同伴口試時分數沒有太大變化。單維方差檢驗也證實了描述統計數據的結果:低分組受試者受到同伴水平高低的影響，測試分數具有顯著性差異(p=0.006＜0.05)。低分組和高分組受試者進行口試時，低分組的測試分數有一定提高。然而高分組受試者和高分組或低分組同伴進行口試時，測試分數沒有顯著性變化(p=0.645 ＞0.05)。

(三)語言特征的差異

分析口試成績之后，通過轉寫錄音材料，隨后又對口試內容的語言特征進行研究，研究內容為語言語法的正確性和復雜性。研究依據為Foster和Skehan對語法正確性和復雜性的定義［5］。

結論如下:低分組和高分組受試者在和不同水平的同伴進行口試時，語言語法的復雜性均沒有表現出顯著性差異(p=0.598 ＞0.05，p=0.859 ＞0.05)。對于低分組受試者，和不同的同伴進行口試時，語法正確性具有顯著性差異(p=0.000＜0.05)。對于高分組受試者，口試同伴無論是高分組或低分組學生，其語法正確性均沒有顯著性變化(p=0.799 ＞0.05)。

高、低分組受試者和不同水平的同伴口試時，語言語法復雜性均沒有顯著性變化，筆者認為可能的原因如下:一是評分量表中沒有足夠地提及語法復雜性，大多數評分量表都比較注重語言的正確性;二是在高風險測試中，受試者使用語言都比較保守;三是語法復雜性是和風險緊密聯系的，在此研究中，受試者的口語水平相對低一些，口試時他們使用語言缺少變化。

低分組受試者語言語法正確性在兩種不同的情況下有顯著性差異，為了進一步研究存在的差異，對其語言錯誤進行了進一步分析。由于目前語言學研究中，對語言特征的分析尚未實現計算機自動統計，仍需要研究人員花大量時間逐詞逐句統計分析，鑒于時間和人力的限制，在接下來的研究中我們僅對兩名具有代表性的考生在和不同同伴口試時的口語記錄進行了詳細分析。分析局限于中國學生最易犯的語言錯誤。具體來說，這些錯誤指的是:動詞時態、動詞結構、主謂一致、人稱代詞、名詞單復數、介詞、冠詞、連詞、用詞的準確性等等。對比這兩名考生在和不同水平同伴口試中所犯錯誤的數目，經對比發現，這兩名考生在兩種不同情形下所犯的語言錯誤，從量來看存在較大的差異，即低分組受試者和不同水平的同伴進行口試時，表達的語言質量不同;在和高分組同伴口試時，在動詞時態、介詞、冠詞及主謂一致等方面語法正確性有明顯的改進。這和前面的語言語法正確性的單維方差分析結果一致。

四、結語

上述討論可歸結如下:第一，由高、低分組測試分數的描述統計數據和單維方差分析結果可見:低分組受試者受到同伴水平高低的影響，和不同水平的同伴口試時，測試分數有顯著性差異。低分組和高分組同伴進行口試時，低分組的測試分數有所提高。第二，語言特征中有關語法復雜性的分析結果表明:無論高分組還是低分組受試者，在和不同水平的同伴口試時語法復雜性均沒有顯著性差異。第三，語言特征中有關語法正確性的分析結果顯示:低分組受試者和不同的同伴進行口試時，語法正確性有顯著性差異。在動詞時態、介詞、冠詞及主謂一致等方面，語法正確性有明顯的改進，這和測試分數的研究結果是一致的。而對于高分組受試者，口試同伴無論是高分組或低分組學生，語法正確性均沒有顯著性變化。

本討論對英語口語教學的啟示是:課堂雙人口語練習中，教師可根據學生的口語水平對學生進行分組。為了提高低水平學生的口語交際能力，教師可以嘗試讓這些學生和高水平的同伴進行口語練習。要強化學生口語表達訓練，注意學生口語練習時所犯錯誤。

本討論的發現依然是探索性的，因為受到下列限制:一是樣本范圍的限制。盡管本研究是相對較大的樣本，但樣本具有地域和學校類別的局限性，會對研究結果產生影響。本研究之外，其他學校、其他學生的研究結果還有待進一步證實。二是高、低分組學生劃分界線不是很明顯。前面也提到這一點，由于英語專業四級口試中4分和3分的學生較少，此次研究中2分的學生是高分組，1分的學生被劃入低分組。高、低分組學生水平差異不是很大，如果能夠有更多的優秀學生參與實驗，結果可能會更加具有說服力。三是其它變量控制的限制。本研究的目的是探討口語水平對口試成績的影響，在模擬實驗中要控制其它變量的影響。盡管本研究對其它可能變量的影響作了一定的控制，但最終的研究結果也肯定存在其它變量的影響。

［1］Ockey G J.The effects of group members'personalities on a test taker's L2 group oral discussion test scores［J］.Language Testing，2009，26:161-186.

［2］O'Sullivan B.Learner acquaintanceship and oral proficiency test pair-task performance［J］.Language Testing，2002，19(3):277-295.

［3］McNamara T F，Lumley T.The effect of interlocutor and assessment mode variables in offshore assessments of speaking skills in occupational settings［J］.Language Testing，1997，14:140-156.

［4］Purpura J E.Investagating the effects of strategy use and second language test performance with high-and lowability test takers:a structural equation modelling approach［J］.Language Testing，1998，15:333-379.

［5］Foster P，Skehan P.The influence of planning and task type on second language performance［J］.Studies in Second Language Acquisition，1996，18:299-323.