計(jì)算機(jī)化口語(yǔ)考試的構(gòu)念效度問(wèn)題研究

摘要： 本文旨在通過(guò)定性分析來(lái)檢驗(yàn)廣東省高考英語(yǔ)(NMET)II計(jì)算機(jī)化口語(yǔ)考試的構(gòu)念效度問(wèn)題，即這一考試（COT）是否考到了它所要考的構(gòu)念。Hedge(2001) 的語(yǔ)言交際能力模型作為本研究的理論框架。通過(guò)定性分析，包括對(duì)COT專家的問(wèn)卷調(diào)查分析、試題內(nèi)容的分析以及對(duì)考生考試表現(xiàn)的分析證明了COT考到了大部分的口語(yǔ)交際能力。定性分析表明COT有比較高的構(gòu)念效度。

關(guān)鍵詞： 構(gòu)念效度 口語(yǔ)交際能力 計(jì)算機(jī)化口語(yǔ)考試(COT) 高考英語(yǔ)Ⅱ

計(jì)算機(jī)化考試是最近十幾年來(lái)發(fā)展起來(lái)的一種新型考試形式。2004年廣東省率先使用人機(jī)對(duì)話的方式作為高考英語(yǔ)Ⅱ(NMETⅡ)的口語(yǔ)考試形式，考核學(xué)生的口語(yǔ)交際能力。這種考試形式由于提高了考試的標(biāo)準(zhǔn)化程度，從而提高了考試的信度。但評(píng)價(jià)一個(gè)考試最重要的一個(gè)特征并不是信度，而是效度問(wèn)題，即這個(gè)考試是否考到了它想要考的東西(Henning 1987)。Woods(1993)曾指出提高效度有可能會(huì)影響到信度，而提高信度也可能會(huì)在某種程度上降低效度。因此本文旨在研究COT在提高信度的同時(shí)，是否也有很高的效度。

1.理論背景

交際語(yǔ)言教學(xué)(CLT)在我國(guó)已推廣了20多年了。在外語(yǔ)教學(xué)界，學(xué)生的語(yǔ)言交際能力也已被公認(rèn)為外語(yǔ)語(yǔ)言教學(xué)的目的(Richards Rodgers 1986)。自1985年開(kāi)始實(shí)行的全國(guó)高考英語(yǔ)考試(NMET)，考試小組的專家已明確表示力圖通過(guò)該考試幫助中國(guó)英語(yǔ)教學(xué)從側(cè)重語(yǔ)言形式轉(zhuǎn)向?qū)φZ(yǔ)言的運(yùn)用(桂詩(shī)春等1985)。而廣東省NMET中的口試部分也從最初的側(cè)重語(yǔ)音語(yǔ)調(diào)的筆試語(yǔ)音和大聲朗讀，發(fā)展到1995年實(shí)施的角色扮演。后者是一種面對(duì)面的信息交流方式，這在很大程度上提高了測(cè)試的真實(shí)性，比最初的形式更為進(jìn)步。但角色扮演也存在著諸多的缺限，如各地考場(chǎng)的考官英語(yǔ)水平的差異對(duì)考生的影響；不能一次性測(cè)試考生而需要多份平行試卷的影響，花費(fèi)在考官培訓(xùn)、考試實(shí)施的時(shí)間和經(jīng)費(fèi)較多；以及考官所承受的必須立即評(píng)定考生成績(jī)的壓力。這些問(wèn)題都呼吁著一種更標(biāo)準(zhǔn)、更有考試信度的口語(yǔ)考試的出現(xiàn)。

由于上述種種原因，廣東省2004年在高考英語(yǔ)中率先實(shí)行了計(jì)算機(jī)化口語(yǔ)考試(COT)。在COT中，考生在同一時(shí)間進(jìn)入考場(chǎng)，做同樣的試題；只需要一個(gè)或兩個(gè)的監(jiān)考教師在考場(chǎng)中監(jiān)督而不需要經(jīng)過(guò)培訓(xùn)的考官。在閱卷方面，所有考生的測(cè)試成績(jī)都被錄入電腦，隨后編入程序由受訓(xùn)過(guò)的大學(xué)英語(yǔ)教師集中在一個(gè)大型電腦中心評(píng)卷。試卷是隨機(jī)發(fā)給每個(gè)閱卷人。如果評(píng)一份試卷的兩個(gè)閱卷人評(píng)的分?jǐn)?shù)差距超出正常標(biāo)準(zhǔn)，該試卷則由第三個(gè)閱卷人重評(píng)，直到達(dá)到標(biāo)準(zhǔn)范圍之內(nèi)。通過(guò)這些手段，考試的信度較之于角色扮演得到了提高，進(jìn)而確保了考試的公平性。

評(píng)價(jià)一個(gè)考試最重要的兩個(gè)標(biāo)準(zhǔn)是信度和效度。效度比信度更為重要，因?yàn)槿绻粋€(gè)考試考的不是它宣稱要考的東西，那么這個(gè)考試就沒(méi)有任何意義可言。通過(guò)COT，口語(yǔ)考試的信度相應(yīng)地提高了，但效度會(huì)受到影響嗎?COT能不能考到它所要考的口語(yǔ)交際能力?這是COT設(shè)計(jì)者和考試使用者要問(wèn)的問(wèn)題，也正是本研究所要回答的問(wèn)題。

在所有關(guān)于交際能力的文獻(xiàn)中，對(duì)交際能力的定義發(fā)展從Hymes(1972)，Canale Swain(1980)，到Bachman(1990)，直到Hedge(2001)從語(yǔ)言教學(xué)的角度總結(jié)了前人的觀點(diǎn)。我們選擇了以Hedge(2001)的語(yǔ)言交際能力為基本框架，操作化定義了口語(yǔ)交際能力，它包括語(yǔ)言能力、語(yǔ)用能力、語(yǔ)篇能力、策略能力和流利性。以下的研究都是在該口語(yǔ)交際能力的框架之下進(jìn)行的。

因此在本文中，我們最主要的研究問(wèn)題就是COT是否考到了口語(yǔ)交際能力?而且在多大程度上考到了這種能力？

根據(jù)Bachman(1990)，在考試構(gòu)念效度的研究中，既需要有定性分析（專業(yè)的判斷），又需要定量分析。在本文中，我們將從定性分析的角度進(jìn)行分析（定量分析將在第二篇文章中進(jìn)行詳細(xì)闡述）。Fulcher(2003)提出了四種定性研究方法，包括專家判斷、問(wèn)卷調(diào)查和采訪、語(yǔ)篇分析以及口頭報(bào)告分析。

2.研究方法

本研究通過(guò)定性分析方式來(lái)探討COT這種口語(yǔ)考試形式是否考到了口語(yǔ)交際能力。在分析中，我們采用了專家問(wèn)卷調(diào)查和內(nèi)容分析的方法。問(wèn)卷調(diào)查即通過(guò)專家對(duì)于COT的考試題目是否能考到口語(yǔ)交際能力的每一項(xiàng)做出判斷來(lái)看COT的效度問(wèn)題，而內(nèi)容分析則是對(duì)COT三大考題的分析以及考生的具體考試表現(xiàn)的分析。

本研究中的研究工具包括：專家意見(jiàn)調(diào)查問(wèn)卷，2004年廣東省高考英語(yǔ)II試題中的口語(yǔ)部分的試題和NMETII的評(píng)分標(biāo)準(zhǔn)。

專家意見(jiàn)調(diào)查問(wèn)卷是以本文操作化定義的口語(yǔ)交際能力為框架，分為3部分。每一部分回答專家對(duì)于COT中每一個(gè)題目的意見(jiàn)。在每部分中有15題，即口語(yǔ)交際能力的15個(gè)子能力。問(wèn)卷使用了1-5Likert量表。1表示專家認(rèn)為該能力在本題中完全考不到，2表示基本考不到，3表示不確定，4表示基本考到，5表示完全能考到。

參加過(guò)COT閱卷工作的廣東外語(yǔ)外貿(mào)大學(xué)英文學(xué)院經(jīng)驗(yàn)豐富的英語(yǔ)教師及研究方向?yàn)槎Z(yǔ)習(xí)得和語(yǔ)言測(cè)試的研究生接受了問(wèn)卷調(diào)查。有效問(wèn)卷為20份。兩位研究方向?yàn)檎Z(yǔ)言測(cè)試的研究生在接受了閱卷培訓(xùn)后對(duì)30份系統(tǒng)隨機(jī)抽出的COT試卷進(jìn)行了重評(píng)。對(duì)于調(diào)查問(wèn)卷，我們將每位專家的意見(jiàn)轉(zhuǎn)換成相對(duì)應(yīng)的數(shù)字輸入SPSS10.0，并計(jì)算出平均數(shù)和標(biāo)準(zhǔn)差。

3.研究結(jié)果與分析

（1）專家意見(jiàn)問(wèn)卷調(diào)查結(jié)果與分析

（1-5分的Likert量表，圖中問(wèn)題1-15即問(wèn)卷中的問(wèn)題，A、B和C即COT的三部分，下同。）

(為了得到更明顯的卡方檢驗(yàn)的統(tǒng)計(jì)數(shù)據(jù)，筆者特將1-5分的量表，變?yōu)?-3分的Likert量表，)

從表1和表2中我們可以看到，專家認(rèn)為PartA只考到了語(yǔ)音語(yǔ)調(diào)。這與文獻(xiàn)中的說(shuō)法是一致的。Underhill(1987)指出大聲朗讀這種題目一般是為了測(cè)試考生的語(yǔ)音語(yǔ)調(diào)。

在PartB中，所有專家的反應(yīng)是在3分以上，即專家認(rèn)為都在不確定到認(rèn)為該能力被考到之間。在基本認(rèn)為考到的能力中，雖然大部分是語(yǔ)言能力，但語(yǔ)用能力中的形式與功能的關(guān)系及正確使用語(yǔ)域，策略能力中的實(shí)現(xiàn)策略以及流利度也都被認(rèn)為在考題中得到了體現(xiàn)。

在PartC中，專家認(rèn)為大部分的能力在本題中都有所反映（大于等于4分）。語(yǔ)言能力被認(rèn)為相較于B部分考到的更多。語(yǔ)用能力和語(yǔ)篇能力，策略能力和流利度也被認(rèn)為考到了部分的能力，包括通過(guò)重音或聲調(diào)來(lái)表達(dá)態(tài)度或情緒，正確地使用語(yǔ)域，開(kāi)始或結(jié)束一段對(duì)話、利用連接結(jié)構(gòu)，通過(guò)其他方式表達(dá)同一意思以使交流順利進(jìn)行以及利用合理的速度來(lái)進(jìn)行反饋等。

在卡方檢驗(yàn)中，只要測(cè)試結(jié)果P值低于0.05就可以認(rèn)為其具有顯著意義。在PartA中，只有第5題0.247大于0.05。而在PartB中，只有第6、7、12題沒(méi)有顯著的傾向。PartC中，只有第12、13、14題沒(méi)有達(dá)到顯著意義。這說(shuō)明在所有的反饋中，專家只對(duì)少數(shù)問(wèn)題的答案持不確定的態(tài)度。

（2）考試內(nèi)容的分析和考生考試中實(shí)際表現(xiàn)的分析

從對(duì)COT三部分的試題分析以及學(xué)生考試表現(xiàn)的分析，我們發(fā)現(xiàn)PartA是大聲朗讀和模仿語(yǔ)音語(yǔ)調(diào)的綜合體。語(yǔ)音和語(yǔ)調(diào)是評(píng)價(jià)該部分學(xué)生表現(xiàn)的主要標(biāo)準(zhǔn)。如考生010201321在8分的題目中得到了7分的高分。她能將每個(gè)單詞都發(fā)得準(zhǔn)確清楚，還會(huì)巧妙地利用語(yǔ)調(diào)，在句子的中間用升調(diào)，在句尾用降調(diào)，而且對(duì)電腦中說(shuō)話者模仿地惟妙惟肖。而考生010205050，不僅發(fā)音不標(biāo)準(zhǔn)，Atlantis，thriving等單詞發(fā)不準(zhǔn)確，還經(jīng)常有停頓，不能凸顯各種語(yǔ)調(diào)，整個(gè)朗讀階段在語(yǔ)調(diào)上毫無(wú)跌宕起伏。她最后只得了3分的成績(jī)。

在PartB中，考生先在中文提示的基礎(chǔ)上提問(wèn)三個(gè)英語(yǔ)問(wèn)題，如學(xué)好英語(yǔ)的秘訣。在這一任務(wù)中，首先需要語(yǔ)言能力，只要考生知道疑問(wèn)句的結(jié)構(gòu)，如“Could you tell me……”或“I was wondering……”等結(jié)構(gòu)，就比較容易提出問(wèn)題。其次，在選擇適合的語(yǔ)言形式以完成獲取信息的功能時(shí)也會(huì)用到語(yǔ)用能力。而策略能力在考生無(wú)法想起最佳表達(dá)時(shí)可使用其他相對(duì)簡(jiǎn)單的表達(dá)形式以完成任務(wù)。最后，由于時(shí)間的限制，考生必須盡可能迅速地反饋信息，從而使得流利度也成為完成任務(wù)的一個(gè)重要標(biāo)準(zhǔn)。獲得高分的考生在語(yǔ)言能力和語(yǔ)用能力方面表現(xiàn)突出。如考生010201005的答案是：“I’d like to know what is your secret to learning English well.”而有的考生雖無(wú)法用更切合語(yǔ)用原則的句式來(lái)提問(wèn)，他們卻利用策略能力使用更簡(jiǎn)單的句式，雖不能得到高分，但也能夠達(dá)到溝通的效果，如考生010205044的答案為：“How to learn English well?”

在回答問(wèn)題部分，考生首先要從提問(wèn)問(wèn)題階段獲取相關(guān)的信息，這就需要一定的聽(tīng)力理解能力。為了能夠正確、適時(shí)地回答問(wèn)題，語(yǔ)法知識(shí)和詞匯、語(yǔ)音語(yǔ)調(diào)的正確選用以及流利度也是必須具備的。在本題中得分較高的也確實(shí)是那些聽(tīng)力以及語(yǔ)言能力較高的考生，如考生01020008對(duì)第一題：“What is the most important secret to learn a language well?”的答案是：“The most important thing is to surround yourself you want to learn.”而標(biāo)準(zhǔn)答案是：“The most important secret is to surround yourself in the language.”對(duì)于具備一定策略能力的考生，他們雖不能提供完全準(zhǔn)確的答案，但還是可以通過(guò)其他的方式表達(dá)出比較接近的答案，如考生010201145在回答問(wèn)題2：“How can it help us to watch a movie in that language?”時(shí)，回答道：“It would help us to be interested in learning vocabulary and expressions.”標(biāo)準(zhǔn)答案則是：“It would help us to keep motivated to learn vocabulary and phrase.”雖不是最佳答案，但意思已經(jīng)表達(dá)出來(lái)。

因此，PartB 更能展示考生的各方面能力。為了能夠完成信息交流的任務(wù)，考生應(yīng)用了多種能力，如語(yǔ)言能力、策略能力、流利度、語(yǔ)用能力等。

而在PartC 口頭作文里，考生則需運(yùn)用更多的能力去跟上屏幕給出的情景，講述愛(ài)因斯坦的故事。首先，為了將畫(huà)面中的情境表達(dá)出來(lái)，語(yǔ)言能力是必需的，如必要的詞匯、語(yǔ)法結(jié)構(gòu)等。其次，語(yǔ)音語(yǔ)調(diào)等相關(guān)知識(shí)會(huì)使得作文更流利自然。除此之外，語(yǔ)篇能力的運(yùn)用也在本題中有充分表現(xiàn)，如怎樣開(kāi)啟一段話語(yǔ)和使用語(yǔ)篇連接標(biāo)志等。而由于作文是要講述一個(gè)科學(xué)家的人生，語(yǔ)用能力中的語(yǔ)域和話語(yǔ)正式程度也在本題中得到體現(xiàn)。同時(shí)，由于是看屏幕畫(huà)面進(jìn)行講述，語(yǔ)言的流利度（適當(dāng)?shù)恼Z(yǔ)流速度）也是在閱卷時(shí)需考慮的元素。

對(duì)考生表現(xiàn)的分析也證實(shí)了這一點(diǎn)?？忌?10201030不僅語(yǔ)言能力較強(qiáng)，還掌握了語(yǔ)篇標(biāo)志、語(yǔ)域等語(yǔ)用能力，特別是策略能力，如當(dāng)說(shuō)到“owe to”，考生對(duì)這一短語(yǔ)的具體用法并不確定時(shí)，他很快就轉(zhuǎn)變成另一種比較有把握的說(shuō)法：“depend on”。

Einstein was the greatest scientist of the twentieth century.He made great contribution to the science work.Einstein was a hardworking man and he always work until night.In the daytime，he devoted himself to teaching.Many people liked to discuss problems with him.In a way，Einstein’s success was owed to.... depended on his wife’s support and care.Einstein’s wife was a kind woman.He cooked meal for his husband and helped him clean his desk. In addition，she always listens to his new ideas and shared his laughter and sorrow.We can say，without his wife’s support，Einstein may not make great contribution to the science.(From Test taker 010201030)

四、討論

通過(guò)專家的意見(jiàn)調(diào)查和對(duì)試題及考生表現(xiàn)的分析，我們可以看出：在Part A中，考試主要通過(guò)這種單項(xiàng)試題考查了考生的語(yǔ)音語(yǔ)調(diào)，而Heaton（1991）也認(rèn)為很多口語(yǔ)考試都會(huì)包括單獨(dú)的一項(xiàng)大聲朗讀（或語(yǔ)音語(yǔ)調(diào)的模仿）以構(gòu)成更加完整的口語(yǔ)考試。

在PartB中，考試主要考查了考生的語(yǔ)言能力、策略能力、流利度、語(yǔ)用能力等。章兼中（1986）指出提問(wèn)問(wèn)題是日常生活中口語(yǔ)交際能力的一個(gè)重要部分，而Underhill(1987)認(rèn)為角色扮演可以測(cè)試出考生執(zhí)行各種語(yǔ)言功能的能力。雖然考試中有中文提示，但考試不僅僅考查了考生的語(yǔ)言能力，還包括其他的能力。為了完成考題，考生必須意識(shí)到他所扮演的角色，提問(wèn)的形式要得體恰當(dāng)，這就涉及了語(yǔ)用能力中的語(yǔ)言形式和功能的關(guān)系以及語(yǔ)域的部分，而策略能力或流利度也會(huì)在考生追求準(zhǔn)時(shí)和確定時(shí)得到應(yīng)用。在許多口語(yǔ)考試中，聽(tīng)力和口語(yǔ)是不可分的。所以在回答問(wèn)題階段，聽(tīng)力理解能力就顯得格外重要，這是因?yàn)樵诳谡Z(yǔ)交際中，個(gè)人既是開(kāi)啟對(duì)話的說(shuō)話者，也是回應(yīng)對(duì)方的聽(tīng)話者（Harris 1969）。這種信息交換是交際中的主要特色，測(cè)試這一能力也變得極為重要。Luoma（2004）也提出回答問(wèn)題主要包括信息的理解和利用相關(guān)信息進(jìn)行回應(yīng)。為了能夠提供信息，考生也需要具備以上各種能力。

而在PartC中，除了主要的語(yǔ)言能力外，Hedge（2001）語(yǔ)言交際的其他各項(xiàng)能力在考題中也都有所涉及。敘述或描述的語(yǔ)言任務(wù)是以交際為導(dǎo)向的，需要考生以連貫的順序講述各個(gè)場(chǎng)景，因此除其他能力外，語(yǔ)篇能力也比較重要（Luoma 2004）。策略能力中的利用其他手段達(dá)到交際目的能力也顯示在考生表現(xiàn)中，而避免策略卻很難被觀察到，因?yàn)槿绻忌鷽](méi)有說(shuō)話的話，我們就不能確定這是因?yàn)槭褂昧嗽摬呗赃€是根本就不知道這一策略（Fulcher 2003）。

五、結(jié)語(yǔ)

本文通過(guò)定性分析的方法探討了廣東省高考英語(yǔ)計(jì)算機(jī)化口語(yǔ)考試的構(gòu)念效度問(wèn)題。研究表明，這種新型的口語(yǔ)考試形式除了信度得到了提高，也在很大程度上測(cè)試了考生的口語(yǔ)交際能力，即該考試有較高的構(gòu)念效度。

參考文獻(xiàn)：

［1］Bachman，L.F.Fundamental Considerations in Language Testing.Oxford：Oxford University Press.1990.

［2］Canale，M.，and Swain，M.Theoretical bases of communicative approaches to second language teaching and testing.Applied Linguistics，1，pp.1-47.1980.

［3］Fulcher，G.Testing Second Language Speaking. London：Pearson.2003.

［4］Gui，S.，Li，X.and Li， W.Report on the experiment of the standardized English test. Official document.University Enrolment Office of Guangdong Province.1985.

［5］Harris，D.P.Testing English as a second language.New York：McGraw-Hill.1969.

［6］Heaton，J.B.Writing English Language Tests.Fourth impression.London：Longman.1991.

［7］Hedge，T.Teaching and Learning in the language Classroom.Second impression. Oxford：Oxford University Press.2001.

［8］Henning，G.(1987).A Guide to Language Testing.Cambridge，Mass：Newbury House.

［9］Hymes，D.(1972).On communicative competence.InJ.B.Pride and J.Holmes(eds.)：Sociolinguistics.Harmondsworth：Penguin.

［10］Luoma，S.(2004).Assessing Speaking.Cambridge：Cambridge University Press.

［11］Richards，J.C.and Rodgers，T.S.(1986).Approaches and Methods in Language Teaching-A Description and Analysis.Cambridge：Cambridge University Press.

［12］Underhill，N.(1987).Testing Spoken Language.Cambridge University press.

［13］Woods，R.(1993).Assessment and Testing：A Survey of Research.Cambridge(USA)：Cambridge University Press.

［14］章兼中(1986).外語(yǔ)教育心理學(xué).安徽教育出版社.