英語口語測(cè)試的信度和效度研究

秦明星

（鄭州科技學(xué)院，河南鄭州 450064）

英語口語測(cè)試是檢測(cè)學(xué)生口頭交際能力的重要方式，它能最直接地反映一個(gè)人的外語基本水平，同時(shí)又對(duì)教學(xué)有很強(qiáng)的反撥作用。因此近年來語言測(cè)試日趨注重對(duì)口語能力的評(píng)價(jià)，許多大規(guī)模的英語考試已經(jīng)增加口試，并且口試與筆試分開的時(shí)間間隔也越來越短。如托福口試在托福考試實(shí)施了18年后于1981年推出。中國的CET考試在開考13年后于1999年增加CETSET考試。1999年開始實(shí)施的PETS考試，在推出時(shí)就已包括了口試部分。

英語口語測(cè)試是對(duì)學(xué)生進(jìn)行英語綜合能力測(cè)試中最直接的方式，是檢測(cè)學(xué)生語言輸出的重要手段。而口語測(cè)試的信度與效度的把握則是測(cè)試成功與否的關(guān)鍵。因此，對(duì)英語口語測(cè)試的信度和效度進(jìn)行分析，保證試題設(shè)計(jì)的科學(xué)性，判分的可行性與可靠性，有利于使口語測(cè)試準(zhǔn)確地反映學(xué)生的實(shí)際口語能力，進(jìn)而提高其對(duì)口語教學(xué)的正向反撥作用。

1 測(cè)試的信度和效度基本內(nèi)涵

如果我們想闡釋一次特定的考試成績是否正確反映了學(xué)生的語言能力，那么在設(shè)計(jì)和使用測(cè)試時(shí)，Bachman［1］（1990）信度和效度是首要關(guān)注的特征。Lado［2］（1961）提出測(cè)試必須滿足兩個(gè)條件：信度與效度。Bachman［3］（1996）把信度定義為“測(cè)試的一致性”。美國心理研究協(xié)會(huì)［4］（1985）認(rèn)為效度是我們根據(jù)測(cè)試分?jǐn)?shù)所作的推斷或結(jié)論如何有意義、恰當(dāng)以及有效的程度。信度和效度是語言測(cè)試的兩大屬性，是評(píng)估語言測(cè)試最為關(guān)鍵的兩個(gè)質(zhì)量指標(biāo)。信度表示測(cè)量結(jié)果的內(nèi)部一致性的程度。考生在同樣能力下的不同測(cè)試結(jié)果非常接近，這樣的測(cè)試即稱為有信度。信度是繼效度后衡量考試質(zhì)量的另一個(gè)重要指標(biāo)，任何考試只有可靠才能有效。因此，信度是效度的必要前提。考試效度是衡量考試質(zhì)量最重要的標(biāo)準(zhǔn)，是考試最基本的出發(fā)點(diǎn)。語言測(cè)試界對(duì)考試效度的傳統(tǒng)定義是“考試是否或多大程度上測(cè)試了測(cè)試者想要測(cè)試的內(nèi)容”。一個(gè)測(cè)試只有具有要準(zhǔn)確測(cè)量的內(nèi)容時(shí)，才能稱得上有效度。根據(jù)現(xiàn)代語言測(cè)試?yán)碚摚|(zhì)量合格的測(cè)試首先測(cè)試的信度與測(cè)試的效度有著密切的關(guān)系。一般說來，只有信度較高的測(cè)試才能稱得上有效度。根據(jù)現(xiàn)代語言測(cè)試?yán)碚摚|(zhì)量合格的測(cè)試首先要有效度和信度。

測(cè)試的信度與測(cè)試的效度有著密切的關(guān)系。一般說來，只有信度較高的測(cè)試才能有較高的效度，但信度較高不能保證效度一定較高。測(cè)試的信度主要涉及到試題本身的可靠性和評(píng)分的可靠性這兩個(gè)方面。試題本身是否可靠主要取決于試題的范圍、數(shù)量、試題的區(qū)分度等因素；評(píng)分是否可靠則要看評(píng)分標(biāo)準(zhǔn)是否客觀、準(zhǔn)確，評(píng)分過程是否一致。測(cè)試效度可通過對(duì)學(xué)生進(jìn)行訪談或問卷調(diào)查的方式，了解他們對(duì)測(cè)試的態(tài)度、反映和感覺，依此修正測(cè)試項(xiàng)目，以獲得較高的效度。

2 英語口語測(cè)試的信度研究

英語口語測(cè)試信度是指口語考試結(jié)果的可靠性和穩(wěn)定性。所謂英語口語考試的信度是指同一個(gè)口語測(cè)驗(yàn)（或相等的兩個(gè)或多個(gè)測(cè)驗(yàn)）對(duì)同一組考生施測(cè)兩次或多次，其結(jié)果的一致性程度。也就是說，考生多次參加英語口語考試，如果每次得到近乎一樣的分?jǐn)?shù)，那么可以認(rèn)為該測(cè)驗(yàn)的信度是高的；如果每次分?jǐn)?shù)忽高忽低，說明該測(cè)驗(yàn)可靠性不夠、信度低。

例如，我們可以這樣來檢驗(yàn)測(cè)試的信度：使用同樣一份試卷，在兩種不同的場合、環(huán)境中，在較短的時(shí)間間隔內(nèi)，施與同樣的學(xué)生，如果測(cè)試結(jié)果基本吻合，那么證明該測(cè)試是有信度的。一份試卷的測(cè)試結(jié)果如果缺乏信度，就沒有使用價(jià)值，同時(shí)也減弱了考試的公正性。當(dāng)然，要完全消除不一致性也是不可能的，我們能做的是盡量把影響不一致性的不利因素控制在最低程度，以便于提高測(cè)試信度。信度主要是看學(xué)生的分?jǐn)?shù)是否穩(wěn)定，如果分?jǐn)?shù)忽高忽低，就說明信度不高。信度是受許多因素影響的，比如測(cè)試的時(shí)間、環(huán)境、學(xué)生的健康狀況、對(duì)題目的理解等等。例如不同的環(huán)境對(duì)聽力測(cè)試的影響是很大的，那些靠近喧鬧街道教室里的學(xué)生是很難將注意力放在聽力材料上去的；再如，炎熱的夏季，把測(cè)試放在中午2：00左右就可能使很多學(xué)生昏昏欲睡，當(dāng)然就不能發(fā)揮正常水平了。這些都嚴(yán)重影響著測(cè)試的信度。但也并非說測(cè)試的信度是完全客觀的，教師可采取一些辦法盡可能使題目的覆蓋面大，使其具有代表性；再比如，盡量使試卷的評(píng)分客觀一些。評(píng)分時(shí)至少有兩名以上的評(píng)分者，尤其是在口語測(cè)試的評(píng)分中，更應(yīng)該盡量公平一些。只有這類不利因素對(duì)測(cè)試的影響越小，測(cè)試的信度才能越高。

3 英語口語測(cè)試的效度研究

英語口語測(cè)試的效度是指測(cè)試是否考查了測(cè)試者想要測(cè)試的語言方面的內(nèi)容，考生所考的成績是否合理地說明了該考生的語言能力。作為衡量學(xué)生英語水平的一種尺度，考試必須具有效度。英語口語測(cè)試的有效性研究應(yīng)該從有效性的各種方面來進(jìn)行，實(shí)際上這些方面也是評(píng)估有效性的有效方法。衡量英語口語測(cè)試效度包括幾個(gè)方面：內(nèi)容效度、結(jié)構(gòu)效度、卷面效度、一致效度、應(yīng)答效度等。其中內(nèi)容效度和構(gòu)想效度往往是重點(diǎn)考察的方面。

（1）內(nèi)容效度

Henning［5］（1987）認(rèn)為內(nèi)容效度指“測(cè)試內(nèi)容是否充分代表和綜合了測(cè)試的有效性”。內(nèi)容效度主要研究試題的內(nèi)容與命題理念的關(guān)系，也就是說，試題的內(nèi)容能在多大程度上測(cè)試出考生的口頭表達(dá)能力。主要指試題與所要考查的語言知識(shí)、技能或語言能力的相關(guān)性、代表性，與考生的合適性。一般來說，一項(xiàng)測(cè)試的內(nèi)容效度越高，就越能精確地了解所要測(cè)試的內(nèi)容，并產(chǎn)生較好的正面反撥效應(yīng)。內(nèi)容有效性是由語言學(xué)家或者測(cè)試專家等“專家”進(jìn)行判斷的。換句話說，在英語口語試題用于檢測(cè)或?qū)I(yè)考試之前，它的有效性必須首先由可信的、權(quán)威的專家來鑒定。他們的判斷基于是否遵循考核大綱以及是否所能客觀反映測(cè)量目標(biāo)。按這種方式，測(cè)試設(shè)訓(xùn)者將為測(cè)試的有效性提供內(nèi)容上的證據(jù)。這種有效性的衡量聽起來非常簡單，但需驗(yàn)證的方面比我們?cè)瓉碓O(shè)想的更加不明確，更有爭議，或許更復(fù)雜。對(duì)于這種困境，在于測(cè)試有效性是相對(duì)而非絕對(duì)的。如果內(nèi)容效度有其自身的問題，那么，測(cè)試設(shè)計(jì)者需要為測(cè)試效度收集其它類型的證據(jù)：結(jié)構(gòu)效度、卷面效度、一致效度、應(yīng)答效度等。

（2）結(jié)構(gòu)效度

Bachman ＆ Palmer［2］（1996）試卷質(zhì)量的關(guān)鍵，是指我們把一項(xiàng)測(cè)試成績作為要測(cè)試的能力或結(jié)構(gòu)的指示物對(duì)它所能進(jìn)行解釋的程度。結(jié)構(gòu)效度是一個(gè)動(dòng)態(tài)的過程，根據(jù)測(cè)試成績所作的解釋永遠(yuǎn)不能說是絕對(duì)有效的，它只是一個(gè)相對(duì)的概念。討論測(cè)試效度必須與具體的測(cè)試目的相結(jié)合，否則是沒有意義的。對(duì)于某些測(cè)試?yán)碚摷遥Y(jié)構(gòu)效度是測(cè)試效度的一種形式，它實(shí)質(zhì)上是評(píng)定測(cè)試在多大程度上有效地基于其基礎(chǔ)理論，即，測(cè)試是否成功地應(yīng)用了理論。1990年，Bachman建議一個(gè)包括三個(gè)組成部分的語言交流能力的框架結(jié)構(gòu)：語言能力，策略能力和心理——生理學(xué)聯(lián)合機(jī)制。如果我們將Bachman的框架作為設(shè)計(jì)英語口語考試的基礎(chǔ)理論，那么在設(shè)計(jì)題型的時(shí)候，我們不得不考慮這些組成部分，并且測(cè)試之后，我們也不得不證實(shí)英語口語測(cè)試的內(nèi)容是否滿足CLA框架的要求。

（3）其它效度

卷面效度指測(cè)試的表面可信度或公眾接受度。例如，一項(xiàng)測(cè)試是測(cè)試受試者的發(fā)音能力，但在測(cè)試中并沒有讀的測(cè)試項(xiàng)目，這項(xiàng)測(cè)試則被認(rèn)為缺少表面效度。一致效度指學(xué)生的自我評(píng)價(jià)與其考試成績存在著一定差距，原因在于一些學(xué)生過度自謙而另一些則自信心膨脹。應(yīng)答效度指測(cè)試結(jié)束后，有必要了解考生對(duì)選項(xiàng)的反應(yīng)。考生考試過程中解題的原因是檢測(cè)測(cè)試的重要指標(biāo)。因此，目前人們非常有興趣了解考生在英語口語測(cè)試中的測(cè)試行為和思考過程。

到目前為止，已從內(nèi)容效度、結(jié)構(gòu)效度、卷面效度、一致效度、應(yīng)答效度等幾個(gè)方面對(duì)英語口語測(cè)試的有效性加以闡明。必須注意的是有效性是一個(gè)單一的概念，為容易理解而把它分開到不同的部分中。更理想地是，一個(gè)高效的英語口語測(cè)試應(yīng)該在所有方面令人滿意。但是現(xiàn)實(shí)中，不是所有方面都能達(dá)到有效。英語口語測(cè)試的有效性研究是一個(gè)永恒的主題，如何改進(jìn)其有效性是所有測(cè)試?yán)碚摷液蛯＜遗μ剿鞯恼n題。

英語口語測(cè)試是為英語教學(xué)服務(wù)的。英語教學(xué)的任務(wù)是培養(yǎng)學(xué)生實(shí)際運(yùn)用英語的能力，口語測(cè)試的任務(wù)則是正確評(píng)價(jià)學(xué)生實(shí)際運(yùn)用語言的能力。口語測(cè)試作為英語教學(xué)過程中的一個(gè)重要環(huán)節(jié)，只有保證其信度與效度，才能公正、合理地反映出考生的真實(shí)口語水平，對(duì)英語教學(xué)才能產(chǎn)生積極的促進(jìn)作用。

1 Bachman，L.F.Fundamental Consideration in Language Testing［M］.Oxford：Oxford UniversityPress.1990.

2 Lado，R.Language Testing［M］.Longman.1971.

3 Bachman，L.F，＆Palmer A.S.Language Testing in Practice［M］.Oxford：OUP.1996.

4 Heaton，J.B.Writing English Language Tests［M］.London：Longman.1988.

5 Henning，G.A.Guide to Language Testing：Development，Evaluation and Research［M］.Beijing：Foreign Language Teaching and Research Press，2001.