上海市普通高中信息科技學(xué)業(yè)水平合格性考試合格標(biāo)準(zhǔn)劃分初探

范士娟 王曉慧

信息技術(shù)正深刻地影響著人們?nèi)粘Ｉ畹姆椒矫婷妫彩呛饬恳粋€國家綜合國力及國際競爭力的重要標(biāo)志。

信息技術(shù)作為一門課程，在中小學(xué)基礎(chǔ)教育階段備受矚目。2017 年底教育部頒布的《普通高中信息技術(shù)課程標(biāo)準(zhǔn) （2017 年版）》（以下簡稱 《新課標(biāo)》），對高中信息技術(shù)學(xué)科明確提出了“堅(jiān)持立德樹人的課程價值觀， 培養(yǎng)具備信息素養(yǎng)的中國公民”[1]的課程理念。信息技術(shù)學(xué)科，目前在上海稱為信息科技學(xué)科，高中階段在高一年級開設(shè)。 倘若學(xué)生將來不選擇相關(guān)專業(yè)或從事相關(guān)工作，那么高中階段短短一年的信息技術(shù)課程學(xué)習(xí)對他們而言就會顯得彌足珍貴。 另一方面，對于希望選擇相關(guān)專業(yè)或從事相關(guān)工作的學(xué)生而言，高中階段信息技術(shù)課程就是他們走向夢想的起點(diǎn)，是他們專業(yè)知識的基石。

上海市普通高中學(xué)業(yè)水平考試是普通高中學(xué)生綜合素質(zhì)評價的重要組成部分，其肩負(fù)的教育教學(xué)質(zhì)量的統(tǒng)一檢測與導(dǎo)向功能等職責(zé)，既能促進(jìn)學(xué)生對知識的吸收，又能更好地引導(dǎo)教師把握教學(xué)策略方向。要完全發(fā)揮考試的作用，就必須要有一個合理、科學(xué)且明確的合格標(biāo)準(zhǔn)。目前，上海市普通高中信息科技科目只設(shè)學(xué)業(yè)水平合格性考試，成績僅分合格與不合格，就更迫切需要一套成熟且有效的合格標(biāo)準(zhǔn)來負(fù)擔(dān)起檢測與導(dǎo)向等職責(zé)功能。

一、現(xiàn)狀

上海市普通高中信息科技學(xué)科學(xué)業(yè)水平合格性考試的形式、流程、作用具嚴(yán)肅性。考試結(jié)果是衡量上海市普通高中畢業(yè)生信息科技學(xué)科學(xué)業(yè)水平的標(biāo)準(zhǔn)， 也是上海市普通高中學(xué)生畢業(yè)的依據(jù)之一，更是春季高考報(bào)名資格之一。目前，學(xué)生與教師只知道合格或不合格的考試結(jié)果，但卻不知道具體的分?jǐn)?shù)以及合格標(biāo)準(zhǔn)。這種不確定性削弱了這項(xiàng)考試所應(yīng)當(dāng)發(fā)揮的質(zhì)量檢測、評價導(dǎo)向等功能。

不公布合格標(biāo)準(zhǔn)的現(xiàn)狀，不利于高中階段信息科技學(xué)科的學(xué)、教、研等的開展。師生們對合格標(biāo)準(zhǔn)產(chǎn)生了各種各樣的猜測。教師由于沒有明確的合格標(biāo)準(zhǔn)，缺乏對教學(xué)質(zhì)量標(biāo)準(zhǔn)的把握及對教學(xué)效果的預(yù)判。這種結(jié)果應(yīng)用與考試目的不相符，造成教學(xué)效果難以把握，也會導(dǎo)致命題難以平衡教學(xué)實(shí)情與課程標(biāo)準(zhǔn)的要求。更令人擔(dān)憂的是，學(xué)校、教師、學(xué)生對學(xué)科的重視程度不斷下降，直接影響到《新課標(biāo)》的落地實(shí)施以及對學(xué)生信息素養(yǎng)的培養(yǎng)及提升作用。

二、合格標(biāo)準(zhǔn)的劃分方法

確定合格標(biāo)準(zhǔn)的常規(guī)方法， 許多測量專家提出了多種確定方法， 多是由專家小組來判定專業(yè)要求的達(dá)標(biāo)水平。 合格標(biāo)準(zhǔn)的確定方法常用的有以下幾種：

（一）基于標(biāo)準(zhǔn)的傳統(tǒng)60 分合格標(biāo)準(zhǔn)的控制方法

一般在學(xué)校的考試中， 命審題老師需基于標(biāo)準(zhǔn)，依據(jù)剛合格的考生能力水平，預(yù)估其對每道題的得分，然后計(jì)算出整卷的得分期望。這個分?jǐn)?shù)即剛合格考生所能取得的考試分?jǐn)?shù)，可作為控制合格的劃分線。 通常控制在總分的60%概率作為合格線，即滿分100 分，則設(shè)置60 分為合格劃分線；滿分120 分， 則設(shè)置72 分為合格劃分線； 滿分150分，則設(shè)置90 分為合格劃分線。

這是中小學(xué)校沿用了幾十年的一貫做法，是一種傳統(tǒng)的控制合格的劃線方法，符合大家對及格線的常規(guī)認(rèn)識。

（二）合格標(biāo)準(zhǔn)的Angoff 設(shè)置方法

Angoff 法[2]最早是由Angoff 在二十世紀(jì)七十年代教育測量學(xué)中描述的標(biāo)準(zhǔn)設(shè)置方法，目前已經(jīng)得到了最為廣泛的應(yīng)用。Angoff 法最大的優(yōu)點(diǎn)是直觀，評判結(jié)果數(shù)據(jù)的收集和分析也比較容易，易被大眾理解。

Angoff 法的基本原理是由每個評判專家逐一審讀試題，依據(jù)自己對考生群體的了解和項(xiàng)目的考核目標(biāo)，來確定能力水平剛達(dá)到合格的考生，即最低合格能力水平考生在每道試題上做出正確應(yīng)答的情況， 或者每100 名最低合格能力水平考生在每道試題上做出正確應(yīng)答的人數(shù)比例。 所有試題的Angoff 評分之和， 就是最低合格能力水平考生在這個考試中的得分， 即合格與不合格之間的劃界分?jǐn)?shù)。

Angoff 法一般都要進(jìn)行二至三輪評判，以最后一輪獲得的結(jié)果作為劃界分?jǐn)?shù)。每一輪評判之后，在進(jìn)行下一輪評判之前都要將上一輪評判數(shù)據(jù)的統(tǒng)計(jì)分析結(jié)果反饋給評判專家，由評判專家組進(jìn)行討論，以便評判專家做出是否在下一輪評判中修正自己上一輪判斷的決定。

（三）百分比標(biāo)準(zhǔn)設(shè)置方法

參照上海新高考“3+3”模式常規(guī)等級制方式，上海市普通高中學(xué)業(yè)水平等級性考試成績在計(jì)入高考總分時， 由五等細(xì)化為A+、A、B+、B、B-、C+、C、C-、D+、D、E 共11 級， 分別占5%、10%、10%、10%、10%、10%、10%、10%、10%、10%、5%[3]。 其中最后一個等級E 視為不合格，即不合格考生數(shù)占總考生數(shù)比例為5%。參照等級制方式，合格標(biāo)準(zhǔn)可設(shè)置為以百分比95%為合格。

三、實(shí)例研究

以上海市普通高中信息科技學(xué)科學(xué)業(yè)水平合格性考試的模擬考試（以下簡稱“模擬考”）為本次探析對象。模擬考時間通常安排在正式考前一個月的5 月下旬，考試目的是讓考生熟悉考試環(huán)境、考試題型等。 模擬考由上海市教育主管部門組織，整個考試的形式、流程等與正式考完全一致，具有一定的嚴(yán)肅性；參加考試的對象與參與6 月份正式考的考生群體基本一致，具有一定的規(guī)模性；模擬考由主管部門組織統(tǒng)一命題、統(tǒng)一考試、統(tǒng)一閱卷，考試的結(jié)果數(shù)據(jù)具有一定的真實(shí)性。考試結(jié)果以具體的分值反饋至全市區(qū)各學(xué)校，未反饋明確的合格分?jǐn)?shù)線。

以下嘗試采用前述方法，對模擬考的合格標(biāo)準(zhǔn)劃分進(jìn)行實(shí)例研究。

（一）數(shù)據(jù)說明

以2019 年5 月24 日舉行的模擬考試為例。考試采取機(jī)考形式，考試時間為60 分鐘，考試滿分為100 分。圖1 所示為考生總分直方圖，數(shù)據(jù)來源為P區(qū)5685 位參加試卷1 考試的學(xué)生總分。 整體呈正態(tài)分布，為本研究提供了足夠的樣本容量，為制定劃分合格標(biāo)準(zhǔn)保證了考試數(shù)據(jù)的真實(shí)質(zhì)量。

圖1 P 區(qū)考生模擬考總分直方圖

（二）合格標(biāo)準(zhǔn)的劃分方法

1.方法一：以傳統(tǒng)60 分合格標(biāo)準(zhǔn)劃分

表1 所示為以傳統(tǒng)60 分為合格劃分標(biāo)準(zhǔn)線，數(shù)據(jù)顯示： 合格人數(shù)為1848 人， 占總?cè)藬?shù)的32.5%。

表1 基于傳統(tǒng)60 分為合格標(biāo)準(zhǔn)的合格人數(shù)及比例

2.方法二：合格標(biāo)準(zhǔn)的Angoff 設(shè)置方法

為采用Angoff 方法設(shè)置合格標(biāo)準(zhǔn)，特邀請了來自全市各層面的學(xué)科專家組成一個評判專家小組。其中，包括高校教授、區(qū)教研員、教學(xué)經(jīng)驗(yàn)豐富的一線教師等共10 人。Angoff 法中最重要的兩個概念是最低合格能力水平的考生和最低合格能力考生的得分概率。依據(jù)Angoff 法，共有兩種賦分方法。一種是以最低合格能力水平考生在每道試題上的得分進(jìn)行賦分，另一種是以最低合格能力水平考生在每道試題上正確應(yīng)答的概率進(jìn)行賦分。為了能讓評判專家理解和掌握這兩個重要概念， 組織專家對《新課標(biāo)》學(xué)業(yè)質(zhì)量水平的要求進(jìn)行深度理解以及多輪試判及糾正，來學(xué)習(xí)這兩種賦分方法，最終在達(dá)成共識的基礎(chǔ)上，又進(jìn)行了二輪的正式判定，以最后一輪數(shù)據(jù)為準(zhǔn)。

（1）Angoff 設(shè)置方法1：最低合格能力水平考生在每道試題上的得分賦分法

表2 所示為最后一輪某專家Angoff 法在每道試題上的得分表。由專家判定每道題的得分，得分只有兩種情況： 能得分則為該題賦相應(yīng)的分值；不能得分則為該題賦值0 分。匯總求和每道題上的得分后，得到此專家累計(jì)賦分為60 分，即此專家判定的合格劃分標(biāo)準(zhǔn)線為60 分。

將10 位專家在每道題上的得分進(jìn)行匯總，得到全體專家的Angoff 法得分賦分總分表，如表3 所示。綜合10 位專家的得分總分，將得到的平均得分取整為57， 并以此最終結(jié)果作為判定合格的合格劃分標(biāo)準(zhǔn)線。

（2）Angoff 設(shè)置方法2：最低合格能力水平考生在每道試題上正確應(yīng)答的概率賦分法

表4 所示為最后一輪某專家Angoff 法在每道試題上正確應(yīng)答的概率賦分表。由專家判定每道題的概率得分， 即若專家認(rèn)為T01 的得分概率為100%，則此題的概率得分為分值2 乘以100%的概率，即概率得分是2 分；若專家認(rèn)為T03 的得分概率為60%， 則此題的概率得分為分值2 乘以60%的概率，即概率得分是1.2 分。 匯總求和每道題上加權(quán)平均的得分后，得到此專家累計(jì)賦分為58 分，即此專家判定的合格劃分標(biāo)準(zhǔn)線為58 分。

表2 某專家判定合格水平考生在每道試題上的得分表

表3 10 位專家Angoff 法得分總分表

表4 某專家Angoff 法在每道試題上正確應(yīng)答的概率賦分

將10 位專家在每道題上的概率得分匯總，得到全體專家的Angoff 法概率得分總分表，如表5 所示。綜合10 位專家的得分總分，將得到的平均得分取整為58， 并以此最終結(jié)果作為判定合格的合格劃分標(biāo)準(zhǔn)線。

表5 十位專家Angoff 法概率賦分總分表

3.方法三：百分比95%合格考生標(biāo)準(zhǔn)設(shè)置方法

以上海新高考“3+3”模式中，等級E 占比5%為不合格標(biāo)準(zhǔn)，則總?cè)藬?shù)的95%為合格劃分標(biāo)準(zhǔn)。那么按總考生數(shù)的5%的比例計(jì)算，最終定位到的分值是31，則31 分即為合格劃分標(biāo)準(zhǔn)線。

（三）方法比較

依據(jù)上述合格劃線方法得到的合格線劃分結(jié)果如表6 匯總所示：

上海市普通高中信息科技學(xué)科學(xué)業(yè)水平合格性考試是標(biāo)準(zhǔn)參照考試，合格標(biāo)準(zhǔn)必須是客觀、可靠、合理的，不依賴于考生樣本的[4]。考試內(nèi)容規(guī)范的確定與課程的內(nèi)容標(biāo)準(zhǔn)調(diào)整相一致的前題下，根據(jù)課程的表現(xiàn)標(biāo)準(zhǔn)報(bào)告學(xué)生在內(nèi)容標(biāo)準(zhǔn)規(guī)定的知識和技能的學(xué)習(xí)方面達(dá)到的學(xué)業(yè)水平。圖2 所示為各合格劃線方法的合格人數(shù)的直方圖，可以看出：（1）傳統(tǒng)60 分的合格劃線方法，是基于課程標(biāo)準(zhǔn)在命題階段通過命題質(zhì)量控制技術(shù)來實(shí)現(xiàn)的。Angoff法的核心思想是通過制定嚴(yán)格的課程標(biāo)準(zhǔn)，建立與課程標(biāo)準(zhǔn)相一致的考試。前三種方法的合格人數(shù)較接近，符合一般對合格標(biāo)準(zhǔn)線的理解與認(rèn)知，也從側(cè)面肯定了考試命題的有據(jù)可循。（2）前三種方法的合格人數(shù)遠(yuǎn)遠(yuǎn)低于百分比法，為教、學(xué)、評等環(huán)節(jié)提供從自身的視角考慮有待改進(jìn)的空間；（3）基于百分比標(biāo)準(zhǔn)的劃線容易操作，結(jié)果也較易被社會、學(xué)校、教師、學(xué)生和家長認(rèn)同。但以百分位分?jǐn)?shù)作為分類的依據(jù)， 實(shí)際上采用的是常模參照考試的做法，本質(zhì)上是將學(xué)生的表現(xiàn)與其他學(xué)生進(jìn)行比較，違背了基于標(biāo)準(zhǔn)的教育考試的初衷，科學(xué)性將受到質(zhì)疑。

表6 各合格劃線方法的劃分結(jié)果匯總表

圖2 不同合格劃線方法合格人數(shù)直方圖

四、結(jié)語

合格線的標(biāo)準(zhǔn)應(yīng)當(dāng)基于考試的測量目標(biāo)以及課程標(biāo)準(zhǔn)的要求，而非動態(tài)變化或考慮學(xué)科本質(zhì)之外的影響因素。合格標(biāo)準(zhǔn)的制定是學(xué)業(yè)水平考試的一個重要環(huán)節(jié)，信息技術(shù)學(xué)業(yè)水平考試的有效性如何落地實(shí)施是對新課程標(biāo)準(zhǔn)制定初心的最大反饋。沒有有效的衡量和監(jiān)測就沒有科學(xué)的評價和使用。

《新課標(biāo)》 的頒布使我們看到國家對信息技術(shù)教育的新要求。在《新課標(biāo)》的思想指導(dǎo)下，信息技術(shù)學(xué)業(yè)水平考試的前路即使有探索和彎路，但要有信心，不忘初心，使考試評價向公平、科學(xué)、規(guī)范的方向前行。