互聯(lián)網+模式下共享試題的評價設計

李小號 孫少妮 趙薇 趙群超

摘? 要 討論機械制圖類課程在“互聯(lián)網+”模式下的跨校使用及考核評價環(huán)節(jié)出現(xiàn)的問題，以機械制圖類課程為例，分析學生課程學習效果的考核評定方法及模式，為建設發(fā)展適應共享機制的該課程教學資源提供參考意見，可在一定程度上提高院校間的該課程教學資源的利用效率及評價質量，對同類課程資源有機結合以及共享發(fā)展提供借鑒。

關鍵詞 機械制圖;互聯(lián)網+;共享試題;試卷評價體系

1 以東北大學機械制圖課程為例的考核成績分布分析

以東北大學機械類專業(yè)技術基礎課機械制圖課程2018年試卷及成績數(shù)據為依托，統(tǒng)計討論該類課程跨校共享修讀的質量評價方法。

從2018年學生學習數(shù)據庫中抽取共享學習該課程的300名學生作為樣本數(shù)據。對大部分成績統(tǒng)計而言，要是教學質量和學生考試成績符合教學常規(guī)，基于數(shù)理統(tǒng)計中的林德貝爾格—萊緯中心極限定理[1]可知，學生的總體成績應接近正態(tài)分布，一般出題會盡量考慮使成績呈現(xiàn)正偏態(tài)分布模式，以期比例更大的學生能進入合格線內，并有一定的區(qū)分度。

先假設東北大學2018年建立的共享機械類試題考試總體成績符合正態(tài)分布，從300份共享答卷中提取樣本容量為n（本文分析時取n=300）。

設選取樣本試卷中學生個體總成績?yōu)閤i（i=1，2，…，n），則樣本均值與樣本標準差S分別為：

為檢驗考生成績分布的正態(tài)性，采用上述樣本成績均值及成績樣本標準差S為抽取成績樣本的總體均值μ和標準差σ的估計[2]。通過如下步驟檢驗前述假設正確性。

1）將n個樣本成績劃分成k個計算區(qū)間。本文分析時將成績分值按0～35、36～50、51～60、61～70、71～80、81～90、91～100劃分成七個計算區(qū)間。

2）將成績樣本個體處于上述七個區(qū)間的事件定義為E1，E2，…，E7，如果前述試卷考試成績呈正態(tài)分布的假設成立，則可計算出E1～E7事件在七個劃分區(qū)間的發(fā)生理論頻數(shù)fj，其中fj=f（Ej）（j=1，2，…，7）。分析的樣本試卷在七個劃分區(qū)間的實際頻數(shù)為，其中Pj為事件Ej的實際發(fā)生數(shù)，n為抽樣試卷總數(shù)。

3）根據統(tǒng)計理論[1-2]，如果前述試卷成績分布假設成立，樣本試卷實際頻數(shù)與理論發(fā)生頻數(shù)差異值應在統(tǒng)計分析設定的臨界范圍內，且符合皮爾遜定理[2];如果差異值超出臨界范圍，則認為正態(tài)分布假設不成立。檢驗實際發(fā)生頻數(shù)和理論發(fā)生頻數(shù)，其統(tǒng)計量X2應近似服從式（3）給出的χ2分布規(guī)律：

在分析共享測試卷各考題是否符合期望的近似正態(tài)分布情況時，學生個體各道考題的得分必然是呈現(xiàn)起伏波動的。本文通過式（4）計算樣本試卷中每個應試學生各題的考試得分值與該題樣本成績得分均值的差的平方和，進而得到試卷各題標準差，表征學生解答該題的成績波動程度。

抽樣的2018年共享試卷中共設置有七道測試題，按試題難度系數(shù)類型劃分為三類（難度系數(shù)計算詳見本文第二部分），選取第一題（難度：較易）、第三題（難度：一般）、第六題（難度：較難）計算各題的正態(tài)分布檢驗，見圖1。

由圖1可知，抽樣試卷各道考題成績分布均服從或近似服從正態(tài)分布，且除第六題外均屬于正偏態(tài)分布（如圖1a、圖1b所示，其中圖1a反映的第一題因難度“較易”，學生得分較理想，與本文第二部分分析吻合），偏度均值為0.381;第六題由于難度系數(shù)較高，學生該題得分稍低，顯現(xiàn)出負偏態(tài)分布特性（負偏態(tài)值為-0.113）。成績的正態(tài)分布性也反映了試題的知識點全面，試題難度為適中偏易，符合該測試卷對學生進行學習達成檢驗并有一定區(qū)分度的目標。

2 以東北大學機械制圖課程為例設置的試卷評價體系指標

現(xiàn)行的各類課程成績分析、試卷分析慣用的方法是將學生的試卷考試成績進行定量化，在設定的定量化指標上，綜合教師教學工作、學生學習過程等環(huán)節(jié)，二次開展定性評估，最后綜合評定授課效果、學生學習效果以及試卷考核效果。查閱《教育統(tǒng)計學》[3]等文獻，現(xiàn)行的主要定量評價指標多采用試卷教學內容覆蓋度、難度、信度、效度、區(qū)分度等指標。根據需要，本文采用的指標中偏重覆蓋度、難度和信度指標，綜合評估共享使用的考核考試是否有效地檢測學生的學習情況。

試卷覆蓋度R分析? 機械制圖課程內容可供考核的知識點很多，怎樣評判試卷考核盡可能地覆蓋較大知識面，反映學生更接近真實的知識點掌握水平？這就需要對試卷出題的覆蓋度進行分析。在課程內容知識點總量保持一定的情況下，試卷中各題之間的離散性越大，則該試卷所考查知識點的重疊性越低，即所囊括的知識點越多。本文采用統(tǒng)計學[1]中的相關系數(shù)Rij進行覆蓋度R的間接評價并進行描述，如式（5）所示：

式中，n為成績樣本總數(shù)，yqi為第q個學生的第i題得分值，yqj為第q個學生的第j題得分值，為第i題樣本成績得分均值，為第j題樣本成績得分均值，σi為第i題樣本成績得分值標準差，σj為第j題樣本成績得分值標準差。

通常為提高試卷覆蓋度[3]，要求Rij<0.2。在各題相關系數(shù)Rij基礎上，可用試卷上各題的相關系數(shù)加權平均[1-2]計算該共享試卷的總體覆蓋度R，即：

基于2018年抽樣試卷數(shù)據，依據式（5）計算該共享試卷覆蓋度Rij數(shù)值見表1。

基于表1計算的各題交叉相關系數(shù)，利用式（6）可計算本共享測試卷的總體覆蓋度R=0.819，表明該測試卷總體覆蓋度良好[3]。

試卷難度分析? 試卷難度即考試出題的難易程度，是評價試題質量和學生掌握知識點水平的重要量化指標之一。綜合考慮試題中各題考查知識點的難易及學生學習能力，在評估計算試卷的難度系數(shù)時，采用樣本試卷中各題的平均得分率占比進行量化，設置第i考題的難度系數(shù)Pi計算公式如式（7）所示：

式中，vij為樣本試卷中第j考生的第i考題得分分值，Vi為樣本試卷第i考題的滿分值，n為樣本試卷總數(shù)。由式（7）知，Pi位于0～1之間，如果Pi=0，則表明該考題全部回答正確，該道考題出題簡單，難度系數(shù)低;而若Pi=1，則表明該考題全部解題錯誤，該道考題出題過難，難度系數(shù)太大，從考核角度來看，此題出題意義較小。對抽樣的試卷中全部七道題進行難易度分析，得到表2結果。

由表2可知，第1題、第7題難度系數(shù)較低，屬于較易題型，該類難度題占總分比為18%。統(tǒng)計從共享測試卷中抽樣的300份試卷也可看出，第1題平均得分為7.3分，標準差為3.014;第7題平均得分達9.0分，標準差為2.781，表明參與應試學生該類“較易”題完成得都很好。

統(tǒng)計試卷中難度設置“一般”類題型包括第2題、第3題、第4題及第5題，該四道題分配題分占比達到60%，屬于學生想達到檢驗合格水平必須較好完成的內容。由表2可知，該類題難度系數(shù)從0.400～0.601，表明想全部拿分還是有一定困難的。統(tǒng)計抽樣試卷可看出，這四道題平均得分在57.89分，單看平均得分還是比較滿意的;但計算這四題得分標準差可以發(fā)現(xiàn)，S=5.619，表明學生“一般”難度題型得分離散程度較高，兩極化相對比較嚴重。

第6題屬于有一定難度的拔高題型，難度系數(shù)為0.810，得分均值12.07，標準差S=6.106。從得分和標準差統(tǒng)計來看，該題學生測試情況滿足出題預想，實現(xiàn)了既讓好學生能有所突出表現(xiàn)，又讓大多數(shù)學生能有所得。

綜合評價該試卷來看，該共享測試卷整體難度“一般”，符合課程學習檢驗性考核的目標。

試卷信度分析? 試卷的信度是指該試卷的可靠性和穩(wěn)定性的程度。一般認為，將同一份測試卷對同一組應試者進行多次反復測驗，所得結果一致，則該測試卷具有很高的信度。通常，評估試卷信度r指標采用如式（8）所示的克倫巴赫法[2]進行量化計算：

在式（8）中，N為該套共享試卷中試題總數(shù)，σi2為試卷中第i題學生得分值的方差，σ2為學生整份試卷得分值的方差。

在實際試卷信度分析中，參與測試的學生的真實分值與誤差分值是不可知的，為對信度進行量化和檢驗，多采用分半法實施。所謂分半法，就是將考生的測驗成績劃分為兩部分，模擬近似于兩次對學生進行平行測驗或看作一份試卷實施了可對比的兩次測試。比較簡單可行的方式就是將試卷中的考題按題號的奇偶分為兩半，然后計算兩半成績的相關系數(shù)Rij作為信度系數(shù)。此處i是奇數(shù)題號劃分的部分，j是偶數(shù)題號劃分的部分。一般認為信度系數(shù)r>0.6時[3]，該試卷的檢測功能是穩(wěn)定可信的。

計算抽樣試卷各題方差，利用式（8）計算試卷信度為0.612，符合文獻[3]設置閾值，可認為該共享的2018年測試卷結果是合理可信的。但在共享試卷的實際測試操作中，由于現(xiàn)行的處理方式是組織學生網上答題，雖然給各位考生規(guī)定了考試規(guī)則和答題時間限制等一系列規(guī)定，但由于網絡答題操作對學生諸如考試地點等沒有硬性要求，難免出現(xiàn)分享答案、相互參考答案等需要改進的現(xiàn)象，因此，試卷的可信度分析還有待進一步研究改進措施。

3 結語

通過文中基于“互聯(lián)網+”共享模式的試卷評價模型，并對東北大學2018級學生機械制圖課程考核試卷質量分析，驗證和解釋了文中研究成果和方法的合理性與有效性，結合分析結論和近年該課程共享考核操作模式，檢驗了該課程共享考核成績的正態(tài)分布性。本文共享試題覆蓋度為0.819，符合0.75～0.9良好范圍;難度控制在0.508，滿足0.35～0.8中等難度范圍，且照顧到參與共享學習高校學生基礎差異，難度取值應適當偏小;信度控制在0.612，大于0.6設置的可信閾值;且課程考核定位為檢驗性考試，成績分布為以正偏態(tài)分布的試卷為理想期望。

本文分析表明，用數(shù)理統(tǒng)計方法對考試結果進行統(tǒng)計分析，可以促使任課教師總體把握課程的考試情況與教學情況、學生課程的學習效果等，并為教學評估提供理論依據和統(tǒng)計數(shù)據支撐，分析方法和結果可為今后該課程的共享建設及考核命題工作提供參考依據。

參考文獻

[1]茆詩松，呂曉玲.數(shù)理統(tǒng)計學[M].2版.北京：中國人民大學出版社，2016.

[2]Hogg R V， Craig A T. Introduction to Mathematical Statistics[M].5th Edition.高等教育出版社，2007.

[3]趙必華，王孝玲.教育統(tǒng)計學[M].北京：北京師范大學出版社，2008.