教學效果評價系統的設計實現與實踐

趙紅波　張海濤　黃生健　司慧迎　曹志勇

摘要：對試卷進行分析是教學效果評價與考核的主要依據和內容。基于經典教育測量原理的評價指標和試卷分析方法，設計并開發實現了相應的評價系統軟件。實踐結果表明，這種基于網絡動態數據庫設計的評價系統，穩定可靠，方便快捷，信息易于共享，可對試卷進行科學的分析，對指導教學、準確評價，提高教學質量，具有重要意義。

關鍵詞：教學效果；試卷分析；評價指標；系統設計；系統實現

[中圖分類號] G202 [ 文獻標識碼] A

0 引 言

教育是一個復雜的系統工程，教學是這個系統工程中的重要環節，是引導教育培養高素質人才、幫助社會充分利用教育成果和促進教育健康發展的保障。教學和質量保障體系運行的有效度是教育部最新的高校本科教學評估核心之一，教學效果的好壞將直接影響教育的質量。保障教育質量的主要方式是對教師和學生進行監控和管理，關注點集中在教學的環節上]。教學效果的測試手段主要是考試，試卷是教學內容、考試要求和學生知識應用的綜合載體，整個試卷是否基本反映了大綱的規定和要求，能否正確地反映考生對教學內容和應掌握知識的吸收運用能力及教師對教學內容的把握和熟練程度，因此只有質量合格的考試才能有效地檢測教學效果。對教學效果的評價最直接的方式就是利用現代的教育統計學、教育測量學，通過對試卷分析，得到具體的數量指標來檢測考試的質量。教育測量技術的科學性和準確性取決于測量規則和測量工具。測驗或者考試、測試是教育測量的基礎工具，它們都是通過試卷來實現的。

1 開發評價系統的目標

考試是教學評價的重要手段，為認識教與學過程中的各種因素提供依據。教學是否達到預期效果，就需要對試卷進行科學的分析與評價。目前考試成績絕大多數用于檢測學生的學習效果，卻很少用于對教師教學效果的反饋，這主要因為試卷分析是建立在統計量之上，公式繁雜，數據繁多，計算量大，絕大多數老師都難以用科學的方法對試卷做出細致地分析，并難以得到一個對教學效果的基本評價。地方普通高等學校對教學評價往往采用教學督導對課堂教學進行評價，并根據反饋的評價信息進行綜合評定教學效果。教學評分來自教學督導員對課堂教學評價依據的客觀標準的把握和對授課教師授課水平的主觀認定，因此存在教學督導員評分差異和教學評價權威性的問題。

評價教學效果采用對試卷質量進行分析，應真實反映教師的教和學生的學兩個方面，并且應具有客觀的評價方法和指標。試卷分析是對學生的考試試卷進行定量與定性分析，以試卷的評估、考試結果和對試題的分析結果作為依據，對試卷進行系統而科學的分析。試卷分析中對試題的評估包括試卷信度和考試效度；而對試題的分析包括了試題的難度和區分度等指標；考試結果的數據即為學生考試成績統計。試卷分析的結果能夠反映出考試是否真正檢查出學生的知識水平與能力，也可以將此結果作為評價教學過程是否成功的依據。王云利用SPSS對網絡環境下適應性考試進行分析，驗證了可行性和實用性。王鐵等人使用了Web技術對試卷分數進行了分數段的可視化。現在很多試卷分析都以微軟的Execl或者使用單機版軟件在本地實現，基本無法對教師的信息處理結果進行匯總，所以學校也就缺乏對教學效果的客觀衡量依據。趙永華等對100多篇高校試卷分析相關論文進行分析后認為目前的應用主要是針對單一課程試卷的分析，信息利用率不高，并且沒有廣泛開展試卷分析，因而未能為教學過程提供足夠的反饋控制信息。要改變這一現狀，一方面離不開相關試卷分析觀念的轉變、相關管理制度的確立及教師自身試卷分析素質的提高，另一方面也離不開相關理論及易于使用的專用試卷分析軟件的支持。

目前各高校都建立了各類型教學教務系統，多數情況下各教學業務科室站在各自角度對數據的理解和定義，都有自己的數據規范，往往會出現相同的業務、用戶有不同的定義。當需要進行跨業務的數據合作時，往往會發現數據邏輯上的孤立，溝通成本極高。這種數據孤島現象是普遍存在的，高校教學效果評價需要大量數據，急需消除各系統之間的數據孤島現象，對數據大集中，發展和創造出各種渠道、模式讓數據協作得更好，從而發揮數據自身的價值。利用現代信息技術手段將數據庫技術、Web技術等開發技術集合起來，認證分析當前系統模型，開發基于B/S模式的效果評價系統，可以很好地針對高校試卷分析的具體需求（主要對考試試卷做出各項指標的分析，得出分析結果），并能有效地利用校園網的軟硬件資源，為高校的教學效果評價提供一種交互、開放、易用的全新環境。建立基于校園網的試卷分析系統網絡動態數據庫，可以提供一個共享平臺，使學校的各個部門之間共享教學效果評價中的不同指標信息，諸如學生的各科成績、試題的難易程序等均可以通過網絡一目了然。一方面可以使試卷信息的管理工作更加快捷、方便；另一方面可以實現學校各級教學部門的試卷協調工作在網絡上的自然完成，可以避免由于學校各級部門之間由于信息不流通所掌握的學生情況不一致，造成對學生成績信息的管理十分不便。因此，建立基于試卷分析的完整的高校教學效果評價系統及網絡動態數據庫是十分必要的。

2 關鍵評價指標

教學效果評價系統的關鍵評價指標可以劃分為3個方面：學生成績評價指標、試題評價指標和試卷評價指標。

2.1 學生成績評價指標

學生成績評價指標就是對具體參加某科目考試的所有學生的統計結果，主要包括學生的成績統計指標和成績分布曲線指標。

成績統計指標包括試卷的平均分、最高分、最低分；各分數段學生人數及其所占的比例、及格率、不及格率、優秀率。通過成績統計指標可以清楚地知道考生在這次考試中的答題情況，各分數段的人數和百分比，也可以從中方便地看出該次考試的及格率、不及格率、優秀率等指標。通過最高分，最低分這兩個極端指標可以知道試卷出題是否超過了哪個極端，或者幫助教師發現該班級中存在的個別學生。平均分體現了該班級考生在這次考試中的平均答題水平，一定程度上代表了該班級考生對該試卷學科知識的掌握程度。

成績分布曲線指標可以清晰地顯示出學生考試成績分布是否合理。根據經典測量理論，在正常情況下，如果試卷的考試成績呈正態分布，則試卷的質量較高，否則較低。通過對各分數段學生人數及其所占的比例統計建立一個曲線圖，對學生成績分布曲線進行評價是最形象直接的方法。

2.2 試題評價指標

2.2.1 試題難度

主要檢測試題對于考察的學生來說究竟是偏難還是偏容易，試題難度過大或過小，易造成全部學生得高分或得低分現象，從而不能區分學生水平，也影響試卷的信度和效度。

難度總是在0到1之間變化的，難度值愈大，試題愈容易；難度值愈小，試題愈難。一般認為，選拔性考試試題難度值在0.3到0.7之間為宜。P值大于0.7的題目約占30%，P值為0.3～0.7的題目約占60%，P值小于0.3的題目約占10%。

2.2.2 試題區分度

試題區分度是指試題對學生實際水平的區分程度或鑒別能力。區分度高的試題能對不同知識水平和能力的學生加以區分，使能力高的學生得高分，能力低的學生得低分；區分度低的試題則不能對學生的能力進行很好的鑒別，使水平高和水平低的學生得分相差不大或沒有規律可循。

客觀性試題：將試題分數從高到低排列，分為兩段，各取25%為高分組和低分組，PH和PL分別為高分組和低分組在該題上的通過率。則該題區分度D為

2.3 試卷評價指標

2.3.1 試卷信度

試卷質量分析主要評價試卷信度， 試卷信度只在試題數至少為2才有效。試卷信度是針對試卷所反映出的考分穩定性的評估，即考試結果的穩定性和可靠程度，是衡量考分與考生真實水平的指標。采用克隆巴赫（信度）系數（Cronbach's alpha），設K代表題目總數， 代表考試總分方差， 代表第j題得分的方差，則試卷信度R為：

影響信度的因素：影響信度的因素很多，比如測驗內容、考試的環境、考生的狀況等，都能導致測驗分數的不一致，從而降低信度值。試題過易或過難都會影響信度。一般題目多，信度就會高；區分能力強的題目越多信度也會越高；考生能力的差異越大，信度越高。通常考試的試卷信度指標要求在0.6以上，而大規模標準化考試信度要求在0.7以上。

2.3.2 試卷難度

主要檢測試卷對于被考查的學生來說究竟是偏難還是偏容易，無論是太容易還是太難都認為這份試卷是失敗的。試題難度過大或過小，宜造成全部學生得高分或得低分現象，從而不能區分學生水平，也影響試卷的信度和效度。試卷難度的測定是建立在試題難度的基礎上，以試題難度為變量，以試題滿分值為權數的加權平均值。選拔性測試P=0.5左右為宜，通常期末考試為目標參照性考試，P可適當偏高，全卷平均難度以0.7左右為宜，0.6～0.8為正常。難度適中能更客觀地反映出學生的學習效果。

2.3.3 試卷區分度

指試卷區分考生水平差異的程度。區分度越高，說明試卷區分考生水平差異的能力越強，反之，區分能力就越差。采用試題區分度的加權平均計算得到。一般以0.4～0.6為宜。

3 評價系統的實現

3.1 概念模型

概念模型如圖1所示。

3.3 程序設計實現

使用ASP.NET的內置對象、組件和ADO組件開發出功能強大的Web數據庫應用程序，并將系統數據信息存儲在SQL SERVER進行訪問，很好地解決了全校各級教學部門的數據信息共享問題，構建較完善的網絡數據庫管理系統。通過該開發平臺開發的試卷分析平臺可以很直觀地體現出學生的學習狀態、學習成績的分布、試題區分度等指標。

系統與學校的教務管理系統進行無縫連接，成為教務系統的一部分。每個使用者以一個唯一用戶名登錄，可進行創建一個新的試卷分析記錄或編輯使用原有試卷分析記錄兩種操作。第一步，在線填寫考試的基本信息；第二步，填寫考卷中題型和大題、小題數量；第三步，系統分層抽樣自動得到學生名單，按學生名單在線填寫或導入分數；第四步，評價系統生成各項指標，由教師根據評價指標進行補充說明。試卷分析結果以圖形和表格形式表現，給出各項指標、文字分析結果。內容包括：考試基本信息、成績分布圖、試卷信度、區分度、難度等，如圖3所示。

3.4 實例分析

實例1：168人參加考試，試卷難度0.789，試卷區分度0.397，試卷信度-1.973。該試卷的試卷難度和試卷區分度較理想，卻出現了信度不達標，無法對教學效果進行評價。究其原因發現在80～90分數段集中了接近70%的學生，而在總分相近的情況下，各大題和小題得分差異卻很大，所以就出現了試卷難度區分度尚可，信度指標是負數。針對以上情況建議教師在以后試卷中增加題量，這樣可使每個題目上的隨機誤差相互抵消，從而提高信度；在一個測試中避免安排許多性質不同的內容，這樣會降低一致性，影響信度。

實例2：65人參加考試，試卷難度0.768，試卷區分度0.36，試卷信度0.917。由于考試屬目標性檢測，對區分度要求不是太高，故并不影響本試卷的可靠性。對于難度較低的問題，我們分析了每道試題的難度，題目中超過70分的試題難度指標在0.83以上，相應題目的區分度指標也就很差，導致了高分段考生人數偏多。針對以上情況建議教師改進題目的質量，將試題難度控制在中等，區分度要大。

實例3：99人參加考試，試卷難度0.631，試卷區分度0.622，試卷信度0.929，優7人，良21人，中22人，及格20人，及格以下29人。此次考試為統一命題，試卷題目質量較高，難易程度合理。統一閱卷，流水作業，降低了個人行為的誤差。擔任此教學班教學任務的教師教齡超過20年，具備豐富的教學經驗。可見評價指標很好地對教學效果進行了反映。

4 結 語

教學效果評價對改進教學過程提供了必要的反饋信息，這是教學效果評價直接的、主要的功能；對學生學習成績優劣、好壞的區別，與教師和學生的動機有緊密的聯系，因而很重要，也是調控教學過程所需要的信息。認識到這一點，有助于我們積極、主動地利用和開發教學效果評價系統的全部功能，提高教學的質量和效率。

在實際應用中，完全符合高校情況，采用無紙化試卷分析，化簡煩瑣的工作模式，使得教師們從復雜的日常工作中解放出來，節省了大量的人力和物力，避免了重復性的工作。系統上線以來，共有1確100多名教師做了32 000余份分析報告，受到教師的高度評價。教師進行定性分析、教學反思等環節結合教學效果評價系統中定量數據找出教學中存在的問題，總結教學經驗，不斷改進教學，提高教學質量。豐富的評價數據結合相關數據挖掘方法在教育學中的應用，可進一步進行數據分析，發現重要的數據模式，對教學研究做出更多貢獻。

主要參考文獻

[1]教育部.普通高等學校本科教學工作審核評估方案[EB/OL].http：//www moe edu cn/publicfiles/business/htmlfiles/moe/s7168/201312/160919，html.

[2]李明.整合策略，切實改進高校質量保障體系[J].中國高等教育.2011（11）：40-42.

[3]徐美.高校教學督導員課堂教學評價的權威性：問題與對策.[J].教育理論與實踐，2014（3）：6-8.

[4]王云，楊芳.相關系數法在適應性考試試卷分析中的應用研究[J].教育理論與實踐，2015（27）：52-54.

[5]王鐵，劉婧姝，耿春明.基于Web技術的試卷分析系統的設計與實現[J].齊齊哈爾大學學報，哲學社會科學版2009（2）：178-180.

[6]趙永華，李海櫻.高校試卷分析研究的內容分析[J].考試周刊，2011（87）：3-4.

[7]張敏強.教育測量學[M].北京：人民教育出版社，1998.

[8]王松桂，程維虎，等.概率論與數理統計[M].北京：科學出版社，2000.

[9]楊毅.數據庫系統原理及應用[M].北京：科學出版社，2004.

[10]耿玉清，張春生一種試卷分析及數據挖掘系統的開發[J].計算機技術與發展，2010（10）：241-245.