基于質量工程統計技術的課程評價方法探索

錢曉耀， 孫長敬， 劉 輝

（中國計量大學質量與安全工程學院，杭州310018）

0 引 言

工程教育專業認證標準提倡以學生成果為導向的教育理念，即教學設計和教學實施的目標是學生通過教學過程最后所取得的學習成果，學習成果包括學生所知、所了解的知識，并能應用于實際的能力，和可能涉及的職業道德、社會責任等社會價值觀或創新設計、管理與經營的專業基本素質。在實施卓越工程師教育培養計劃與工程教育專業認證等項目中強調了培養目標、課程體系、教學活動設計及效果評價為一體［1］。

克龍巴赫（Cronbach L）認為，用于改進工作的形成性評價的作用遠比總結性評價重要得多，“評價能完成的最大貢獻是確定教程需要改進的地方”［2］。現有課程教學中對課程考試及課程評價問題沒有提及具體操作方案，且也研究不夠，通常只是把考試作為學生課業考核的手段，忽視了對考試數據的分析、統計及應用到改進活動。本文從課程質量評價與持續改進的角度引入質量工程統計技術，在課程教學環節過程中引入QC統計方法和工具，通過統計分析學生考試成績的信息來評價學習情況與課程目標實現的程度，期望為課程教學活動中質量改進提供有效的信息。

1 課程質量評價方法

課程是教育教學活動的核心載體，一門課程的教學評價通常包括兩個層面：①針對每項教學活動，設計單獨的評價指標或評價標準；②整個課程的評價方案，要求按照教學目標和學習活動的權重，加權計算每項教學活動的成績，生成一門課程的最終成績［3］。“卓越工程師教育培養計劃”中為實施課程質量控制，提出了“要針對不同的教育教學活動、不同的質量管理主體、不同的質量影響因素以及不同的具體情況，采取不同的質量管理辦法，從而達到質量管理效果的客觀、準確和公正”［4］。

現階段針對課程教學質量評價多關注考試試卷質量分析上，運用教育測量學、教育統計學等現代教育技術理論對試卷進行測量分析，反映試卷命題質量和評估考試本身的質量，同時通過試卷分析結果了解學生的知識、技能的掌握運用情況，對后續改進教學方法、提高教學質量提供信息。根據經典測驗理論（CTT），對試卷的客觀標準是符合教學大綱要求、難易程度適中、區分優劣程度較強、覆蓋面較廣、成績呈正態分布，試卷定量分析采用對試卷成績及各試題分數統計，繪制成績分布曲線，進行信度、效度、難度和區分度的定量分析與計算［5-6］。上述方法對考試成績信息的利用是不夠的，在目標與達成的統計分布及根因分析不足，在工程教育專業認證、“卓越工程師教育培養計劃”質量保障體系中對教學質量評價也沒有規定采用何種評價方法和工具。

2 基于質量工程統計技術的課程質量評價方法

課程教學活動是由設定目標、教學設計、結果考核和效果評價等過程組成，評價教學效果和控制教學質量貫穿了整個教學活動過程，考試成績是作為考核學生學習情況的一部分，考試結果由于個體差異又體現了成績不一致，因此從統計學角度來看成績分布、方差大小、偏畸及趨向等統計量包含有豐富的質量信息，應用質量工程統計技術能分析、衡量考試成績目標的達成程度，為實施持續改進創造條件［7］。

在質量控制技術中有兩個關鍵環節：質量控制系統的設計、質量工程統計技術的選用。為支撐人才培養與質量保障，設計質量控制系統首先要確定課程目標，依據專業課程體系與畢業要求進行需求分析，進而建立課程目標模型并量化指標，作為后續質量評價的依據；接著在開展教學活動中實施教學監控與考核，應用質量工程統計技術對試卷成績分析，其目的：①判斷學習效果達成情況；②為新一輪教學方式改善做縱向分析，質量改進是循環式進行的。試卷成績分析過程，對成績統計分布進行可行度和顯著性分析，采用直方圖獲取數據平均水平與偏差并判斷總體質量分布情況，假設檢驗和方差分析對不同樣本進行顯著性水平進行檢驗，判斷總體成績間變化；然后，為評價和尋求質量改進，按分層法量化評價指標統計成績分布，依據課程目標的三維度繪制雷達圖來描述所要評估不同樣本目標達成程度或改進績效，以便為后續評估和改進措施提供依據。設計課程質量控制系統見圖1。

圖1 課程質量控制系統分析過程流程圖

3 課程質量評價過程設計及應用

以質量管理工程專業開設的電器產品質檢技術課程為例，引入QC 統計方法和工具分析試卷評價學生的學習效果和能力的達成程度。

3.1 課程目標設計

產品檢驗是產品質量控制的一個組成部分，課程中涉及產品質量檢測技術、質量信息處理方面知識點的學習，按照課程體系結合畢業要求制定課程任務和目標。

（1）課程知識目標。通過本課程的學習，使學生系統獲得電器產品檢驗的基本要求、檢驗手段等方面的知識。

（2）課程能力目標。培養學生正確理解標準、正確執行標準的職業核心能力，具備電器產品質量檢驗系統的設計和操作能力。

（3）課程素質目標。學生能夠協作承擔產品質量檢驗工作，并保證數據的準確性，具備在企事業單位從事質量檢驗、學習溝通、創新批判思維、創新設計和分析的職業素養。

根據課程任務和目標分解成課程知識目標、課程能力目標、課程素質目標等下設的子目標，并以此建立三維度模型（見圖2），目的是為了展開課程子目標與知識點分解。

圖2 課程目標的三維度模型圖

建立測量標準，其依據是根據課程目標三維度模型中子目標與各教材章節對應關系建立矩陣表（見表1），按章節量化目標。

表1 課程章節支撐課程目標實現的矩陣關系

3.2 實施過程設計

質量管理工程專業在實施卓越工程師教育培養計劃試點班上對課程教學方式進行了改革，具體做法在教學設計時安排認知實習4 周在授課學期前的暑期進行，實習單位為質量技術監督部門和企業從事質量、計量檢測工作的部門，通過認知實習使學生了解質量檢驗、計量檢定的工作流程、相關標準的運用、檢驗/檢定工作操作和編寫報告。學生認知實習后再進行電器產品質量檢測技術課程的理論知識學習，課程實驗中采用設計型實驗，要求按認知實習單位出具報告的形式寫實驗報告。采用上述教學方式改革后，運用質量工程統計技術對2012 級和2013 級電器產品質量檢測技術課程考試成績分布與課程目標達成情況進行分析。

3.3 數據采集與QC統計方法運用

3.3.1 學生總成績情況分析

2012、2013 級試卷形式有單項選擇題（20 分）、判斷題（10 分）、填空題（20 分）、簡答題（18 分）、分析題（10 分）、案例分析題（22 分），涉及基本概念及其分析、綜合運用等內容；覆蓋了大綱要求的各個知識點，分數分配與大綱要求基本一致。

用Minitab質量統計軟件繪制2012、2013 級試卷成績樣本的直方圖（見圖3）以描述學生總成績分布，從圖中右上角表上可得到統計量：2012 級試題難度為0.26，標準差7.381 波動較大，圖形略有偏態，部分同學成績偏低；2013 級試題難度為0.29，標準差4.813波動小，成績分布略正偏差。

圖3 2012、2013級總成績分布分層直方圖

為驗證2012 級、2013 級總體成績是否得到逐步提升，采用假設性檢驗以檢驗這2 個成績總體分布均值是否有差異，應用Minitab軟件進行分析得到圖4 所示結果。

圖4 成績的區間圖和箱線圖

從圖4 中可知，P = 0.069 ＞0.05，因此，兩個年級的方差不能呈現顯著性變化，若是等方差的，不能反映出二輪教學活動的效果有變化；從圖4 中的箱線圖可見，2013 級的均值明顯高于2012 級的成績均值。

為進一步驗證2013 級的均值是否高于2012 級，再對2 個成績分布進行單因子方差分析（見圖5）。由圖5 可見：0.05 ＜P = 0.096≤0.10，因此，兩個年級成績的均值存在一般顯著性的差異。說明教學活動的效果是否有增長性，可為開展下一輪教學改進提供決策。

圖5 方差檢驗

然后，采用分層法分析成績分布，評估學生成績與課程目標的達成程度，為課程教學內容的改進提供方向。

3.3.2 按題型分類分析

（1）客觀題成績分布。從圖6 中可見，2012 級同學的成績在30 ～44 都有分布，但高分區人數比例偏低，學生們對客觀題的掌握較好；2013 級圖形有偏態，大多數同學的成績分布在40 分以上，高分區人數比例偏高，學生們對客觀題的掌握有所提高。

圖6 2012、2013級客觀題成績分布直方圖

（2）主觀題成績分布。從圖7 中可見，2012 級大部分同學成績分布集中在30 ～40 分左右，試題的區分度較好，學生成績在45 分高分處有分布，在低分20 分處也有相應分布；2013 級學生的主觀題成績分布集中在30 分左右，高分區人數比低分區多，總體分數略低。

圖7 2012、2013級主觀題成績分布分層直方圖

3.3.3 按章節分類分析

表2 所示為從2012、2013 級考試成績分布中提取不同章節分數統計的結果。

為評價學生對課程各章節學習和掌握情況，需將課程內容中的各章節建立課程目標（見表1），圍繞目標組織設計教學內容、教學方式、實踐教學和考核，因為支撐課程內容各章節的重要度是不同的，實現教學目標的手段、考核內容的比重也應不盡相同，設置表1矩陣關系中權重系數強度：★★★—強相關0.9；★★—相關0.6；★—弱相關0.3。

表2 各章節分數統計表 %

在上述統計數據的基礎上按圖2 三維模型進行評價，按表1 及表2 定量計算3 個維度對應子目標的分值結果見表3，將2 個年級課程目標達成情況繪制成雷達圖（見圖8），以此進行比較和分析。

表3 目標達成定量值

圖8 課程目標達成度雷達圖

從圖8 比較來看，2013 級在課程掌握能力優于2012 級，對第4 ～5 章掌握程度更好；在課程知識方面，2013 級在第3 章與第5 章掌握程度較好；在課程素質方面，2013 級在第4 章掌握程度更好；對2012 級而言，其在課程知識方面掌握程度超過了2013 級，對第1 ～2 章的基礎知識掌握扎實；在課程素質方面，2012 級的優勢也體現在1 ～2 章；而在課程能力方面，2012 級均低于2013 級。由此可見，2013 級同學對于知識的掌握具有全面性，能活學活用，將課堂所學知識轉變為課程中獲得的個人能力；而2012 級同學對知識的掌握存在局限性，1 ～2 章的知識掌握較好，然而其他章節的掌握程度對比2013 級看來較弱。

上述結果為下一輪的改進呈現了清晰的方向，從2012 級學習效果來看課程能力偏弱，2013 級對這方面針對性的改進后課程能力提高，而且3 個維度都較均衡，同時也看出2013 級成績均值還不夠高，再下一輪教學改進措施應聚焦于提高教學手段與提升學生學習主動性方面。

4 結 語

通過運用質量工程統計技術對課程考試試卷的分析，找出循序改進課程教學過程中的問題及因果關系，為改進下一輪教學活動并“精準發力”提供有力的依據，同時也為評價課程目標或標準達成提供保障。