繼續(xù)教育領域大數(shù)據(jù)時代的教師教學評估改革與實踐

趙晶

對外經濟貿易大學統(tǒng)計學院 北京 100000

1 項目背景介紹

教學評估工作是高校教學教研的核心問題，傳統(tǒng)教學評估存在以下幾個問題：

（1）采用紙質+手工統(tǒng)計方式，工作流程信息化水平不夠，采用網上評教加督導紙質聽課表統(tǒng)計的半手工方式，人工成本高流程煩瑣。紙制評價記錄未全部實現(xiàn)數(shù)字化。

（2）重視結果輕過程：考核成績是教師評估結果的匯總，無法了解教師在教學教研過程中的差異，缺少過程性評價。

（3）主觀性強，客觀性弱：主觀性評估受環(huán)境、情緒因素影響較大，需要同時借助客觀數(shù)據(jù)來輔助進行評價分析。

（4）評價反饋滯后：評教結果在年終考核時才能夠反饋給教師，教師難以在整年的教學過程中實時獲得教學優(yōu)化反饋，從而及時調整教學教研計劃。

基于以上各類痛點，與山東某所醫(yī)學院共同開展項目。教師教學工作的復雜性決定了教學評估應該是一個定性與定量相結合的過程，通過構建過程性評估體系，將動態(tài)的過程性評估與靜態(tài)的結果性評估相結合。這樣可以在任意時間單元，實時了解到教師的教學情況，而不是等到學期末考評時才后知后覺[1]。

過程性評估的核心是多維度過程數(shù)據(jù)的實時抓取與處理，圍繞著數(shù)據(jù)的搜集、清洗與分析，搭建了教學評估數(shù)字化平臺，與學校教務系統(tǒng)、學工系統(tǒng)等進行了數(shù)據(jù)對接。要解決的主要問題是過程性評估信息的記錄與存儲、通過過程性評估判斷教師的教學教研情況、通過多元評價為教師提供及時有效的反饋、基于具有一定時間跨度的、連續(xù)的評估結果和數(shù)據(jù)變化展示教師的成長過程。

數(shù)據(jù)平臺建設的標準是遵循系統(tǒng)高可拓展性、全量數(shù)據(jù)采集與存儲、應用大數(shù)據(jù)分析優(yōu)化的系統(tǒng)設計理念。從創(chuàng)新與發(fā)展角度進行規(guī)劃，在提升目前業(yè)務效率的前提下考慮未來的系統(tǒng)兼容性。以教務人員、教師為中心，在盡量降低教師工作量的基礎上，提供良好的用戶體驗。有可靠的安防及備份容災措施，保證數(shù)據(jù)隱私及安全。

2 教師教學教研數(shù)據(jù)的獲取

本項目的數(shù)據(jù)來源包括從高校教務系統(tǒng)提取、學校要求上報的工作量紙質文件統(tǒng)計，調查問卷紙質記錄，共包括近5年教師與學生的歷史數(shù)據(jù)，主要覆蓋以下七個維度：

（1）學生評教：學生對所有課程所有教師的評價結果，高校一般通過問卷方式下發(fā)紙質文檔，學生填寫完畢后回收統(tǒng)計錄入系統(tǒng)中。

（2）同行及領導聽課：教師對教師以及上級領導抽查聽課的結果評價數(shù)據(jù)。

（3）學生成績：每位學生歷年所有課程的考試成績。

（4）教師工作量：主要包括各為教學活動的工作量，如：理論教學、實踐教學、實驗教學、畢業(yè)指導、臨床帶教、考試工作量等。

（5）教師教學：主要包括課程資源、課堂考勤、提問、練習、討論數(shù)據(jù)、課后輔導答疑情況、作業(yè)試卷批改情況等。

（6）教師教研：主要教師在本年度參與的科研項目，如項目類型、項目等級、項目級別、承擔任務、獲獎情況等。

（7）年終考核數(shù)據(jù)：教師年終考核、評級中最終認定的結果數(shù)據(jù)，這類數(shù)據(jù)也是后期機器學習的基礎[2]。

3 教學教研數(shù)據(jù)采集與預處理

搜集到的七類數(shù)據(jù)中，數(shù)據(jù)量分布極不均衡，如教學工作量數(shù)據(jù)、教學數(shù)據(jù)因為院校沒有硬性管理要求，數(shù)據(jù)量極少。在其他類別數(shù)據(jù)中也存在大量缺失數(shù)據(jù)。在數(shù)據(jù)量小并且確實數(shù)據(jù)多的情況下，對缺失數(shù)據(jù)的填充極其重要。基于統(tǒng)計學原理，根據(jù)初始數(shù)據(jù)集中取值的分布情況來對缺失值進行補齊，本項目中主要使用平均值填充。對數(shù)值型變量，根據(jù)其他對象取值的平均值來填充。對于非數(shù)值型變量，使用眾數(shù)原理，使用其他所有對象取值次數(shù)最多的值來填充。總之填充的依據(jù)是使用現(xiàn)存數(shù)據(jù)的多數(shù)信息推測缺失值。

獲取的原始數(shù)據(jù)雜亂無章，看不出規(guī)律。通過查看各項變量的分布情況，變量之間的關系來發(fā)現(xiàn)數(shù)據(jù)中潛藏的規(guī)律。首先進行歸一化處理。歸一化可以將不同維度不同量綱的數(shù)值表達轉換為無量綱的數(shù)字表達成為純量，減少方差大的特征的影響，在后續(xù)的分析中可以簡化計算，使模型更準確，本項目主要使用z-score標準化方程。

4 教師教學評估分析模型建設

因為每個學校的評估標準不同，并且最終的產品目標是商業(yè)化，就要考慮需要設計靈活的評估模型，來承載各個院校不同的考核需求。每個院校的數(shù)據(jù)采集維度不同，模型會根據(jù)實際數(shù)據(jù)情況自動按分類生成。比如按上面采集到的數(shù)據(jù)分為6類，每類分別設置權重與分值。權重與分值設置可以到極小的顆粒度，如教師在不同等級的報刊發(fā)表論文考核得分不同。

這一步面臨一個很大的困難，如果學校沒有形成標準成熟結構化的考核體系，對評估模型的設置會無從下手。考核分值與權重設置缺乏科學依據(jù)。標準的考核體系需要院校花費很大精力去研究。在這個項目中，院校同步對考核體系做標準化規(guī)范。

依據(jù)院校給出的評估標準，基于某學年某學期，對教師6類數(shù)據(jù)分別計算得分。對所有教師的評分進行排名。圍繞教師收集的數(shù)據(jù)維度越多，找出影響教師評估結果的關鍵因素的難度越大。我們試圖通過主成分分析法進行降維處理，找出對評估結果影響最大的幾個關鍵變量。院校的要求是教師評估結果需要符合正態(tài)分布，因此分析的重點是考察所有教師的考核結果分布是否呈現(xiàn)正態(tài)分布。如非正態(tài)分布就需要對教師的教學形為進行干預與調節(jié)，以達到期望的效果。

基于院校年終考核數(shù)據(jù)，運用機器學習算法對教師數(shù)據(jù)建模，對下一年評估結果進行預測。以優(yōu)質教師教學教研行為為依據(jù)，可以對下一年每位教師的教學教研情況進行跟蹤與預警。同時將不同教師的完成情況進行橫向對比，將無形的教學質量轉化為可量化的指標。

項目使用2018年春秋兩個學期，共1萬多條數(shù)據(jù)進行模型訓練，將數(shù)據(jù)集隨機分為訓練集與測試集，來對比各個模型的優(yōu)劣。使用MSE來對比差異，與測試集預測變量的差異越小，模型越好。最終訓練出的模型測試精確度可達75%。

在變量的選擇上，使用優(yōu)子集選擇法，對所有預測變量的所有可能組合分別進行擬合，選擇出最優(yōu)模型。通過計算方差膨脹因子，來確認解釋變量是否存在共線性或多重共線性的問題。通常VIF大于5時，意味著共線性成為一個問題，通過去掉冗余變量來解決此問題。

5 對分析模型的評估方法

模型的優(yōu)劣取決于我們選擇哪些變量作為解釋變量，解釋變量間是否存在(多重)共線性，是否使用對數(shù)轉換等等，最終可以通過以下3個指標來檢驗：通過計算預測偏差，MSE越小越好；計算VIF，值越小越好；計算置信區(qū)間，區(qū)間越緊越好。經過計算3個指標值的完成性均較好。

6 項目中碰到的困難與解決方案

在系統(tǒng)實際推進使用過程中，碰到的最大的問題就是數(shù)據(jù)搜集。除了一些易于記錄與維護的數(shù)據(jù)外，如考試數(shù)據(jù)、教學評價數(shù)據(jù)，其他諸如教學工作量、教研數(shù)據(jù)等在院校的實際工作開展中，很難采集。在院校信息化平臺建設中，存在使用多個甚至是十多個信息平臺的情況，各系統(tǒng)間數(shù)據(jù)獨立不互通。同時教師也增加了額外負擔，需要在多個平臺上進行數(shù)據(jù)維護。

院校缺少統(tǒng)一的數(shù)字化平臺來實現(xiàn)各個平臺間的數(shù)據(jù)共享，要想推進項目的實施，解決數(shù)據(jù)采集的方案之一是與各個平臺做數(shù)據(jù)對接，需要各個平臺維護團隊的配合。前期成本高工作量大工期長，并且存在很高的不確定性。方案二是讓教師錄入相關數(shù)據(jù)。要求教師參加數(shù)據(jù)的收集無疑會增加教師的工作量，系統(tǒng)設計中秉承最大化降低教師工作量的原則，盡量減少教師操作流程與錄入數(shù)量。隨著項目的推進，如果評估結果得到院校的認可，并能夠得到大面積的使用，那么則可以考慮與各個平臺的對接工作。在可以得到確定成果的基礎上，持續(xù)投入不斷迭代平臺功能與算法模型。

7 項目總結與后續(xù)規(guī)劃

本項目的初衷對傳統(tǒng)結果導向性教學評估的一種改革嘗試， 院校領導希望可以通過大數(shù)據(jù)與人工智能技術來實現(xiàn)結果性評估到過程性評估的探索，這需要有打破傳統(tǒng)思維模式的勇氣，需要各個院系教師的支持與配合。因此，在系統(tǒng)建設的過程中，各類數(shù)據(jù)盡最大可能自動采集，盡量減少教師的工作量，從啟動層面將教師的抵觸情緒降到最小。循序漸進的改變優(yōu)化教師現(xiàn)有的工作方式，先讓教師看到變革能帶來切實的益處。經過與各個院系的溝通，初期先選兩個院系進行推廣試運行。項目最終目的是通過教學評估方式的轉變，反向推動數(shù)據(jù)的采集與教師工作方式、工作理念的轉變，提升教學質量讓教師和學生都受益。