機器學習方法在學習評價改革中的運用探討與實踐研究

關鍵詞：機器學習；混合教學模式；隨機森林方法；學習評價改革；嵌入式

0 引言

中共中央、國務院印發(fā)的《中國教育現(xiàn)代化2035》提出了推動教育現(xiàn)代化的十大戰(zhàn)略任務，其中就包括利用現(xiàn)代技術加快形成現(xiàn)代化的教育管理與監(jiān)測體系，推進管理精準化和決策科學化，學習評價改革是其中的重要研究熱點之一。

匹配現(xiàn)代化教學模式的學習評價，不僅需要終結性評價，也需要過程評價；不僅需要關注如單元測試等考核結果，也需要關注學習行為數(shù)據(jù)；不僅需要評價線下學習行為，也需要評價線上學習行為。包含上述考慮的學情大數(shù)據(jù)，數(shù)據(jù)量大，關系復雜，均與能力培養(yǎng)、學習結果相關。如采用人力方式進行學習評價，工作量巨大，無法全面考慮學情數(shù)據(jù)，更無法做到及時反饋評價。

本文研究在人工智能賦能教育的時代背景下[1]，將機器學習方法引進學習評價，實現(xiàn)自動的、嵌入學習過程的自動評價，包括增值評價。同時，在能力本位理念指導下建立評價體系，助力學生核心能力提升。

1 建設目標與應用價值

1.1 建設目標

學習評價是以教育目標為依據(jù)，運用有效的評價技術和手段，對教育活動的過程和結果進行測定、分析、比較，并給予價值判斷的過程。本研究從規(guī)范學情大數(shù)據(jù)并提煉學情因素、學情因素權重獲取、學情評價模型構建、評價模型應用效果驗證等方面展開研究，旨在建立一個基于能力本位和學情大數(shù)據(jù)的學習評價模型，并嵌入學習過程，實現(xiàn)對學習評價與管理機制的精細化。

在學情因素集的探索上，在價值導向?qū)用嫔戏e極轉變，使得評價能夠與“更好地促進學習者的發(fā)展”[65590c787ae7d6323059c6c95c2e4c2716884139a894aed7360106dd473a28b02]的內(nèi)在本質(zhì)相契合。從規(guī)范學情大數(shù)據(jù)和考慮學習者能力本位出發(fā)，通過直接提取可量化指標和通過數(shù)據(jù)挖掘、相關度分析、關鍵詞提取等分析手段清洗出包括情感態(tài)度在內(nèi)的學情評價指標，完成學情因素集的采集。

1.2 應用價值

學習評價體系研究作為教育大數(shù)據(jù)分析的重要應用之一，也是教育教學改革中重要的一環(huán)。本案例的學習評價模型是在學情評價指標體系和學習云空間大數(shù)據(jù)基礎上，采用機器學習方法，利用歷史學習數(shù)據(jù)作為訓練集，得到學習評價訓練模型，輸出結果穩(wěn)定可靠，并可在機器學習過程中不斷學習迭代改進，達到智能分析評價的目標，具有應用價值和學術價值。其應用價值有如下4個方面。

（1） 教育更注重對自主學習能力、溝通交流能力、問題解決能力和批判性思維等的培養(yǎng)[3]，這種人才評價本質(zhì)層面上的改變，也要求在思維變革主導下進行學情因素集合的系統(tǒng)性創(chuàng)新，更應將對學生培養(yǎng)目標的知識目標、能力目標、素質(zhì)目標整合，對應融入學習因素集合設計當中。本研究利用數(shù)據(jù)挖掘、相關度分析、關鍵詞提取等分析手段，清洗出符合規(guī)范的學情評價指標有關數(shù)據(jù)，分析方法成熟可靠，為學情評價模型可靠性夯實基礎。

（2） 基于學情大數(shù)據(jù)的學習評價體系的研究，通過挖掘?qū)W情數(shù)據(jù)與學習結果相關性實現(xiàn)對學習情況的判定。這種基于過程的嵌入式的評價，可為學生進一步的學習方向提供可信的依據(jù)，也作為教師調(diào)整教學活動設計的重要數(shù)據(jù)支撐，從而進一步提升學習云空間的學習效果。

（3） 嵌入式的、可記錄的學習評價[4]，方便追蹤學生在一段時間內(nèi)學業(yè)成就的變化，考查學生學業(yè)成就的凈增值，更客觀合理地評價學生在學習過程中的“增值”，即實現(xiàn)增值評價。學生在學習過程中及時得到評價反饋，促進其自身反省、克服不足，改變不良狀態(tài)，并依據(jù)評價結果調(diào)節(jié)、控制、規(guī)范學習行為，引導學生向預定學習目標前進。

（4） 智能學情評價可解放教師勞動力，讓教師更關注教學活動設計本身。及時反思教學，從能力本位出發(fā)改革教學活動，提高教學質(zhì)量，做到以評促學，以評促教，確保教學改革順利進行。

2 建設內(nèi)容

本研究建設內(nèi)容包括制訂課程標準、創(chuàng)新教學模式、學習評價改革等。建設重點在于學習評價改革，其次是評價改革的先行基礎，即課程標準的重新制訂以及“半翻轉”混合教學模式的創(chuàng)新。

2.1 重構教學內(nèi)容體系，制定課程標準

基于能力本位教育理念，以提高學生綜合素質(zhì)、知識水平和創(chuàng)新能力為原則，結合教學改革的最新研究成果，對教學內(nèi)容體系包括思政元素進行了整合、優(yōu)化，制定適應學生培養(yǎng)目標的課程標準。

（1） 明確培養(yǎng)目標

以培養(yǎng)學生的數(shù)據(jù)抽象能力、復雜程序設計的能力、算法實施與維護能力為總目標。具備理解原理、掌握方法、熟練應用的能力；具備設計性能優(yōu)、效率高、可讀性強、易維護的程序的能力；具備解決實際問題、自主學習、探索研究的能力。

（2） 基于教育理念，整合內(nèi)容結構

信息技術專業(yè)基礎課程體系各門課在內(nèi)容結構上各自不同，又有小部分互相重疊，在體系上是先行、后繼的線性關系。整合內(nèi)容包括梳理知識體系的線性關系，設計各自獨立的實驗模塊和連貫的實踐項目，讓學生能通過實踐項目不斷循環(huán)鞏固實際項目實戰(zhàn)中的分析、設計、實施流程，最終形成內(nèi)化的解決實踐問題的能力。

（3）“ 崗、課、賽、證”分解優(yōu)化，制訂課程標準

將整合的信息技術專業(yè)基礎課程體系分解到各門課程中去，同時基于“崗、課、賽、證”梳理知識點，融入課程思政元素，以此制定課程標準并實施。

融入思政元素是通過專業(yè)知識內(nèi)容聯(lián)系生活實際進行思考，引導學生提高學生運用馬克思主義哲學的科學世界觀和方法論來幫助解決實際思想問題的能力。構筑切合大學生核心價值觀的關于課程的世界觀、人生觀和價值觀。將勞動教育、工匠精神與思政元素結合，落實立德樹人根本任務

2.2 創(chuàng)新“半翻轉”混合教學模式

從“以學習者為中心”和“信息技術與教育教學深度融合”的指導思想出發(fā)，將傳統(tǒng)課堂向線上線下混合教學模式轉變，逐步形成“課堂教學、實踐教學、網(wǎng)絡學習、課外拓展訓練”的適合本學院學生學情的“半翻轉”混合教學模式[5]。

創(chuàng)建“ 教賽證合一、三維立體化課堂”，從基礎能力訓練出發(fā)，注重實踐能力培養(yǎng)，提高學生個人素質(zhì)。

第一課堂完成基礎能力訓練，包括基于MOOC的線上學習和課程實踐教學。線上學習任務包括基礎理論知識學習和小組協(xié)同實踐任務，通過學生自主學習、自主在線測試、分小組協(xié)同學習、匯報交流學習成果等形式展開。課程實踐教學內(nèi)容包括教學案例、課堂實踐，作品評價等，完成綜合實踐能力訓練。基于第一課堂的基礎能力訓練應注重形成性評價，再加上期末考試得出課程的總體評價。第二課堂則提升實踐能力，包括提供競賽、考證信息，鼓勵學生參與競賽、考證、參與創(chuàng)新實踐項目等。第三課堂完成素質(zhì)培養(yǎng)，以小組探究式學習模式為主，側重團隊協(xié)作、多科目融合創(chuàng)新能力培養(yǎng)。

2.3 學習評價改革

（1） 規(guī)范學情大數(shù)據(jù)，提煉學情因素

學情數(shù)據(jù)存在主觀性強、數(shù)據(jù)涉及范圍廣的特征，需要充分考慮學習培養(yǎng)目標，加強對于學生非認知能力的評價，利用數(shù)據(jù)挖掘、相關度分析、關鍵詞提取等分析手段，清洗出包括情感態(tài)度、自我效能在內(nèi)的學情評價指標有關數(shù)據(jù)[6]，建立學情數(shù)據(jù)規(guī)范。現(xiàn)有分析方法成熟可靠，為學情評價模型可靠性夯實基礎。

本研究初步建立了基于多元能力培養(yǎng)目標的二級評價指標。一級指標情感態(tài)度，觀測點包括登錄次數(shù)、觀看視頻個數(shù)、查看問題次數(shù)、上傳資源次數(shù)、學習進度等；一級指標學習過程，觀測點包括登錄平臺時長、觀看視頻時長、測評次數(shù)、測評結果、筆記次數(shù)等；一級指標自主學習能力，觀測點包括提出問題次數(shù)、拓展知識完成情況等；一級指標協(xié)作學習能力，觀測點包括回答問題次數(shù)、回答問題被點贊數(shù)、參與任務次數(shù)、任務完成度、人際交往能力等；一級指標反思與自我效能，觀測點包括學習總結個數(shù)、反思字數(shù)、自我滿意度等。觀測點即為考慮的二級指標。

為保證評價可操作性和穩(wěn)定性，指標須實現(xiàn)自動獲取并且量化，消除人為帶來的不穩(wěn)定性。

（2） 學習評價模型構建

本部分內(nèi)容基于機器學習訓練學習評價模型，將歷史學情數(shù)據(jù)作為訓練數(shù)據(jù)集，實現(xiàn)數(shù)據(jù)隱含價值的深入挖掘。

第一收集歷史評估數(shù)據(jù)作為訓練集，提煉評價有關指標。

第二需要對指標數(shù)據(jù)預處理，包括指標正則化、指標向量化和拆分數(shù)據(jù)集。指標正則化將數(shù)據(jù)歸到制定的區(qū)間[0，1]內(nèi)，抑制異常值的影響。指標向量化則采用數(shù)據(jù)標注獨熱編碼，使得數(shù)據(jù)的分類更準確。拆分數(shù)據(jù)集將歷史評估數(shù)據(jù)80%用于模型訓練，20% 用于模型測試。

第三選擇訓練模型。線性回歸模型實現(xiàn)分值評價[7-9]，首先假設自變量和因變量是線性關系，然后通過對現(xiàn)有樣本進行回歸，進而計算出回歸系數(shù)以確定線性模型，最后使用該模型對未知樣本進行預測。隨機森林模型實現(xiàn)等級評價[10-13]，通過集成學習的思想將多棵樹集成，它的基本單元是決策樹，每棵決策樹都是一個分類器，對于一個輸入樣本，N棵樹會有N個分類結果。而隨機森林集成了所有的分類投票結果，將投票次數(shù)最多的類別指定為最終的等級輸出。

評價模型構建流程如圖1所示。

3 評價模型評估

在測試模型有效性中，用課程歷史學習數(shù)據(jù)作為測試數(shù)據(jù)對預訓練模型性能進行評估，將模型評價結果與專家標注對比，得出的對比折線圖，如圖2所示。

圖2中虛線表示評價模型結果數(shù)據(jù)，實線表示專家標注數(shù)據(jù)。由圖2可見，評價結果與專家標注結果基本一致。

此外，為驗證評價結果的準確度，我們由教育專家和任課教師組成10人專家小組對學情數(shù)據(jù)進行評判，采用delphi方法，得出評價結果，與訓練模型得到的評價結果相比對。

首先將學情數(shù)據(jù)中考慮的4個一級指標和20個二級指標向?qū)＜医M介紹，明確本次評價的目標是得出總的學習評價得分與等級。然后專家組每位專家獨立匿名評價。收集專家組的評價，對其中評價結果有較大差異的部分學情數(shù)據(jù)打亂，再次分別征詢意見、收集評價結果。如此反復進行三輪匿名評價。最后對所有專家所有學情數(shù)據(jù)的末次評價整理統(tǒng)計，采用中位數(shù)法，得到專家組的最終評價與等級。delphi方法克服了在專家會議法中經(jīng)常發(fā)生的專家們不能充分發(fā)表意見的弊端，各位專家能真正充分地發(fā)表自己的預測意見。

基于隨機森林模型得到的評價等級結果和專家組得到的評價等級結果采用一一比較的方式，具有93.3%的一致性。

基于多級線性回歸模型得到的評價評分結果和專家組得到的評價評分結果采用值方差（value square deviation， VSD）方法驗證得分的相似程度，值越小序列越相似。經(jīng)計算，本評分結果與專家評分結果的值方差為0.51，準確程度高。

4 實踐效果

4.1 評價改革解決問題

（1） 解決學習評價不及時和缺乏增值評價的問題

本案例“評價牽引”的動態(tài)評價機制，可方便實現(xiàn)增值評價，彌補增值評價缺乏的問題。本案例成果“基于機器學習和學情大數(shù)據(jù)的學習評價預測系統(tǒng)”已申請專利并授權。

（2） 解決學習評價因素主觀性的問題

本案例依托通信技術，學情因素指標獲取實現(xiàn)自動獲取并且量化，消除人為因素帶來的主觀性。

（3） 解決學習評價模型不穩(wěn)定的問題

傳統(tǒng)評價模型強調(diào)評價因素與結果的因果關系，但實際上，其因果關系往往難以求證。本模型強調(diào)指標與結果的相關性，經(jīng)過大量歷史數(shù)據(jù)進行模型訓練，提高模型準確性和穩(wěn)定性。

4.2 學生培養(yǎng)成效

本學習評價改革在本專業(yè)3門課程中實踐，結果表明學生對課程學習興趣濃厚，并對教師的教學以及效果表示滿意，在學期末對學習課程的打分評估中，教學滿意度均達98%以上。

部分優(yōu)秀畢業(yè)生入職中國移動、騰訊、百度、網(wǎng)易等企業(yè)。通過實地走訪、第三方數(shù)據(jù)調(diào)查公司等方式了解到，用人單位對本專業(yè)畢業(yè)生的專業(yè)能力素養(yǎng)滿意度處在較高水平，連續(xù)三年滿意度均在95%以上。

5 結束語

本研究在重構教學內(nèi)容體系，制訂課程標準，以及“半翻轉”教學模式改革的基礎上，研究實踐相應的學習評價改革，利用人工智能機器學習方法實現(xiàn)嵌入式自動學習評價。評價指標體系關注學生知識技能與個體發(fā)展，包括溝通交流能力、問題解決能力、自主學習能力和可持續(xù)發(fā)展能力等，為學生提供更好的學習監(jiān)督體驗并刺激學習內(nèi)因、提升學習效果，真正做到以評促學，以評促教。

本研究成果為包含線上學習的教學模式提供一種可行的評價方案，有良好的示范作用。