數據驅動的自我調節學習動態評價模型研究

摘 要：對學習者自我調節學習過程的準確評價，是實現教學干預的必要前提。然而，已有評價方法多為總結性評價，實時性不足。為此，本研究提出了數據驅動的自我調節學習動態評價模型。以學習任務為單位對學習過程進行時序化處理，并構建學習過程中生成性數據到自我調節學習狀態的映射關系。研究結果表明：（1）生成性數據是評價學習者自我調節學習狀態的有力因素，模型具有較高的有效性。（2）學習者的自我調節學習狀態在不同評價維度呈現出差異性變化趨勢，其中任務分析、自我激勵的信念和自我觀察維度趨于穩定，而自我控制、自我判斷和自我反應3個維度呈現明顯波動性變化。（3）高低績效群體在自我激勵的信念、自我控制和自我反應3個評價維度上表現出顯著差異，而在任務分析、自我觀察和自我判斷有3個維度上沒有統計學差異。

關鍵詞：自我調節學習；生成性數據；指標體系；人工智能；學習分析

中圖分類號：G431 文獻標志碼：A 文章編號：2096-0069（2024）01-0019-07

引言

自我調節學習（Self-Regulated Learning，簡稱SRL）是指學習者積極激勵自己并且使用適當策略的學習[1]。研究表明，對學習者自我調節學習進行實時、有效的評價，是發現學習者學習困難、制定針對性學習干預策略的基礎[2]。目前，對自我調節學習評價的研究大多是學期末的問卷、訪談等靜態評價、總結性評價，實時性不足[3]。但對學習者而言，學習就是一個自我調節學習的過程，對自我調節學習的實時動態評價是幫助學習者及時發現問題并保持較高學習動機的關鍵[4]。為此，如何實現對學習者自我調節學習的動態評價成為學界關注的熱點。

本研究在巴里·J.齊默曼（Barry J. Zimmerman） [5]自我調節學習理論的基礎上，構建了數據驅動的自我調節學習動態評價模型。以學習任務為單位對學習過程中的生成性數據進行時序編碼，并利用人工智能技術挖掘生成性數據到自我調節學習狀態的映射關系，然后對時序化的生成性數據進行連續映射，實現對學習者的自我調節學習狀態的動態評價。最后，將模型應用于教學實踐，對學習者的自我調節學習狀態進行跟蹤分析，并比較了高低績效群體自我調節學習狀態的差異性。

一、相關研究

（一）自我調節學習評價的進展

目前，關于自我調節學習的評價方法主要有兩種，即自我報告法和數據分析法。其中，自我報告法指學習者利用口頭（如訪談）或書面（如問卷）等形式對實時或一段時間內的學習過程進行匯報。克塞尼婭·維爾科娃（Kseniia Vilkova）[6]使用在線自我調節學習問卷OSLQ從目標設定、時間管理等6個維度對MOOC學習者進行自我調節學習狀態測量，并驗證了自我調節學習狀態對輟學率的影響。蘭國帥等[7]使用學習動機策略量表MSLQ測量了探究社區中學習者的自我調節學習狀態，發現良好的自我調節學習有助于深度學習和知識建構的發生與發展。

數據分析法則是通過對學習過程中的操作行為、單元測試成績等生成性數據進行挖掘與分析，實現對自我調節學習狀態的自動評價。有研究者認為學習過程中的視頻完成率、視頻瀏覽時間、瀏覽的視頻部分和視頻拖動操作能夠有效反映學生的自我調節學習狀態[8]。何宇（He Yu）等[9]從交互行為角度將學習過程分為微觀互動和高級互動，并通過邏輯回歸等算法證實了微觀互動是評價學生自我調節狀態的有效指標。也有研究者從目標設定、學習策略計劃等6個維度定義了自我調節學習狀態，并利用懲罰性回歸算法對MOOC學習者的學習時長、會話次數等生成性數據進行分析，實現對自我調節學習狀態的評價[10]。

自我報告法因簡單易行而被廣泛應用，但反復測量會增加學習者的負擔，而且易受到學習者主觀意志的影響。數據分析法則解決了自我報告法的上述問題，然而，目前的數據分析法多是學期末的總結性評價，結果存在滯后性[3]。

（二）自我調節學習理論模型

理論模型對構建自我調節學習動態評價具有重要的理論支撐和指導作用。本研究采用巴里·J.齊默曼理論模型作為啟動框架，該理論模型將自我調節學習分為事先計劃、監控執行和自我反思3個階段。①事先計劃階段：指學習者設定目標并規劃自身的學習活動。該階段包含任務分析和自我激勵的信念兩個維度。其中，任務分析是學習者對學習目標進行分解，建立個人目標結構和學習計劃，并對學習資源進行組織和管理；自我激勵的信念是學習者預感或期望學習的結果，調動自身積極性完成學習的動機與信念。②監控執行階段：指學習者監控自身的學習過程，在需要時尋求幫助。該階段包含自我控制和自我觀察兩個維度。其中，自我控制是學習者根據實際學習情況，對個人目標結構和學習計劃進行調整和完善；自我觀察指學習者對自我學習行為的頻率或強度進行觀察和記錄的過程。③自我反思階段：指學習者反思自身進展和使用的認知策略。該階段包含自我判斷和自我反應兩個維度。其中，自我判斷是學習者根據學習目標的達成情況，進行自我評價和探尋歸因；自我反應是反思個人學習目標和學習計劃是否合理、學習策略是否有效，并在后續學習中繼續保持或修正。

二、數據驅動的自我調節學習動態評價模型

（一）模型建構

學習平臺詳細記錄了大量的學習行為、測試成績等生成性數據，為自我調節學習的動態評價提供了數據支持。人工智能技術能夠利用非結構化數據挖掘出潛在的關聯關系，為自我調節學習的動態評價提供了可行性技術支撐。為此，本研究在巴里·J.齊默曼理論模型的指導下，以生成性數據為基礎，以學習任務為時序單位，引入神經網絡算法，構建了數據驅動的自我調節學習動態評價模型，如圖1所示（見下頁）。

模型包括3個核心部分：①指標體系建立。該體系包含評價指標體系和生成性數據指標兩部分。其中，評價指標體系是將評價目標按照其本質屬性分解為清晰的、可操作的結構，是評價的前提和基礎；生成性數據指標則是分類選擇能夠表現評價目標的學習行為、績效狀態等生成性數據集合。②評價引擎訓練。該部分是挖掘生成性數據和自我調節學習狀態間的復雜映射關系，依據生成性數據獲得學習者的自我調節學習狀態。本研究提出了基于神經網絡的評價引擎，該引擎的構建需要使用帶標簽（由自我報告產生）的生成性數據對神經網絡進行訓練。③自我調節學習動態評價。該部分包含數據采集與時序編碼、動態評價兩個核心步驟。其中，前者是收集目標學習者的生成性數據，并對數據中學習者的各類行為、狀態等信息分別進行計算和時序編碼；后者則是使用訓練好的評價引擎對時序化的生成性數據進行分析，得到學習者在連續任務上的多維度自我調節學習狀態，并繪制出自我調節學習狀態的動態曲線。

（二）指標體系

依據理論模型，本研究將自我調節學習的評價指標體系劃分為事先計劃、監控執行、自我反思3個階段和任務分析、自我激勵的信念等6個評價維度，并參考何宇等[9]、勒內·基齊爾切克（René F. Kizilcec）等[10]的研究，分別為每個評價維度篩選了生成性數據指標。

第一，事先計劃階段。任務分析維度的生成性數據指標包含：查看課程說明頻次、瀏覽大綱頻次、查看學習目標頻次、添加/修改學習目標頻次、瀏覽資源結構/屬性頻次；自我激勵的信念維度的指標包含：查看學習目標頻次、瀏覽資源結構/屬性頻次、修改學習目標頻次。

第二，監控執行階段。自我控制維度的指標包含：修改學習目標頻次、瀏覽資源結構/屬性頻次、瀏覽資源頻次、瀏覽視頻時間、登錄平臺時間、發貼數、回貼數、作業完成度；自我觀察維度的指標包含：組織/查詢資源頻次、修改學習目標頻次、查看登錄時間頻次、查看視頻瀏覽時間頻次、查看資源瀏覽頻次、查看發/回貼數量頻次。

第三，自我反思階段。自我判斷維度的指標包含：查看學習目標頻次、測試成績、測試頻次、查看作業評價頻次、查看測試成績頻次；自我反應維度的指標包含：視頻瀏覽時間變化、作業完成度變化、登錄平臺時間變化、發貼數變化、回貼數變化、測試成績、測試次數、添加/修改學習反思次數。

（三）基于神經網絡的評價引擎

評價引擎的作用是依據生成性數據獲得自我調節學習狀態，為精準挖掘兩者間的復雜變換關系，本研究構建了基于神經網絡的評價引擎，如圖2所示（見下頁）。神經網絡算法擁有自學習、自組織和自適應的特性，可以充分挖掘生成性數據與自我調節學習狀態間的深層次關系，能夠有效提升目前評價研究中常用的線性回歸等線性方法的準確性。

構建好的評價引擎可以通過輸入生成性數據（如圖2中fi，bi為偏置項，恒為1）得到自我調節學習狀態（如圖2中t）。但引擎的構建需要使用訓練數據集（即帶標簽的生成性數據）進行模型訓練，研究使用自我報告法為部分生成性數據產生標簽（即自我調節學習狀態），以此產生訓練數據集。模型的訓練主要包含3個主要步驟：

第一，前向計算。將生成性數據向前迭代，將數據映射到評價維度空間，以模擬從生成性數據到自我調節學習狀態的復雜變換關系，如圖2所示，按箭頭方向逐步計算。前向計算包含線性計算和激活兩步，計算方法如公式（1）所示。其中，Z表示某個神經元結點的線性運算結果，f（z）表示激活函數，本研究使用Sigmoid函數，表示權重向量（如圖2中W1），是自然常數。

第二，數據輸出。將經過前向計算的數據進行處理，得到輸出（即自我調節學習狀態），本研究選擇分類中最大概率（使用Softmax函數計算）的狀態值輸出。如圖2中神經網絡分類概率為（對應輸出值1～3），則最后的結果為最大概率（0.73）對應的輸出分類值3。

第三，反向傳播更新。依據計算結果與標簽結果的差異，對正向傳播過程進行調整，以使計算更加精確。反向傳播更新包括誤差表示、殘差計算和權重更新3個子步驟。誤差是輸出結果和標簽真實結果差異程度，本文中使用交叉熵損失函數表示；殘差是反向傳播的誤差，利用誤差的偏導數和前面一層進行加權求和；權重更新則是通過每個節點的殘差值反向更新該節點與上一層中節點間的權重。3個子步驟的計算方法如公式（2）所示。其中，c表示誤差，ei表示節點i的殘差，wtij表示第t次迭代時節點i和j連接的權重，sj是輸出層的最大輸出值（即最大概率值，表明分類結果），Next（i）表示節點i右層神經元集合，wij是節點i和間j的權重系數，f'（i）表示激活函數的偏導數，xi表示節點的i輸出值，η表示學習率，本文中取常數0.6。

（四）生成性數據的時序編碼與動態評價

為實現自我調節學習的動態評價，需要以時間變量為主軸對學習過程進行分析。任務分析、自我判斷等評價維度是基于時間的累積量，而非瞬時狀態。為此，本研究提出以學習任務為單位對生成性數據進行時序化編碼，以將連續的動態評價轉換為離散的評價序列。然后，將每個學習任務對應生成性數據輸入評價引擎，得到學習者在該學習任務中的自我調節學習狀態。最后，將所有學習任務的自我調節學習狀態進行連接和可視化，即可生成學習者在整個學習過程的動態評價。

生成性數據的時序化編碼過程如下：①抽取生成性數據。對于數據庫中的狀態數據，如單元測試成績等，直接讀取學習者ID、學習任務號、數據值。對于日志中的行為數據，需要先分離出形如學習者ID、行為類型、行為目標、學習任務號、Session ID、時間戳的操作流，然后將同一事件對應的操作流相匹配，生成行為數據集。②數據清洗與編碼。數據清洗是檢查數據一致性，并處理無效值和缺失值；編碼是將有效數據生成編碼數據集，例如，將任務分析維度的生成性數據指標編碼為ti，將自我反應維度的指標編碼為rk。③建立學習過程映射。將狀態數據與行為數據以學習者ID和學習任務號為主次關鍵字進行匹配關聯，生成每個學習者的學習過程映射數據集。如學習者S1的學習過程映射為＜t11，t12，t13，…，r77，r78＞，其中，t12表示該學習者在學習任務1中t2生成性數據指標的值。

三、動態評價模型的實踐應用

（一）應用情境

實踐課程為某師范大學2020—2021學年春季“數據庫技術及應用”課程，授課周期為 18 周。課程使用“學習通”+“騰訊會議”的在線平臺開展，前者為教學提供了資源管理、測試、學習計劃、論壇等功能；后者則提供了實時互動課堂功能。參與研究的學生為教育技術學專業本科二年級學生，包括11名男生和45名女生，均具有在線學習經歷。

（二）應用流程設計

課程分為關系數據理論、完整性約束等7個學習任務，每個學習任務均包括課前預習、課上講解、課后練習3個階段。課前預習是學生通過教師提供的學習資料自主學習；課上講解是教師對重難點知識或共性問題進行講解，并指導學生開展任務實踐；課后加強則是課后完成復習、單元測試和課程作業。

此外，評價引擎的訓練需要帶標簽（即自我調節學習狀態）的訓練集。為此，課程中的前3個學習任務要求學生使用自我報告法對當前任務的自我調節學習狀態進行匯報，以生成訓練數據集；后面的學習任務則使用訓練好的評價引擎對學習者的自我調節學習狀態進行評價。

（三）測量工具與方法

本研究中的自我報告所采用的量表，是依據 “學習動機策略問卷使用手冊（MSLQ）”和“大學生學習自主性量表”改編而成的[11-12]，包括事先計劃、監控執行和自我反思3個大類和6個小類的內容，共42個項目。量表采用7級李克特評分，從完全不符合（1分）到非常符合（7分），量表的Cronbach 系數為0.853，表明量表具有較高的可靠性和內部一致性。

（四）數據分析結果

1．模型的有效性分析

為驗證動態模型的有效性，本研究從準確率、召回率和F1值3個方面對模型的評價結果進行了檢測，結果表明，模型在3個階段上的評價結果均較好。其中，在任務分析、自我控制和自我反應3個評價維度上，準確率、召回率和F1值均接近或大于70%（最低69.36%，最高80.64%），評價有效性較高；盡管在自我激勵的信念、自我觀察、自我評價3個評價維度上的結果稍差，但也均高于60%（最低62.08%），表明模型的評價結果亦可接受。此外，在6個評價維度上，模型評價結果和量表結果的Kappa一致性檢驗值均大于0.65，說明兩者之間具有較好的一致性。綜上，可以認為本研究提出的動態評價模型在自我調節學習6個評價維度上的評價結果是令人滿意或可接受的。

2．自我調節學習狀態動態分析

為探究學習者的自我調節學習動態變化趨勢，本研究從事先計劃、監控執行和自我反思3個階段跟蹤學習者的自我調節學習動態，并對所有學習任務的數據進行了方差分析，結果如表1所示（見下頁）。

事先計劃階段。由表1可知：第一，任務分析狀態基本呈現平穩態勢（p＝0.564＞0.05），表明在教師的指導下，學生能較好地理解學習目標和策略。第二，任務分析狀態在學習任務1和6上的均值稍低，表明學習內容的抽象程度對學生的任務分析狀態有一定影響；前者是學期開始，學生對新內容較陌生；后者的學習內容是數據庫設計范式，內容抽象。第三，自我激勵的信念狀態雖有一定波動，但整體上仍然表現穩定（p＝0.71＞0.05）。第四，學習內容難度對自我激勵的信念存在滯后性影響，學習任務1、3和6的難度較高，導致學生在下一學習任務開始時信心降低，其中，學習任務3為SQL語句。雖然內容具體，但邏輯性較強。

監控執行階段。由表1可知：第一，學生的自我控制狀態會隨著學習任務的不同產生明顯差異性（p＝0.040＜0.05），結合學習任務的難度，可知越是知識點繁冗和困難的任務，需要學生投入的自我控制精力越多。第二，對于困難的學習任務6，學生的自我控制狀態雖然較高，但未達到期望值。第三，學生的自我觀察狀態評分值較低且整體表現穩定（p＝0.994＞0.05），表明學生對學習過程的關注整體較少；另外，學生對學習過程的觀察較難反饋到平臺數據中，也會對該方面的評價產生一定影響。

自我反思階段。由表1可知：第一，學生的自我判斷狀態隨著學習內容呈現明顯波動趨勢（p＝0.004＜0.05），較難的學習任務（1、3、6）會導致較低的自我判斷狀態，表明學習任務的難度對學生的自我判斷具有較大的影響。第二，學生的自我反應狀態同樣隨著學習內容呈現明顯波動（p＝0.017＜0.05），學習任務1、3、6同樣對應較低的自我反應狀態。第三，學生自我反應狀態的評價包含適應/防御，是學生對前一學習任務的反應，因此，該維度缺少任務1的評價。

3．高低績效群體自我調節狀態的動態變化

為了進一步揭示自我調節學習狀態與學習績效的關系，本研究采用t檢驗對高低績效組的自我調節學習狀態進行比較。其中，最終考核成績高于70分的作為高績效者（H），低于70分的則為低績效者（L）。

事先計劃階段。在任務分析維度，高低績效群體沒有顯著差異（t＝0.530，p＝0.606＞0.05），說明學生對學習目標的定位和學習策略的設計均比較清晰；而在自我激勵的信念維度上，高低績效群體則呈現出顯著差異（t＝2.777，p＝0.024＜0.05），結合均值（MeanH＝5.50＞MeanL＝5.34）可知，高績效組能更長時間地對學習內容保持興趣，也具有更高的自我效能感。

監控執行階段。在自我控制維度，高低績效群體存在極顯著差異（t＝3.474，p＝0.007＜0.01），結合具體的評價值發現，對于較難的學習任務（如學習任務6），高績效組會表現出更積極努力的狀態（如MeanH6＝5.81＞MeanL6＝5.11）；在自我觀察維度上，高低績效群體沒有表現出顯著差異（t＝1.338，p＝0.368＞0.05），兩組的自我觀察狀態均隨著學習的進行而呈現出下降趨勢。

自我反思階段。在自我判斷維度，高低績效群體未表現出顯著差異（t＝0.224，p＝0.826＞0.05），結合均值發現，兩組均處于較低水平；在自我反應維度上，高低績效群體表現出顯著差異（t＝2.270，p＝0.049＜0.05），結合均值和方差數據可知，高績效組在整個學習過程中具有較高的自我調節能力且相對更穩定（MeanH＝5.32＞MeanL＝5.12， SDH＝0.124＜SDL＝0.172），特別是在面臨困難的學習任務時表現得尤為明顯。

四、總結與討論

本研究提出了數據驅動的自我調節學習動態評價模型，通過挖掘學習過程中的生成性數據實現學習者的自我調節學習動態評價。與以往研究不同的是，本研究提出使用學習任務對學習過程進行時序劃分，實現了連續動態評價的離散化轉換。另外，本研究使用神經網絡算法擬合生成性數據與自我調節學習狀態間的復雜變換關系，提升了擬合的準確度。

研究雖然為自我調節學習的動態跟蹤提供了可行性解決方案，為智能輔導系統（ITS）和個性化教學干預等提供重要的決策支撐，但仍存在一定的局限性。比如，模型僅使用了學習者的在線生成性數據作為評價依據，評價在準確度、召回率等有效性上仍有進一步的提升空間。

參考文獻

[1]李文昊，任曉曈，朱希雅，等.認知彈性設計下自我調節學習行為影響學習成績的機制研究[J].電化教育研究，2022，43（2）：64-71.

[2]楊春梅，張文蘭.境外網絡環境下自我調節學習研究的熱點、趨勢及啟示[J].數字教育，2022，8（3）：86-92.

[3]ARAKA E， MAINA E， GITONGA R， et al. Research trends in measurement and intervention tools for self-regulated learning for e-learning environments-systematic review （2008—2018） [J]. Research and Practice in Technology Enhanced Learning， 2020， 15： 1-21.

[4]孫培勇.“雙減”政策背景下培養學生自我調節學習能力的實施策略[J].數字教育，2022，8（6）：63-68.

[5]ZIMMERMAN B J. Becoming a self-regulated learner： an overview[J]. Theory into Practice， 2002， 41（2）： 64-70.

[6]VILKOVA K， SHCHEGLOVA I. Deconstructing self-regulated learning in MOOCs： in search of help-seeking mechanisms[J]. Education and Information Technologies， 2021， 26： 17-33.

[7]蘭國帥，鐘秋菊，郭倩，等.自我效能、自我調節學習與探究社區模型的關系研究：基于網絡學習空間中開展的混合教學實踐[J].中國電化教育，2020（12）：44-54.

[8]VAN ALTEN D C D， PHIELIX C， JANSSEN J， et al. Effects of self-regulated learning prompts in a flipped history classroom[J]. Computers in Human Behavior， 2020， 108： 106318.

[9]YU H， HARPER S， VIGO M. Modeling micro-interactions in self-regulated learning： a data-driven methodology[J]. International Journal of Human-Computer Studies， 2021， 151： 102625.

[10]KIZILCEC R F， PEREZ-SANAGUSTIN M， MALDONADO J J. Self-regulated learning strategies predict learner behavior and goal attainment in Massive Open Online Courses[J]. Computers amp; Education， 2017， 104： 18-33.

[11]PINTRICH P R， SMITH D A F， GARCIA T， et al. Reliability and predictive validity of the Motivated Strategies for Learning Questionnaire （MSLQ）[J]. Educational and Psychological Measurement， 1993， 53（3）： 801-813.

[12]謝家樹.大學生學習自主性量表的初步編制及試測[D].長沙： 湖南師范大學，2004.

（責任編輯 孫興麗）

A Study of a Data-Driven Dynamic Evaluation Model for Self-Regulated Learning

Kong Weiliang1， Zhang Junkai1， Han Shuyun2， Ye Haizhi1

（1. Faculty of Education， Henan Normal University， Xinxiang， Henan， China 453007;

2. Faculty of Artificial Intelligence in Education， Central China Normal University， Wuhan， Hubei， China 430079）

Abstract： Accurate evaluation of learners’ self-regulated learning process is a necessary prerequisite for the realization of pedagogical interventions. However， most of the existing evaluation methods are summative and insufficient in real time. For this reason， the study proposes a data-driven dynamic evaluation model of self-regulated learning. The learning process is temporalized in terms of learning tasks， and the mapping of generative data to self-regulated learning states is constructed in the learning process. The results of the study show that： （1） Generative data is a powerful factor in evaluating learners’ self-regulated learning state， and the model has high validity. （2） The learners’ self-regulated learning state shows a trend of differential changes in different evaluation dimensions， in which the dimensions of task analysis， self-motivated beliefs and self-observation tend to be stable， while the three dimensions of self-control， self-judgement， and self-response show obvious fluctuating changes. （3） The high and low performance groups show significant differences in the three evaluation dimensions of self-motivated beliefs， self-control and self-reaction， while there are no statistical differences in the three dimensions of task analysis， self-observation and self-judgment.

Key words： Self-regulated learning; Generative data; Metrics system; Artificial intelligence; Learning analytics