數(shù)據(jù)驅(qū)動教學(xué)決策真的有效嗎？*——基于近十年國內(nèi)外43項相關(guān)的實驗和準(zhǔn)實驗元分析

李 靜 顧秦一 蔣少杰 鄭旭東

數(shù)據(jù)驅(qū)動教學(xué)決策真的有效嗎？*——基于近十年國內(nèi)外43項相關(guān)的實驗和準(zhǔn)實驗元分析

李 靜1顧秦一1蔣少杰1鄭旭東2

（1．中國礦業(yè)大學(xué) 公共管理學(xué)院，江蘇徐州 221116；2．江蘇師范大學(xué) 江蘇省教育信息化工程技術(shù)研究中心，江蘇徐州 221116）

數(shù)據(jù)驅(qū)動教學(xué)決策是大數(shù)據(jù)時代循證科學(xué)研究在教育教學(xué)中的應(yīng)用與發(fā)展，具有促進(jìn)決策科學(xué)化、教學(xué)有效化、教育現(xiàn)代化的功能，但研究對于“數(shù)據(jù)驅(qū)動教學(xué)決策是否有效”這一問題仍然存在爭議。對此，文章對近十年國內(nèi)外43項相關(guān)的實驗和準(zhǔn)實驗研究文獻(xiàn)進(jìn)行了元分析，結(jié)果顯示：數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生學(xué)習(xí)效果具有顯著的正向促進(jìn)作用，具體體現(xiàn)在認(rèn)知發(fā)展、行為發(fā)展、情感發(fā)展三個維度；數(shù)據(jù)驅(qū)動教學(xué)決策受決策主體角色、決策技術(shù)工具、決策驅(qū)動過程、決策執(zhí)行方式四個調(diào)節(jié)變量的影響，但不同調(diào)節(jié)變量對數(shù)據(jù)驅(qū)動教學(xué)決策的影響存在差異?；谘芯拷Y(jié)論，文章針對數(shù)據(jù)驅(qū)動教學(xué)決策的優(yōu)化提出建議，以提升教學(xué)決策的科學(xué)性和有效性，助力教育數(shù)字化轉(zhuǎn)型的深度推進(jìn)。

數(shù)據(jù)驅(qū)動；教學(xué)決策；學(xué)習(xí)效果；元分析

一 研究現(xiàn)狀

教學(xué)決策是教育工作者為了促進(jìn)學(xué)生發(fā)展，通過感知、采集、分析、處理信息并選擇教學(xué)方案的動態(tài)過程。“教學(xué)決策的合理性基本等同于教學(xué)有效性”[1]，因此教學(xué)決策不僅是教育教學(xué)活動的核心，還是保證教育質(zhì)量的關(guān)鍵，更是教育工作者素養(yǎng)能力的基本組成。傳統(tǒng)的基于經(jīng)驗的教學(xué)決策存在決策準(zhǔn)備階段信息搜集不足、決策過程中過分依賴個人經(jīng)驗、決策執(zhí)行階段信息反饋流動不暢等問題，降低了教學(xué)決策效果的廣度、效度和力度。隨著大數(shù)據(jù)、云計算、AI技術(shù)等智能技術(shù)的蓬勃發(fā)展及其在教育領(lǐng)域的深度應(yīng)用，教育科學(xué)的研究與實踐逐漸由“假設(shè)驅(qū)動”轉(zhuǎn)向“數(shù)據(jù)驅(qū)動”，并步入數(shù)據(jù)密集型科研的“第四范式”（The Fourth Paradigm），“數(shù)據(jù)驅(qū)動決策”（Data Driving Decision Making）由此應(yīng)運而生[2]。

數(shù)據(jù)驅(qū)動決策是大數(shù)據(jù)時代背景下循證科學(xué)研究在教育教學(xué)中的應(yīng)用與發(fā)展，是指“決策者在智能技術(shù)的輔助下，搜集、分析事實性數(shù)據(jù)，形成信息驅(qū)動鏈，進(jìn)而智能推薦決策方案并執(zhí)行的一種形式”[3]。值得說明的是，雖然初始表達(dá)“數(shù)據(jù)驅(qū)動決策”并沒有出現(xiàn)“教育或教學(xué)”，但是基于該詞組的起源和常見應(yīng)用場景，學(xué)術(shù)界普遍認(rèn)可數(shù)據(jù)驅(qū)動的決策是教育或教學(xué)決策[4]，因此本研究統(tǒng)一表述為“數(shù)據(jù)驅(qū)動教學(xué)決策”。目前，我國學(xué)術(shù)界對“數(shù)據(jù)驅(qū)動教學(xué)決策”的研究方興未艾，數(shù)據(jù)驅(qū)動教學(xué)決策是否真的有效、效果如何等問題亟待解答。

對此，中外學(xué)者針對數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生學(xué)習(xí)效果的影響進(jìn)行了大量實證研究，但得出的結(jié)論不盡相同。有研究者發(fā)現(xiàn)：在認(rèn)知發(fā)展維度，數(shù)據(jù)驅(qū)動教學(xué)決策對于學(xué)生在概念理解、知識記憶留存、思維能力等方面均有不同程度的提升[5][6][7]；在行為發(fā)展維度，數(shù)據(jù)驅(qū)動的教學(xué)決策有助于優(yōu)化學(xué)生的學(xué)習(xí)技能、問題解決、互動行為等[8][9][10]；在情感發(fā)展維度，數(shù)據(jù)驅(qū)動教學(xué)決策在提升學(xué)生學(xué)習(xí)態(tài)度、學(xué)習(xí)滿意度、學(xué)習(xí)興趣等方面也卓有成效[11][12][13]。但是，也有研究者得出了相反的結(jié)論，即數(shù)據(jù)驅(qū)動教學(xué)決策沒有顯著促進(jìn)學(xué)生發(fā)展。例如，2010～2015年荷蘭特溫特大學(xué)對教師團隊進(jìn)行了2年的數(shù)據(jù)驅(qū)動教學(xué)決策培訓(xùn)，通過對比培訓(xùn)前后學(xué)生成績的變化，發(fā)現(xiàn)數(shù)據(jù)驅(qū)動教學(xué)決策對3～8年級學(xué)生數(shù)學(xué)成績的影響不顯著[14]。

基于此，本研究采用元分析方法，以“數(shù)據(jù)驅(qū)動教學(xué)決策對于學(xué)生學(xué)習(xí)效果的影響程度”為切入口，梳理了國內(nèi)外近10年來相關(guān)的實驗和準(zhǔn)實驗研究文獻(xiàn)，并按照元分析方法的規(guī)范要求對這些文獻(xiàn)進(jìn)行篩選、梳理、分析，以解答“數(shù)據(jù)驅(qū)動教學(xué)決策真的有效嗎？”這一問題。同時，本研究將決策主體角色、決策技術(shù)工具、決策驅(qū)動過程、決策執(zhí)行方式四個維度作為調(diào)節(jié)變量進(jìn)行分層分析，以探究不同維度對數(shù)據(jù)驅(qū)動教學(xué)決策效果的具體影響。

二 研究方法與過程

1 研究方法與工具

元分析（Meta-analysis）是一種針對特定目標(biāo)，通過統(tǒng)計學(xué)的方法對多個獨立的、相關(guān)的實驗或準(zhǔn)實驗研究進(jìn)行統(tǒng)計整合、再分析，以驗證這些獨立研究的共同效應(yīng)或差異原因的方式[15]。目前，元分析已被廣泛用于教育學(xué)、醫(yī)學(xué)、心理學(xué)等領(lǐng)域，幫助決策者確定哪些干預(yù)措施有效、哪些干預(yù)效果最佳。本研究采用元分析方法，整合、分析數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生學(xué)習(xí)效果影響的實驗及準(zhǔn)實驗研究，以評估數(shù)據(jù)驅(qū)動教學(xué)決策能在多大程度上影響學(xué)習(xí)效果。本研究將標(biāo)準(zhǔn)化平均差（Standardized Mean Difference，SMD）作為效應(yīng)量，用來表征數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)習(xí)效果的影響程度。同時，本研究采用元分析軟件CMA 3.0進(jìn)行數(shù)據(jù)處理與分析，將來自不同獨立研究的樣本數(shù)量（N）、實驗組和對照組前后測的均值（Mean）、標(biāo)準(zhǔn)差（SD）等原始數(shù)據(jù)錄入軟件，進(jìn)行合并計算。

2 研究過程

（1）文獻(xiàn)檢索

本研究的英文文獻(xiàn)數(shù)據(jù)主要來源于Web of Science、Scopus等數(shù)據(jù)庫，檢索主題詞為“data-driven decision making”or“technology-driven decision making”or“technology-empowered instructional decision-making”or“data-based decision-making”and“students’ performance”or“l(fā)earning performance”等；中文文獻(xiàn)數(shù)據(jù)則主要來源于中國知網(wǎng)、萬方、維普等電子數(shù)據(jù)庫，檢索的主題詞為“數(shù)據(jù)驅(qū)動模式”或者“基于大數(shù)據(jù)學(xué)習(xí)”或者“數(shù)據(jù)驅(qū)動教師決策”或者“數(shù)據(jù)庫”并且“學(xué)習(xí)效果”；同時，中英文文獻(xiàn)檢索的起止時間均設(shè)為2003年1月～2022年12月。之后，本研究采用“滾雪球”的檢索方式對第一輪所得文獻(xiàn)進(jìn)行第二輪檢索。最后，刪除前期重復(fù)的文獻(xiàn)，獲得可供進(jìn)一步篩選分析的中英文文獻(xiàn)221篇。

（2）文獻(xiàn)篩選

本研究按照以下標(biāo)準(zhǔn)對文獻(xiàn)進(jìn)行了篩選：①文獻(xiàn)主題應(yīng)為數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生學(xué)習(xí)效果影響的研究，因變量為學(xué)習(xí)效果。②文獻(xiàn)必須是教育實驗或準(zhǔn)實驗研究。其中，單組實驗需要有前后測的對照，雙組實驗必須包含一個數(shù)據(jù)驅(qū)動教學(xué)決策干預(yù)下的實驗組，以及與之相對應(yīng)的對照組。③文獻(xiàn)中應(yīng)報告樣本數(shù)量（N）、均值（MEAN）用以計算效應(yīng)量（SMD）。依據(jù)上述篩選標(biāo)準(zhǔn)，按照如圖1所示的文獻(xiàn)納入排除流程，本研究得到43篇納入分析的文獻(xiàn)，共有55個可用于元分析的效應(yīng)量（其中部分實驗與準(zhǔn)實驗研究包括多個效應(yīng)量）。

圖1 文獻(xiàn)納入排除流程

（3）元分析框架

本研究將數(shù)據(jù)驅(qū)動教學(xué)決策視作一個整體活動，并作為本研究的研究對象，構(gòu)建了“數(shù)據(jù)驅(qū)動教學(xué)決策的效果”元分析框架（下文簡稱“元分析框架”），如圖2所示。

根據(jù)布魯姆的教育目標(biāo)分類，元分析框架將數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生學(xué)習(xí)產(chǎn)生的效果分為認(rèn)知發(fā)展、行為發(fā)展和情感發(fā)展三個維度。其中，認(rèn)知發(fā)展包括學(xué)業(yè)成就、識別記憶、知識遷移、高階思維，行為發(fā)展包括學(xué)習(xí)技能、問題解決、學(xué)習(xí)互動和學(xué)習(xí)參與度，情感發(fā)展包括學(xué)習(xí)態(tài)度、學(xué)習(xí)動機、學(xué)習(xí)興趣和學(xué)習(xí)滿意度。

調(diào)節(jié)變量層面，元分析框架根據(jù)Mandinach等[16]提出的“技術(shù)支持的數(shù)據(jù)驅(qū)動決策”經(jīng)典模型，確定了以下四個調(diào)節(jié)變量：①決策主體角色。教育教學(xué)活動中的主體包括學(xué)校管理者、教師和學(xué)生。其中，學(xué)校管理者利用數(shù)據(jù)判斷學(xué)校需要改進(jìn)的特定領(lǐng)域，做出的決策通常包括政策決定、資源分配、課程修改等[17]；教師根據(jù)反映學(xué)生表現(xiàn)的數(shù)據(jù)來區(qū)分教學(xué)策略，實現(xiàn)個性化教學(xué)[18]；學(xué)生的實時表現(xiàn)數(shù)據(jù)、反饋信息等是教學(xué)執(zhí)行和再決策的基礎(chǔ)[19]，是“以學(xué)生為中心”的教育理念的“數(shù)字化展現(xiàn)”。②決策技術(shù)工具。不同的技術(shù)工具對數(shù)據(jù)驅(qū)動教學(xué)決策效果有不同的影響，元分析框架將不同技術(shù)工具劃分為教育數(shù)據(jù)庫、教師助理軟件/設(shè)備和智慧實驗室。③決策驅(qū)動過程。信息鏈理論認(rèn)為，從“事實”到“知識”的轉(zhuǎn)化遵循“事實—數(shù)據(jù)—信息—知識”的轉(zhuǎn)化邏輯[20]。據(jù)此，元分析框架將“教育教學(xué)事實—教學(xué)決策知識”的轉(zhuǎn)化過程劃分為搜集教育事實數(shù)據(jù)（事實數(shù)據(jù)）、分類診斷教育問題（形成決策信息）和提出智能推薦方案（智能知識）。④決策執(zhí)行方式。決策執(zhí)行方式是教學(xué)決策實施過程中學(xué)習(xí)者與智能技術(shù)形成“人技互動”的過程，依據(jù)“技術(shù)干預(yù)決策執(zhí)行”的維度，劃分為技術(shù)單向輸出（人技單維互動），如課堂使用PPT單向呈現(xiàn)信息；人技雙向協(xié)同（技術(shù)與學(xué)生雙向交互），如計算機支持的協(xié)作學(xué)習(xí)（Computer Supported Collaborative Learning，CSCL）[21]；技術(shù)多維干預(yù)（人技多維互動），如利用VR、AI等技術(shù)的游戲化學(xué)習(xí)方式[22]。

圍繞“數(shù)據(jù)驅(qū)動教學(xué)決策真的有效嗎？”這一問題，本研究嘗試通過元分析回答以下問題：①數(shù)據(jù)驅(qū)動教學(xué)決策真的有效嗎——整體而言，數(shù)據(jù)驅(qū)動教學(xué)決策能否促進(jìn)學(xué)習(xí)效果的提升？具體來看，數(shù)據(jù)驅(qū)動教學(xué)決策能否促進(jìn)學(xué)習(xí)效果中的認(rèn)知發(fā)展、行為發(fā)展、情感發(fā)展？②哪些因素會且如何影響數(shù)據(jù)驅(qū)動教學(xué)決策的效果？

（4）文獻(xiàn)編碼

本研究依據(jù)構(gòu)建的“數(shù)據(jù)驅(qū)動教學(xué)決策的效果”元分析框架和納入元分析文獻(xiàn)的研究樣本，對決策主體角色、決策技術(shù)工具、決策驅(qū)動過程、決策執(zhí)行方式四個調(diào)節(jié)變量進(jìn)行編碼，部分文獻(xiàn)編碼結(jié)果如表1所示。

表1 部分文獻(xiàn)編碼表

調(diào)節(jié)變量類別文獻(xiàn)信息發(fā)表時間 驅(qū)動過程分類診斷教育問題Hwang等[23]2022年 執(zhí)行方式技術(shù)單向輸出Li Ling等[24]2022年 技術(shù)工具教師助理軟件/設(shè)備Lim等[25]2021年 執(zhí)行方式人技雙向協(xié)同Keuning等[26]2019年 驅(qū)動過程智能推薦方案Danial等[27]2018年 驅(qū)動過程搜集教育事實數(shù)據(jù)姜強等[28]2017年 主體角色教師Laia等[29]2017年 主體角色學(xué)校管理者van Geel等[30]2016年 主體角色學(xué)生Choi等[31]2015年 技術(shù)工具智慧實驗室Chao等[32] 執(zhí)行方式技術(shù)多維干預(yù)Chaeller等[33]2013年 技術(shù)工具教育數(shù)據(jù)庫魯艷輝等[34]2009年

三 研究分析與結(jié)論

1 文獻(xiàn)樣本檢驗

①發(fā)表偏倚檢驗。通常來說，期刊傾向于接受研究結(jié)果顯著的文章。發(fā)表偏倚正是由于研究者、審稿人或編輯選擇論文發(fā)表時對研究結(jié)果的偏好所形成的[35]，元分析的結(jié)果也可能因為選擇文章的偏差而造成誤差。因此，為保障本研究所得結(jié)論科學(xué)有效，需要對納入元分析的獨立研究樣本進(jìn)行相關(guān)評估和檢驗。發(fā)表偏倚可以通過漏斗圖來分析鑒定：漏斗圖形似倒置的漏斗，如果形狀顯示非對稱，就表示有研究結(jié)果不顯著的文章尚未被找到與納入。而本研究的漏斗圖形狀對稱，且位于頂部有效區(qū)域（如圖3所示），說明納入元分析的研究樣本中存在發(fā)表偏倚的可能性較小。Begg’s檢驗結(jié)果（Z=1.938＜1.96，=0.053＞0.05）也表明，本研究不存在發(fā)表偏倚。

圖3 研究樣本發(fā)表偏倚檢驗漏斗圖

②異質(zhì)性檢驗。本研究主要采用I2，作為分析研究樣本異質(zhì)性的衡量標(biāo)準(zhǔn)。異質(zhì)性檢驗結(jié)果顯示，I2值為94.1%，表明大約有94.1%的觀察變異由效應(yīng)量的真實差異導(dǎo)致，而由隨機誤差造成的變異大約只有5.9%。因此，為適應(yīng)研究樣本的異質(zhì)性，本次元分析采用隨機效應(yīng)模型（Random Effects Models，REM）進(jìn)行整體效應(yīng)層面的數(shù)據(jù)處理與分析，來確保研究結(jié)論的可靠性，并將效應(yīng)量進(jìn)行合并（效應(yīng)量的置信區(qū)間CI值定為95%）。

2 研究分析

（1）數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生學(xué)習(xí)效果的影響分析

整體效應(yīng)檢驗結(jié)果如表2所示，可以看出：數(shù)據(jù)驅(qū)動教學(xué)決策的學(xué)習(xí)效果包含55個效應(yīng)量，合并效應(yīng)量SMD=0.504（＜0.001）。根據(jù)Cohen的效應(yīng)值統(tǒng)計理論，當(dāng)效應(yīng)量＜0.2時，表示影響較?。划?dāng)效應(yīng)量介于0.2～0.5時，說明影響程度為中等；當(dāng)效應(yīng)量介于0.5～0.8時，說明影響較大；當(dāng)效應(yīng)量＞0.8時，說明影響很大[36]。本研究中的效應(yīng)量SMD=0.504＞0.5，說明數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生的學(xué)習(xí)效果具有較大的促進(jìn)作用。

表2 數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)習(xí)效果的整體效應(yīng)檢驗

效應(yīng)模型研究數(shù)量效應(yīng)量SMD95%置信區(qū)間雙尾檢驗 下限上限Z值dfp 隨機效應(yīng)模型（REM）550.504***0.4000.6079.544540.000

注：***表示＜0.001。

本研究主要從認(rèn)知發(fā)展、行為發(fā)展、情感發(fā)展三個維度來衡量數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生學(xué)習(xí)效果的影響，相關(guān)數(shù)據(jù)統(tǒng)計結(jié)果如表3所示。其中，認(rèn)知發(fā)展主要評估對學(xué)業(yè)成就、識別記憶、知識遷移、高階思維的影響效果；行為發(fā)展主要評估對學(xué)習(xí)技能、問題解決、學(xué)習(xí)互動、學(xué)習(xí)參與度的影響效果；情感發(fā)展主要評估對學(xué)習(xí)態(tài)度、學(xué)習(xí)動機、學(xué)習(xí)興趣、學(xué)習(xí)滿意度的影響效果。

表3 數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生學(xué)習(xí)效果的影響

維度分類數(shù)量效應(yīng)量SMD95%的置信區(qū)間Z值合并效應(yīng)量SMD95%的置信區(qū)間 上限下限上限下限 認(rèn)知發(fā)展學(xué)業(yè)成就140.1250.2440.0062.063*0.296**0.4990.093 識別記憶40.5280.8090.2483.690*** 知識遷移30.3240.5960.0522.333* 高階思維50.2940.5480.0402.267* 行為發(fā)展學(xué)習(xí)技能20.7491.603-0.1051.7190.762***1.0470.477 問題解決120.7811.1270.4364.431*** 學(xué)習(xí)互動30.7681.4990.0372.058* 學(xué)習(xí)參與度10.5421.734-0.6500.891 情感發(fā)展學(xué)習(xí)態(tài)度50.5960.9550.2373.257***0.804***1.1410.467 學(xué)習(xí)動機11.1191.9790.2592.551*** 學(xué)習(xí)興趣21.0991.7110.4863.515*** 學(xué)習(xí)滿意度30.7281.2350.2212.815**

注：*表示＜0.05，**表示＜0.01，***表示＜0.001。下同。

①在認(rèn)知發(fā)展維度，數(shù)據(jù)驅(qū)動教學(xué)決策對認(rèn)識發(fā)展的合并效應(yīng)量為SMD=0.296（＜0.01），表明數(shù)據(jù)驅(qū)動教學(xué)決策能在中等程度上促進(jìn)學(xué)生的認(rèn)知發(fā)展。其中，識別記憶（SMD=0.528，＜0.001）、知識遷移（SMD=0.324，＜0.05）超過認(rèn)知層面的整體水平，說明數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生這兩項能力的提升最為顯著。而學(xué)業(yè)成就（SMD=0.125，＜0.05）、高階思維（SMD=0.294，＜0.05）的效應(yīng)量略低于認(rèn)知層面的整體水平，說明數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生這兩項能力的影響還有提升空間。

②在行為發(fā)展維度，數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)習(xí)行為發(fā)展的合并效應(yīng)量為SMD=0.762（＜0.001），表明數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生學(xué)習(xí)行為發(fā)展具有較大的促進(jìn)作用。其中，問題解決（SMD=0.781，＜0.001）、學(xué)習(xí)互動（SMD=0.768，＜0.05）的影響效果最為顯著，超過行為層面的整體水平；而學(xué)習(xí)技能（SMD=0.749，＞0.05）、學(xué)習(xí)參與度（SMD=0.542，＞0.05）的影響效果并不顯著。

③在情感發(fā)展維度，數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生情感發(fā)展的合并效應(yīng)量為SMD=0.804（＜0.001），表明具有數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生情感發(fā)展有很大的促進(jìn)效果。其中，效果最顯著的是學(xué)習(xí)動機（SMD=1.119，＜0.001）、學(xué)習(xí)興趣（SMD=1.099，＜0.001），遠(yuǎn)超情感層面的整體水平。此外，數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生的學(xué)習(xí)滿意度（SMD=0.728，＜0.01）、學(xué)習(xí)態(tài)度（SMD=0.596，＜0.001）也有積極影響。由上可見，數(shù)據(jù)驅(qū)動教學(xué)決策對于改善學(xué)生的情感發(fā)展效果良好，此領(lǐng)域可以深入研究與應(yīng)用。

（2）不同調(diào)節(jié)變量對數(shù)據(jù)驅(qū)動教學(xué)決策效果影響的差異分析

不同調(diào)節(jié)變量對數(shù)據(jù)驅(qū)動教學(xué)決策效果的影響存在差異（如表4所示），具體分析如下：

表4 不同調(diào)節(jié)變量對數(shù)據(jù)驅(qū)動教學(xué)決策效果的影響的差異

調(diào)節(jié)變量維度數(shù)量效應(yīng)量SMD權(quán)重95%置信區(qū)間Z值 下限上限 決策主體角色管理者50.124*35.70.0140.2342.888* 教師40.270*28.60.1230.417 學(xué)生50.412***35.70.1990.424 決策技術(shù)工具教育數(shù)據(jù)庫30.899*18.803531.4443.064** 教師助理軟件/設(shè)備80.325*50.00.0150.634 智慧實驗室50.628**31.20.2061.050 決策驅(qū)動過程搜集教育事實數(shù)據(jù)60.42446.2-0.2701.1182.087* 分類診斷教育問題40.939*30.80.1071.770 智能推薦方案32.487***23.01.3403.633 決策執(zhí)行方式技術(shù)單向輸出30.712*25.00.1491.2744.333*** 人技雙向協(xié)同30.758**25.00.2231.293 技術(shù)多維干預(yù)60.476*50.00.0880.863

①不同決策主體角色對數(shù)據(jù)驅(qū)動教學(xué)決策效果的影響存在差異。整體而言，決策主體角色的合并效應(yīng)量為SMD=0.253，合并效應(yīng)量檢驗Z=2.888（＜0.05），表明不同決策主體角色對數(shù)據(jù)驅(qū)動教學(xué)決策效果具有中等程度影響。具體來看，不同決策主體角色對數(shù)據(jù)驅(qū)動教學(xué)決策的影響按照合并效應(yīng)量大小排列依次是學(xué)生（SMD=0.412，＜0.001）、教師（SMD=0.270，＜0.05）和管理者（SMD=0.124，＜0.05）?？梢?，學(xué)生作為決策主體的影響效果最佳，這與“以學(xué)生為中心”的教育理念相匹配；教師的影響效果次之，管理者的影響效果最小。

②不同決策技術(shù)工具對數(shù)據(jù)驅(qū)動教學(xué)決策效果的影響存在差異。整體而言，決策技術(shù)工具的合并效應(yīng)量為SMD=0.571，合并效應(yīng)量檢驗Z=3.064，＜0.01，表明不同決策技術(shù)工具對數(shù)據(jù)驅(qū)動教學(xué)決策效果具有較大影響。具體來看，不同決策技術(shù)工具對數(shù)據(jù)驅(qū)動教學(xué)決策的影響按照合并效應(yīng)量大小排列依次是教育數(shù)據(jù)庫（SMD=0.899，＜0.05）、智慧實驗室（SMD=0.628，＜0.01）和教師助理軟件/設(shè)備（SMD=0.325，＜0.05）。可見，教育數(shù)據(jù)庫的影響效果顯著優(yōu)于智慧實驗室和教師助理軟件/設(shè)備。

③不同決策驅(qū)動過程對數(shù)據(jù)驅(qū)動教學(xué)決策效果的影響存在差異。整體而言，決策驅(qū)動過程的合并效應(yīng)量為SMD=1.207，合并效應(yīng)量檢驗Z=2.087（＜0.05），表明不同決策驅(qū)動過程對數(shù)據(jù)驅(qū)動教學(xué)決策效果具有很大影響。具體來看，智能推薦方案（SMD=2.487，＜0.001）和分類診斷教育問題（SMD=0.939，＜0.05）對數(shù)據(jù)驅(qū)動教學(xué)決策的效果有很大的促進(jìn)作用，搜集教育事實數(shù)據(jù)（SMD=0.424，＞0.05）對數(shù)據(jù)驅(qū)動教學(xué)決策的效果沒有顯著作用。

④不同決策執(zhí)行方式對數(shù)據(jù)驅(qū)動教學(xué)決策效果的影響存在差異。整體而言，決策執(zhí)行方式的合并效應(yīng)量為SMD=0.606，合并效應(yīng)量檢驗Z=4.333（＜0.001），表明不同決策執(zhí)行方式對數(shù)據(jù)驅(qū)動教學(xué)決策效果具有較大影響。具體來看，人技雙向協(xié)同的影響效果最佳（SMD=0.758，＜0.01），說明學(xué)生與技術(shù)雙向互動的決策執(zhí)行方式符合教學(xué)與學(xué)習(xí)規(guī)律，有助于學(xué)習(xí)效果的提升；技術(shù)單向輸出（SMD=0.712，＜0.05）的影響效果次之；而技術(shù)多維干預(yù)（SMD=0.476，＜0.05）的影響效果中等。

3 研究結(jié)論

圍繞“①數(shù)據(jù)驅(qū)動教學(xué)決策真的有效嗎？”“②哪些因素會且如何影響數(shù)據(jù)驅(qū)動教學(xué)決策的效果？”這兩個問題，本研究采用元分析方法，探討了數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生學(xué)習(xí)效果的影響、不同調(diào)節(jié)變量對數(shù)據(jù)驅(qū)動教學(xué)決策效果影響的差異，所得研究結(jié)論主要如下：

針對問題①的研究結(jié)果顯示，數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生學(xué)習(xí)效果具有顯著的正向促進(jìn)作用。具體來說，在認(rèn)知發(fā)展維度，數(shù)據(jù)驅(qū)動教學(xué)決策能顯著提升學(xué)生的識別記憶和知識遷移能力；在行為發(fā)展維度，數(shù)據(jù)驅(qū)動教學(xué)決策有助于學(xué)生解決問題、開展學(xué)習(xí)互動；而在情感發(fā)展維度，數(shù)據(jù)驅(qū)動教學(xué)決策能顯著增強學(xué)生的學(xué)習(xí)動機和學(xué)習(xí)興趣，并對學(xué)生的學(xué)習(xí)滿意度、學(xué)習(xí)態(tài)度也有積極影響。

針對問題②的研究結(jié)果顯示，數(shù)據(jù)驅(qū)動教學(xué)決策受決策主體角色、決策技術(shù)工具、決策驅(qū)動過程、決策執(zhí)行方式四個調(diào)節(jié)變量的影響，但不同調(diào)節(jié)變量對數(shù)據(jù)驅(qū)動教學(xué)決策效果的影響存在差異。具體來說，不同決策主體角色對數(shù)據(jù)驅(qū)動教學(xué)決策效果具有顯著的中等積極效應(yīng)，其中學(xué)生作為決策主體的影響效果最佳，教師與管理者的影響效果差異不大；不同決策技術(shù)工具對數(shù)據(jù)驅(qū)動教學(xué)決策效果具有較大影響，其中教育數(shù)據(jù)庫的影響效果顯著優(yōu)于智慧實驗室和教師助理軟件/設(shè)備；不同決策驅(qū)動過程對數(shù)據(jù)驅(qū)動教學(xué)決策效果的促進(jìn)作用很大，其中智能推薦方案和分類診斷教育問題對數(shù)據(jù)驅(qū)動教學(xué)決策效果有顯著促進(jìn)作用；不同決策執(zhí)行方式對數(shù)據(jù)驅(qū)動教學(xué)決策效果具有較大促進(jìn)作用，其中人技雙向協(xié)同和技術(shù)單向輸出的影響作用較大。

四 數(shù)據(jù)驅(qū)動教學(xué)決策的優(yōu)化建議

本研究使用CMA 3.0元分析軟件，選取43篇關(guān)于“數(shù)據(jù)驅(qū)動教學(xué)決策”的實驗和準(zhǔn)實驗研究文獻(xiàn)進(jìn)行了元分析，從認(rèn)知發(fā)展、行為發(fā)展、情感發(fā)展三個維度探討了數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生學(xué)習(xí)效果的影響，同時分析了決策主體角色、決策技術(shù)工具、決策驅(qū)動過程、決策執(zhí)行方式四個調(diào)節(jié)變量對數(shù)據(jù)驅(qū)動教學(xué)決策的影響?；谘芯拷Y(jié)論，本研究針對數(shù)據(jù)驅(qū)動教學(xué)決策的優(yōu)化提出以下建議：

1 整體上，數(shù)據(jù)驅(qū)動教學(xué)決策效果顯著，但仍有進(jìn)步空間

元分析結(jié)果顯示，雖然數(shù)據(jù)驅(qū)動教學(xué)決策對學(xué)生學(xué)習(xí)效果具有中等的促進(jìn)作用，但在學(xué)習(xí)技能、學(xué)習(xí)參與度方面的促進(jìn)作用并不顯著，在學(xué)業(yè)成就、高階思維、學(xué)習(xí)滿意度、學(xué)習(xí)態(tài)度等方面的影響效果也沒有達(dá)到整體水平，這與數(shù)據(jù)驅(qū)動教學(xué)決策的初心愿景和智能時代國家需求所提出的教育數(shù)字化轉(zhuǎn)型目標(biāo)還有一定距離?；诖耍狙芯拷ㄗh把脈教育信息化的縱深走向，通過合理設(shè)計和執(zhí)行技術(shù)政策來規(guī)范技術(shù)運行、激發(fā)技術(shù)在教育教學(xué)中的價值。例如，加強教育信息化政策頂層設(shè)計的戰(zhàn)略性、覆蓋性和科學(xué)性，將數(shù)據(jù)驅(qū)動教學(xué)決策納入教師資格考試、教師職稱晉升考評等相關(guān)的政策文件中。

2 決策主體角色上，堅持“以學(xué)生為中心”的教育理念，提升教師教學(xué)決策數(shù)據(jù)素養(yǎng)

元分析結(jié)果顯示，學(xué)生作為決策主體參與數(shù)據(jù)驅(qū)動教學(xué)決策，對學(xué)習(xí)效果的積極促進(jìn)作用最為顯著，這很好地回應(yīng)了“以學(xué)生為中心”的教育理念；而教師作為教學(xué)決策的主導(dǎo)，在作用發(fā)揮上還有很大的提升空間?；诖?，本研究建議繼續(xù)堅持“以學(xué)生為中心”的教育理念，同時要大力提升教師教學(xué)決策數(shù)據(jù)素養(yǎng)，激發(fā)教師作為教學(xué)決策主導(dǎo)的潛能。例如，通過職前職后培訓(xùn)，幫助教師認(rèn)清教育數(shù)字化轉(zhuǎn)型的時代趨勢、深化技術(shù)賦能的教育理念、強化教師從“經(jīng)驗決策”到“理性決策”的數(shù)據(jù)意識和能力。

3 決策技術(shù)工具上，加強教育數(shù)據(jù)庫建設(shè)，夯實數(shù)據(jù)驅(qū)動教學(xué)決策的技術(shù)基礎(chǔ)

元分析結(jié)果顯示，教育數(shù)據(jù)庫、智慧實驗室對學(xué)生的學(xué)習(xí)效果均有顯著的促進(jìn)作用，其中教育數(shù)據(jù)庫的作用尤為顯著。早有研究表明，教育數(shù)據(jù)庫的開發(fā)與應(yīng)用在公共數(shù)據(jù)分析和決策方面發(fā)揮了重大作用，且數(shù)據(jù)驅(qū)動的決策明顯更科學(xué)和令人信服[37]?；诖?，本研究建議繼續(xù)做大、做強教育數(shù)據(jù)庫的建設(shè)與應(yīng)用工作，夯實數(shù)據(jù)驅(qū)動教學(xué)決策的技術(shù)基礎(chǔ)。例如，通過資助專家團隊和一線教育者開展數(shù)據(jù)庫設(shè)計與建設(shè)研究，讓“行內(nèi)人”和“真正需要的人”加入教育數(shù)據(jù)庫的頂層設(shè)計和規(guī)劃工作；同時，出臺國家和地方整體性的聯(lián)動政策文件，建立統(tǒng)一的技術(shù)數(shù)據(jù)標(biāo)準(zhǔn)，消除“數(shù)據(jù)孤島”的負(fù)面效應(yīng)。

4 決策驅(qū)動過程上，強化智能推薦功能，最大程度地激發(fā)教育數(shù)據(jù)價值

元分析結(jié)果顯示，智能推薦方案可顯著提升學(xué)生的學(xué)習(xí)效果。基于此，本研究建議強化智能推薦功能，通過優(yōu)化數(shù)據(jù)與教育實境的匹配度，更好地發(fā)揮數(shù)據(jù)在智能推薦中的價值。例如，通過加強智能教育場景庫建設(shè)，為數(shù)據(jù)價值的發(fā)揮提供“場地”，實現(xiàn)單點優(yōu)化基礎(chǔ)上的實際價值[38]；同時，通過升級數(shù)據(jù)挖掘技術(shù)，深挖潛藏信息，優(yōu)化數(shù)據(jù)與教育需求的匹配度，促進(jìn)教育數(shù)據(jù)的價值釋放。

5 決策執(zhí)行方式上，優(yōu)化人技雙向協(xié)同教學(xué)，遵循學(xué)習(xí)科學(xué)規(guī)律

元分析結(jié)果顯示，人技雙向協(xié)同的決策執(zhí)行方式對學(xué)生的學(xué)習(xí)效果有積極影響，這符合“做中學(xué)”的基本教學(xué)理念與學(xué)習(xí)規(guī)律?；诖?，本研究建議遵循學(xué)生“做中學(xué)”的學(xué)習(xí)規(guī)律，為人技協(xié)同的教學(xué)優(yōu)化創(chuàng)造條件。例如，開發(fā)技術(shù)平臺和系統(tǒng)時從學(xué)生使用的便利性、實用性角度出發(fā)，盡量消除不同平臺、系統(tǒng)之間的對接阻礙，實現(xiàn)資源的快捷共享；同時，提升數(shù)字資源的集成性和普適性，以便于學(xué)生參與創(chuàng)建資源、使用資源、迭代資源，降低學(xué)生在人技互動上的學(xué)習(xí)疲憊感[39]。

[1]McNaughton S, Lai M K, Hsiao S. Testing the effectiveness of an intervention model based on data use: A replication series across clusters of schools[J]. School Effectiveness & School Improvement, 2012,(23):203-228.

[2]Airasian P W. Measurement driven instruction: A closer look[J]. Educational Measurement Issues and Practice, 1988,(4):6-11.

[3]Ikemoto G S, Marsh J A. Cutting through the “data-driven” mantra: Different conceptions of data-driven decision making [J]. Yearbook of the National Society for the Study of Education, 2007,(1):105-131.

[4]Isaacs M L. Data-driven decision making: The engine of accountability[J]. Professional School Counseling, 2003,(4):288-295.

[5]Robinson A, Dailey D, Hughes G, et al. The effects of a science-focused stem intervention on gifted elementary students’ science knowledge and skills[J]. Journal of Advanced Academics, 2014,(3):189-213.

[6][24]Ling L, Chen W Y. Integrating an ASR-based translator into individualized L2 vocabulary learning for young children[J]. Education and Information Technologies, 2023,28:1231-1249.

[7]De Bruin L R.Dialogic communication in the one-to-one improvisation lesson: A qualitative study[J]. Australian Journal of Teacher Education, 2018,(5):1-16.

[8][34]魯艷輝.基于語料庫的數(shù)據(jù)驅(qū)動模式在大學(xué)英語教學(xué)中的運用[J].現(xiàn)代教育技術(shù),2009,(7):94-98.

[9][31]Jaeho C, Youngju L. To what extent does ‘flipping’ make lessons effective in a multimedia production class?[J]. Innovations in Education and Teaching International, 2018,(1):3-12.

[10]Wang T, Kao C, Dai Y. Developing a web‐based multimedia assessment system for facilitating science laboratory instruction[J]. Journal of Computer Assisted Learning, 2019,(4):529-539.

[11]Juandi D, Kusumah Y S, Tamur M, et al. A meta-analysis of Geogebra software decade of assisted mathematics learning: What to learn and where to go?[J]. Heliyon, 2021,(5):e06953.

[12][23]Hwang G J,Yang C L,Chou K R, et al. An MDRE approach to promoting students’ learning performances in the era of the pandemic: A quasi-experimental design[J]. British Journal of Educational Technology, 2022,(6):1706-1723.

[13]呂林.信息技術(shù)環(huán)境下公共教育學(xué)案例教學(xué)的實驗研究[J].教育與職業(yè),2012,(21):123-124.

[14][29]Staman L, Timmermans A, Visscher A. Effects of a data-based decision making intervention on student achievement[J]. Studies in Educational Evaluation, 2017,55:58-67.

[15]Glass G. Primary, secondary, and metaanalysis of research[J]. Educational Research, 1976,5:3-5.

[16]Mandinach E B, Honey M, Light D. A theoretical framework for data-driven decision making[OL].

[17][30]Van Geel M, Keuning T, Visscher A J, et al. Assessing the effects of a school-wide data-based decision-making intervention on student achievement growth in primary schools[J]. American Educational Research Journal, 2016,(2):360-394.

[18]Dunn K E, Airola D T, Lo W J, et al. Becoming data driven: The influence of teachers’ sense of efficacy on concerns related to data-driven decision making[J]. The Journal of Experimental Education, 2013,(2):222-241.

[19]Keuning T, Geel M V, Visscher A, et al. The transformation of schools’ social networks during a data-based decision making reform[J]. Teachers College Record, 2016,(9):1-33.

[20]盧藝豐,徐躍權(quán).“互聯(lián)網(wǎng)+”環(huán)境下信息鏈的重構(gòu)——交互式信息鏈[J].情報科學(xué),2020,(6):32-37.

[21][26]Keuning T, Geel M V, Visscher A, et al. Assessing and validating effects of a data based decision making intervention on student growth for mathematics and spelling[J]. Journal of Educational Measurement, 2019,(4):757-792.

[22][33]Charlier N, De Fraine B.Game-based learning as a vehicle to teach first aid content: A randomized experiment[J]. The Journal of School Health, 2013,(7):493-499.

[25]Lisa-Angelique L, Sheridan G, Abelardo P, et al. What changes, and for whom? A study of the impact of learning analytics-based process feedback in a large course[J]. Learning and Instruction, 2019,72:101202.

[27]Hooshyar D, Ahmad RB, Yousefi M, et al. SITS: A solution-based intelligent tutoring system for students’ acquisition of problem-solving skills in computer programming[J]. Innovations in Education and Teaching International, 2018,(3):325-335.

[28]姜強,趙蔚,李勇帆,等.基于大數(shù)據(jù)的學(xué)習(xí)分析儀表盤研究[J].中國電化教育,2017,(1):112-120.

[32]Jie Chao, Jennifer L C, Crystal J D, et al. Sensor-augmented virtual labs: Using physical interactions with science simulations to promote understanding of gas behavior[J]. Journal of Science Education and Technology, 2016,(1):16-33.

[35]楊揚,沈志超,靳純橋.發(fā)表偏倚的原因、后果與預(yù)防研究[J].編輯學(xué)報,2002,(3):170-172.

[36]Cohen J. Statistical power analysis for the behavioral sciences(2nd ed.)[M]. England: Routledge, 1988:19-74.

[37]Higgins J, Thompson S G, Decks J J, et al. Measuring inconsistency in meta-analyses[J]. British Medical Journal, 2003,7414:557-560.

[38]Grover J. Opportunity through education: Two proposals[R]. Washington: Brookings Institution, 2011:181-186.

[39]李靜,劉蕾.技術(shù)賦能的高等教育規(guī)模化教育與個性化培養(yǎng):邏輯必然與實踐機理[J].中國電化教育,2021,(8):55-62.

Does Data Driving Teaching Decision Making Really Work?——Based on Meta-Analysis of 43 Relevant Experimental and Quasi-experimental Studies at Home and Abroad in the Past Decade

LI Jing1GU Qin-yi1JIANG Shao-jie1ZHENG Xu-dong2

Data driving teaching decision making is the application and development of evidence-based scientific research in education and teaching in the big data era, which has the function of promoting scientific decision making, effective teaching and modern education. However, there is still controversy on “whether data driving teaching decision making is effective”. Therefore, this paper made a meta-analysis of 43 relevant experimental and quasi-experimental research literature at home and abroad in the past decade. The results showed that data driving teaching decision making had a significant positive effect on students’ learning effects, which was reflected in the three dimensions of cognitive development, behavioral development and emotional development. The data driving teaching decision making was mainly affected by four regulated variables of the principal roles of decision making, the technology tools of decision making, the driven process of decision making and the execution mode of decision making. However, the influences of different regulated variables on teaching decision making driven by data were different. Based on the research conclusion, this paper put forward some suggestions for the optimization of teaching decision making driven by data, in order to improve the scientificity and effectiveness of teaching decision making and promote the deep propulsion of the digital transformation of education.

data driving; teaching decision making; learning effect; meta-analysis

G40-057

A

1009—8097（2023）09—0067—11

10.3969/j.issn.1009-8097.2023.09.007

本文為2022年度教育部人文社會科學(xué)研究項目“人工智能賦能大學(xué)教育方式變革的行動策略研究”（項目編號：22YJC880063）、2022年江蘇高校哲學(xué)社會科學(xué)研究一般項目“‘KPP’框架下人工智能推動高等教育變革行動策略研究”（項目編號：2022SJYB1127）的階段性研究成果。

李靜，在讀博士，研究方向為數(shù)據(jù)驅(qū)動決策、教育信息化，郵箱為stella_777@126.com。

2023年2月15日

編輯：小米