數(shù)據(jù)驅(qū)動的教學決策效果總覽與視野突破

劉晉 張學波 林書兵

[摘? ?要] 數(shù)據(jù)驅(qū)動的教學決策應用作為當前基礎教育實踐的新趨勢，仍然存在著證據(jù)不足、效果不明和路徑不清等問題，即教學數(shù)據(jù)干預的作用范疇涉及哪些方面，數(shù)據(jù)使用具體給學校帶來哪些實際成效，如何評價其實際效果，掣肘數(shù)據(jù)使用的主要因素有哪些，學校具體如何構建教育數(shù)據(jù)使用的實踐機制，這一系列問題反映著教育數(shù)據(jù)應用的主要困惑，也預示著數(shù)據(jù)驅(qū)動教學決策的深入探究方向。鑒于相關專題元分析數(shù)量不斷增長但存在角度和范圍的局限，本研究采用傘型評價的方式，提取十項基于元分析的研究，從作用范疇、周期、措施和路徑等角度對數(shù)據(jù)驅(qū)動的教學應用干預效果進行了系統(tǒng)性再回顧，并提出了數(shù)據(jù)驅(qū)動的主要影響因素、決策方法、評估機制和長遠目標等關鍵議題，以期為后續(xù)相關研究提供全面分析結論和未來突破方向。

[關鍵詞] 數(shù)據(jù)驅(qū)動的教學決策; 效果評估; 傘型評價

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

一、研究背景

在過去的20年，促進“基于數(shù)據(jù)的決策”（Data-Based Decision Making，DBDM）、“數(shù)據(jù)驅(qū)動的決策”（Data-Driven Decision Making，DDDM）和“基于數(shù)據(jù)的個性化”（Data-Based Individualization，DBI）等改革舉措迅速增加。教育決策者們越來越強調(diào)通過數(shù)據(jù)分析告知教師學生的學習需求，以改進教育教學措施，達到提高學生成績的目的。

數(shù)據(jù)作為當今社會現(xiàn)代性的一個典型隱喻，與科學性、客觀性和有效性等特征天然地聯(lián)系在一起。數(shù)據(jù)使用往往攜帶著美好的假設，所有促進數(shù)據(jù)使用的干預措施都根植于這一信念，即認為只要正確收集和分析數(shù)據(jù)，便能為關鍵的教育問題提供答案，隨后將產(chǎn)生更好的教育結果[1]。基于數(shù)據(jù)的教學決策似乎具有不證自明的先進性與合理性，但對于具體的數(shù)據(jù)應用過程，學校仍需驗明其實際成效和厘清其具體實現(xiàn)機制。盡管DBDM在提高學生成績方面被賦予很高的期望，但其干預措施的科學性和有效性仍然相當有限，目前關于DBDM的實施和效果的建議并沒有建立在強有力的實證基礎上。雖然有些開展了支持數(shù)據(jù)使用的各種干預研究，但缺乏對支持學校數(shù)據(jù)使用的專業(yè)發(fā)展干預措施效果的系統(tǒng)研究[2]，因此也就無法回答影響數(shù)據(jù)使用的因素，以及這些因素之間如何相互影響。

在國內(nèi)，以數(shù)據(jù)驅(qū)動精準教學命名的研究和實踐不斷涌現(xiàn)，主要集中在精準教學策略、活動、模式、模型和操作路徑等方面[3-5]，但數(shù)據(jù)驅(qū)動是否就一定能確保“精準教學”？教師的決策機制和過程如何對精準教學產(chǎn)生影響？哪些因素會左右其精準性？精準的程度如何判定？這些問題并沒有得到準確回應。當前相關教育數(shù)據(jù)應用常陷入精準、智慧、深度等模糊不定、似是而非的空泛表述語境，需要來自教育一線數(shù)據(jù)應用實證研究的科學結論，對數(shù)據(jù)應用理論、方法和技術應用于教學的實際效果作出準確判定。如何讓數(shù)據(jù)驅(qū)動的變革從短期的課題、項目或活動式推進方式轉(zhuǎn)變?yōu)閷W校教育的科學決策和理性思維的第一選擇，從而成為學校變革的長期穩(wěn)固范式，需要對當前數(shù)據(jù)驅(qū)動的教學決策效果評估和機制構建層面深入研究。

此外，有關教育數(shù)據(jù)應用效果的實證研究以及元分析數(shù)量已有很多，但既往的相關文獻評述在數(shù)量、時效、檢索程序范圍和效果評估等方面都有不同程度的局限和偏頗，現(xiàn)有綜述仍然沒有告訴我們?yōu)槭裁椿趯W校的決策在不同的條件和環(huán)境下會產(chǎn)生積極或消極的影響。因此，需要站在更高層面對教育數(shù)據(jù)應用于教學決策的整體效果進行審查和概覽，系統(tǒng)回應數(shù)據(jù)驅(qū)動教學決策的應用實效性和實現(xiàn)機制之問，并透過一般層面數(shù)據(jù)干預研究，總結教育數(shù)據(jù)應用的普遍規(guī)律和策略，為更深入地研究構建教育數(shù)據(jù)應用理論和機制提供理論基礎。

二、傘型評價程序

傘型評價[6]（Umbrella Reviews）是一種基于循證的分析方法。傘型評價來源于系統(tǒng)評價和元分析，但又與二者存在差異，其相互關系和比較分別如圖1和表1所示。系統(tǒng)評價及元分析是以大量的單個研究為基礎進行的綜合研究，而傘型評價通過對某項研究主題的所有系統(tǒng)評價和元分析進行再次系統(tǒng)評估，從而得出更可靠的結論。當某項研究主題的系統(tǒng)評價和元分析達到一定數(shù)量以后，且這些系統(tǒng)綜述和元分析得出的研究結論存在一定爭議時，才有必要進行深入傘型評價。近年來，有關DBDM的元分析數(shù)量不斷增加但主題范疇和結論啟示各不相同，有必要對此進行更高層次的總結概括。Hennessy等提出的傘型評價具體步驟[7]得到了學術界普遍認可，為開展相關研究提供了指南。

本研究使用Web of Science、ERIC、PsychINFO、Education Full Text、ProQuest學位論文和學術論文等電子數(shù)據(jù)庫進行搜索，關鍵詞主要分為三類：（1）使用數(shù)據(jù)為決策提供信息的過程常用描述語包括數(shù)據(jù)驅(qū)動的決策（Data-Driven Decision Making，DDDM）、課程本位測量（Curriculum-Based Measurement，CBM）、基于數(shù)據(jù)的個性化（Data-Based Individualization，DBI）、基于數(shù)據(jù)的項目調(diào)整（Data-Based Program Modification，DBPM）、基于數(shù)據(jù)的決策（Data-Based Decision Making，DBDM）、反饋干預（Feedback Interventions），形成性評價（Formative Assessment）等;（2）常用干預結果范疇包括學生成績、學術成績、學術成果、學生學習、教師專業(yè)發(fā)展、學校提升、學校改進等;（3）文獻類型包括綜述、元分析、系統(tǒng)綜述等。

根據(jù)傘型評價的基本標準：僅納入與研究主題相關的系統(tǒng)評價和元分析，不納入其他類型的文獻;包括數(shù)據(jù)應用的結果，如學生成績變化、教師素養(yǎng)提升或?qū)W校改進;納入的元研究原則上建議包括以下納入標準：（1）使用了隨機對照試驗、準實驗或單一受試者設計;（2）包括至少七周的干預和進度監(jiān)測;（3）包括效應大小描述值。圖2以PRISMA圖[8]的形式概述了本研究搜索過程和結果。

數(shù)據(jù)提取內(nèi)容都來源于原始系統(tǒng)評價和元分析，三名作者團隊評審員獨立收集相關數(shù)據(jù)，然后對這些信息的準確性進行交叉核對，具體收集關于納入研究的關鍵特征見表2。數(shù)據(jù)提取過程提取可靠性通過讓兩名研究人員獨立編碼約50%的選定文獻，獲得80%的一致性率，科恩kappa系數(shù)為0.62，證明了令人滿意的編碼器間可靠性。采用AMSTAR[19]標準對入選文獻進行評分，依據(jù)11個條目檢測系統(tǒng)評價/元分析控制偏倚的情況。若同一個主題有多篇元分析，納入最新發(fā)表、納入原始研究最多、AMSTAR評分高的元分析。基于高質(zhì)量的研究的綜述考慮，論文不低于7分才能被納入研究。在團隊兩個作者篩選了最初的搜索標題和摘要之后，如若兩名作者不能達成一致，將引入第三個作者參與決定。篩選后，完成全文篩選，以確定包含在審查中的文本。最終，10項總括審查符合進一步分析的納入標準，見表3。

三、數(shù)據(jù)驅(qū)動的教學決策效果綜合分析

基于文獻篩選，本研究從以下角度對元分析搜集結果進行總體定性分析：（1）數(shù)據(jù)驅(qū)動教學決策有效作用范疇，以定量研究數(shù)據(jù)作為主要匯總指標，從范圍、主題和程度多方面分析數(shù)據(jù)驅(qū)動的教學決策應用狀況;（2）數(shù)據(jù)干預有效作用周期，分析數(shù)據(jù)干預作用時長，頻率和周期變化等影響情況;（3）數(shù)據(jù)干預有效措施，分析不同干預措施的設計背景和有效特征因素;（4）數(shù)據(jù)干預有效路徑，分析相關數(shù)據(jù)應用干預的作用方式和途徑。

（一）數(shù)據(jù)干預有效作用范疇

從數(shù)據(jù)驅(qū)動的教學干預效果來看，效應大小是相關實證研究干預效應最直接的證據(jù)，代表著實驗組和對照組之間的標準差。從文獻總體來看，教育數(shù)據(jù)干預的總體效應大小普遍低于0.8，位于小到中等程度，與事先人們所期待的“立竿見影”和“包治百病”式的作用效果有一定落差，也預示著教育數(shù)據(jù)應用并非一蹴而就的過程。由于實驗條件、范圍和規(guī)模的限制，很少有研究涉及了不同條件下DBDM的效果對比，如與小學階段的干預相比較，中學階段干預則比較缺乏。DBDM實施過程保真度調(diào)查也較為少見，數(shù)據(jù)驅(qū)動決策干預效應因此無法有力支撐因果推論，限制了其進一步擴展推廣的可能性。由于研究者發(fā)表偏倚原因，在相關綜述當中也較難看到無影響及負面影響的研究個案。

從數(shù)據(jù)干預的作用群體來看，雖然DBDM旨在最大限度地提高所有學生的成績，但針對不同層次、經(jīng)濟地位和年級的學生干預效果差異較為明顯。相關研究顯示效應大小與學習者初始水平有關，學習困難的學生往往從干預措施中受益最大，這可能是因為教師更關注學習表現(xiàn)特別典型的學生[20]。數(shù)據(jù)使用的互動效應也表明，對于社會經(jīng)濟地位較低的學生比例較高的學校來說，數(shù)據(jù)干預效果也較為明顯[21]，因為相對于經(jīng)濟地位高的學生，他們更需要通過學校的實踐項目和輔助資源獲得幫助。此外，干預效果也并非對所有年級都同樣顯著，高年級又比低年級段的干預效果大[22]，可能與其是否能夠理解和接受干預措施有關。當前DBDM實施效果研究主要集中在學校、班級和小組層面，后續(xù)應加強針對個別學生的干預研究。

干預規(guī)模與效應大小也存在相關關系，隨著學生數(shù)量的增多，效應隨之逐漸減少[23]。因為隨著干預規(guī)模擴大時，相關干擾和隨機因素逐漸增多，而這些因素并不是都可以精準控制，這也導致數(shù)據(jù)應用預設與現(xiàn)實情況之間差距的主要原因。從數(shù)據(jù)使用的主題來看，現(xiàn)有的DBDM干預主要集中在“以學習者為主體”的數(shù)學、閱讀理解、詞匯或拼寫成績的影響上，而對教師的知識、技能和態(tài)度的影響較少探討。為了拓寬我們對DBDM影響的理解，有必要對多主體和多學科的DBDM效應進行全面研究。

（二）數(shù)據(jù)干預有效作用周期

對于數(shù)據(jù)驅(qū)動的最佳干預周期，并沒有定論，從上述文獻統(tǒng)計數(shù)據(jù)來看，大多數(shù)數(shù)據(jù)應用干預的時間都在7周以上，這也是適用標準決策規(guī)則時，可以進行教學調(diào)整和評估的最短時間。對于學生而言，增加干預的總時間或使用更個性化的教學方法支持學生學習來加強干預，不會有助于閱讀成績的增加，僅靠頻繁的進度監(jiān)控（沒有教學修改）似乎并不能提高學生的成績[15]。但對教師而言，持續(xù)時間是有效專業(yè)發(fā)展的一個重要特征，較長的教師專業(yè)發(fā)展干預有助于教師和學生的學習。因為學習和改變實踐需要時間。改變教師的行為并不容易，他們在工作中面臨許多任務，根據(jù)Supovitz和Turner的觀點，改變教師行為需要80個小時[24]。而DBDM要求所需的主題內(nèi)容知識、教學知識和技能以及所需的評估和測試能力太多，教師無法在如此短的時間內(nèi)掌握。因此，建議向教師提供持續(xù)的教師專業(yè)發(fā)展數(shù)據(jù)，而不是傳統(tǒng)的一次性教師專業(yè)發(fā)展干預。

現(xiàn)實中教學數(shù)據(jù)應用干預效果不明顯或是無效可能只是暫時的，干預的影響往往需要持續(xù)一段時間才能出現(xiàn)。相關研究顯示數(shù)據(jù)干預影響是在一個學年后發(fā)現(xiàn)的[25-26]。在數(shù)據(jù)干預項目中，教師需要學習和實踐一套復雜的數(shù)據(jù)素養(yǎng)，干預項目完成后，他們可能仍然需要更多的時間在教學中使用數(shù)據(jù)。因此，干預后不能馬上看到對學生成績的影響。這表明持續(xù)時間在數(shù)據(jù)使用過程中的重要性，以及需要有足夠時間對學生成績進行現(xiàn)實評估。此外，學校教師和學校管理人員流動性也會對DBDM持續(xù)發(fā)展產(chǎn)生一定影響。建議采用全校整體參與的方法，規(guī)避人員變動風險，使學校工作人員能夠相互支持實施DBDM，并促進成為學校的教學常規(guī)舉措，而非個人行為。

數(shù)據(jù)干預的持續(xù)成效需要教師教學內(nèi)容知識的介入，干預存在一定的上限效應，即學生學習成績在最初的增長后趨于平穩(wěn)，只有當數(shù)據(jù)使用與教師教學內(nèi)容知識相結合時，才會取得更加可觀的增長[27]。因為數(shù)據(jù)干預可以帶來一定的收益，之后需要專注于所分析的內(nèi)容領域（如識字、算術），當數(shù)據(jù)與內(nèi)容領域的知識一起進行時，數(shù)據(jù)干預的效力才是最佳的。

（三）數(shù)據(jù)干預有效措施

從干預形式來看，當前教育數(shù)據(jù)應用的干預主要包括評估、形成性評價、課程本位測量、基于數(shù)據(jù)的個性化和數(shù)據(jù)驅(qū)動的決策，雖然名稱不同，但相關概念之間存在著一定繼承關系，其本質(zhì)原理都是以學生成績數(shù)據(jù)為基礎，通過分析告知教師學生的個人需求，以此制定教學的基礎，從而系統(tǒng)地致力于教育改進。其中DBDM是對數(shù)據(jù)應用規(guī)律不斷進行深化所延伸出的概念，與其他干預方式僅強調(diào)數(shù)據(jù)分析過程相比，它更強調(diào)依據(jù)數(shù)據(jù)分析作出決策和反饋調(diào)整的過程，即在不同的時間為不同的學生調(diào)整教學，或者確定哪些變化對不同類型的學習者構成潛在合理的調(diào)整機會，這些決策過程是數(shù)據(jù)干預對教學現(xiàn)實產(chǎn)生影響的最為重要的方式，也是教師專業(yè)發(fā)展在數(shù)據(jù)應用領域面臨的最大挑戰(zhàn)。

從數(shù)據(jù)干預過程來看，DBDM是作為一個系統(tǒng)程序來實施的，包括評估和分析結果，設定具體、可衡量、可實現(xiàn)、相關和及時目標，確定目標實現(xiàn)戰(zhàn)略以及最終執(zhí)行目標實現(xiàn)戰(zhàn)略四個組成部分[28]，它們相互關聯(lián)，且執(zhí)行過程具有一致性和連貫性要求。因此，為了使數(shù)據(jù)干預措施有效，它必須包括完整的DBDM組件，即在分析和評估數(shù)據(jù)步驟之后，教師必須要有后續(xù)的跟進步驟，才能在整個DBDM周期中實現(xiàn)其意義。教師通過基于數(shù)據(jù)分析獲得的見解，設定具有挑戰(zhàn)性的目標，選擇并執(zhí)行合適的策略來實現(xiàn)目標。數(shù)據(jù)用于監(jiān)測和評估所實施策略的效果和評估目標實現(xiàn)的程度，以及作出新的基于數(shù)據(jù)的決定。雖然識別和分析數(shù)據(jù)為有效改進學生學習奠定了基礎，但由此產(chǎn)生的行動和進度監(jiān)控將最終決定DBDM干預的成效[29]。

從干預的精細和深入程度來看，數(shù)據(jù)干預既要考慮學校層面的組織，也要考慮教師層面的實施。相關研究顯示，學校或?qū)W區(qū)積極推廣DBDM，但教師們可能對使用數(shù)據(jù)毫無準備。即使他們學會了如何分析和解釋數(shù)據(jù)，也沒有改變課堂實踐的意愿[30]。當建議使用學生數(shù)據(jù)來改進教學時，教育政策的倡議往往過于籠統(tǒng)和抽象，沒有以清晰和詳細的方式描述期望的變革行為，干預內(nèi)容和教育實踐之間缺少明確的聯(lián)系，也就不可能據(jù)此系統(tǒng)地培訓教育者。

（四）數(shù)據(jù)干預有效路徑

教育領域中“數(shù)據(jù)路徑”指數(shù)據(jù)在學校中的傳播和作用路線，主要研究不同類型數(shù)據(jù)如何在不同級別進行流轉(zhuǎn)以及不同層次的參與者如何就數(shù)據(jù)的使用進行相互交流。數(shù)據(jù)路徑受學校文化以及負責人領導風格的影響，在相同數(shù)據(jù)干預框架下，數(shù)據(jù)干預的路徑不盡相同，數(shù)據(jù)應用效果也呈現(xiàn)出一定的復雜性和異質(zhì)性，這也凸顯了我們對數(shù)據(jù)使用過程進行深入探究的必要性，其內(nèi)容應主要包括使用了什么類型的數(shù)據(jù)，數(shù)據(jù)在系統(tǒng)的不同層次（地區(qū)、學校和課堂）具體是如何使用的，以及這些層次是如何相互作用的。

首先，從數(shù)據(jù)干預的目的來看，開展數(shù)據(jù)驅(qū)動教學決策的教育工作者可以根據(jù)數(shù)據(jù)采取的行動主要分為三種不同的類別：問責、指導教學和學校發(fā)展的行動，但它們之間并不是相互排斥的關系，用于問責目的的數(shù)據(jù)行動也可用于學校發(fā)展目的。此外，用于教學目的以及學校發(fā)展目的數(shù)據(jù)行動也都可以帶來學校改善。這些使用方式的區(qū)別更多體現(xiàn)的是數(shù)據(jù)聚集的程度的差別。如教師可以使用個人學生成績數(shù)據(jù)在課堂中設置目標，學校領導也可以使用學校級別的學生成績數(shù)據(jù)在學校層面設置目標。學校應根據(jù)這些不同成員角色設立相應層級化目標，以有效指引數(shù)據(jù)使用程序[31]。

其次，先進和復雜的數(shù)據(jù)使用方式并不總是能給學校帶來改進，學校應根據(jù)自身學校文化、學校領導方法、教師發(fā)展水平、學校環(huán)境和運作水平等因素選擇最為適合的數(shù)據(jù)使用路徑。Archer等研究發(fā)現(xiàn)，學校的數(shù)據(jù)路徑主要包括團隊、級聯(lián)和自上而下三種方式[32]。不同級別參與者以不同方式使用不同類型的數(shù)據(jù)。例如，學校領導可能對學校的整體成績水平感興趣，以此作為決策的基礎。教師可能會對學生的成績水平更感興趣，從而根據(jù)這類數(shù)據(jù)改變教學策略。從教師到負責人，數(shù)據(jù)分析、解釋和應用過程中通常涉及多個角色，學校應為不同的數(shù)據(jù)角色設定相應的數(shù)據(jù)訪問許可權限，提供的數(shù)據(jù)也必須滿足不同人員在不同數(shù)據(jù)使用復雜程度上的個別化需求，這些數(shù)據(jù)也被用來促進不同年級和角色教師就課程和個性化支持計劃進行對話。

四、數(shù)據(jù)驅(qū)動的教學決策效果研究的新視角

傳統(tǒng)的DBDM研究主要從理論上將數(shù)據(jù)干預的作用過程看作是一個由數(shù)據(jù)直接施加影響的線性作用過程，而沒有從實踐應用的實際情境中對影響數(shù)據(jù)應用的關鍵因素和關鍵環(huán)節(jié)進行重點審視，更沒有從構建數(shù)據(jù)應用規(guī)律和機制的角度去探討穩(wěn)定長遠提升DBDM效果的可能性，需要從以下視角進一步研究和實踐。

（一）重視數(shù)據(jù)干預影響效果研究，抓住教師這一關鍵因素

數(shù)據(jù)使用過程不是孤立發(fā)生的，而是一個復雜的非線性過程。數(shù)據(jù)使用涉及人為解釋過程，教師必須獲取、收集和分析數(shù)據(jù)，才能將其轉(zhuǎn)化為信息，并與理解和專業(yè)知識相結合，成為有意義和有用的行動基礎[1]。教育數(shù)據(jù)干預領域的長期實踐證明，教師是教學改進的主導因素，只有改變教師才能改變學生，這是學校改善必要的第一步[33]。考慮到具體現(xiàn)實情境中基礎資源基本不變的前提下，教師個體是唯一調(diào)整可變的空間，教師因素也是影響數(shù)據(jù)干預效果最重要的因素，包括教師知識、技能和態(tài)度等在內(nèi)的教師數(shù)據(jù)素養(yǎng)整體狀況決定了教育數(shù)據(jù)使用的最終成效，而通過各種教師專業(yè)發(fā)展措施（團隊會議、教學教練、教學培訓、教學輔導等）提升教師數(shù)據(jù)素養(yǎng)也是最直接、經(jīng)濟的提升數(shù)據(jù)干預效果的途徑[11]。因此教師專業(yè)發(fā)展應特別重視那些旨在提高教師和學校領導提供反饋和根據(jù)學生評價數(shù)據(jù)調(diào)整教學的能力的環(huán)節(jié)，強調(diào)使用數(shù)據(jù)與實踐行動相互聯(lián)系的重要性， 將數(shù)據(jù)驅(qū)動教學決策能力培育作為教師專業(yè)發(fā)展方向[34]。應傾向于解決諸如制定研究問題、解釋結果以及有效開發(fā)和使用課堂評估等技能，并且為教育工作者提供討論數(shù)據(jù)和使用真實數(shù)據(jù)的機會，而不是假設的案例和問題。為了提高學生的成績，教育者需要實際運用他們的知識和技能來使用數(shù)據(jù)，使之成為專業(yè)發(fā)展的一部分。當教師能夠有意識地選擇滿足學生需求的策略時，學生的成績就有可能得到提高。

（二）探究數(shù)據(jù)驅(qū)動教學決策規(guī)律，提升數(shù)據(jù)應用效能

決策環(huán)節(jié)是數(shù)據(jù)干預的最終應用環(huán)節(jié)，也是決定其是否能夠發(fā)揮效用的關鍵環(huán)節(jié)。在決策進度控制方面，大多數(shù)研究使用嵌入課程的措施[35]，診斷圖[36]、策略使用規(guī)則[37]等決定何時以及如何調(diào)整教學。在DBDM團隊行動控制方面，Crone建議DBDM團隊重點考慮一些重要問題，以確定團隊是否達到了關鍵目標，包括：作出了哪些決定，這些決定能夠提高學生的成績嗎？是否有作出決定所需的所有相關數(shù)據(jù)？決策的實施過程是否明確（如指定人員、設定目標、確定時間表）？在多大程度上滿足了最高優(yōu)先級的學生的需求？數(shù)據(jù)團隊通過定期自我評估，形成DBDM建議框架中規(guī)定的迭代過程[38]。在決策模型方面，目前已經(jīng)有眾多學者提出了相關決策概念模型，如DBDM組件模型[25]、DBDM八個步驟[32]、教師數(shù)據(jù)素養(yǎng)[39]和多成分模型[40]等。由于決策涉及不同的時間尺度，支持決策所需的證據(jù)應該與其時間尺度相關。一些決策需要在教學實踐進行過程中提供信息的數(shù)據(jù);而另一些決策，如資源分配或規(guī)劃專業(yè)發(fā)展，發(fā)生在較慢的時間尺度上，則可以從更大粒度的數(shù)據(jù)中受益。未來的DBDM研究不僅需要描述數(shù)據(jù)用于指導決策的過程，還要詳細說明決策過程中使用了什么數(shù)據(jù)，使用了什么規(guī)則來作出決策，多久收集一次數(shù)據(jù)，多久使用一次數(shù)據(jù)作出決策。加強數(shù)據(jù)驅(qū)動教學應用規(guī)律的探究，對決策進程的持續(xù)關注和對干預保真度的跟蹤，提供深入的決策細節(jié)描述，最終提升DBDM應用效率和效力。

（三）擴展數(shù)據(jù)作用效果分析思路，構建評估核心機制

圖3? ?評估數(shù)據(jù)使用專業(yè)發(fā)展干預對

教師和學生結果的影響的一般框架[41]

當前的數(shù)據(jù)干預效果驗證思路，主要是通過數(shù)據(jù)干預隨機對照組實驗效應大小或是數(shù)據(jù)使用過程質(zhì)性描述的方式來開展的。實驗研究關注最終效應大小，缺少針對數(shù)據(jù)干預過程和機制的詳細描述，質(zhì)性研究又因研究者通常存在社會期望效應，在結論推廣上缺乏說服力。因此，有必要突破現(xiàn)有的數(shù)據(jù)作用效果分析思路，基于一般的數(shù)據(jù)使用通用路徑提出綜合性的評估框架，來對數(shù)據(jù)干預的效果進行全面評估。Merchie等通過研究教師專業(yè)發(fā)展干預對學生影響的一般過程，認為教師變量、數(shù)據(jù)使用實踐和教學條件真正相關，提出了一個包括干預（輸入）、數(shù)據(jù)使用的實踐（過程）以及最終的結果（輸出）的通用路徑模型（如圖3所示），用于評估專業(yè)發(fā)展干預對教師成果、課堂實踐和學生成果的影響[41]。但在某些現(xiàn)實情況下，很難評估數(shù)據(jù)使用項目的實際效果，因為不同的數(shù)據(jù)使用流程決定了不同的數(shù)據(jù)績效模型，不同的數(shù)據(jù)干預之間很難就數(shù)據(jù)使用績效評估框架達成一致。因此，有效性問題的重點將需要再次轉(zhuǎn)移到更廣泛的學習或組織環(huán)境，以及它在多大程度上有足夠的資源來支持基于證據(jù)的專業(yè)實踐，以加強學生的學習。未來的研究應側(cè)重檢查與成就效益相關的不同項目開發(fā)過程，以確定數(shù)據(jù)使用過程的哪些方面似乎與更高的效益最相關。

（四）改變數(shù)據(jù)應用短視行為，致力長遠發(fā)展目標

目前DBDM應用過程中普遍的短視行為表現(xiàn)為對數(shù)據(jù)的來源渠道和最終目標的狹隘界定，特別是由于不同教育背景下的問責壓力，導致教學領域大多數(shù)時候只關注學生的考試成績和分數(shù)，并且片面地以成績和分數(shù)數(shù)據(jù)作為依據(jù)，從而作出較為膚淺的教學理論假設。雖然以學生成績數(shù)據(jù)作為數(shù)據(jù)源符合教學實踐領域的便利性原則，但基于成績和分數(shù)的來源數(shù)據(jù)，教師無法做到全面客觀地評價學生。數(shù)據(jù)干預的短視還表現(xiàn)在比較關注干預的當下效應，長期是否能夠促成學校數(shù)據(jù)文化的形成，數(shù)據(jù)團隊是否會繼續(xù)使用數(shù)據(jù)，如何能夠一直延續(xù)數(shù)據(jù)干預的有效性等問題亟待進一步關注，也是通過數(shù)據(jù)應用促進學校師生長遠發(fā)展必須解決的難點。一般而言，數(shù)據(jù)干預項目結束后，學校的數(shù)據(jù)文化很難維持下去，學生成績提升也得不到持續(xù)保障。此外，多數(shù)數(shù)據(jù)干預項目并沒有評估在取消研究者支持后教師繼續(xù)參與DBDM的程度，也沒有評估在不太理想的條件下DBDM對教師的影響，因此也就無法得出關于數(shù)據(jù)應用的一般性應用結論。未來的研究應盡量在自然教學情境中，檢驗DBDM數(shù)據(jù)干預行動給師生帶來的實際影響，并應在研究完成后對DBDM繼續(xù)使用狀況進行后續(xù)跟蹤評估。通過研究這些背景下DBDM行動促進教師專業(yè)發(fā)展和提升學生成績的經(jīng)驗和規(guī)律，研究人員可據(jù)此構建基于真實自然情境下的數(shù)據(jù)干預理論，從而真正實現(xiàn)對常規(guī)教學的精準指導。

五、結? ?語

近年來，數(shù)據(jù)驅(qū)動的教學決策的理論和實踐研究不斷增長，數(shù)據(jù)驅(qū)動教學決策理念和行動在世界教育范圍內(nèi)蔚然成風，利用數(shù)據(jù)來改善學校教育實踐，已經(jīng)成為一種流行的學校變革趨勢，并為探究教育教學活動規(guī)律，提升教育教學質(zhì)量提供了新視角、新動能和新路徑。但從數(shù)據(jù)到?jīng)Q策不是一蹴而就的，現(xiàn)實教育決策難題也不能簡單轉(zhuǎn)嫁數(shù)據(jù)驅(qū)動解決，數(shù)據(jù)干預應用效果需要審慎評估，盲目而動、急功近利、缺乏有效評估的數(shù)據(jù)驅(qū)動極易導致教育教學陷入“數(shù)據(jù)泥沼”。本研究圍繞數(shù)據(jù)驅(qū)動教學決策效果，從作用范疇、周期、措施和路徑等角度進行了系統(tǒng)性再回顧，提出了數(shù)據(jù)驅(qū)動教學決策的主要影響因素、決策方法、評估機制和長遠目標等關鍵議題，以期為相關研究提供新的參考和幫助。

[參考文獻]

[1] COBURN C E，TURNER E O. The practice of data use： an introduction[J]. American journal of education， 2012， 118（2）： 99-111.

[2] MARSH J A， FARRELL C C. How leaders can support teachers with data-driven decision making： a framework for understanding capacity building[J]. Educational management administration & leadership， 2015， 43（2）： 269-289.

[3] 彭紅超，祝智庭.面向智慧學習的精準教學活動生成性設計[J].電化教育研究，2016，37（8）：53-62.

[4] 郭利明，楊現(xiàn)民，張瑤.數(shù)據(jù)驅(qū)動的精準教學五維支持服務框架設計與實踐研究[J].電化教育研究，2021，42（4）：85-92.

[5] 萬力勇，黃志芳，黃煥.大數(shù)據(jù)驅(qū)動的精準教學：操作框架與實施路徑[J].現(xiàn)代教育技術，2019，29（1）：31-37.

[6] PAPATHEODOROU S. Umbrella reviews： what they are and why we need them[J]. European journal of epidemiology， 2019， 34（6）： 543-546.

[7] HENNESSY E A， JOHNSON B T， KEENAN C. Best practice guidelines and essential methodological steps to conduct rigorous and systematic meta-reviews[J]. Applied psychology： health and well-being， 2019， 11（3）： 353-381.

[8] MOHER D， LIBERATI A， TETZLAFF J， et al. Preferred reporting items for systematic reviews and meta-analyses： the PRISMA statement[J]. Plos medicine， 2009， 6（7）：1-6.

[9] SCHOLIN S E， BURNS M K. Relationship between pre-intervention data and post‐intervention reading fluency and growth： a meta-analysis of assessment data for individual students[J]. Psychology in the schools， 2012， 49（4）： 385-398.

[10] ANSYARI M F， GROOT W， DE WITTE K. Tracking the process of data use professional development interventions for instructional improvement： a systematic literature review[J]. Educational research review， 2020，31： 100362.

[11] JUNG P G， MCMASTER K L， KUNKEL A K， et al. Effects of data-based individualization for students with intensive learning needs： a meta-analysis[J]. Learning disabilities research & practice， 2018， 33（3）： 144-155.

[12] PETERS M T， F？魻RSTER N， HEBBECKER K， FORTHMANN B， SOUVIGNIER E. Effects of data-based decision-making on low-performing readers in general education classrooms： cumulative evidence from six intervention studies[J]. Journal of learning disabilities， 2021，54（5）：334-348.

[13] VISSCHER A J. On the value of data-based decision making in education： the evidence from six intervention studies[J]. Studies in educational evaluation， 2020，69：100899.

[14] GESEL S A， LEJEUNE L M， CHOW J C， et al. A meta-analysis of the impact of professional development on teachers' knowledge， skill， and self-efficacy in data-based decision-making[J]. Journal of learning disabilities， 2021， 54（4）：269-283.

[15] STECKER P M， FUCHS L S， FUCHS D. Using curriculum-based measurement to improve student achievement： review of research[J]. Psychology in the schools， 2005， 42（8）： 795-819.

[16] HENDRIKS M A， SCHEERENS J， SLEEGERS P. Effects of evaluation and assessment on student achievement： a review and meta-analysis[J]. The influence of school size， leadership， evaluation， and time on student outcomes， 2014： 127-174.

[17] FUCHS L S， FUCHS D. Effects of systematic formative evaluation： a meta-analysis.[J]. Except child， 1986， 53（3）：199-208.

[18] FILDERMAN M J， TOSTE J R， DIDION L A， et al. Data-based decision making in reading interventions： a synthesis and meta-analysis of the effects for struggling readers[J]. The journal of special education， 2018， 52（3）： 174-187.

[19] SHEA B J， BOUTER L M， PETERSON J， et al. External validation of a measurement tool to assess systematic reviews （AMSTAR）[J]. Plos one， 2007， 2（12）： e1350.

[20] ESPIN C A， WAYMAN M M， DENO S L， et al. Data-based decision-making： developing a method for capturing teachers' understanding of CBM graphs[J]. Learning disabilities research & practice， 2017， 32（1）： 8-21.

[21] VAN GEEL M， KEUNING T， VISSCHER A J， et al. Assessing the effects of a school-wide data-based decision-making intervention on student achievement growth in primary schools[J]. American educational research journal， 2016， 53（2）： 360-394.

[22] KONSTANTOPOULOS S， MILLER S R， VAN DER PLOEG A. The impact of Indiana's system of interim assessments on mathematics and reading achievement[J]. Educational evaluation and policy analysis， 2013， 35（4）： 481-499.

[23] CHEUNG A C K， SLAVIN R E. How methodological features affect effect sizes in education[J]. Educational researcher， 2016， 45（5）： 283-292.

[24] SUPOVITZ J A， TURNER H M. The effects of professional development on science teaching practices and classroom culture[J]. Journal of research in science teaching： the official journal of the national association for research in science teaching， 2000， 37（9）： 963-980.

[25] VAN DER SCHEER E A， VISSCHER A J. Effects of a data-based decision-making intervention for teachers on students' mathematical achievement[J]. Journal of teacher education， 2018， 69（3）： 307-320.

[26] SLAVIN R E， CHEUNG A， HOLMES G C， et al. Effects of a data-driven district reform model on state assessment outcomes[J]. American educational research journal， 2013， 50（2）： 371-396.

[27] LAI M K， WILSON A， MCNAUGHTON S， et al. Improving achievement in secondary schools： impact of a literacy project on reading comprehension and secondary school qualifications[J]. Reading research quarterly， 2014， 49（3）： 305-334.

[28] STAMAN L L， TIMMERMANS A C A， VISSCHER A J A. Effects of a data-based decision making intervention on student achievement[J]. Studies in educational evaluation， 2017， 55： 58-67.

[29] KAUFMAN T E， GRAHAM C R， PICCIANO A G， et al. Data-driven decision making in the K-12 classroom[M]//Handbook of research on educational communications and technology. New York： Springer， 2014： 337-346.

[30] SCHILDKAMP K， KUIPER W. Data-informed curriculum reform： which data，what purposes，and promoting and hindering factors[J]. Teaching and teacher education， 2010， 26（3）： 482-496.

[31] EBBELER J， POORTMAN C L， SCHILDKAMP K， et al. The effects of a data use intervention on educators' satisfaction and data literacy[J]. Educational assessment， evaluation and accountability， 2017， 29（1）： 83-105.

[32] ARCHER E， SCHERMAN V， HOWIE S. Approaches to effective data use： does one size fit all？[M]//Data-based decision making in education. Springer， Dordrecht， 2013： 91-112.

[33] EVANS A. No child left behind and the quest for educational equity： the role of teachers' collective sense of efficacy[J]. Leadership and policy in schools， 2009， 8（1）： 64-91.

[34] 張學波，林書兵，孫元香.從數(shù)據(jù)到知識：數(shù)據(jù)驅(qū)動教學決策的理論模型與能力提升[J].電化教育研究，2021，42（12）：41-47.

[35] COYNE M D， SIMMONS D C， HAGAN-BURKE S， et al. Adjusting beginning reading intervention based on student performance： an experimental evaluation[J]. Exceptional children， 2013， 80（1）： 25-44.

[36] VERNON-FEAGANS L， GALLAGHER K， GINSBERG M C， et al. A diagnostic teaching intervention for classroom teachers： helping struggling readers in early elementary school[J]. Learning disabilities research & practice， 2010， 25（4）： 183-193.

[37] ORTLIEB E， MCDOWELL F D. Investigating the effects of an experimental approach to comprehension instruction within a literacy clinic[J]. Current issues in education， 2016， 19（1）： 1-15.

[38] CRONE D A， STOOLMILLER M， BAKER S K， et al. The middle school intervention project： use of a regression discontinuity design to evaluate a multi-component intervention for struggling readers in middle school in six school districts[R]. Oregon：Society for Research on Educational Effectiveness， 2012.

[39] REEVES T D， CHIANG J L. Online interventions to promote teacher data-driven decision making： optimizing design to maximize impact[J]. Studies in educational evaluation， 2018， 59： 256-269.

[40] VAN KUIJK M F， DEUNK M I， BOSKER R J， et al. Goals， data use， and instruction： the effect of a teacher professional development program on reading achievement[J]. School effectiveness and school improvement， 2016， 27（2）： 135-156.

[41] MERCHIE E， TUYTENS M， DEVOS G， et al. Evaluating teachers' professional development initiatives： towards an extended evaluative framework[J]. Research papers in education， 2018， 33（2）： 143-168.

Overview of Effect of Data-driven Instructional Decision-making and Vision Breakthrough —An Umbrella Evaluation Based on Ten Meta-Analysis

LIU Jin1，? ZHANG Xuebo2，? LIN Shubing3

（1.Office of Information Construction and Management， South China Normal University， Guangzhou Guangdong 510631; 2.School of Information Technology in Education， South China Normal University， Guangzhou Guangdong 510631; 3.Institute of Advanced Studies in Humanities and Social Sciences， Beijing Normal University， Zhuhai Guangdong 519087）

[Abstract] The application of data-driven instructional decision-making， as a new trend in current basic education practice， still has some problems， such as insufficient evidence， unclear effects， and unclear paths. In other words， what is the scope of instructional data interventions， what are the actual effects of data use in schools， how do schools evaluate the actual effects， what are the main factors that constrain the use of data， and how do schools build the practical mechanism for the use of educational data. This series of questions reflects the main confusion in the application of educational data， and also foreshadows the direction of further exploration of data-driven instructional decision-making. Given the growing number but limited perspective and scope of relevant thematic meta-analyses， this study adopts an umbrella evaluation approach， extracts ten studies based on meta-analysis and systematically reviews the effects of data-driven interventions for instructional applications from the perspectives of scope， cycle， measures， and paths. The key topics such as the main influencing factors， decision-making methods， evaluation mechanisms and long-term goals of data-driven are also proposed， with a view to providing comprehensive analysis conclusions and future breakthrough directions for subsequent related studies.

[Keywords] Data-driven Instructional Decision-making; Effect Evaluation; Umbrella Evaluation

[作者簡介] 劉晉（1984—），男，湖北武漢人。助理研究員，博士研究生，主要從事多模態(tài)教學行為分析、智慧校園建設研究。E-mail：liujin@scnu.edu.cn。張學波為通訊作者，E-mail：zhangxb@126.com。

基金項目：2018年國家社科基金重大項目“信息化促進新時代基礎教育公平研究”（項目編號：18ZDA334）;2022年華南師范大學哲學社會科學重大培育項目“數(shù)據(jù)驅(qū)動的教學決策理論與實踐研究”（項目編號：ZDPY2207）