基于智慧課堂動態(tài)生成性數(shù)據(jù)的交互可視化分析機制研究

王冬青 韓后 邱美玲 凌海燕 劉歡

[摘? ?要] 基于教學數(shù)據(jù)的學習分析是智慧教育研究關注的熱點與難點問題之一。面對智慧教學環(huán)境所采集的跨平臺異構、多源、非完整以及動態(tài)演化的數(shù)據(jù)，研究交互可視化分析機制，有助于構建云端結合的數(shù)據(jù)分析生態(tài)系統(tǒng)。文章基于智慧課堂研究教學過程性數(shù)據(jù)可視分析方法與交互呈現(xiàn)方式，提出數(shù)據(jù)分層分析框架。針對傳統(tǒng)分析方法交互不足和理解性差的問題，提出一種基于認知模型的人機交互可視化分析方法。以實際應用中記錄的3000多節(jié)智慧課堂數(shù)據(jù)為例，搭建動態(tài)生成性數(shù)據(jù)采集與分析原型系統(tǒng)并開展實證研究，為優(yōu)化動態(tài)生成性數(shù)據(jù)采集與分析提供新方法。

[關鍵詞] 智慧課堂; 動態(tài)生成性數(shù)據(jù); 學習分析; 交互可視化分析

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 王冬青（1978—），女，山東煙臺人。副教授，博士，主要從事智慧課堂學習環(huán)境設計與應用、基于教學大數(shù)據(jù)的學習分析研究。E-mail：wangdq.scnu@gmail.com。

一、引? ?言

隨著云計算、大數(shù)據(jù)、人機交互等新技術快速發(fā)展，采集和分析學習者及其活動情境的數(shù)據(jù)日益成為關注的焦點問題之一。學習管理系統(tǒng)、社交媒體、慕課、智慧課堂等在線學習環(huán)境蘊含了更加豐富的數(shù)據(jù)，這使我們有可能更加深入地了解學生的學習過程[1]。雖然采集學習者及其行為的數(shù)據(jù)相對容易，但用戶通常由于缺乏專業(yè)的數(shù)據(jù)挖掘和處理技術知識，很難有效處理和解釋這些豐富的數(shù)據(jù)[2]。研究數(shù)據(jù)分析方法與機制，應用數(shù)據(jù)可視化分析技術，實現(xiàn)系統(tǒng)自動提供圖形化的分析結果，是當前學習分析領域研究的重點問題。

二、問題的提出

隨著智慧課堂的日益普及，教學過程中產(chǎn)生了大量的動態(tài)生成性數(shù)據(jù)，已有研究為上述數(shù)據(jù)的采集與存儲提出解決方案[3]，但尚需借助交互可視化分析技術進行充分挖掘和應用。一方面，以往數(shù)據(jù)分析很大程度上停留在原始學習行為屬性本身的分析層面，僅進行簡單匯總統(tǒng)計和比較分析，可理解性差，缺乏全過程、關聯(lián)性分析;另一方面，由于分析方法的單一和局限，即便擁有豐富的學習過程數(shù)據(jù)，也難以最大程度地挖掘數(shù)據(jù)價值，更加缺少基于人機交互的可視化分析。

文章關注智慧教學動態(tài)生成性數(shù)據(jù)的可視分析方法與交互呈現(xiàn)方式，力求突破傳統(tǒng)分析方法交互不足和理解性差的問題，構建數(shù)據(jù)分層分析框架，并開展人機交互可視化分析方法研究。搭建動態(tài)生成性數(shù)據(jù)采集與分析原型系統(tǒng)并開展實證研究，優(yōu)化動態(tài)生成性數(shù)據(jù)采集與分析方法，相關成果可為建立學習分析機制和發(fā)展教育大數(shù)據(jù)服務提供新思路與方法。

三、教學數(shù)據(jù)分析與可視化的相關研究

教育數(shù)據(jù)分析以及數(shù)據(jù)的可視化呈現(xiàn)對教學研究和教學評價具有非常大的潛力[4]。在數(shù)據(jù)采集的基礎上需要考慮如何解釋所收集到的數(shù)據(jù)，使這些數(shù)據(jù)轉變?yōu)橹R并為教學服務[5]，擴大人類的有限理性范圍、提高決策質量。數(shù)據(jù)分析研究需要考慮分析對象、目標、模型、方法與技術等內容。

數(shù)據(jù)分析離不開上下文情境以及教學領域知識[6-7]，是一個循環(huán)迭代的過程，前期數(shù)據(jù)收集與分析的結果能夠為下一次數(shù)據(jù)收集與分析方法的選擇提供指導[8]。

（一）數(shù)據(jù)分析對象與目標

數(shù)據(jù)分析對象包括教師、學生、家長、教育管理者等。數(shù)據(jù)分析目的包括描述性數(shù)據(jù)分析和預測性數(shù)據(jù)分析兩類[9]，又可細分為檢測和分析、預測和干預、輔導和答疑、評價和反饋、適應性、個性化和推薦、反思等。目前大多數(shù)研究關注適應性系統(tǒng)，也有研究關注為教師提供學習活動監(jiān)控系統(tǒng)[10]，或者為學習者提供反饋[11-12]。Feng和Heffernan為動態(tài)評價開發(fā)不同的量規(guī)，衡量學生在智能導師系統(tǒng)中的精度、速度、嘗試次數(shù)以及尋求幫助的行為[13];Vatrapu等人通過一系列的可視化分析工具評估學生的學習活動[14];Clow和Markriyannis在聲譽系統(tǒng)中使用數(shù)據(jù)為學習者在非正式學習環(huán)境中學習知識提供反饋[11]。

（二）數(shù)據(jù)分析方法與模型

在數(shù)據(jù)分析過程中，構建數(shù)據(jù)分析模型是關鍵，數(shù)據(jù)分析模型扮演著分析“路徑”的角色。Knight等人構建了一個分析和任務模型[15]，通過跟蹤不同類型知識和不同層次掌握水平，了解學生在復雜識字任務中的認知參與。

數(shù)據(jù)分析技術的發(fā)展需要在兩個方面取得突破[16]：一是對結構化和半結構化數(shù)據(jù)進行高效率的深度分析，挖掘隱性知識;二是對非結構化數(shù)據(jù)進行分析，例如，將語音、圖像和視頻數(shù)據(jù)轉化為機器可識別的、具有明確語義的信息，進而提取有用的知識。在教育領域，從數(shù)據(jù)中提取有價值的技術主要包括[17-19]：預測（決策樹、回歸分析、時序分析）、聚類（聚類、離群點分析），關系挖掘（關聯(lián)規(guī)則挖掘、序列模式挖掘、相關挖掘）、模式發(fā)現(xiàn)和輔助決策。Dominguez等人使用歸類和關聯(lián)規(guī)則挖掘為編程練習的學生提供自動反饋[20];Xiong等人提出一種基于決策樹的分類方法自動生成學生在同伴評價系統(tǒng)中的表現(xiàn)[21]。同時，新的分析技術手段也在不斷涌現(xiàn)。例如，韓國檀國大學教師整合常用的學習分析技術手段提出多維分析方法[22]。不同領域學習數(shù)據(jù)分析依靠不同的技術手段。Bienkowski等人以用戶分類技術和集群技術為依托，進行用戶基本信息、學習習慣、學習偏好等分析，通過趨勢分析技術和序列分析技術對學習者進行預測[17]。

（三）可視分析方法與實現(xiàn)

可視分析被認為是大數(shù)據(jù)分析的重要方法[23]。可視化數(shù)據(jù)能夠解決教師使用數(shù)據(jù)作出決策時面臨的問題。Lefler研究表明，通過持續(xù)的評價與及時可視化的數(shù)據(jù)，教師能夠在非常短的時間內完成以往花費幾天才能完成的工作[24];Goodman指出，有效的分析報告應該遵循的七點建議[25]。許多研究開始研發(fā)可視化分析工具，提供關于學習者當前學習情況和歷次學習情況的可視化圖表[26]，幫助用戶靈活地作出決策。這些工具被應用于傳統(tǒng)面對面教學、在線學習或者混合學習中。典型案例包括，在課堂中呈現(xiàn)當前活動的Classroom View[27];支持學生反思與意義建構的CALMSystem[28];Ruipérez-Valiente等人為增強可汗學院平臺的學習分析功能而研發(fā)的ALAS-KA模塊[29];Lafford等人面向商業(yè)語言學習研發(fā)的Tell Me More應用[30];Fekete等人利用人的感知和認知能力提出的一種基于互動技術的可視化分析工具，使用戶更高效地理解深層次數(shù)據(jù)的價值[31]。

目前數(shù)據(jù)分析的研究主要集中于通過在學習系統(tǒng)或學習平臺中整合工具來實現(xiàn)數(shù)據(jù)獲取與分析過程[32]，分析的手段多采用簡單的匯總統(tǒng)計和比較分析，關注的重點是受教育者的群體特征以及國家、區(qū)域、學校不同層面教育發(fā)展的整體狀況。面對大數(shù)據(jù)背后蘊藏的知識與智慧，已有研究嘗試構建人的認知模型支持數(shù)據(jù)的可視化分析[33-34]。而對于智慧教學過程中多源、異構、多維的動態(tài)生成性數(shù)據(jù)分析工作，更需要結合人機交互技術，基于人的感知、認知和推理決策等能力[35]，運用交互式可視化分析方法開展。

四、智慧教學動態(tài)生成性數(shù)據(jù)可視化分析方法

數(shù)據(jù)可視化分析是云計算和大數(shù)據(jù)研究的核心內容之一。高效的數(shù)據(jù)分析過程離不開機器與人的相互協(xié)作與優(yōu)勢互補。下文將從分層分析框架與交互可視化分析機制兩個方面對智慧教學的動態(tài)生成性數(shù)據(jù)可視化分析與呈現(xiàn)進行研究。

（一）智慧教學動態(tài)生成性數(shù)據(jù)分層分析框架

首先，基于智慧課堂教學動態(tài)生成性數(shù)據(jù)采集分層框架[3]，從計算機自動處理的角度出發(fā)，構建智慧教學動態(tài)生成性數(shù)據(jù)分層分析框架，針對數(shù)據(jù)采集的行為層、事件層、活動層與目標層提供不同類型的分析方法，結合頻繁模式和周期模式挖掘，提出動態(tài)生成性數(shù)據(jù)挖掘模型，在數(shù)據(jù)分析基礎上，為教師、學生、教育管理者等用戶提供不同維度的教學活動序列圖、學習結果統(tǒng)計圖等可視化圖表，將復雜知識轉變成教育用戶便于接受和認知的動態(tài)圖形。

智慧教學動態(tài)生成性數(shù)據(jù)分析框架，如圖1所示。面向描述層、診斷層以及應用層的不同分析需求提供預測分析、聚類分析、關系挖掘、模式發(fā)現(xiàn)等分析方法。

1. 描述層

描述層對教學行為、學習行為以及學習表現(xiàn)數(shù)據(jù)進行提取、分析，實現(xiàn)對一節(jié)課或多節(jié)課數(shù)據(jù)的基本統(tǒng)計和特征描述。數(shù)據(jù)可以從教師與學生的學習表現(xiàn)、行為序列、行為持續(xù)時間、行為具體參數(shù)等方面進行描述，對于標注教學事件信息的課堂數(shù)據(jù)，描述層提供每類教學事件使用的行為類型及持續(xù)時間，文章關注的描述分析包括：對于學生學習表現(xiàn)的描述分析;對于相同教師執(zhí)教的多節(jié)課堂數(shù)據(jù)進行描述則關注“教師使用技術的行為習慣”;對相同班級課堂數(shù)據(jù)的描述聚焦于學生學習行為及表現(xiàn)情況等。

2. 診斷層

診斷層提供教學特征與學習特征的相關描述，例如技術應用層次（此處的技術包含軟硬件、內容與服務等）、學習效果分析、對生成性內容的關注程度等。

（1）技術應用層次

技術在課堂教學中發(fā)揮著重要作用，然而技術本身并不能改變課堂教學的本質，除非教師能夠在課堂教學中合理使用技術。從教學角度，合理分析教師的課堂管理與資源使用、組織測評活動、使用學情分析、分享與評價學生活動等在其技術應用行為中所占比率，確定其技術應用層次的高低。結合進一步分析得出教師智慧課堂的教學模式與風格。

（2）學習效果分析

借助S-P表分析，提供有關課堂練習、課堂測驗的試題異常程度、試題異常系數(shù)、學習穩(wěn)定程度和學習穩(wěn)定系數(shù)的分析。S-P 表記錄了每個學生對每個題目每個選項的作答情況。如果某個錯誤的選項被多數(shù)學生選擇，可以認為學生對該題的知識掌握不好、存在誤解或者題目有歧義。如果少數(shù)的學生選擇了錯誤的選項，這樣教師可以選擇的策略是對選錯的學生在課下進行單獨指導。

（3）對生成性內容的關注程度

生成性內容包括教師板書、學生測評結果與學習作品等，對生成性內容的關注體現(xiàn)在“資源使用”“作品展示”與“課堂評價”等行為中。

3. 建議層

學習分析的終極目標是提高學習和教學成效，因此，根據(jù)數(shù)據(jù)分析結果進行有效干預顯得非常重要。建議層則是根據(jù)描述層與診斷層的分析結果，為教師深化技術應用層次、學生了解個人課堂學習狀況、家長掌握學生學習情況、教育管理者查看教師課堂教學情況等提供指導與幫助。

（二）基于知識產(chǎn)生模型的交互可視化分析機制

針對傳統(tǒng)數(shù)據(jù)分析方法交互性不足和理解性差等問題，以人作為分析主體和需求主體，強調基于人機交互和符合人的認知規(guī)律的分析方法，提出基于認知模型的人機交互可視化分析方法，引入時空數(shù)據(jù)和多維數(shù)據(jù)可視化技術，研究智慧教學數(shù)據(jù)可視分析方法，將隱喻知識轉變成教育用戶便于接受和認知的圖形、圖像。

教育大數(shù)據(jù)分析面臨的最根本挑戰(zhàn)是從數(shù)據(jù)中凝練可領悟的知識，采用數(shù)據(jù)融合技術聚合數(shù)據(jù)間、信息間、知識片段間多維度、多粒度的關聯(lián)關系，實現(xiàn)更多層面的知識交互。以知識發(fā)現(xiàn)活動為核心，構建面向人機交互可視化分析的認知模型和干預引擎，從而形成新知識的建立過程。例如，分析者可以通過標注等交互操作顯式建立鏈接，計算機對分析者新建的知識鏈接進行更新，并通過語法語義分析更新領域知識庫，為交互可視分析提供干預引擎。

知識產(chǎn)生模型是實現(xiàn)人機交互可視化分析的核心，在Sacha等人提出的知識產(chǎn)生模型[35]基礎上，分析智慧教學動態(tài)生成性數(shù)據(jù)的不同類型，提出動態(tài)生成性數(shù)據(jù)可視化分析中的知識產(chǎn)生模型，如圖2所示。在意義建構理論支持下設計探索、驗證與知識產(chǎn)生的三層循環(huán)模式，提出面向時空數(shù)據(jù)、多維數(shù)據(jù)以及二者融合的可視化分析方法，開發(fā)基于用戶認知模型的干預引擎。其中，時空數(shù)據(jù)和多維數(shù)據(jù)是智慧教學動態(tài)生成性數(shù)據(jù)類型的典型代表。一方面，智慧課堂教學現(xiàn)場或者進行交互式數(shù)據(jù)查詢時，通常需要結合時間和事件等從不同維度提供數(shù)據(jù)的實時分析。另一方面，隨著更多教學活動在多終端環(huán)境開展，除了數(shù)據(jù)的規(guī)模化擴張，高維引起的問題也是研究的重點。采用平行坐標散點圖的方式支持分析者從多個角度應用多種可視化技術進行分析。

五、系統(tǒng)實現(xiàn)

（一）智慧教學動態(tài)生成性數(shù)據(jù)分析系統(tǒng)體系結構

針對上述智慧課堂動態(tài)生成性數(shù)據(jù)的分析方法，搭建數(shù)據(jù)采集、分析與可視化（交互式視覺表現(xiàn)）原型系統(tǒng)，針對不同使用對象和應用需求呈現(xiàn)不同的信息量與信息深度，幫助用戶探索和解釋復雜的數(shù)據(jù)，系統(tǒng)體系結構如圖3所示。

基本流程包括：（1）獲取不同類型智慧教學支撐系統(tǒng)中的教學行為數(shù)據(jù)、學習行為數(shù)據(jù)與學習表現(xiàn)數(shù)據(jù)。所采集的數(shù)據(jù)遵循智慧教學動態(tài)生成性數(shù)據(jù)采集規(guī)范[3]。（2）對預處理后的教學行為與表現(xiàn)數(shù)據(jù)進行分類，完善學生、教師、班級、課程等基本信息。（3）將數(shù)據(jù)輸出給交互式分析引擎，針對不同使用對象和應用需求呈現(xiàn)不同的信息量與信息深度，幫助用戶探索和解釋復雜的數(shù)據(jù)。（4）為教師和學習者提供顆粒度不同的可視化圖表，并將分析結果同步至教育云服務中。（5）教育云服務基于分析結果為用戶推送個性化學習資源。（6）教育研究人員根據(jù)可視化數(shù)據(jù)，完善智慧教學支撐系統(tǒng)，實現(xiàn)智慧教學全過程數(shù)據(jù)的整合應用，滿足個性化教學與學習要求。

本文依托珠海“粵教云”試驗區(qū)智慧課堂教學試點項目，自2013年以來，共在珠海5個區(qū)建成100多間智慧教室，開展基于智慧課堂教學支撐系統(tǒng)的常態(tài)化應用。所研發(fā)的智慧教學動態(tài)生成性數(shù)據(jù)分析系統(tǒng)匯聚了珠海市智慧教學試點校應用智慧教學支撐系統(tǒng)的3000多節(jié)課堂數(shù)據(jù)，涉及93所學校，233個班級，622名教師用戶，實現(xiàn)了課堂活動再現(xiàn)、教學序列分析、SP表分析、教師風格聚類等教學行為數(shù)據(jù)與表現(xiàn)數(shù)據(jù)的分析、挖掘與可視化呈現(xiàn)，如圖4所示。

a. SP表分析? ? ? b. 教學活動統(tǒng)計? ? ?c. 教學活動序列

（二）交互可視化分析機制實現(xiàn)

交互可視化常用的一種方法是使用戶能夠以不同粒度級別（例如，任務，學生，團體，課程）查看數(shù)據(jù)需求。本文以教師風格為例，構建智慧課堂教學風格序列模型，由于每位教師的教學活動序列不同，根據(jù)教師行為特征及有效規(guī)則進行頻繁序列挖掘和聚類分析，能有效呈現(xiàn)教學風格的交互可視化分析結果。

首先依據(jù)加涅九步教學法，將能夠體現(xiàn)教學風格的教學行為特征提煉為“課堂講授”“課堂測驗”“自主學習”“課堂提問”“總結評價”“鼓勵學生”六類，然后進行頻繁序列聚類的可視化分析實現(xiàn)。實現(xiàn)過程由接口模塊、預處理模塊、分析模塊、可視化模塊四個模塊共同完成，如圖5所示。

基于云端平臺數(shù)據(jù)采集API接口[3]，匯聚跨平臺異構、多源的第三方智慧課堂支撐系統(tǒng)教學行為的業(yè)務數(shù)據(jù)。在預處理模塊，對原始課堂行為數(shù)據(jù)進行數(shù)據(jù)預處理或標準化形成特征數(shù)據(jù);在分析模塊，通過讀取配置參數(shù)和規(guī)則列表，采用優(yōu)化的K-means聚類算法，對預處理過后的課堂交互數(shù)據(jù)進行極大頻繁序列挖掘和聚類分析，以此確定教師的教學風格以及分析出不同教師教學方法的差異;基于分析模塊輸出的結果，通過可視化模塊個性化交互展示教師課堂教學風格聚類結果。

個性化交互機制主要體現(xiàn)在兩個方面：一是，采用層次篩選，可以自主選擇閾值、學校、學科、教師、年級、班級、聚類個數(shù)，甚至細化到某個教師的具體教學風格情況;二是，基于用戶認知模型篩選，在教師風格的聚類分析中，默認給出最優(yōu)聚類結果，但用戶可以根據(jù)認知經(jīng)驗，選取所需的簇類個數(shù)參數(shù)K，進一步優(yōu)化聚類分析結果，如圖6所示，輪廓系數(shù)是聚類效果的評價指標，結合內聚度和分離度兩個因素，介于[-1，1]，越趨近于1，代表內聚度和分離度都相對較優(yōu)。

圖6給出了珠海市初中語文學科30位教師478節(jié)課的智慧課堂教學風格可視化結果。將教師智慧課堂教學風格的分析結果進行個性化交互展示，以柱狀圖的形式展示，縱坐標顯示同一個類簇中的所有教師，橫坐標代表各個活動的持續(xù)時間。從可視化圖中可以看出聚成了5個簇，每個簇的教師都具有獨特的風格，相同簇的教師具有相同的教學行為特征。其中，簇1共有4位教師，他們的教學時間相較其他簇更多，教學行為豐富多樣，擅長進行自主學習、總結評價、較多使用課堂測試檢測學生學習效果，能夠熟練開展智慧課堂教學應用;簇2共有8位教師，其課堂教學行為較為單一，側重于課堂講授和自主學習;簇3共有4位教師，教學行為特征體現(xiàn)在關注課堂講授，少量關注自主學習，教學時間較簇1明顯偏少，對智慧課堂的使用還沒有那么成熟，處于初步應用階段;簇4共有6位教師，其課堂行為涉及課堂講授、課堂測試、自主學習、總結評價等教學的各個方面，但時間較短，表明教師正積極探索智慧課堂教學應用;簇5共有8位教師，其教學行為很少，表明此簇教師對智慧課堂的使用還不熟悉，需進一步提升信息技術教學能力。總體分析教師教學風格，可以得出，有33%左右的教師開始關注豐富多樣的教學方式，如簇1和簇4的教師較多關注自主學習、評價和鼓勵學生等，教師的智慧課堂教學方式由單一向多元化發(fā)展。

通過可選簇和可選定某位教師給出相應教師風格等交互功能更加直觀地分析出同一類教師課堂教學方法的相似性和不同類教師課堂教學方法的差異性，能夠較客觀地反映課堂教學實情。一方面，便于教師對課堂教學行為、課堂師生互動行為等的清楚認識，有助于實現(xiàn)教學過程的客觀評價和完善，對教師優(yōu)化教學環(huán)節(jié)和形成獨具特色的教學風格具有重要意義。另一方面，便于教研人員針對教師風格聚類分析結果，對不同教師群體的教學習慣、教學方式等進行比較，有助于提煉智慧課堂有效教學模式，為教研活動以及教學建議提供科學客觀的數(shù)據(jù)支撐。

六、結? ?語

隨著智慧教育的深入實施，如何讓教學過程中動態(tài)生成的數(shù)據(jù)更具“智慧性”和“可視性”，已成為當前學習分析領域關注的重要研究問題。本文以智慧課堂教學行為數(shù)據(jù)為例，針對傳統(tǒng)數(shù)據(jù)分析交互性不足和理解性差等問題，提出一套新穎、高效的智慧課堂教學模式挖掘及可視化分析方法，充分解釋所收集的大數(shù)據(jù)，挖掘隱性知識，轉變?yōu)榻逃脩舯阌诮邮芎驼J知的圖形、圖像。下一步研究工作將根據(jù)系統(tǒng)模擬用戶交互形成仿真數(shù)據(jù)和真實用戶應用中形成的可視化分析報告，收集用戶對數(shù)據(jù)采集指標及可視化報告的意見，提出采集與分析方法的優(yōu)化策略，探索應用過程中數(shù)據(jù)可視化分析的一般規(guī)律，形成支撐過程性數(shù)據(jù)交互分析與動態(tài)演化的生態(tài)圈。

[參考文獻]

[1] SIEMENS G，LONG P. Penetrating the fog： analytics in learning and education[J]. Educause review， 2011， 46（2）： S866.

[2] QU H， CHEN Q. Visual analytics for MOOC data [J]. IEEE Computer graphics & applications， 2015， 35（6）：69-75.

[3] 王冬青， 韓后， 邱美玲，等. 基于情境感知的智慧課堂動態(tài)生成性數(shù)據(jù)采集方法與模型[J]. 電化教育研究， 2018（5）：26-32.

[4] WEST D M. Big data for education： data mining， data analytics， and web dashboards[M]. Washington，USA： Brookings Institution Press， 2012：11.

[5] MARCHESE T J. Assessment update. third down， ten years to go[J]. Aahe Bulletin， 1987（40）：3-8.

[6] COBURN C E， TURNER E O. Research on data use： a framework and analysis[J]. Measurement： interdisciplinary research & perspective， 2011， 9（4）：173-206.

[7] YOUNG V M， KIM D H. Using assessments for instructional improvement： a literature review[J]. Education policy analysis archives， 2010（18）： 1-40.

[8] CHATTI M A， DYCKHOFF A L， SCHROEDER U， et al. A reference model for learning analytics[J]. International journal of technology enhanced learning， 2012， 4（5-6）：318-331.

[9] MAY T A. Analytics， university 3.0， and the future of information technology[DB/OL]. Educause Review Online. [2018-04-10]. http：//net.educause.edu/ir/library/pdf/ERM1159.pdf， 2011.

[10] ROMERO C， ROMERO J R， LUNA J M， et al. Mining rare association rules from e-Learning data[C]// Educational Data Mining 2010， the International Conference on Educational Data Mining， Pittsburgh， Pa， USA， June 11-13， 2010. Proceedings. DBLP， 2010：171-180.

[11] CLOW D， MAKRIYANNIS E. iSpot analysed：participatory learning and reputation[C]// International Conference on Learning Analytics and Knowledge， Lak 2011， Banff， Ab， Canada， February 27 - March. DBLP， 2011：34-43.

[12] NIEMANN K， SCHMITZ H C， SCHEFFEL M， et al. Usage contexts for object similarity： exploratory investigations[C]// International Conference on Learning Analytics and Knowledge. New York：ACM， 2011：81-85.

[13] FENG M， HEFFERNAN N. Can we get better assessment from a tutoring system compared to traditional paper testing？ Can we have our cake （better assessment） and eat it too （student learning during the test）？[C]//International Conference on Intelligent Tutoring Systems. Berlin， Heidelberg： Springer， 2010： 309-311.

[14] VATRAPU R， TEPLOVS C， FUJITA N， et al. Towards visual analytics for teachers' dynamic diagnostic pedagogical decision-making[C]//Proceedings of the 1st International Conference on Learning Analytics and Knowledge. New York：ACM， 2011： 93-98.

[15] KNIGHT S， LITTLETON K. Developing a multiple-document-processing performance assessment for epistemic literacy[C]//Proceedings of the Fifth International Conference on Learning Analytics and Knowledge. New York：ACM， 2015： 241-245.

[16] 工信和信息化部電信研究院. 大數(shù)據(jù)白皮書（2014年）[R]. 北京：工業(yè)和信息化部電信研究院， 2014.

[17] BIENKOWSKI M， FENG M， MEANS B. Enhancing teaching and learning through educational data mining and learning analytics： an issue brief[J]. US Department of education， office of educational technology， 2012（1）： 1-57.

[18] ROMERO C， VENTURA S. Educational data mining： a survey from 1995 to 2005[J]. Expert systems with applications，2007， 33（1）：135-146.

[19] BAEPLER P， MURDOCH C J. Academic analytics and data mining in higher education[J]. International journal for the scholarship of teaching & learning， 2008， 4（2）：267-281.

[20] DOMINGUEZ A K， YACEF K， CURRAN J R. Data mining for generating hints in a python tutor[C]// Educational Data Mining 2010，? the， International Conference on Educational Data Mining， Pittsburgh， Pa， USA， June 11-13， 2010. Proceedings. DBLP，2010：91-100.

[21] XIONG W， LITMAN D， SCHUNN C. Assessing reviewers' performance based on mining problem localization in peer-review data[C]//Educational Data Mining 2010-3rd International Conference on Educational Data Mining. 2010： 211-220.

[22] KIM M， LEE E. A Multidimensional analysis tool for visualizing online interactions[J]. Journal of educational technology & society， 2012， 15（3）：89-102.

[23] 任磊， 杜一， 馬帥，等. 大數(shù)據(jù)可視分析綜述[J]. 軟件學報， 2014（9）：1909-1936.

[24] LEFLER M， BRASIEL S. Using data dashboards to supercharge data-driven decision making in the K-12 classroom[EB/OL].? [2018-04-10]. https：//digitalcommons.usu.edu/researchweek/ResearchWeek2015/All2015/145/.

[25] GOODMAN D P， HAMBLETON R K. Student test score reports and interpretive guides： review of current practices and suggestions for future research[J]. Applied measurement in education， 2004， 17（2）：145-220.

[26] FEW S. Information dashboard design： displaying data for at-a-glance monitoring[M]. Burlingame， CA： Analytics Press， 2013.

[27] FRANCE L， HERAUD J M， MARTY J C， et al. Monitoring virtual classroom： visualization techniques to observe student activities in an e-Learning system[C]// International Conference on Advanced Learning Technologies. IEEE， 2006：716-720.

[28] KERLY A， ELLIS R， BULL S. CALMsystem： a conversational agent for learner modelling[J]. Knowledge-based systems， 2008， 21（3）：238-246.

[29] RUIPEREZ-VALIENTE J A， MUNOZ-MERINO P J， LEONY D， et al. ALAS-KA： A learning analytics extension for better understanding the learning process in the Khan Academy platform[J]. Computers in human behavior， 2015， 47：139-148.

[30] LAFFORD B A. Review of tell me more spanish[J]. Language learning & technology， 2004， 8（3）：21-34.

[31] FEKETE J D， WIJK J V， STASKO J T， et al. The value of information visualization[M]//Information visualization. Springer， Berlin， Heidelberg， 2008： 1-18.

[32] FERGUSON R， SHUM S B. Social learning analytics： five approaches[C] // Proceedings of the 2nd International Conference on Learning Analytics and Knowledge. New York：ACM， 2012： 23-33.

[33] GREEN T M， RIBARSKY W， FISHER B. Building and applying a human cognition model for visual analytics[J]. Information visualization， 2009， 8（1）： 1-13.

[34] PATTERSON R E， BLAHA L M， GEINSTEIN G G， et al. A human cognition framework for information visualization[J]. Computers & graphics， 2014， 42： 42-58.

[35] SACHA D， STOFFEL A， STOFFEL F， et al. Knowledge generation model for visual analytics[J]. Visualization & computer graphics IEEE transactions on， 2014， 20（12）：1604-1613.