大數據環境下學業預警系統設計與分析 *

金義富，吳 濤，張子石，王偉東

(嶺南師范學院 廣東高校數字化學習工程技術開發中心，廣東 湛江 524037)

大數據環境下學業預警系統設計與分析 *

金義富，吳 濤，張子石，王偉東

(嶺南師范學院 廣東高校數字化學習工程技術開發中心，廣東 湛江 524037)

隨著互聯網+教育的深度融合，教育大數據逐漸成為學習分析的主要手段。該文討論了構成教育大數據環境的數據分類、收集與存儲組織，以及教育數據挖掘和學習分析的一般思路與方法，探討了在大數據環境下的學業預警系統設計框架，提出了一種基于離群數據挖掘與分析的課程、課堂、課外“三位一體”預警信息發現與生成模型LAOMA(Model of Learning Alert Based on Outlier Mining and Analysis)，建立了學業預警兩類六級信號系統及反饋機制。最后闡述了包括學業預警在內的學習分析技術使個性化學習真正成為可能，但如果應用不當，過分依賴生硬的數據也可能與教育的本質不相符合。

教育大數據；學習分析；離群挖掘；預警信號；教育反思

大數據可能會帶來一場全面革命，推動社會全面進步，推動社會各行業根本變革。大數據不僅數據量巨大，而且涉及的數據種類繁多，數據價值密度極低，如何提高大數據采集、存儲、處理并發現知識的能力已經成為國家戰略，教育也身在其中[1]，教育發展也正面臨大數據所帶來的機遇與挑戰[2]。隨著網絡學習、移動學習、校園社交以及學校各種信息系統的廣泛應用，每個教師和學生每天都在生產大量的數據，目前各高?？倲祿慷荚赥級甚至P級以上。長期以來，學校數據大都是沉睡在系統中未能充分利用，甚至一段時間后被無情地永久刪除。如何利用這些數據使之轉變為信息、知識，并為教學決策、學習優化和學業預警等服務，已成為教育工作者以及學習者們所關注的內容[3]。

本文分三個方面進行闡述：第一部分探討教育大數據的定義與分類，搭建教育大數據支撐環境；第二部分討論大數據環境下的學業預警系統設計，提出課程、課堂、課外“三位一體”的預警信息發現與生成模型LAOMA(Model of Learning Alert based on Outlier Mining and Analysis)，建立學業預警兩類六級信號系統及反饋機制；第三部分反思教育大數據、學習引導、學業預警等學習分析技術在教育中應用所面臨的問題與挑戰。

一、教育大數據環境

(一)大數據

大數據首先是規模大，隨著信息技術的廣泛應用，各種信息系統、數據庫、云存儲、互聯網、物聯網以及移動智能終端的飛速發展，特別是近年來社交系統用戶的急劇增加，數據的獲取、分享變得十分容易，使數據規模不斷膨脹。同時，大數據還具有數據結構復雜多樣、數據更新速度越來越快等特點[4]，由于量大、復雜、多變，從這些海量數據中獲取隱藏的、有用知識的難度越來越大，已有數據倉庫和數據挖掘相關處理模式已無法滿足大數據巨量復雜數據處理要求[5]，研究機構Gartner認為需要借助于新的處理模式才能從大數據中擁有更強的決策力、洞察發現力和流程優化能力。

大數據潛在價值的重要表現是數據之間的關聯性，一項重要的思維轉換就是從傳統的因果分析向相關性分析轉換。越來越多的國家、政府、行業、企業等機構已意識到大數據正在成為組織最重要的資產，數據分析能力正在成為組織的核心競爭力。目前，國家、政府已經把大數據應用推進了人們的生活中， “互聯網+”已經深入到各個行業。大數據對教育也形成了顛覆性的影響，已不斷與教育融合并正在促進教育模式的變革。

(二)教育大數據

1.教育大數據定義

根據數據來源和應用領域進行界定，可以把教育大數據定義為：大數據是作用于教育并為教育服務的技術與應用體系。信息技術在學校的應用已經有相當長的時間，近年來網絡的飛速發展，更是使學校擁有可用的、高質量的海量數據逐漸成為現實，大數據在教育領域有了越來越廣泛的應用。

2.教育大數據分類

教育大數據按其數據結構同樣可分為結構化數據、半結構化數據和無結構的數據。學校應用系統如學籍信息、成績信息等用二維表結構存儲在關系數據庫中的數據一般為結構化數據，其特點是數據列具有原子性和相同的數據類型；無結構的數據指沒有固定的標準格式，用常規的方法不易處理，如學校網頁、課堂視頻數據等；在結構化數據和無結構的數據之間的數據即是半結構化數據，一般為純文本數據。

本文按數據來源和收集方式可以把教育大數據分為三類：顯性數據、行為數據和系統數據(如圖1所示)。顯性數據是由終端用戶主動輸入或輸出的數據；行為數據也可稱為控制數據，是為了某種目的由開發者設計記錄用戶操作過程的數據，一般僅為管理員所見；系統數據是由系統自動生成的數據，行為數據和系統數據均為隱性數據。

圖1 教育大數據分類

對同一用戶而言這三類數據互不交叉，但同一系統的不同用戶則在顯性數據和行為數據兩類中有可能重疊。以在線教育為例，學員視角接觸的課程名稱、作業、互動信息、已學時長、測試成績等為顯性數據，而從教師和管理者視角會有更多的數據出現，可以獲得如學員登錄系統情況、已學時長的構成、學員作業用去的時間等行為數據，那些系統自然生成數據可從網絡與數據庫管理員處獲得。

(三)教育大數據環境構建

隨著大數據規模的日益巨大、類型的日益多樣、分析的日益復雜，傳統的數據環境構建已經不能滿足應用的需求。首先，需要有容易普及且經濟實用的大容量存儲設備及其高性能I/O方案系統；其次，需要有簡單透明的數據保護、抗干擾和容錯能力等等。傳統關系型數據庫系統在大數據環境下因其對海量數據和非結構化數據處理能力和擴展性能較弱，只能作為新部署的大數據系統基礎數據來源渠道之一。事實上，數據規模、種類和速度的快速提升，使關系數據庫難以應對和實時處理，從而催生新技術的出現。教育領域的情況亦是如此，目前，基于Hadoop的教育云存儲方案可有效支撐教育大數據環境，該方案可分為四層結構：應用層、接口層、管理層和存儲層，如表1所示：

表1 教育大數據環境架構示意圖

應用層根據學校不同業務可分為多項用戶服務，通過統一身份認證在公用API支持下實現數據訪問；存儲層使用虛擬化技術將各種存儲設備集中管理，通過HDFS(Hadoop Distributed File System)為上層提供服務。HDFS在使用方式上與單機文件系統類似，但可支持海量數據的流式訪問，支持數千臺數據服務器集群，具有高性能的硬件故障檢測和自動快速恢復能力。云存儲網絡虛擬化可支持應用層訪問數據中心外部的各種不同的數據源，從而為新增數據提供實時分析和報告，具有為大數據環境服務的可伸縮性、靈活性和可擴展性。

二、學業預警系統設計

(一)預警數據來源

普渡大學的Course Signals系統利用數據量化和監測學生的學習狀態，其數據來源包括課程考試分數、排名、學術經歷以及學生與學習管理系統LMS的互動情況，預測學生在一門課程學習中的表現[6]。本文從課程、課堂、課外三個角度匯聚不同類型的數據來源。

課程數據包括主要知識點、作業情況、測驗評分以及與該課程相銜接的先修課程完成情況和成績，以顯性數據為主，來源于關系數據庫應用系統。

課堂數據來源于課堂學習行為和過程，包含了豐富的學習狀態信息，需要利用監控識別設備獲得，除出勤情況、未認真聽課時長、玩手機次數與時長等顯性數據外，可收集課堂互動頻度與效果、實時討論參與度、課堂精力集中度，甚至可收集課堂表情數據。

課外數據則更加豐富多樣，主要由兩方面數據構成：一是與線上課程資源直接相關的學習數據，由課程網站或相關學習管理系統收集，這部分行為數據可以做到很細粒度劃分[7]，比如在完成課程任務過程中的鼠標點擊、鍵盤操作、所用時長、修改次數、是否跳躍、是否反復等數據都可以自動保存；二是與課程學習不直接相關但有影響的數據，如個人身體狀況、心理數據、社交系統數據，這部分數據可能涉及學校多個應用系統和網絡中心后臺，只有在大數據環境下才可能匯集。

(二)預警系統模型

1.離群挖掘與分析

大數據環境下的學業預警系統整合課程、課堂、課外數據，運用離群數據挖掘方法發現那些遠離常規對象的數據，并對發現的離群數據進行延伸分析。僅從數據本身角度看，離群數據是指偏離正常的數據，可能是在數據形成過程中因誤差或錯誤而產生的，在早期的數據分析中經常是直接予以剔除。但是，因數據來源于現實，很多離群數據其實不是因為出差錯產生的，而是對應的數據源對象本身確實具有特殊行為，而且這種行為還可能蘊含了相當重要的信息，往往預示著某種新情況的出現，需要我們去辨析[8]，因此離群數據挖掘與分析具有重要的意義。

離群挖掘的一般思路是：在一個具有n個數據對象的數據集中，給出或約定一個期望的離群對象數目k(k＜＜n)，挖掘出與數據集中其余數據對象顯著不同的前k個對象。已有一系列的離群挖掘算法，包括基于統計的、基于距離的和基于偏差的檢測算法，以及利用常規數據挖掘算法額外獲得的離群數據等等。

金義富等提出了一種離群數據集特征描述及延伸知識發現的分析框架[9]，可以對離群數據對象來源、含義、分類、行為特征以及離群趨勢等進行較為全面的分析，其主要步驟為：根據分析問題領域需求建構目標模型，對數據進行預處理，獲得規范數據集Dn×m，其屬性集為Am；選擇與數據領域特性及規模相適應的離群挖掘算法作用于全部數據集，得到具有k個對象的離群集Om；嘗試把同樣的離群挖掘算法作用于全部數據對象但更小的屬性子集Ai(i＜m)，獲得另一些具有ki個數據對象的離群集Oi；根據離群集Oi兩兩相似度與對應的屬性集兩兩相似度關聯分析Ai，i=1, 2, ……, m，獲得有關潛在信息。

2.學業預警模型

根據以上分析，在教育大數據環境下，基于離群挖掘與分析技術的課程、課堂、課外數據“三位一體”的學業預警系統LAOMA模型可以按如圖2所示進行構建。

圖2 學業預警LAOMA模型

ETL(Extract-Transform-Load)用于集成分布式異構數據源的數據，經過數據匯總、合并、過濾、轉換或格式化，建立統一的關鍵數據及索引數據。Hive是在Hadoop環境下的ETL工具，構建于傳統的數據庫和數據倉庫理念之上，提供用于加載、轉換、查詢、分析HDFS中結構化、半結構化或非結構化數據。

預警分析以離群挖掘結果集Om為基礎，設其中有k個離群對象，Om={p1, p2, ……, pk}，對每個離群數據對象pi，找出其關鍵屬性子空間kas(pi)，這是一個反復對屬性子集進行相同離群挖掘的過程。離群對象的關鍵屬性子空間是這樣的一個最小維數子屬性集，如果不包含這個子屬性集就不能發現這個離群對象，反之即可理解為關鍵屬性子空間對于該數據的離群具有關鍵作用。預警分析主要包括兩方面內容：一方面是對所有數據屬性進行分析，搜索導致學生學業出現異常的主要因素，利用關鍵屬性可以分析獲得相關信息。計算屬性集Am中每個屬性aj在所有k個離群對象的關鍵屬性子空間中出現的次數cj， j=1, 2, ……, m，顯然，cj值越大說明屬性aj影響的離群數據點越多，所對應的因素即是越重要的學業影響因素，LAOMA模型用cj/k評價屬性aj對學業異常的影響度。特別的，如果aj在所有關鍵屬性子空間中都未出現，即cj=0，說明因素aj對學業異常沒有影響；如果aj被包括在所有關鍵屬性子空間中，即cj/k=1，說明因素aj對每個學業異常的對象都有影響。

另一方面，學業預警是一個動態的環境，預警需要根據時序數據逐步做出，取數據更新后下一個時間點數據進行同樣的離群挖掘和分析，得到另一個離群結果數據集O'm={p'1, p'2, …, p'k'}以及相應的關鍵屬性子空間kas(p'i)、屬性或因素影響度c'j/k'，i=1, 2, ……, k'，j=1, 2, ……, m，我們可以分析離群集O'm與Om的相似性，即有多少個離群對象是相同的，顯然，如果一個對象在兩次檢測中都是離群的，即異常在持續出現，說明這個數據對象對應的學業可能存在危機。還可以分析某個屬性的影響度隨時序的變化情況，作為輸出結果提供給師生。

(三)兩類六級信號與影響因素反饋

1.兩類六級信號

Course Signals系統將學生按照當前狀態分成綠、黃、紅三組，綠色表示學生如果繼續保持當前的學習狀態就很可能達成目標，黃色表示學生在該門課程學習中存在潛在困難，紅色則表示這個學生可能要掛科了，系統通過自動生成有關警示和建議信息并發送e-Mail給學生，以便學生能夠繼續保持狀態或做出相應改進。該系統同時也反饋數據幫助課程老師調整和調整改進自己的教學實踐。

和Course Signals系統比較，本文提出的學業預警LAOMA模型能提供更豐富更精細的預警信息，包括兩類六級信號及影響因素反饋。離群挖掘結果集顯示的離群數據對象可能包括學業特別優秀和特別差勁兩種極端情形，因此總的分析結果可以用正常與異常兩類來統一進行判別，正常類分為一般正常和特別優秀兩級，異常類分為四級，按異常程度由輕到重定義為存在問題、較多問題、問題嚴重和特別異常，借用氣象災害預警信號表示分別用藍色、黃色、橙色、紅色進行可視化輸出。同時，為了統一，LAOMA系統也將正常類一般正常和特別優秀兩級分別用綠色和紫色表示，這樣，就形成了一套完整的兩類六級預警信號體系。

結合時序數據離群對象及其關鍵屬性子空間構成，LAOMA系統根據不同時間點檢測結果進行預警級別界定和影響因素反饋。在可自更新的大數據環境中，每隔一定時間進行一次離群挖掘與分析，共進行了q次，在所有q次檢測中數據對象p均為離群，則p為特別離群對象，根據其中正向屬性值是否為正向取值確定其為特別優秀或是特別異常，從而給出紫色或紅色的可視化輸出，LAOMA系統對于特別優秀的區分度不進行詳細辨識，認為經常離群且正向屬性值為正向取值的均屬于特別優秀即用紫色表示。在q次檢測中p如果只是偶爾很少次認定為離群，且在每次檢測中其關鍵屬性子空間kas(p)都不一樣，說明使p異常的原因可以由p主動消減，即不存在固定的原因使p異常，所以對p的預警只是最一般的藍色。其它各級采用離群次數進行判別，0次離群的為正常數據對象，如表2所示，因本文討論的異常情況已蘊含了其正向屬性值取值為反向的假設，故表2中不再另行注明。

表2 兩類六級學業預警信號含義及判別標準表

2.異常影響因素反饋

離群對象p的關鍵屬性子空間kas(p)即是導致數據離群的主要原因，可以精準地用kas(p)個性化反饋學生的學業異常影響。LAOMA系統從兩個方面對q次檢測結果進行輸出。

(1)離群對象的個性化異常因素分析。設各次檢測獲得同一離群對象p的關鍵屬性子空間分別為kasi(p)，i=1，2，……，q，如果第i次檢測p是不離群的則kasi(p)為空集，設p共有q0次離群，屬性aj在所有q0個kasi(p)出現的次數cj，顯然，cj值越大說明屬性aj影響p離群的次數越多，用cj/q0評價屬性aj對p學業異常的影響度，可繪制個性化異常因素影響圖。如在我們每周一次的10次檢測測試數據中，有一位同學有7次都被判定為異常，大于10/2，于是給他橙色預警，其個性化影響因素及影響度為：每周作業成績5/7、上課遲到次數2/7、上網時長4/7、下行流量3、社團活動時間3/7、宿舍停留時間1/7，如圖3所示，用餅圖直觀展示了該同學的學業異常因素構成。

圖3 異常因素個體影響度

(2)因素aj的總體影響度分析。設各次檢測獲得aj的異常影響度為cji/ki，i=1，2，……，q，可繪制因素持續影響圖展示學業異常影響因素總體情況。

三、學業預警應用反思

大數據技術可以收集過去無法獲取的或者獲取代價很高的數據，并較為容易地用于教學過程分析，以充分提升學業表現、教學水平和管理能力，大數據技術將會在教育領域掀起革命性的巨大影響。然而，教育的目標是人的成長，其根本是教化培育使人用一種相對成熟或理性的思維來認知事物，逐漸形成一種相對完善或理性的自我意識思維，即使對于學校教育教學活動，教師有目的、有計劃、有組織地引導學生，選定合適的信息內容，通過有效的媒介，把信息傳給學生，這是一個不僅使學生得到知識、技能與方法的傳承與創新過程，而且學生思維、情感與價值將會獲得持續改善和升華[10][11]。這個過程是如此復雜和不可預測，不管教育大數據支撐下的學習分析技術如何精妙與完美[12]，終究是用過去的數據預測未來的發展，而人的成長不可能完全由過去生硬的數字決定。因此，利用大數據為教育服務亦如本文討論的學業預警系統等均是需要在實際應用中謹慎推行。然而，通過大數據創建個性化定制教育實現學習優化又是如此具有吸引力和挑戰性，機遇已經來臨，應該有更大信心去做出人的發展與工具軟件指示之間的權衡。因此，本文下一步工作將繼續對提出的LAOMA系統進行測試與改進，設計更加具體和精細的反饋信息，尋找更有針對性的干預措施。

[1] 金陵. 大數據與信息化教學變革[J]. 中國電化教育, 2013, (10): 8-13.

[2] 祝智庭, 沈德梅. 學習分析學:智慧教育的科學力量[J]. 電化教育研究, 2013, (5): 5-12.

[3] Annika Wolff, Zdenek Zdrahal, Andriy Nikolov, Michal Pantucek.Improving retention: predicting at-risk students by analyzing clicking behavior in a virtual learning environment [EB/OL]. http://oro.open.ac.uk/36936,2015-12-31.

[4]顧小清,張進良等. 學習分析:正在浮現中的數據技術[DB/OL].http://www.doc88.com/p-0681404625840.html,2015-11-30.

[5] 王華, 劉萍. 改進的關聯規則算法在學生成績預警中的應用[J]. 計算機工程與設計, 2015, 36(3): 679-682.

[6] Kimberly E. Arnold and Matthew D. Pistilli. Course Signals at Purdue:Using learning Analytics to Increase Student Success[EB/OL].http://www.itap.purdue.edu/learning/docs/research/Arnold_Pistilli-Purdue_University_Course_Signals-2012.pdf,2015-12-31.

[7] 葛道凱, 張少剛等. 教育數據挖掘:方法與應用[M]. 北京: 教育科學出版社, 2012.

[8] 馬紅亮,袁莉等.反省分析技術在教育領域中的應用[DB/OL].http://www.aiweibang.com/yuedu/45947986.html,2015-11-30.

[9] 金義富, 朱慶生. 一種離群數據集延伸知識發現框架[J]. 華南理工大學學報(自然科學版). 2008, 36(9): 31-36.

[10] 胡娟, 唐菁華. 學業適應不良大學生非智力因素的診斷和治療初探[J]. 人類工效學, 2011, 17(3): 46-48.

[11] Jo Davies and Martin Graff. Performance in e-learning online participation and student grades[J]. British Journal of Educational Technology, 2005, 36(4): 657-663.

[12] 魏順平. 學習分析技術:挖掘大數據時代下教育數據的價值[J]. 現代教育技術, 2013, 23(2): 5-11.

Design and Analysis of Learning Alert System in Big Data Condition

Jin Yifu, Wu Tao, Zhang Zishi, Wang Weidong
(Engineering Technology Development Center in Universities of Guangdong for E-Learning,Lingnan Normal University, Zhanjiang Guangdong 524037)

Following the Internet deeply fusing with education, the educational big data are gradually taken for the principal environment in learning analysis. This paper discusses the classification, collection and storage organization of educational big data, and the general thought and method of educational data mining and learning analysis. A design framework of learning alert system in big data condition is presented in the paper. Further a model of Learning Alert based on Outlier Mining and Analysis (LAOMA) is put forward based on the trinity data of courses, classroom and outside class. And this model is used to discover and generate alert information. The two-type and six-level signal system of learning alert and its feedback mechanism are set up in this paper. Finally, the paper expounds that the individualized instruction can be realized by means of learning analysis technology inclusive learning alert, but inappropriate application of these technology and excessive dependent on rigid data are not likely to suit educational essence.

Educational Big Data; Learning Analysis; Outlier Mining; Alert Signal; Educational Rethinking

G434

：A

金義富：博士，教授，研究方向為數據庫技術、知識工程、教育信息化(yfjin@tom.com)。

吳濤：博士，副教授，研究方向為圖像處理、人工智能技術。

張子石：碩士，高級實驗師，研究方向為教育信息化、學習技術。

王偉東：碩士，實驗師，研究方向為智能數據處理、教育信息化。

2015年12月25日

責任編輯：趙興龍

1006—9860(2016)02—0069—05

* 本文系廣東省自然科學基金項目“基于教育云的學習分析與教育大數據研究”(項目編號：S2013010016994)研究成果。