淺談教育大數據總體架構

姚中喜

摘要：大數據的發展為教學管理提供了更多的管理手段，加快推進教學活動與現代科技的融合。本文從大數據框架建設開始，介紹教學大數據建設的需要的底層平臺，教學大數據的分析數據源和教學大數據的應用場景等。主要介紹教學數據的采集、治理、存儲與檢索，結合學校自身業務系統對教學大數據分析所需要的各種結構化和非結構化數據數據源分析，以及通過對業務系統梳理和對數據源的分析處理，通過大數據平臺運用算法分析來實現對智慧教育模式的探索。

關鍵詞 大數據 數據治理 個性化教學 智慧教育

在中國教育行業的發展形勢上，自大數據的概念提出以來，中國大部分高校一直保持對其的高度關注。隨著大數據技術的逐漸成熟，很多高校已經開始了接受并建設了大數據模型。除此之外，有部分高校已經開設了大數據相關的專業課程，同時部分高校也意識到了數據對于學校信息化建設的重要性，并建立了自己的大數據開發團隊，對本校數據進行大數據分析及研發。

目前高校信息化建設都比較完善，包括“一卡通系統、教務系統、OA辦公系統、學工系統、成人教育系統、網絡教學平臺、圖書館管理系統、人事系統、上網認證系統、資產管理系統、校園有線網、校園WiFi、數據交換平臺、財務系統”等，而且大部分業務系統已經建設多年，并且學校目前已經對部分數據進行了整理及標準化。應該來說很多高校已經積累了海量的教育數據，即學生服務類數據、學校管理類、教學類的數據都比較豐富。但是學校還未有效利用相關數據進行挖掘分析，并沒有能夠運用已有的數據展現學校現狀以及分析學校存在的風險，展示學生學習過程、老師教學模式等的相關信息。

1教育大數據平臺框架

教育大數據平臺需要能夠有效采集和整合學校業務系統和硬件設備，建設學校統一的大數據管理平臺，提供統一的接口開發應用，為校學生、教師、院領導提供大數據服務。

基于學校現有的數據源，構建統一的、分布式的教育大數據平臺，主要分為大數據倉庫建設和管理及大數據業務分析建設，首先，在數據倉庫構建方面，通過采集數據源全量數據及增量數據，構建學校原始大數據倉庫，從而更好的集中和積累校園應用數據，為教育大數據分析和校園信息化發展提供數據的備份和積累;在原始數據倉庫的基礎上對原始數據進行聚類分析和標準化處理，形成聚類數據倉庫，標準化校園的業務數據，從而反推動校園業務系統的完善和標準化;分析校園大數據業務系統需求構建業務模型，根據模型對標準數據庫進行分析和關聯，形成應用模型主題庫。并通過數據管理平臺對整個數據采集、數據存儲、數據標準化、數據建模清洗過程進行圖形化配置、管理和應用。

2教育大數據數據源采集

數據采集是指通過業務系統數據、硬件設備數據等方式獲得的各種類型的結構化、半結構化及非結構化的海量數據，是教育大數據分析服務模型的根本。采用分布式高速高可靠數據采集、高速數據全映像等大數據收集技術;高速數據解析、轉換與裝載等大數據整合技術;設計質量評估模型，開發數據質量技術等。校內信息采集與集成，完成校內結構化數據，包括學校校務數據中心平臺、各業務系統數據庫;校內各類非結構化數據，包括校內各種互動教學網站內容、學生等各類文檔、圖片、業務系統日志等采集和集成。

實現教育大數據分析接入的數據類型包括業務系統、硬件兩大類。學校現有數據源系統有：一卡通系統、教務系統、圖書館管理系統、人事系統、上網認證系統、資產管理系統、校園有線網、校園WiFi、財務系統、學工系統、成教系統、網絡教學，通過對學校的數據源分析，設計大數據系統的數據采集方案。

通過數據采集ETL工具庫，采集對數據中心內外的全量及新增數據源，可采集學校各種類型的軟件、硬件設備數據和日志，教學平臺數據等海量分散數據，具有集中度高、采集速率快、可分配數據訪問權限、并具有詳細的采集日志等特點。在采集過程中，支持Socket、webservice、數據庫、FTP等常見對外接口。各采集頻率需要根據業務需求、數據量大小等靈活制定，可采集的數據類型包括分布式數據信息、關系數據庫中結構化數據、各類半結構、非結構化的數據、靜態及高低頻知識數據，互聯網數據，以及第三方合作商提供的數據，并且能實現對數據質量進行監控和迭代優化。

3教育大數據數據智能存儲及檢索

智能存儲及檢索主要分為：數據的全量原始庫建設、標準化數據倉庫建設、應用模型主題庫建設、數據管理及檢索平臺建設;針對采集的原始全量數據及增量數據構建原始數據倉庫，實現業務系統原始數據和增量數據的全量數據備份，同時為校內數據積累提供數據存儲;對原始數據倉庫數據清洗及標準化處理，如一卡通數據、互動教學平臺數據、教務系統是數據等海量分散數據進行清洗預處理，并分析適配，形成數據分析表、入庫存儲，對傳統的關系型數據庫，也包括XML等半結構化數據，以及以視頻、音頻、文本和其他形式存在的非結構化數據，將如殘缺數據、錯誤數據和重復數據進行處理，把結果集入庫，并記錄清洗結果，形成標準化數據庫倉庫，最后通過建模分析，針對模型建立模型分析主題數據倉庫。平臺同時提供高效的數據管理及檢索，可通過對數據平臺的授權向外提供數據訪問接口，實現訂閱式的數據共享。

4教育大數據平臺核心

教育行業大數據中的核心為算法的挖掘與應用，針對教育大數據平臺，基于基礎模型和應用模型采用類似機器學習算法、基礎算法、聚類算法、實時流計算等算法，實現對數據的建模分析。在數據挖掘中，將整體的分析和計算的框架分為三個層次來設計，數據層、算法模型層、使用層。

在數據層中，主要解決了數據的采集、調度、存儲等問題，采用了Hadoop框架搭建整體的計算、存儲框架，保證系統的高效計算以及可靠存儲，采用分布式框架，可保證系統的橫向擴展和持久運行。Hadoop框架中特有的并行計算和調度能力，保證了整個平臺的實現實時計算和實時交付的功能。

算法模型層主要功能在于積累了適合大數據不同功能以及實現不同計算效果，匹配不同模型的算法庫。在整個大數據系統中，常見的需要用到的功能算法有時序分析、主成分分析、關聯和推薦、深度機器學習、統計、分類、聚類、回歸、特征工程、判別、信念網絡、圖計算等算法。

使用層主要針對前端業務應用效果，開發對應的開發和開放接口，對接響應的模型算法，計算和呈現對應的結果。提供機器學習算法庫，包含聚類分析、分類算法、頻度關聯分析和推薦系統在內的常用機器學習算法。通過大數據平臺的深度挖掘和關聯分析，為全校師生員工提供數據服務以及綜合數據分析服務。

在設計數據模型之后，已經確定業務概念、變量、業務規則，選擇合適的算法。數據挖掘中常見的算法有回歸分析、關聯分析、聚類分析、孤立點分析等。根據學校數據維度、業務邏輯開展為業務分析。

5教育大數據推動學校管理和教學走向智慧

智慧教育是當前教育信息化的發展方向，也是教育信息化的美好期望，但要實現教育中的智能支持，大數據是必不可少的。近幾年以深度學習為代表的人工智能實現了突破，關鍵在于一方面是大規模并行計算能力的發展，另一方面是大數據的匯聚，通過深度人工神經網絡學習大數據中蘊含的規律，從而獲得了智能，如語音自動識別、語言精準翻譯、計算機視覺等。在教育領域，如果要全面了解學生，必須全面采集學生學習過程的各種大數據，通過數據擬合，形成模型。教育大數據匯聚應用是智慧教育必經的前置階段，依托大數據，逐步形成智能系統和智能裝備，為智慧教育發展奠定基礎。

教育大數據是在教育活動運行過程中的數據，它反映教育系統運行過程中實時、真實的運行狀況，蘊含著教育系統運行的內在規律。通過數據挖掘，將這種規律及其演化趨勢可視化展現出來，使教育決策部門可以預測到學校教育發展的需求趨勢，從而進行科學的教育決策與教育資源配置，實現事前預警，使得教育資源配置過程更迅速，甚至達到實時與即時性。

教育大數據使得教育管理決策更加科學。利用大數據可以深度挖掘教育教學數據中的隱藏信息，可以發現教育過程中存在的問題和關鍵點，提供決策來優化教育管理。

教育大數據使得教育教學模式更加精準，在教育教學方面，將從數字化教育走向基于大數據分析的智慧教育。通過大數據的群體分析抓住關鍵特征，教育更加高效、開放和多元，教學活動參與者之間的溝通更加通暢，互動更加深入。教師對教育教學過程的掌握從依靠經驗轉向以教育數據分析為支撐。大數據分析還可以用于對教師的綜合評估，在跟蹤教學學情的過程中，用數據挖掘和分析等方法幫助教師分析教學方法和手段的有效性，使教師及時調整教學計劃和方法，提升自身教育教學的基本功、教學技能和學科素養。

教育大數據使得學生學習方式更加個性化，通過大數據學情分析，學生在移動終端或軟件等教學媒體上的數據可以被精確記錄下來，如點擊資源的時間、停留多久、問題回答正確率、回訪率和其他資源信息，通過學情數據可以找到學生的學習特點、興趣愛好和行為傾向。大數據學情分析使教育更加以學習者為中心，使集體教育轉向個性教育。同時還伴隨著教育者和學習者思維方式的改變，進一步使個性化教育成為可能。

教育大數據使得教育評價方法更加公平，大數據支持的教育評價正在從“經驗主義”走向“數據主義”，不僅表現在評價思維上，還包括評價方法上。基于大數據的教育教學特別強調改變“唯成績論”的做法，評估不再僅僅是由考試成績、紀律評分、自評互評等手段的主觀傳統意義上的措施，而是由大量的過程數據感知得到，主客觀結合，過程結果評價結合，為實現教學評價的公正提供了依據，優化了教學方向。

教育大數據使得科學研究路線更加客觀，大數據應用強調自動的、連續的記錄和搜集的數據流，這比傳統調查數據更加客觀和中立。大數據還將改變傳統學術研究的過程，使得學術研究和信息技術、課題研究與實踐聯系在一起，讓教育科學研究路線更豐富。

在大數據時代，教師的工作不再簡單的是知識傳授，而是將知識的輸出形式變得多樣化，關注學生的個性特征。將統一形式、集體化的教學轉變為信息技術支持下的教學。也就是說在了解學生的認知能力和知識結構的前提下，將知識進行遷移、整合并進行傳授。

互聯網和大數據的發展，還給我們帶來發展個性化教學的機會，可以說在教育學上是有非常大的意義的。大數據技術可以在教育平臺上跟蹤和關注老師和學生的教學、學習過程，記錄老師和學生的課堂表現以及課下行為的數字化痕跡，通過在教育活動中點滴微觀行為的捕捉，為教育管理機構、學校、老師和家長提供最直接、客觀、準確的教育結果評價等。可以說，大數據在教育領域的運用是當代教育發展的必然趨勢。

參考文獻

[1] 教育部.關于印發《教育信息化2.0行動計劃》的通知[EB/OL].http：//www.moe.gov.cn/srcsite/A16/s3342/201804/t20180425_334188.html，2018-6-30.

[2] 王盛之，毛沛勇.基于數字化教學案的智慧課堂互動教學系統實踐研究[J].教學月刊（教學管理）（中學版），2014（04）：51-55.

[3] 陳池，王宇鵬，李超，張勇，邢春曉.面向在線教育領域的大數據研究及應用[J].計算機研究與發展，2014（51）：67-71.

[4] 余勝泉，李曉慶.區域性教育大數據總體架構與應用模型[J].中國電化教育，2019（05）：18-27.