面向終身教育的大數據統一支撐平臺架構研究

程方昭 楊惠

摘要：為促進終身教育科學化管理，推動終身教育發展，本文從大數據視域出發，研究終身教育統一支撐平臺架構，以實現終身教育資源與服務的優化配置為目標，從數據采集、數據治理、數據分析和數據應用四個層面詳細闡述了平臺設計思路。

關鍵詞：終身教育;大數據;平臺架構

中圖分類號：G40-057 ?文獻標識碼：A ?論文編號：1674-2117（2022）13-0105-04

● 引言

構建終身教育體系，建設全民學習、終身學習的學習型社會，促進人的全面發展是我國教育發展的戰略部署。通過對終身教育數據進行采集、匯聚整合和應用分析等，可以探索終身教育發展規律，促進終身教育科學化管理，優化終身教育學習環境，從而推動終身教育的發展。因此，筆者嘗試從大數據視域研究終身教育統一支撐平臺架構，以實現終身教育資源與服務的優化配置的目標。

● 終身教育大數據的需求分析

1.終身教育大數據體系建設需求

大數據體系建設包括數據資產規劃、數據管理、數據分析，以及面向客戶的不同類型數據資源應用，數據應用的目的是將數據及數據分析的結果投入到實際業務層面，用于輔助管理與運營，從而產生效益。建設終身教育大數據體系，有助于研究人員開展終身教育的相關應用研究，為社區居民、青少年、老年學習者提供精準化個性化教育服務，同時為政府、行業、企業、院校等機構提供相關數據咨詢及研究依據，為提高終身教育發展水平、優化終身教育發展環境提供有力支撐。

2.精準化個性化終身教育服務需求

終身教育用戶群體分散，學習需求多樣，為提高教育效率，增強教育效果，加強主管部門對終身教育發展現狀的掌控力度，需要通過對終身教育大數據的研究與應用，進行個體學習行為分析、能力畫像分析、學習者綜合素質分析、學習情況數據跟蹤等，實現教學資源的精準化匹配，為社會成員以及師生提供多樣化、精準化、個性化的終身教育服務。

3.科學化高效化終身教育管理需求

終身教育主管部門需依據業務發展情況和問題制定相關管理制度和決策，指導終身教育工作開展。利用大數據分析技術，對終身教育發展情況，如課程開展、活動安排、受益人群、學習效果評價、學員信息、學習行為、就業信息等數據進行采集與分析，量化終身教育發展現狀，隨時掌握各地區各部門的終身教育業務發展情況，從而幫助主管部門更好地配置終身教育資源、制定教育管理相關決策。

● 終身教育大數據統一支撐平臺架構的研究與設計

終身教育大數據統一支撐平臺由數據感知采集平臺、數據處理存儲平臺、數據分析挖掘平臺、數據應用展現平臺四部分組成，自下向上地提供數據采集、數據存儲治理、數據分析挖掘、數據應用展現等大數據服務（如圖1）。[1]

1.數據采集子系統

數據采集子系統需以規范要求為引導，以現有數據資源為基礎，以服務下沉與精細化運營為手段，以大數據技術為支撐，建立完善的終身教育數據采集與管理體系。通過數據交換、數據推送等方式進行數據的集中存儲和管理，不同數據資源采用針對性的差異化采集手段，具體包括現有業務系統數據對接、互聯網終身教育數據采集和非結構化數據整合等。

（1）現有業務系統數據對接

與現有的終身教育業務系統進行數據對接，通過API接口定時從各業務系統采集數據，并匯總到數據中心，包括學生數據、教師數據、資產數據、學生評價數據、學習過程數據等。

（2）互聯網終身教育數據采集

系統需集成爬蟲工具，利用爬蟲技術對政府部門網站、主流新聞媒體網站、終身教育專題網站、官方微博和微信公眾號等渠道進行網絡數據采集、處理和存儲，要求爬蟲工具支持同時對上萬個互聯網站點內容進行采集，并具有快速采集數據和響應的能力，通過采集互聯網數據，實現對終身教育大數據的補充。

（3）非結構化數據整合

終身教育相關業務部門日常產生的文檔、網頁、圖片和音視頻等資料通常是非結構化數據，對數據做清洗處理，并結合業務理解和深度學習的手段進行數據處理，如通過深度學習來做特征提取等，將非結構化數據轉換為結構化數據，并存儲到數據庫中。

2.數據治理子系統

數據治理是將數據作為資產而展開的一系列具體化工作，是對數據的全生命周期進行管理，也是對數據資產的實際管理和控制的過程。[2]終身教育工作開展存在信息化程度不高、數據標準規范還不健全等問題，導致數據共享存在困難，通過數據治理統一規范終身教育數據標準，可以大大提高終身教育數據資源的共享程度。數據治理子系統包括數據資源規劃、數據標準管理、數據模型管理、元數據管理、主數據管理、數據質量與服務六大模塊，詳細設計如下頁圖2所示。

通過數據資源規劃可以梳理業務數據，制訂數據資源目錄;通過數據標準管理，制訂并更新終身教育數據統一標準;數據模型是數據治理的關鍵和重點，數據模型設計應該盡可能細致，通過對終身教育相關系統和業務進行詳細調研和分析，對業務劃分主題，數據劃分類別，產生終身教育各業務線的業務模型，在此基礎上進行數據模型的設計;元數據管理主要解決數據的參考框架、數據模糊性、可視化數據流動、影響和血緣分析、標準化建設、規范化數據審計等問題;主數據管理要做的就是從各部門的多個業務系統中整合最核心的、最需要共享的數據（主數據），集中進行數據的清洗和處理，并且以服務的方式把統一的、完整的、準確的、具有權威性的主數據傳送給業務單位范圍內需要使用這些數據的操作型應用系統和分析型應用系統[3];數據質量管理通過完整性、一致性、準確性、及時性等多類維度對數據進行度量[4]，是提供數據服務、發揮大數據價值的前提。

3.數據分析子系統

數據分析子系統需提供終身教育大數據分析建模和挖掘的基礎算法，并包含數據集管理、算法定義與管理、模型定制與管理等功能，同時要能為數據應用展現子系統提供服務調用接口。

（1）數據集管理

為大數據建模挖掘提供數據接入、數據導出和數據配置等功能。支持多種數據源的接入，包括關系型數據庫、數據倉庫、分布式文件系統、NoSQL數據庫等。提供離線數據文件導入功能，支持CSV、TSV等文件格式。提供分析挖掘各類數據集的生成、切分等功能，能夠生成訓練集、驗證集等。支持數據集的持久化存儲、多副本配置，保證數據高可用性。支持數據刪除、數據集導出等功能。

（2）數據預處理功能

支持對數據集進行OLAP分析，提供缺失值補全、數據歸一化、數據離散化、識別和去除離群點、平滑和去除噪聲等方法，實現數據格式標準化、異常數據清除、錯誤糾正、去除重復數據等功能。[5]

（3）大數據分析挖掘算法

提供通用算法庫，包括但不限于特征提取、主成分分析、特征選擇、特征關聯性分析、特征趨勢分析等特征分析算法，K-Means、EM等聚類算法，線性、指數、邏輯回歸等回歸分析方法，FPGrowth、Apriori等關聯分析算法，指數平滑、稀疏時間序列、移動平均算法等時間序列算法，貝葉斯模型、決策樹、隨機森林、神經網絡、深度學習等機器學習算法。

（4）可視化建模

提供可視化建模操作界面，通過可視化交互的方式構建分析模型，操作功能主要包括數據導入，算法加載和組合，參數配置和調整，模型的新建、導入、保存、查看等，支持命令行方式執行算法模型。提供模板庫管理功能，能夠復用已有的數據挖掘流程模板，支持快速模型創建、驗證和調整。

（5）實時計算支持

基于分布式流數據實時框架，對連續數據流進行實時分析處理。可以提供自適應機器學習算法，實時獲取增量數據并優化模型參數，支持在線預測、實時推薦等分析任務。

4.數據應用展現子系統

數據應用展現子系統由數據應用和可視化展現兩部分組成。

（1）數據應用模塊

數據應用是以實現終身教育業務價值為導向，以用戶為中心，為終身教育內外部不同層面用戶提供數據服務的能力。圍繞終身教育數據應用的兩個核心部分——數據和服務，聚焦數據應用的效率和質量，需建立敏捷、高效的數據應用子系統，主要由數據開放協同、業務流程管理、報表指標應用和智能運維應用四部分組成（如下頁圖3）。

（2）可視化展現模塊

該模塊需要為終身教育大數據的可視化分析展示提供多種通用和自定義的圖表組件，為數據展現提供直觀快捷的發布方式及豐富的呈現樣式，能基于不同維度定義可視化展現效果，支持時間維度自動拆分，提供圖表屬性的設置功能，支持根據維度、層次等進行上卷下鉆，提供即時預覽、圖表自動刷新等功能，支持多種圖表展示方式之間的自由切換（如圖4）。

● 結語

本文從數據采集、數據治理、數據分析和數據應用展現四個方面完整展現了終身教育大數據統一支撐平臺架構的設計思路，構建終身教育大數據統一支撐平臺對終身教育的數據規范、數據應用等有很好的推動作用。平臺建設的目的在于應用，后續研究應圍繞數據洞察、數據服務、數據流通等，開展數據資產運營和應用的治理，嚴格按照信息采集、業務架構、運行機制、數據共享、可視化展示等標準，以教學為中心，以服務為導向，探索構建終身教育大數據體系的途徑，通過可視化平臺多維度多層次地展示數據內容，揭示數據潛藏的規律和價值。

參考文獻：

[1]沈光輝，陳明，程方昭，等.終身教育大數據應用模型與服務平臺構建研究[J].中國遠程教育，2020（12）：59-68.

[2]謝湘.基于大數據平臺的數據治理思路[J].科學與信息化，2017（18）：38-39.

[3]孟欣.高校智慧校園數據治理解決方案探究[J].電腦編程技巧與維護，2019（10）：83-85.

[4]余鵬，李艷.大數據視域下高校數據治理方案研究[J].現代教育技術，2018，28（06）：60-66.

[5]徐帆.人力資源和社會保障大數據智能分析平臺的設計與實現[D].杭州：浙江工業大學，2019.

第一作者簡介：程方昭（1970.2—），副研究員，本科，主要研究終身教育信息化、終身教育大數據云計算平臺。

基金項目：福建省教育廳、財政廳2018—2020年終身教育一般課題研究項目“社區教育與老年教育融合發展研究”（JZ190013）;福建省教育廳、財政廳2018—2020年終身教育重點課題研究項目“大數據視域中社區教育數據服務平臺的開發和應用研究——以福建省為例”（JZ190128）。