高校大數據分析平臺設計與研究

劉萍 張蕊

摘? 要：大數據技術在各行各業的作用日益凸顯，高校引入相關技術可以充分挖掘歷史數據蘊含的價值，為高校提高管理水平提供指引方向，為智慧校園的建設奠定堅實基礎。文章通過對高校大數據開發平臺服務構建的整體思路和解決方案、相關核心關鍵技術的分析，提出大數據分析平臺在高校的應用模式，從而對大數據在智慧校園中的應用提出積極建議。

關鍵詞：大數據;智慧校園;平臺設計

中圖分類號：TP311.13? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）01-0125-02

Abstract：The role of big data technology in all walks of life is increasingly prominent. The introduction of relevant technologies in colleges and universities can fully tap the value of historical data. This paper puts forward the application mode of big data analysis platform in colleges and universities through the analysis of the overall ideas，solutions and the relevant key technologies，so as to make positive suggestions for the application of big data in “smart campus”.

Keywords：big data;smart campus;platform design

0? 引? 言

2018年4月13日，教育部關于印發《教育信息化2.0行動計劃》的通知提出了教育信息化2.0的概念，在通知里多次提及大數據概念，說明大數據技術在未來教育信息化工作中的重要地位。而高校信息化建設已開始數年，在建設過程中，學校信息化建設和管理水平得到顯著提升，基于校園網的信息資源和應用系統建設不斷豐富和完善，多年來積累了大量的包括業務數據、日志、音頻、視頻、圖片、地理位置信息等不同數據源的各類數據。引入大數據技術不但可以實現這些數據的迅速流轉，而且可以對數據進行甄別和分析處理，充分挖掘出其中蘊含的價值，為高校提高管理水平提供指引方向，為智慧校園的建設奠定堅實基礎。

1? 大數據平臺的發展

高校在信息化發展的進程中，經歷了網絡校園、數字校園到目前的智慧校園，仍遺留一些信息化方面的缺陷，例如存在信息孤島、沒有共同數據中心等。在打造智慧校園的過程中，要打破這些壁壘，有必要引入數據存儲、流轉、分析處理能力和功能更加強大的大數據技術，對各類數據進行有機規劃，從根本上改變學校信息孤島的現象，構建學校“信息高速公路”。

高校的大數據平臺堅持以師生服務為導向，以師生需求為引領，推動“一切流程信息化，一切業務數據化”建設，建立全新的信息化生態系統。

通過大數據平臺，教務和學生管理部門可以通過數據了解歷年學校教學管理和學生信息，依靠大數據平臺進行數據挖掘、分析和處理，使高校學生管理人員能充分掌握學生情況，從而推動教學管理制度的改革。

通過大數據平臺，可以提供相關參考數據，有效地輔助學校各級領導進行研究、決策，最終達到提升學校信息化綜合服務能力的目的。

2? 大數據平臺架構設計

整個大數據中心架構從下往上分別是數據源層、數據采集層、大數據處理層、數據應用層，如圖1所示。

數據源層主要的數據來源有結構化數據、半結構化數據和非結構化數據。結構化數據源主要是高校業務數據庫、一卡通數據庫、計費認證數據庫等;半結構化數據源主要是各種應用和設備的日志信息，包括上網日志、Web服務器的訪問日志等;非結構化數據主要是各種來自互聯網的數據及相關的業務系統的數據。

數據采集層的主要功能是針對數據源層的不同數據源，使用不同的采集工具對數據進行采集，主要由Sqoop、Flume和爬蟲組成。

大數據處理層主要由Hadoop或Spark框架組成。包含底層保存數據的HDFS和HBASE，往上是分布式計算資源調度組件Mesos、Yarn等，再往上是Spark或MapReduce計算引擎，最上層是各種數據處理組件。

數據應用層提供基于大數據框架的各種服務，包括整個大數據中心智能應用模塊、主題數據的統計展示模塊、基于機器學習算法的智能應用模塊等。

3? 大數據平臺功能設計

3.1? 平臺開發管理模塊

（1）平臺開發管理維護模塊：本模塊提供了圖形化可拖拽工作流形式的數據采集處理開發工具、各種數據源采集組件和各種數據加工處理組件。同時還提供數據保存組件，可以將數據保存到關系型數據庫、NoSQL數據庫、各種格式的文件等。此外，對開發完的工作流可以進行編輯、保存、刪除、版本管理、運行時間及條件設置、運行狀態監控、運行狀態預警（支持以郵件、短信、微信消息等形式通知）。

（2）數據統計挖掘模塊：本模塊提供圖形化可拖拽工作流形式的數據挖掘開發工具，提供內置的常用函數庫、數據預處理組件、各種大數據分析算法組件、統計算法組件、文本處理和挖掘算法、自定義的算法組件等，其中每種算法都以可視化的組件形式提供，用戶可以配置算法參數、指定數據源和數據流出目標，數據統計挖掘的工作流處理完的數據可以輸出到報表，保存到各種關系型數據庫。

（3）報表生成模塊：本模塊提供一個圖形化拖拽+腳本的開發界面，可以進行報表的開發并生成各種類型的統計圖，開發的報表可進行靈活部署，可以單獨發布或集成到其他系統頁面，同時報表可兼容各種瀏覽器。

（4）數據檢索模塊：本模塊可以對大數據平臺上的數據進行靈活、快速的檢索。

（5）接口管理發布模塊：本模塊對指定數據可以進行接口發布，采用RESTful形式的接口，接口調用可以實現權限管理、訪問限制等設置。

（6）大數據平臺運維管理模塊：本模塊對大數據平臺的硬件設備、軟件組件和各種監控指標進行監控和報警，當事件發生或滿足閾值時，可以對指定的管理人員進行包括郵件、短信、微信消息等形式的通知。同時，提供詳細的日志功能，記錄平臺的各種操作和運行日志，并提供便捷的查詢界面，能夠對各種日志進行查看、審計。

（7）權限管理模塊：本模塊主要是管理員對大數據數據中心的功能進行權限分配，系統管理員為整個系統的最大管理員，擁有所有權限。

3.2? 主題數據展示模塊

（1）數據采集工作：數據采集工作參考教育部2012人事管理信息子集，可以對人事、學生、教務、科研、財務、資產、設備、招生、就業、一卡通、圖書館等業務的數據進行采集、加工;同時，對網絡設備、網絡計費、審計設備等日志數據進行采集。

（2）領導駕駛艙數據展示：領導駕駛艙數據展示功能可對人事、學生、資產、科研、教學、資產設備、校情、外事、檔案、辦公等數據進行領導視角的統計挖掘展示。

（3）教師個人數據中心展示：教師個人數據中心展示基于教職工在各個系統中的數據，以教職工個人為中心，形成各種數據統計展示，例如：人事信息、科研成果信息、工資情況信息、教學情況信息、一卡通信息、圖書借閱信息、上網信息等。

（4）學生個人數據中心展示：基于學生在各個系統中的數據，以學生個人為中心，形成各種數據統計展示，例如：個人基本信息、考試成績信息、獎學金助學金信息、助學貸款信息、一卡通消費信息、圖書借閱信息、上網信息等。

3.3? 智能應用模塊

（1）學生綜合預警功能：通過對各種數據源中學生數據的采集、處理、分析挖掘，形成各種預警模型，可以對學生的經濟困難狀況、學業狀況、離校狀況、進校狀況進行預測報警或提示，對分析結果進行報表展示，提供查詢及各種類型消息推送功能等。

（2）網絡安全預警功能：通過對各種網絡設備的數據進行采集、處理、分析挖掘，進行各種網絡安全預警模型，可對非法的網絡訪問、網絡入侵、非法操作等進行預警，對分析結果進行報表展示，提供查詢及各種類型消息推送的功能等。

4? 結? 論

通過對學校的多年信息化建設形成的數據進行大數據分析，除了可以提供多角度、多維度及直觀的數據展示，還可以在此基礎上完成跨部門和跨系統的業務流程重組和優化，建立一個具有規范業務流程、先進管理理念的分析決策系統，為學校各級領導進行研究、決策提供數據支撐。同時，學生相關的綜合查詢和預警功能，為學生管理提供輔助支撐，為學生提供人性化的管理與服務，還可促進高校信息化水平的提升。

總之，在高校管理中應用大數據技術，可以推動學校管理制度的創新與變革，在提升高校管理智能化的同時，為智慧校園的建設奠定堅實基礎。

參考文獻：

[1] 江學鋒.Web下基于數據挖掘的高校輔助決策支持系統設計 [J].信息與電腦（理論版），2016（20）：99-101.

[2] 代海平.大數據技術在高校學生管理中的應用 [J].智庫時代，2019（38）：90+92.

[3] 李玉榮.大數據視域下高校智慧校園建設的可行性路徑研究 [J].信息技術與信息化，2019（8）：146-148.

作者簡介：劉萍（1975-），女，漢族，福建莆田人，副高級工程師，碩士研究生，研究方向：數據挖掘、智慧校園、教育信息化。