高校大數據平臺構建研究

（岳陽職業技術學院 信息工程學院，湖南 岳陽 414006）

大數據時代，高校管理中數據激增，僅數據收集（不涉及分析與利用）就已經成為管理者的負擔，大數據已成為高校一個無法回避的挑戰。海量數據中包含著各種信息，大數據技術在各行各業中作用日益凸顯，成為推動社會轉型的新動力和提升社會治理能力的新途徑[1]。高校大數據技術實施過程中，大數據平臺的構建是至關重要的一個環節，關系到大數據項目的落地實現。

1 高校大數據平臺的建設現狀

隨著信息化建設的發展，高校已完成了校園網站的建設、校園一卡通業務系統的建設，建成了教學管理系統、學生工作信息管理系統、教務管理系統、科研系統等，基于校園網的信息資源和應用系統建設不斷豐富和完善[2]。現有管理系統內蘊含的巨量數據（數據量以TB 計），為師生的學習、生活、教學、科研、管理等方面提供了豐富的數據信息。但由于系統間技術架構各異，數據標準不一，形成信息孤島，信息共享難以實現，阻礙了部門間的協作[3]。另一方面，日常產生的海量日志類數據，以及記錄校內群體行為的數據，蘊含了巨大的價值，需要存儲、處理和分析[4]。

2 高校大數據平臺的構建目標

數據資源建設是高校信息化建設的重要組成部分，經過多年的建設，高校校園信息化系統已積累了大量的數據。高校大數據平臺建設的目標為：利用大數據技術，對校園數據進行采集、清洗、整理和分析，充分挖掘其中蘊含的價值，為師生提供智能化的服務，為高校的發展提供決策支持，為高校的管理提供指導方向，實現信息綜合服務能力的提升，為校園建設奠定基礎[5]。

3 高校大數據平臺的架構設計

高校大數據平臺要運用大數據技術，對學校已有數據進行充分的挖掘、分析，并通過數據可視化工具，快速地構建數據圖表，有效地展示結果，高效地發揮數據的價值[6]。因此，需實現數據采集、數據存儲、數據分析、數據展示的功能。

課題組依據高校數據特點，在傳統高校數據平臺的基礎上，以數據采集、數據存儲、數據分析、數據展示為主線，結合大數據領域最流行的Hadoop 框架與Spark 框架，展開了高校校園大數據平臺架構，如圖1 所示。

圖1 高校校園大數據平臺架構

平臺以Hadoop 為核心。Hadoop 為大規模并行數據處理算法提供運行環境，支持PB 級別的存儲容量，適合大數據分析應用，適合大服務器集群的運行。根據實際需要，平臺上選用了一些Hadoop 家族的開源組件（如Sqoop、Hbase、Yarn、Spark 等）。這些開源組件的優勢在于：社區活躍，組件能得到不斷維護和更新；用戶較多，存在的bug 能被及時發現并修補，質量更可靠；代碼開源，可結合項目的需求修改代碼，使用風險低。

3.1 數據采集

數據采集是數據分析的基礎，這個模塊負責多模態數據的廣泛采集，所采集的數據包括結構化的業務數據（教務、學工、科研、財務等業務數據）、半結構化或非結構化的機器數據（HTML日志、網絡日志等機器數據）和學校外部互聯網數據。數據采集的設計，取決于數據源的特性。數據源是整個大數據平臺蓄水的上游，而數據采集只是獲取水源的管道。大數據平臺數據采集必須支持數據源的多樣性，不同的數據源使用不同的工具，在數據采集的過程中應確保數據的質量和可靠性。

本研究的高校大數據平臺數據采集主要由Sqoop、Flume 和爬蟲組成。Sqoop 主要用于HDFS與關系型數據庫（Mysql、Oracle、SQLserver 等）之間的數據傳輸，能夠將關系型數據庫中的數據導入到HDFS 中，或將HDFS 中的數據導入到關系型數據庫中。Flume 負責基于Hadoop 平臺的系統日志數據采集。高校大數據平臺產生大量高價值系統日志信息，Flume 采用分布式管道架構和流處理方式，可滿足平臺對信息速度的需求。網絡爬蟲負責網絡數據采集，按照一定的規則，通過網頁鏈接地址尋找網頁，自動地抓取萬維網信息。校園大數據平臺需要對現實網頁中的數據（包括網頁、數據、圖片和文件等）進行采集、預處理和保存，網絡爬蟲正好適合。

數據采集的任務可根據需要設置定時運行，瀏覽接口運行的情況，對數據接口設置全量更新或增量更新。采集來的數據采用數據集的方式管理，設置鉆取路徑、數據歸檔備份、數據回滾操作，保證數據的安全可靠以及系統的穩定。

3.2 數據存儲

大數據面對的數據量異常大，數據結構復雜，因此，大數據平臺的數據存儲模塊需要集成多種類數據存儲技術。對于傳統業務系統數據，采用關系型數據庫進行存儲，對于半結構化、非結構化數據，采用HDFS 進行存儲。依據實際情況，制定合適的存儲策略，將數據存放到相應的邏輯存儲區中，方便管理和調用。

本研究設計的校園大數據平臺存儲方面主要涉及Hadoop 分布式存儲技術，包括HDFS（Hadoop Distributed File System）分布式文件系統。分布式存儲技術將很大的記錄查詢任務拆分到不同的節點上進行查詢，每個節點數據量不會很大，從而提升了查詢效率。HDFS 為海量數據提供了高容錯性和高吞吐量的數據存儲，除HDFS 外，數據存儲模塊還采用開源數據庫HBase，HBase 是一種分布式、面向列的數據庫，它部署在HDFS 上，通過添加廉價的商用服務器，增加計算和存儲能力。HBase 是非關系型數據庫，它擺脫了表的存儲模式，再加上起步較晚，因而對大數據的響應要比關系型數據庫快的多。

校園大數據平臺還要建設符合要求的數據倉庫，數據倉庫根據主題的不同，將原本分散的數據集成新的數據源，產生新的數據接口，供系統調用。

3.3 數據分析

大數據領域研究的熱點問題為：如何將來源各異的海量數據，經過有效的分析處理，得到有價值的信息。

高校大數據平臺業務需求為：基于數據倉庫中的數據，運用編程語言，結合當前主流的大數據處理分析框架和工具，對數據進行全方位、深度的挖掘和分析，提供有價值的信息，供學校領導層作方向判斷和決策制定。

這里，數據分析模塊主要采用的組件為YARN、Spark 和MapReduce。YARN 用來為上層應用提供統一資源管理和調度，主要有三大模塊：RM 負責資源的監控、分配和管理；AM 負責應用程序的調度和協調；NM 負責節點的維護。3 個模塊協同工作，完成集群的資源統一管理，出色地實現資源利用率、數據共享等。

Spark 是專為大規模數據處理設計的內存計算框架。Spark 中數據被高度抽象、存儲，加載到節點內存中，在內存中完成計算，能夠快速訪問數據，有效提高了執行的時間效率，特別適合數據分析中的批處理、迭代計算、交互式處理(如數據挖掘)和流式處理(如點擊日志分析)等。

MapReduce 框架用來為大規模數據集提供并行計算，通過將待處理的大數據分為多個數據塊，分配、調度計算節點處理相應的數據塊，監控節點的執行，并負責執行的同步控制，為編程人員將程序運行在分布式系統上提供方便。

數據分析模塊提供數據挖掘開發工具，用戶可在平臺圖形界面自行指定數據源、配置算法參數和數據輸出位置。模塊在數據倉庫的基礎上，運用常用的統計方法，如關聯規則分析、線性回歸等，通過專業軟件進行分析、挖掘處理后，給出有數據支撐的報告，從中發現問題，預測趨勢。例如：在學生在校相關行為日志數據的基礎上進行大學生行為分析，對學生學習、消費等趨勢作出預測。

數據分析模塊還提供數據分析建模工具，數據分析建模工具運用常用的機器學習算法，根據用戶需求，在已有數據基礎上，自動進行智能分析，提供參考結果。如學生異常行為發現、績效考核預警等。

3.4 數據展示

數據展示模塊主要采用數據可視化技術，將數據分析結果在圖表視窗中清晰、直觀地展示出來。數據展示模塊提供圖形化拖拽界面，支持各類統計圖、報表的自動生成、靈活部署。圖表、儀表板和數據報表是數據最直接的展現方式。數據可視化技術支持人機交互方式下，各種統計分析圖表類型的繪制。

數據展示分為主題數據統計展示和智能應用模塊。主題數據統計展示根據不同的主題，形成數據統計展示，包括領導駕駛艙數據展示、教師個人數據展示、學生個人數據展示等；智能應用模塊展示包括學生綜合預警功能、網絡安全預警功能等。

4 結束語

大數據平臺是高校校園數據的中心，大數據平臺的構建，為高校大數據的應用提供數據、管理、服務、技術等多層面的有效支撐。高校大數據平臺的建設，解決了高校數據共享問題，以及非結構化數據存儲與處理問題，

本研究提出的校園大數據平臺，基于當前最流 行的Hadoop 開放式架構，采用Sqoop、Flume 和爬蟲完成各類數據的采集，采用HDFS 完成分布式存儲，采用YARN、Spark 和MapReduce 組成分析模塊，采用數據可視化技術進行數據展示，能夠對校園信息進行綜合的分析整理，更好幫助教師管理學生，加快推進智慧校園的建設。下一步將重點研究大數據相關算法以及架構中數據利用過程中的安全問題和隱私保護問題。