淺談大數據平臺在智慧校園中的應用

陳 穎 遲耀丹 吳博琦 劉安琪

（吉林建筑大學，吉林 長春130118）

隨著時代的不斷進步發展，高校管理變得越來越艱難，“智慧校園”應景而生。然而，隨著學生的人數增多，使之對應的相關數據量變大，并且隨著時代的進步，學校對于每個學生管理的數據類型也在增加。這導致了學校需要掌握的學生的各項數據在數量上飛速增加。而大數據平臺正是針對于大量信息處理的使用思路及技術，能和不斷發展的校園管理系統完美結合。

在校園系統中搭建大數據平臺，利用相關技術采集、分析和挖掘師生產生的數據，例如基本信息（姓名、性別、班級、學號或工號、家庭住址等）、教學數據（成績錄入和分析、課程選擇和選課等）、生活數據（一卡通的消費數據和圖書館借書信息等），為師生提供便捷、高效的服務平臺，是智慧校園發展道路上的一個重點研究問題。

1 智慧校園發展歷程

智慧校園的前身是數字化校園。從數字化校園到智慧校園一共經歷了五個階段[1]。

第一階段是90 年代，電腦、校園廣播、多媒體設備等電子產品的普及；

第二階段是90 年代到00 年代，辦公室、教室等辦公學習地區互聯網相通；

第三階段是00 年代，此時老師和學生可以通過有線無線網絡及移動網絡，隨時隨地的進行學習和溝通；

第四階段是00 年代到10 年代，一卡通、智慧教室等教育信息化工具開始聯網；

第五階段是在10 年代之后，基本可以實現學生自由多樣有個性的學習，老師差異化的教學。

智慧校園發展的五個階段如圖1 所示：

現在的智慧校園，已經可以給師生提供一個良好的工作、學習和生活的環境。但是冗雜海量的數據卻成為智慧校園未來發展道路上的一顆絆腳石。為解決這一難題，工程專家結合發展迅速的大數據平臺，利用相關技術建設更加完善的智慧校園。

圖1 智慧校園發展的五個階段

2 大數據發展歷程

硬件成本的降低、網絡寬帶的提升、云計算的興起、網絡技術的發展、智能終端的普及以及物聯網的發展是大數據產生的前提。

二十世紀末，大數據剛開始出現，還停留在數據挖掘階段；2003 年到2006 年，開始自由探索大數據，處于突破階段；2006年到2009 年，并行計算和分布式系統開始形成，大數據逐漸成熟；2011 年到2013 年，麥肯錫全球研究所先后發布研究報告《大數據：下一個創新、競爭和生產力的前沿》[2]和《顛覆性技術：技術改進生活、商業和全球經濟》[3]，使大數據廣為人知，越來越多的專家開始投身研究。

3 大數據分析工具與處理技術

大數據的分析與處理，主要有數據采集、數據存儲、數據挖掘和數據可視化四部分[4]，常與云計算結合分析數據。現在智慧校園建設中，運用最多的大數據分析工具是基于云計算的Hadoop 及其生態圈以及Spark 技術。

3.1 Hadoop 及其生態圈

目前，Hadoop 云計算平臺主要采用開源技術。Hadoop 技術框架是大數據建設的主流技術，核心是HDFS 和MapReduce[5]。

Hadoop 技術框架中，HDFS 組件[5]是數據存儲管理的基礎，可以滿足基于流數據模式訪問和超大文件數據存儲的需求。HDFS 組件的優點是高容錯性、高可靠性、高可擴展性、高獲得性、高吞吐率，可以解決普通存儲存在的存儲故障等問題，為大數據的應用處理帶來了很多便利。

分析計算模型——MapReduce，是Hadoop 中的并行計算框架。MapReduce 組件[6]對大數據進行分析處理，將接收到的數據分析任務分為并行的Map 任務和Reduce 任務。

3.2 Spark 技術

Spark 技術[7]是在MapReduce 的基礎之上發展而來，計算性能遠遠超過Hadoop，計算速度是Hadoop 的110 倍。Spark 與Hadoop 一樣采用開源技術，是一種基于內存的數據分析集群計算框架，Spark 利用Scala 語言來優化迭代式工作負載。實際上，Spark 可以在Hadoop 文件系統上與Hadoop 一起運行。Spark 技術的核心組件有SparkSQL、SparkStreaming、SparkGraphX 以及SparkMLlib。

SparkSQL[8]是Spark 技術中用來處理結構化數據的一個模塊，讓內部可以使用其他結構信息來執行更成熟的優化，外部可以讓SQL 和DataSet 的API 交互。SparkSQL 的開發目的是為用戶提供關系查詢和復雜過程算法混合應用的靈活性，能在很快的時間里產生結果數據。

SparkStreaming[8]是Spark 技術中的應用計算程序，可以對實時數據進行高通量、高容錯的流式處理，將流式數據轉化為RDD，操作方法類似Map 任務和Reduce 任務。

4 智慧校園分析平臺

隨著時代的進步和高校老師教學、學生學習的需求，智慧校園應景而生，隨之而來的是各類數據的集合。利用時下最熱的大數據平臺處理師生產生的海量數據，從而得到對高校有益的知識。

智慧校園大數據分析平臺分為平臺層、功能層、服務層三個層次[9]。平臺層是智慧校園大數據分析平臺的基礎支持；功能層的功能是存儲數據、挖掘知識；服務層為用戶提供便利的大數據服務。在智慧校園平臺里，師生可以通過用戶界面查詢工作、學習或生活各方面的信息。智慧校園大數據分析平臺如圖2 所示：

圖2 智慧校園大數據分析平臺

大數據處理首先是進行數據抽取與清洗，將用戶界面上的學生和老師的信息收集起來，檢測數據，剔除或改正錯誤、不一致的數據；然后是將數據存儲起來進行分析，將得到的數據存儲在HDFS 組件中；最后是利用Hadoop 或者Spark 進行數據挖掘，利用算法找到隱藏在海量數據中的重要信息，方便老師和學生查詢使用。

數據挖掘是大數據處理平臺的核心，是一種將原始數據分析方法和決策算法結合起來的技術。雖然數據挖掘這一概念的提出才短短30 年，但是現有社會的發展十分迫切的需要數據挖掘技術。數據挖掘的步驟如圖3 所示：

圖3 數據挖掘的步驟

數據挖掘中必然的一步是進行數據預處理。它的主要目的是處理智慧校園用戶界面收集到數據中存在的噪聲、不完整性和不一致性；審核數據是否完整、準確，是否有用、及時；剔除存在問題、不符合條件的數據；將得到的數據按一定的順序排列好。數據預處理有四個方法：數據清理、數據整合、數據變換、數據歸約。

結束語

建立智慧校園大數據分析平臺已經成為高校快速發展中不可忽略的一個重要環節。本文通過對智慧校園發展進程的簡單了解，對大數據中基于云計算的Hadoop 及其生態圈以及Spark技術的簡要介紹，提出了一個能使在校老師和學生便于科研、學習和生活的服務型平臺框架，為智慧校園建立大數據分析平臺提供參考。本文不足之處在于只提出了一個簡單的智慧校園服務型平臺的框架，在后續研究中，可考慮實現該平臺。