基于大數(shù)據(jù)技術(shù)的 智慧校園數(shù)據(jù)服務(wù)平臺設(shè)計與實現(xiàn)

楊子天 李濤

摘 要：文章針對國內(nèi)目前高校智慧化校園中存在的信息數(shù)據(jù)處理問題，運用新興大數(shù)據(jù)技術(shù)，設(shè)計開發(fā)智慧校園中的數(shù)據(jù)服務(wù)平臺，著力解決各高校信息孤島問題，通過對高校各系統(tǒng)數(shù)據(jù)的整合、分析、挖掘，為高校提供精準(zhǔn)的輔助決策數(shù)據(jù)和分析報告，主要包括海量、多樣的高校大數(shù)據(jù)的采集、清洗、計算與分析，海量高校大數(shù)據(jù)的動態(tài)圖表與可視化報告以及通過人工智能手段進(jìn)行數(shù)據(jù)挖掘等功能。

關(guān)鍵詞：大數(shù)據(jù)技術(shù);智慧校園;數(shù)據(jù)服務(wù)平臺

一、平臺的設(shè)計與實現(xiàn)

為了解決傳統(tǒng)手段難以滿足高校對信息化輔助管理決策的新需求，數(shù)據(jù)處理和存儲效率低下及建設(shè)門檻和成本高的問題，平臺先利用流式架構(gòu)整合智慧校園中的各類關(guān)系型和非關(guān)系型數(shù)據(jù)，研究多種異構(gòu)數(shù)據(jù)源數(shù)據(jù)的統(tǒng)一采集、匯聚和存儲及快速訪問。在此基礎(chǔ)上結(jié)合校園業(yè)務(wù)應(yīng)用場景，利用機(jī)器學(xué)習(xí)框架，構(gòu)建特征模型，對數(shù)據(jù)進(jìn)行監(jiān)督和非監(jiān)督訓(xùn)練，確定其間的關(guān)聯(lián)關(guān)系并作出預(yù)測判斷。實現(xiàn)對學(xué)校內(nèi)所有數(shù)據(jù)資源的統(tǒng)一、科學(xué)的組織與管理，提高數(shù)據(jù)質(zhì)量，釋放數(shù)據(jù)價值。

1.設(shè)計目標(biāo)

本平臺以智慧校園為基礎(chǔ)，利用流式數(shù)據(jù)處理、機(jī)器學(xué)習(xí)分析等大數(shù)據(jù)技術(shù)，高效地收集整合高校各方面所產(chǎn)生數(shù)據(jù)，從其中提取出有價值的信息和模型，推動高校教育的全面創(chuàng)新，是根本目的。本平臺的設(shè)計開發(fā)目標(biāo)有以下三點：①針對異構(gòu)且更新頻次不一的數(shù)據(jù)源構(gòu)建統(tǒng)一的數(shù)據(jù)采集平臺。②針對使用要求不一的數(shù)據(jù)構(gòu)建統(tǒng)一的分布式數(shù)據(jù)存儲服務(wù)平臺，提供統(tǒng)一的數(shù)據(jù)接口。③結(jié)合智慧校園的業(yè)務(wù)場景應(yīng)用，利用機(jī)器學(xué)習(xí)技術(shù)，挖掘數(shù)據(jù)的新價值。

2.平臺架構(gòu)

平臺系統(tǒng)整體架構(gòu)包括大數(shù)據(jù)處理、數(shù)據(jù)挖掘、硬件環(huán)境、客戶端等四個部分。其中大數(shù)據(jù)部分構(gòu)成整個平臺的基礎(chǔ)，硬件和軟件系統(tǒng)構(gòu)成平臺的容器，客戶端是平臺的出口。

（1）業(yè)務(wù)架構(gòu)。在集群硬件環(huán)境支持下，利用微服務(wù)架構(gòu)加上SpringCloud技術(shù)以及docker+kubernetes等技術(shù)實現(xiàn)一鍵布署。各微服務(wù)支撐高校大數(shù)據(jù)的所有業(yè)務(wù)場景、功能以及展示、報表所需要的資源;微服務(wù)通過Restful WebAPI實現(xiàn)與客戶終端的連接，微服務(wù)以這種接口形式實現(xiàn)服務(wù)與客戶端的分離，從而可以靈活地實現(xiàn)多終端的接入以及為第三方提供服務(wù)能力。如SpringCloud為微服務(wù)提供安全、熔斷、負(fù)載均衡、治理等能力。

（2）技術(shù)架構(gòu)。本次系統(tǒng)平臺技術(shù)框架設(shè)計從數(shù)據(jù)采集到數(shù)據(jù)處理、分析、計算，使用hadoop技術(shù)棧中大部分技術(shù)。可以采集從結(jié)構(gòu)化到非結(jié)構(gòu)化數(shù)據(jù)以及syslog 、消息隊列等，幾乎涵蓋了目前行業(yè)內(nèi)的大多數(shù)數(shù)據(jù)類型。能夠處理離線和實時流數(shù)據(jù)，數(shù)據(jù)量可達(dá)TB級別，實時處理千萬條數(shù)據(jù)可達(dá)到秒級或亞秒級，且所用設(shè)備量較少。

二、平臺建設(shè)的意義及價值

1.實踐意義

本平臺設(shè)計是以高校信息化建設(shè)綱要及大數(shù)據(jù)發(fā)展行動綱要為依據(jù)進(jìn)行創(chuàng)新性探索，主要實踐意義有三點：運用新興技術(shù)，全面推進(jìn)高校發(fā)展;建立有效的數(shù)據(jù)處理通道，推動業(yè)務(wù)融合;充分釋放數(shù)據(jù)價值，探索業(yè)務(wù)規(guī)律。

2.理論價值

本平臺實現(xiàn)的理論價值有建立新的數(shù)據(jù)處理方式：根據(jù)高校數(shù)據(jù)的特點，設(shè)計節(jié)省存儲空間、查詢效率高的數(shù)據(jù)處理機(jī)制。建立新的智慧模型：通過對普通高校大量數(shù)據(jù)和應(yīng)用需求的分析和實踐探索，建立可推廣的模型。推動管理理論的變革：將大數(shù)據(jù)技術(shù)應(yīng)用于教學(xué)管理實踐過程中，在提高管理決策科學(xué)性的同時，推動學(xué)校管理理念的變革，進(jìn)一步提高管理水平，提升學(xué)校的綜合競爭力。

本次智慧校園數(shù)據(jù)服務(wù)平臺依據(jù)現(xiàn)階段高校數(shù)據(jù)計算特點，重點著力于“智慧”應(yīng)用，充分運用當(dāng)前新興的大數(shù)據(jù)技術(shù)，探索出一套“存儲—計算—挖掘”一體化的高校大數(shù)據(jù)框架。目前整套平臺實現(xiàn)運行，在海量數(shù)據(jù)中獲取價值，產(chǎn)生“智慧”，進(jìn)而推動決策層向數(shù)據(jù)決策化發(fā)展，為未來高校的發(fā)展探索出一條新的道路。

參考文獻(xiàn)：

[1]葉曉斌.提高高校教育教學(xué)管理信息化水平的思路探索[J].時代教育，2017（9）：240.

[2]杜 渂，張嘉成.消防大數(shù)據(jù)分析服務(wù)平臺架構(gòu)設(shè)計研究[J].電信快報，2017（8）：24-28.