智慧校園大數(shù)據(jù)平臺的建設(shè)框架與技術(shù)實現(xiàn)

陳迎春

（中共青海省委黨校，青海 西寧 810001）

1 引言

隨著當(dāng)前大數(shù)據(jù)和云計算技術(shù)的迅猛發(fā)展，建設(shè)智慧校園是學(xué)校教育信息化發(fā)展的必然趨勢，數(shù)字校園已經(jīng)不能適應(yīng)當(dāng)下校園綜合管理。我們必須在智慧校園建設(shè)中利用云計算的快速運算能力實現(xiàn)大數(shù)據(jù)的最大價值。這是一個長期的積累和應(yīng)用過程，然而現(xiàn)在許多學(xué)校對這些海量重要數(shù)據(jù)的認(rèn)識不足，重視程度也欠缺，造成了數(shù)據(jù)的流失和孤島情況嚴(yán)重。在這種情況下，智慧校園頂層設(shè)計中大數(shù)據(jù)平臺的建設(shè)顯得尤為重要。

本文主要介紹智慧校園大數(shù)據(jù)平臺的建設(shè)框架及其技術(shù)實現(xiàn)。

2 智慧校園大數(shù)據(jù)平臺的建設(shè)框架

2.1 智慧校園的大數(shù)據(jù)框架分析

智慧校園中的數(shù)據(jù)以TB甚至PB數(shù)量級計，這樣的海量數(shù)據(jù)通過Internet傳輸耗時長且慢，過程中數(shù)據(jù)很易丟失，必須以High-Performance Networks為基礎(chǔ)進(jìn)行傳輸，將數(shù)據(jù)傳送于一個大的云服務(wù)集群進(jìn)行信息的存儲、管理和應(yīng)用。

2.2 大數(shù)據(jù)的整合與處理

1）語境搜索：主要實現(xiàn)對文本檔案類數(shù)據(jù)進(jìn)行高速索引，同時在深度信息整合的基礎(chǔ)上實現(xiàn)上下文的進(jìn)一步搜索。

2）數(shù)據(jù)倉庫：主要功能是對文本檔案類信息按照既定規(guī)律進(jìn)行合理搜集存儲，實行數(shù)據(jù)分析。建立數(shù)據(jù)倉庫的主要目的是構(gòu)建面向分析的集成化數(shù)據(jù)環(huán)境，為領(lǐng)導(dǎo)層提供決策支持。其基本架構(gòu)主要包含的是數(shù)據(jù)出入過程，分為三層：召數(shù)據(jù)、數(shù)據(jù)倉庫、數(shù)據(jù)應(yīng)用。它本身既不“生產(chǎn)”數(shù)據(jù)也不“消費”數(shù)據(jù)，數(shù)據(jù)純粹來源于外部且應(yīng)用于外部，真正體現(xiàn)了“倉庫”的真實含義。

3）HdooP系統(tǒng)：基于x86服務(wù)器本地的計算與存儲資源，是一個分布式基礎(chǔ)架構(gòu)，實現(xiàn)分布式文件系統(tǒng)，提供分布式并行計算、低成本存儲和低時延高迸發(fā)的查詢功能，其集群可以擴(kuò)展到上千臺服務(wù)器。適合對大數(shù)據(jù)進(jìn)行經(jīng)濟(jì)高效的分析，尤其是對PB級結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的收集、提取和分析處理。

3 智慧校園大數(shù)據(jù)平臺的技術(shù)實現(xiàn)

智慧校園的大數(shù)據(jù)服務(wù)中心主要以分布式存儲與云計算為核心技術(shù)，通過Hadoop、Map Reduce等技術(shù)作為平臺搭建技術(shù)實現(xiàn)基礎(chǔ)，存儲和處理學(xué)校日常產(chǎn)生的巨量復(fù)雜數(shù)據(jù)。通過對品種繁多的核心大數(shù)據(jù)的深度分析和挖掘，經(jīng)由智慧校園系統(tǒng)的各種上層應(yīng)用，從技術(shù)層面和管理層面提升學(xué)校教學(xué)的工作效率，管理水平進(jìn)一步得以提升。

3.1 分布式文件系統(tǒng)

根據(jù)校園的大數(shù)據(jù)特點，所有分布式文件（包含流媒體文件、文本文件、辦公檔案類等常見文件格式在內(nèi)的）必須依據(jù)一定的規(guī)律規(guī)則規(guī)范存儲，并利用大數(shù)據(jù)云計算技術(shù)在分布式文件系統(tǒng)上提供分布式快速計算功能。其主要目標(biāo)包括三方面：一是定義校園內(nèi)部大數(shù)據(jù)標(biāo)準(zhǔn)；二是標(biāo)準(zhǔn)化規(guī)范化后續(xù)數(shù)據(jù)存儲；三是、對數(shù)據(jù)進(jìn)行管理和 應(yīng)用。

3.2 分布式數(shù)據(jù)庫

主要用途是存儲來自四面八方的各類大數(shù)據(jù)，為智慧校園應(yīng)用模塊之間提供標(biāo)準(zhǔn)的可共享訪問接口的大數(shù)據(jù)服務(wù)，包括來源于關(guān)系型數(shù)據(jù)庫、各種日志文件、校園集群、學(xué)員論壇、課件文檔數(shù)據(jù)和相關(guān)教育數(shù)據(jù)等。分布式數(shù)據(jù)庫的核心目標(biāo)是建立大數(shù)據(jù)集群存儲，實現(xiàn)關(guān)聯(lián)數(shù)據(jù)存儲和均衡計算能力負(fù)載，集中對外提供大數(shù)據(jù)服務(wù)。

3.3 分布式數(shù)據(jù)倉庫體系

主要是利用非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)ETL工具、在實現(xiàn)大數(shù)據(jù)的數(shù)據(jù)分析和數(shù)據(jù)挖掘展示服務(wù)的基礎(chǔ)上．充分保障處理后的目標(biāo)大數(shù)據(jù)結(jié)果無縫對接學(xué)校現(xiàn)有數(shù)據(jù)資源和網(wǎng)絡(luò)數(shù)據(jù)，數(shù)據(jù)轉(zhuǎn)換過程如下圖 所示。

3.4 大數(shù)據(jù)平臺數(shù)據(jù)接口

1）通用數(shù)據(jù)采集接口。支持各種類型數(shù)據(jù)的數(shù)據(jù)采集、入場。支持主流關(guān)系型數(shù)據(jù)庫（Oracal、Mysql等數(shù)據(jù)庫）、半結(jié)構(gòu)化數(shù)據(jù)庫數(shù)據(jù)采集（Excel、MDB、XML等文件數(shù)據(jù)采集），非結(jié)構(gòu)文本及辦公類文件采集（TXT、word、電子圖書等主流文檔格式），還支持WEB數(shù)據(jù)抓取，并提供二次開發(fā)接口。

2）通用數(shù)據(jù)共享接口。為智慧校園應(yīng)用系統(tǒng)和數(shù)據(jù)庫提供基于大數(shù)據(jù)平臺的共享接口（數(shù)據(jù)訪問標(biāo)準(zhǔn)接口、核心應(yīng)用封裝接口和出入數(shù)據(jù)接口等）；提供數(shù)據(jù)服務(wù)用于二次開發(fā)接口。

3）通用數(shù)據(jù)服務(wù)接口。為智慧校園用戶提供基于大數(shù)據(jù)中心的數(shù)據(jù)服務(wù)接口（WEB應(yīng)用訪問、微信、一卡通、身份認(rèn)證、APP等）；保障二次開發(fā)接口滿足特定服務(wù)。

4 結(jié)束語

在智慧校園的建設(shè)過程中，學(xué)校管理者一定要有前瞻性，充分意識到信息化建設(shè)初期頂層設(shè)計，尤其是數(shù)據(jù)中心的整理、規(guī)劃、設(shè)計的重要性，有組織有步驟地推動智慧校園建設(shè)。建議成立以校領(lǐng)導(dǎo)為核心的智慧校園建設(shè)領(lǐng)導(dǎo)小組，全程參與項目的規(guī)劃、實施和管理，全面組織、協(xié)調(diào)學(xué)校各類綜合資源，傾力推進(jìn)智慧校園建設(shè)。但是我們也要理性地看到,由于技術(shù)上、思想上和人員配置上的問題以及學(xué)校信息化的特殊性，智慧校園建設(shè)仍然面臨著許多困難與挑戰(zhàn)，需要我們在實踐中不斷發(fā)現(xiàn)問題、總結(jié)問題。