數(shù)據(jù)中臺(tái)技術(shù)在應(yīng)用型高校中的研究與實(shí)踐

陸婷，于春燕，郝發(fā)婷，祁輝

(滁州學(xué)院信息化建設(shè)與管理中心，安徽滁州，239000)

0 引言

在當(dāng)前高校信息化快速發(fā)展的背景下，高校所需數(shù)據(jù)的體量逐漸增多，數(shù)據(jù)集成與共享的形式逐漸豐富，數(shù)據(jù)作為學(xué)校各類(lèi)業(yè)務(wù)正常運(yùn)轉(zhuǎn)的重要底層資源，越來(lái)越受到重視。當(dāng)前國(guó)內(nèi)普通應(yīng)用型高校對(duì)于數(shù)據(jù)的管理還是線(xiàn)下導(dǎo)入導(dǎo)出的方式，此類(lèi)數(shù)據(jù)管理方式高度依賴(lài)學(xué)校管理數(shù)據(jù)的技術(shù)人員，容易因?yàn)閿?shù)據(jù)使用需求堆積而造成響應(yīng)速度慢，效率低下等問(wèn)題，此外還給學(xué)校負(fù)責(zé)管理數(shù)據(jù)的老師帶來(lái)較大的工作量和維護(hù)難度。因此要想在數(shù)據(jù)方面進(jìn)一步加強(qiáng)建設(shè)與管理，必須要先補(bǔ)齊短板，統(tǒng)一數(shù)據(jù)的管理標(biāo)準(zhǔn)和口徑，通過(guò)新興技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行采集、計(jì)算、存儲(chǔ)、加工，將數(shù)據(jù)以更高效的方式提供給不同業(yè)務(wù)部門(mén)。在學(xué)校各業(yè)務(wù)平臺(tái)已統(tǒng)一管理的情況下，借鑒企業(yè)在數(shù)據(jù)平臺(tái)上的創(chuàng)新經(jīng)驗(yàn)，構(gòu)建適合應(yīng)用型高校信息化發(fā)展的數(shù)據(jù)中臺(tái)，從而能夠進(jìn)一步推進(jìn)智慧校園建設(shè)。

1 高校數(shù)據(jù)中臺(tái)技術(shù)的理念及作用

在國(guó)外數(shù)據(jù)中臺(tái)的理念最早起源于一家位于芬蘭赫爾辛基的世界知名移動(dòng)游戲公司，在國(guó)內(nèi)數(shù)據(jù)中臺(tái)的理念最早萌芽于阿里，為了應(yīng)對(duì)業(yè)務(wù)高峰、大規(guī)模數(shù)據(jù)的線(xiàn)性可擴(kuò)展問(wèn)題，阿里提出“大中臺(tái)、小前臺(tái)”的戰(zhàn)略，在數(shù)據(jù)管理平臺(tái)的基礎(chǔ)上，對(duì)其技術(shù)、組織架構(gòu)、服務(wù)對(duì)象等方面采取了一些變革，實(shí)現(xiàn)Onedata管理體系，包括全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)規(guī)劃、數(shù)據(jù)規(guī)范定義、數(shù)據(jù)建模研發(fā)、數(shù)據(jù)鏈接萃取、數(shù)據(jù)運(yùn)維監(jiān)控、數(shù)據(jù)資產(chǎn)管理工具等，能夠?yàn)榍芭_(tái)應(yīng)用或業(yè)務(wù)系統(tǒng)提供點(diǎn)對(duì)點(diǎn)的個(gè)性化數(shù)據(jù)服務(wù)。

借鑒企業(yè)數(shù)據(jù)中臺(tái)的建設(shè)理念，高校數(shù)據(jù)中臺(tái)是基于前臺(tái)數(shù)據(jù)應(yīng)用和后臺(tái)原始數(shù)據(jù)庫(kù)中間的平臺(tái)。數(shù)據(jù)中臺(tái)的本質(zhì)就是“數(shù)據(jù)倉(cāng)庫(kù)+數(shù)據(jù)服務(wù)中間件”，如圖1數(shù)據(jù)中臺(tái)結(jié)構(gòu)圖，數(shù)據(jù)倉(cāng)庫(kù)用來(lái)存儲(chǔ)數(shù)據(jù)，包括結(jié)構(gòu)性數(shù)據(jù)、非結(jié)構(gòu)性數(shù)據(jù)、日志數(shù)據(jù)等多種數(shù)據(jù)形式；數(shù)據(jù)服務(wù)中間件包含大數(shù)據(jù)計(jì)算服務(wù)、大數(shù)據(jù)研發(fā)套件、數(shù)據(jù)分析及數(shù)據(jù)展現(xiàn)工具，數(shù)據(jù)服務(wù)中間件能夠隨意組合，對(duì)前臺(tái)數(shù)據(jù)應(yīng)用的個(gè)性化需求提供針對(duì)性的服務(wù)，同時(shí)對(duì)于有相同需求的業(yè)務(wù)場(chǎng)景具有可重用性。

圖1 數(shù)據(jù)中臺(tái)整體架構(gòu)

總體來(lái)說(shuō)，數(shù)據(jù)中臺(tái)在應(yīng)用型高校中所發(fā)揮的作用主要可解決以下四個(gè)方面的問(wèn)題：

1.1 為前臺(tái)數(shù)據(jù)應(yīng)用提供高效的數(shù)據(jù)服務(wù)，提高服務(wù)效率與能力

基于數(shù)據(jù)中臺(tái)能夠降低數(shù)據(jù)庫(kù)的重復(fù)性建設(shè)，基于事先配置好的數(shù)據(jù)集合，能夠快速為前端的應(yīng)用或業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)支持，具有更加高效的服務(wù)效率與能力。例如絕大多數(shù)業(yè)務(wù)系統(tǒng)在建設(shè)初期都需要使用師生的基礎(chǔ)信息，學(xué)生基礎(chǔ)信息來(lái)自教務(wù)系統(tǒng)的學(xué)生基本信息表，教師基礎(chǔ)信息來(lái)自人事系統(tǒng)的教職工基本信息表，數(shù)據(jù)中臺(tái)可以事先將這兩張表配置成主題數(shù)據(jù)集，隨時(shí)提供給要使用的業(yè)務(wù)系統(tǒng)或開(kāi)發(fā)應(yīng)用進(jìn)行調(diào)取使用，以提高服務(wù)的效率。

1.2 提供多種數(shù)據(jù)接入與共享方式，增強(qiáng)開(kāi)放與連通性

基于基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)或者數(shù)據(jù)平臺(tái)，提供數(shù)據(jù)時(shí)往往只能支持線(xiàn)下導(dǎo)入的方式，與其他系統(tǒng)的連通性較差，容易造成數(shù)據(jù)孤島的現(xiàn)象。但是基于數(shù)據(jù)中臺(tái)能夠提供豐富的數(shù)據(jù)共享與集成方式，支持API接口、DB推送、視圖只讀或線(xiàn)下導(dǎo)入等多種方式，滿(mǎn)足業(yè)務(wù)系統(tǒng)和開(kāi)發(fā)應(yīng)用對(duì)不同數(shù)據(jù)共享方式的需求，增強(qiáng)數(shù)據(jù)中臺(tái)與其他平臺(tái)間的業(yè)務(wù)連通性與開(kāi)放性，打破數(shù)據(jù)應(yīng)用的邊界。

1.3 為不同角色的服務(wù)對(duì)象提供數(shù)據(jù)服務(wù)，擴(kuò)大服務(wù)范圍

以往數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)平臺(tái)的服務(wù)只是在決策者需要做決策時(shí)提供數(shù)據(jù)支持，現(xiàn)在的數(shù)據(jù)中臺(tái)可以為決策者、業(yè)務(wù)人員、運(yùn)維人員、各類(lèi)開(kāi)發(fā)人員等不同角色提供數(shù)據(jù)服務(wù)。從學(xué)校角度來(lái)說(shuō)，針對(duì)校領(lǐng)導(dǎo)層面可以為其提供全校的人、財(cái)、物總體概況；針對(duì)各業(yè)務(wù)部門(mén)領(lǐng)導(dǎo)，可以為其提供所管轄范圍內(nèi)最大的數(shù)據(jù)服務(wù)。按照不同角色的需要，按需提供數(shù)據(jù)服務(wù)，使得數(shù)據(jù)使用場(chǎng)景不斷增多，從高層面構(gòu)建起一個(gè)完整、可持續(xù)協(xié)調(diào)的數(shù)據(jù)服務(wù)體系。

1.4 進(jìn)行深層次的數(shù)據(jù)分析與挖掘，充分發(fā)揮數(shù)據(jù)價(jià)值

基于數(shù)據(jù)中臺(tái)可以充分挖掘過(guò)程性數(shù)據(jù)，提取出有價(jià)值的信息，同時(shí)能夠關(guān)聯(lián)各平臺(tái)的結(jié)果性數(shù)據(jù)和過(guò)程性數(shù)據(jù)，開(kāi)展學(xué)生畫(huà)像、教師畫(huà)像等數(shù)據(jù)分析，充分發(fā)揮出數(shù)據(jù)的價(jià)值。

2 應(yīng)用型高校數(shù)據(jù)中臺(tái)的實(shí)際應(yīng)用

2.1 公共數(shù)據(jù)倉(cāng)庫(kù)

公共數(shù)據(jù)倉(cāng)庫(kù)是基于Greenplum的架構(gòu)采用了MPP(大規(guī)模并行處理)模式，具有強(qiáng)大的高吞吐、低時(shí)延的計(jì)算能力，在 MPP系統(tǒng)中，每個(gè)SMP（對(duì)稱(chēng)多處理器）節(jié)點(diǎn)可以運(yùn)行自己的操作系統(tǒng)、數(shù)據(jù)庫(kù)等。Greenplum主要由三個(gè)節(jié)點(diǎn)組成，分別為Master節(jié)點(diǎn)、Standby master節(jié)點(diǎn)和Segment節(jié)點(diǎn)。Master節(jié)點(diǎn)是訪(fǎng)問(wèn)系統(tǒng)的入口，能夠處理所有用戶(hù)的連接，生成查詢(xún)計(jì)劃，協(xié)調(diào)工作處理過(guò)程，存放系統(tǒng)目錄和元數(shù)據(jù)，但不存放任何用戶(hù)的數(shù)據(jù)。Standby master節(jié)點(diǎn)在Master節(jié)點(diǎn)出現(xiàn)故障時(shí)能夠及時(shí)進(jìn)行熱備份，承擔(dān)Master節(jié)點(diǎn)的全部工作，通過(guò)進(jìn)程同步保持與Master節(jié)點(diǎn)數(shù)據(jù)一致，不影響系統(tǒng)業(yè)務(wù)的順利進(jìn)行。每段Segment節(jié)點(diǎn)存放一部分的用戶(hù)數(shù)據(jù)，一個(gè)系統(tǒng)可以有多段Segment節(jié)點(diǎn)，用戶(hù)不能直接進(jìn)行存取和訪(fǎng)問(wèn)，所有對(duì)段的訪(fǎng)問(wèn)都經(jīng)過(guò)Master節(jié)點(diǎn)。采用MPP(大規(guī)模并行處理)模式能夠?qū)崿F(xiàn)分布式存儲(chǔ)和計(jì)算，進(jìn)行海量數(shù)據(jù)的分布式存儲(chǔ)，可以處理PB級(jí)別以上的結(jié)構(gòu)化數(shù)據(jù)，支持高擴(kuò)展、高可靠、高并發(fā)，提高數(shù)據(jù)庫(kù)查詢(xún)時(shí)響應(yīng)耗時(shí)，有效支撐該應(yīng)用型高校30余個(gè)信息系統(tǒng)的數(shù)據(jù)交換與共享。

2.2 數(shù)據(jù)交換與共享平臺(tái)

基于Greenplum架構(gòu)，采用MPP模式的基礎(chǔ)上建立校級(jí)主數(shù)據(jù)管理平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)模型管理、數(shù)據(jù)接入、數(shù)據(jù)治理、數(shù)據(jù)質(zhì)量分析、數(shù)據(jù)開(kāi)放、數(shù)據(jù)共享、數(shù)據(jù)脫敏的全流程管理。基于完整性、有效性、一致性等數(shù)據(jù)清洗規(guī)則，對(duì)原始數(shù)據(jù)進(jìn)行清洗，形成標(biāo)準(zhǔn)數(shù)據(jù)目錄，建設(shè)學(xué)生主題、教師主題、資產(chǎn)主題等主題數(shù)據(jù)目錄，在數(shù)據(jù)使用過(guò)程中及時(shí)更新，不斷提升數(shù)據(jù)質(zhì)量。

數(shù)據(jù)交換與共享平臺(tái)已接入30余個(gè)信息系統(tǒng)，共計(jì)421張表，數(shù)據(jù)接入總量約2.5億條，推送319張表，為32個(gè)業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)支撐與服務(wù)，直接對(duì)接教務(wù)、學(xué)工、一卡通等業(yè)務(wù)系統(tǒng)，實(shí)現(xiàn)跨系統(tǒng)、跨層級(jí)、跨業(yè)務(wù)的數(shù)據(jù)交換與共享服務(wù)，保證各類(lèi)平臺(tái)數(shù)據(jù)的互聯(lián)互通，打破數(shù)據(jù)孤島和數(shù)據(jù)壁壘。

2.3 數(shù)據(jù)服務(wù)中間件

數(shù)據(jù)交換與共享平臺(tái)中進(jìn)行數(shù)據(jù)治理后形成的標(biāo)準(zhǔn)數(shù)據(jù)資產(chǎn)和主題數(shù)據(jù)資產(chǎn)，能夠支撐智慧校園相關(guān)系統(tǒng)及應(yīng)用的建設(shè)，對(duì)各部門(mén)業(yè)務(wù)事項(xiàng)和服務(wù)場(chǎng)景進(jìn)行全映射，通過(guò)開(kāi)放授權(quán)系統(tǒng)、數(shù)據(jù)超市、可視化工具等中間件向?qū)W校師生提供數(shù)據(jù)服務(wù)，為授權(quán)部門(mén)及個(gè)人利用開(kāi)放數(shù)據(jù)進(jìn)行應(yīng)用創(chuàng)新提供便利。

數(shù)據(jù)超市為全校師生提供便捷、快速的數(shù)據(jù)使用服務(wù)。進(jìn)行統(tǒng)一身份認(rèn)證直接從門(mén)戶(hù)進(jìn)入，通過(guò)數(shù)據(jù)與交換平臺(tái)上數(shù)據(jù)開(kāi)放模塊發(fā)布標(biāo)準(zhǔn)資產(chǎn)數(shù)據(jù)后，在數(shù)據(jù)超市中進(jìn)行數(shù)據(jù)分門(mén)別類(lèi)“上架”，提供清晰的數(shù)據(jù)分類(lèi)目錄，學(xué)校里業(yè)務(wù)部門(mén)或師生，可以自由進(jìn)行申請(qǐng)“加購(gòu)”。在使用對(duì)應(yīng)業(yè)務(wù)部門(mén)數(shù)據(jù)時(shí)，需要通過(guò)各業(yè)務(wù)單位數(shù)據(jù)使用責(zé)任人的審批，審批通過(guò)后可以通過(guò)視圖、API接口、下載的方式獲取數(shù)據(jù)，審批結(jié)果可以通過(guò)門(mén)戶(hù)消息通知及時(shí)進(jìn)行反饋提醒。學(xué)校管理數(shù)據(jù)的技術(shù)人員可以根據(jù)申請(qǐng)人的需要提前配置好不同的主題數(shù)據(jù)庫(kù)，在數(shù)據(jù)超市中上架，保證申請(qǐng)人獲取的數(shù)據(jù)在滿(mǎn)足其需求的同時(shí)在最小的范圍內(nèi)，保障數(shù)據(jù)安全?；跀?shù)據(jù)超市不僅可以新建或已建的第三方系統(tǒng)提供標(biāo)準(zhǔn)且規(guī)范的數(shù)據(jù)使用方式，還能夠?yàn)樾?nèi)有數(shù)據(jù)使用需求的教師或者科研團(tuán)隊(duì)等，提供一定范圍內(nèi)的數(shù)據(jù)使用。

通過(guò)BI、可視化工具，基于現(xiàn)有標(biāo)準(zhǔn)數(shù)據(jù)目錄，梳理制作包括學(xué)校概況、教師概況、學(xué)生概況、智慧校園建設(shè)概況、一卡通消費(fèi)概況等9個(gè)數(shù)據(jù)大屏，涉及一級(jí)指標(biāo)45個(gè)，二級(jí)指標(biāo)128個(gè)，直觀且動(dòng)態(tài)地展示出當(dāng)前學(xué)校各方面的整體概況。建設(shè)教師一張表，包括人事信息、教務(wù)數(shù)據(jù)、科研數(shù)據(jù)、資產(chǎn)數(shù)據(jù)、圖書(shū)借閱、刷卡消費(fèi)六個(gè)方面，每類(lèi)共計(jì)22個(gè)二級(jí)指標(biāo)，每位教師都能看到自己在學(xué)校各系統(tǒng)中所產(chǎn)生的數(shù)據(jù)信息。

3 結(jié)語(yǔ)

數(shù)據(jù)中臺(tái)在應(yīng)用型高校中的應(yīng)用，相比傳統(tǒng)數(shù)據(jù)平臺(tái)更加具有開(kāi)放性、連通性、高效性和迅速響應(yīng)等性能，是一個(gè)強(qiáng)大的技術(shù)平臺(tái)，可以實(shí)現(xiàn)前臺(tái)應(yīng)用和后臺(tái)數(shù)據(jù)的解耦，改變以往各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)自采自用的現(xiàn)狀，整合學(xué)校各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，進(jìn)行統(tǒng)籌管理、集中存放、交換共享，能夠?qū)W(xué)校當(dāng)前已集成的數(shù)據(jù)資產(chǎn)進(jìn)行靈活調(diào)用，讓數(shù)據(jù)多跑路，用戶(hù)少跑腿，提高業(yè)務(wù)數(shù)據(jù)的使用效率。

但是隨著高校信息化建設(shè)的快速推進(jìn)與深入，亟須對(duì)學(xué)校數(shù)據(jù)開(kāi)展數(shù)據(jù)分析與挖掘工作，基于統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、畫(huà)像分析、預(yù)測(cè)分析等方法，建設(shè)相關(guān)算法模型，找出數(shù)據(jù)間的關(guān)聯(lián)，為校領(lǐng)導(dǎo)以及各業(yè)務(wù)部門(mén)領(lǐng)導(dǎo)提供決策支持服務(wù)。同時(shí)數(shù)據(jù)管理與治理是一項(xiàng)要長(zhǎng)期開(kāi)展的工作，需要學(xué)校各業(yè)務(wù)部門(mén)共同承擔(dān)起責(zé)任，將數(shù)據(jù)取之于業(yè)務(wù)，用之于業(yè)務(wù)，以數(shù)據(jù)中臺(tái)為其提供強(qiáng)有力的保障，充分發(fā)揮出數(shù)據(jù)的價(jià)值，推進(jìn)應(yīng)用型高校數(shù)字化、信息化建設(shè)。