可視化大數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與應(yīng)用

文 /李瑩 姚鄭 潘晶晶

設(shè)計(jì)背景

隨著各校教育信息化的建設(shè)初見成效，網(wǎng)絡(luò)保障條件日趨成熟，教育信息管理系統(tǒng)等各類基礎(chǔ)信息數(shù)據(jù)庫建設(shè)工作的逐漸完善，決策主體的數(shù)據(jù)意識得到了一定提升。

隨著技術(shù)的普及,大數(shù)據(jù)已逐漸成為國家基礎(chǔ)性戰(zhàn)略資源[1],近年來，各校均建設(shè)了大量的教育教學(xué)信息管理系統(tǒng)，如學(xué)籍系統(tǒng)、就業(yè)系統(tǒng)、資產(chǎn)系統(tǒng)、報(bào)道系統(tǒng)、培養(yǎng)系統(tǒng)、招生系統(tǒng)、教師系統(tǒng)等，累積了大量的數(shù)據(jù)資源。但是因?yàn)樵O(shè)計(jì)維度和管理角度均不統(tǒng)一，各業(yè)務(wù)系統(tǒng)基本都是各自獨(dú)立運(yùn)行、數(shù)據(jù)不互通，所以無法整合數(shù)據(jù)，無法為上層校領(lǐng)導(dǎo)提供統(tǒng)一化整體化的直觀學(xué)校信息。而大數(shù)據(jù)技術(shù)作為信息技術(shù)對于教育變革的推動力，為教育決策科學(xué)化提供了新思路和新方法[2]。大數(shù)據(jù)技術(shù)的發(fā)展是提升教育決策科學(xué)性的優(yōu)質(zhì)驅(qū)動力, 但數(shù)據(jù)匯聚與綜合應(yīng)用仍是促進(jìn)科學(xué)決策的一大門檻[3]。教育決策的制定往往會參考一定的數(shù)據(jù)資源, 但數(shù)據(jù)大都源于決策者的直觀經(jīng)驗(yàn)、印象, 并不能全面、系統(tǒng)地反映事實(shí), 使決策的科學(xué)性受人質(zhì)疑[4]。為了更好的為決策者提供有力的數(shù)據(jù)支持，特建立可視化大數(shù)據(jù)管理系統(tǒng)。

系統(tǒng)簡介

可視化大數(shù)據(jù)管理系統(tǒng)通過對高等院校教育基礎(chǔ)數(shù)據(jù)持續(xù)、動態(tài)、標(biāo)準(zhǔn)化的采集、清洗、轉(zhuǎn)化，實(shí)現(xiàn)高等院校教育數(shù)據(jù)縱向貫通和互聯(lián)，為準(zhǔn)確掌握全校教育基本情況（包括學(xué)生、師資、學(xué)科、課程、學(xué)位、就業(yè)等），為科學(xué)制定高等院校教育政策、教育資源配置合理化，提供全方位、實(shí)時、精準(zhǔn)的重要決策數(shù)據(jù)支撐。在此基礎(chǔ)上，面向校領(lǐng)導(dǎo)及科研院所提供本校學(xué)生、教師、課程、學(xué)科的基本數(shù)據(jù)查詢、統(tǒng)計(jì)報(bào)表和各類排行服務(wù)，并將可公開數(shù)據(jù)向社會發(fā)布，允許公眾通過統(tǒng)計(jì)數(shù)據(jù)了解本校教育基本情況，傳播高等院校教育理念和成果。

系統(tǒng)特點(diǎn)

可視化大數(shù)據(jù)管理系統(tǒng)利用云計(jì)算基礎(chǔ)設(shè)施，整合高等院校各類教育基礎(chǔ)數(shù)據(jù)，建立起全校教育信息通用分類標(biāo)準(zhǔn)和基礎(chǔ)數(shù)據(jù)中心，通過基礎(chǔ)數(shù)據(jù)融合和大數(shù)據(jù)可視化技術(shù)，全面掌握全校教育基本狀況，全面支持高等院校教育質(zhì)量評估、教育決策，實(shí)現(xiàn)智慧教育管理，促進(jìn)全校教育資源共享。

系統(tǒng)架構(gòu)

1.數(shù)據(jù)層，系統(tǒng)使用數(shù)據(jù)庫集群存儲數(shù)據(jù)。在數(shù)據(jù)庫中，主要分為兩部分，一部分是系統(tǒng)的邏輯數(shù)據(jù)，另一部分是可視化大數(shù)據(jù)管理系統(tǒng)所需要的業(yè)務(wù)數(shù)據(jù)。而業(yè)務(wù)數(shù)據(jù)只用作可視化展示，所以為了避免誤操作，此部分?jǐn)?shù)據(jù)設(shè)置為只讀權(quán)限。

圖1 系統(tǒng)架構(gòu)

2.服務(wù)器層，本系統(tǒng)展示的報(bào)表和圖表較多，根據(jù)此需求特點(diǎn)，將服務(wù)器層分為兩部分，一部分是系統(tǒng)運(yùn)行的服務(wù)器，另一部分是提供報(bào)表服務(wù)的報(bào)表服務(wù)器。

3.業(yè)務(wù)層，系統(tǒng)本身業(yè)務(wù)主要包括訪問管理、統(tǒng)計(jì)訪問次數(shù)、系統(tǒng)設(shè)置、日志記錄、用戶權(quán)限管理等業(yè)務(wù)功能。系統(tǒng)根據(jù)用戶的角色展示相應(yīng)的數(shù)據(jù)報(bào)表。

4.展示層，系統(tǒng)中展示的報(bào)表都由報(bào)表服務(wù)器生成，并將生產(chǎn)的報(bào)表嵌入到系統(tǒng)的展示頁面中。本系統(tǒng)的展示部分，均由HTML5技術(shù)實(shí)現(xiàn)，PC和移動終端都可以正常訪問。

系統(tǒng)功能

可視化大數(shù)據(jù)管理系統(tǒng)功能包括三大方面：數(shù)據(jù)采集；數(shù)據(jù)管理；統(tǒng)計(jì)分析。

1.數(shù)據(jù)采集

可視化大數(shù)據(jù)管理系統(tǒng)涵蓋各分校的各類教育基礎(chǔ)數(shù)據(jù)。其從各分校相關(guān)教育業(yè)務(wù)系統(tǒng)中自動抽取數(shù)據(jù)，或者由各分校按約定的數(shù)據(jù)模板及時上傳數(shù)據(jù)，在此基礎(chǔ)上對數(shù)據(jù)進(jìn)一步清洗、轉(zhuǎn)化。應(yīng)用層系統(tǒng)獲取這些經(jīng)過預(yù)處理的基礎(chǔ)數(shù)據(jù)，基于可視化技術(shù)，實(shí)現(xiàn)教育指標(biāo)的綜合分析、評價和決策支持。系統(tǒng)建設(shè)初期，主要采取人工上傳方式采集各分校的教育基礎(chǔ)數(shù)據(jù)，在后期推廣應(yīng)用階段，逐步實(shí)現(xiàn)自動方式（開放API，平臺定時抽取）采集數(shù)據(jù)。

2.數(shù)據(jù)管理

圖2 統(tǒng)計(jì)分析

（1）數(shù)據(jù)處理。可視化大數(shù)據(jù)管理系統(tǒng)作為底層服務(wù)平臺，嚴(yán)格遵守一數(shù)一源，按照預(yù)先定義好的數(shù)據(jù)模型，將數(shù)據(jù)加載到數(shù)據(jù)庫中，實(shí)現(xiàn)整個智慧教育數(shù)據(jù)的規(guī)范化、系統(tǒng)化、一體化管理，提供數(shù)據(jù)導(dǎo)入導(dǎo)出、數(shù)據(jù)備份、元數(shù)據(jù)管理、數(shù)據(jù)交換等后臺功能，對教育基礎(chǔ)數(shù)據(jù)進(jìn)行計(jì)算、處理，為上層應(yīng)用提供更加便利的數(shù)據(jù)服務(wù)，包括ETL（數(shù)據(jù)抽取、轉(zhuǎn)換、裝載與清洗），MapReduce以及計(jì)算等方式。

數(shù)據(jù)導(dǎo)入導(dǎo)出：把相關(guān)的教學(xué)數(shù)據(jù)采用合適的模式/標(biāo)準(zhǔn)對數(shù)據(jù)進(jìn)行統(tǒng)一儲存，方便利用智能算法進(jìn)行分析和操作，將經(jīng)過系統(tǒng)分析處理后的數(shù)據(jù)導(dǎo)出，方便瀏覽查詢或者打印。

數(shù)據(jù)備份：只要產(chǎn)生了數(shù)據(jù)傳輸、數(shù)據(jù)存儲以及數(shù)據(jù)交換，就有產(chǎn)生數(shù)據(jù)故障的可能性。本系統(tǒng)采取定時進(jìn)行數(shù)據(jù)備份、提供數(shù)據(jù)恢復(fù)等手段，防止數(shù)據(jù)的丟失，避免造成損失。

元數(shù)據(jù)管理：包括各個業(yè)務(wù)表的發(fā)展，數(shù)據(jù)元素和實(shí)體的定義，表格規(guī)則和算法以及數(shù)據(jù)的特征。最基礎(chǔ)的管理是管理業(yè)務(wù)元數(shù)據(jù)的收集、組織和維持。對技術(shù)型元數(shù)據(jù)的應(yīng)用以及主數(shù)據(jù)管理和數(shù)據(jù)治理項(xiàng)目的成功至關(guān)重要[5]。

數(shù)據(jù)清洗：數(shù)據(jù)來源各不相同，數(shù)據(jù)形式多元化，使得數(shù)據(jù)質(zhì)量存在較大的差異，不正確或者不一致的數(shù)據(jù)可能會嚴(yán)重影響數(shù)據(jù)的分析效果。本系統(tǒng)使用如統(tǒng)計(jì)分析、預(yù)定義規(guī)則等相關(guān)技術(shù)將“臟數(shù)據(jù)”轉(zhuǎn)換為滿足數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)。

數(shù)據(jù)集成：整合來自多個數(shù)據(jù)存儲的數(shù)據(jù)，為數(shù)據(jù)分析、處理、挖掘提供完整的數(shù)據(jù)源。

數(shù)據(jù)交換: 將數(shù)據(jù)變換或統(tǒng)一成適合于數(shù)據(jù)分析挖掘的形式。

數(shù)據(jù)校驗(yàn)：在數(shù)據(jù)交互中，由于各種硬件、軟件、網(wǎng)絡(luò)等問題可能會導(dǎo)致數(shù)據(jù)的丟失、異常等不一樣的情況，為了解決這種情況，系統(tǒng)內(nèi)建立相關(guān)校驗(yàn)機(jī)制和處理功能，以便對異常情況做善后處理。

圖3 按需查詢與數(shù)據(jù)導(dǎo)出

（2）提供統(tǒng)一的數(shù)據(jù)訪問接口。通過規(guī)范API標(biāo)準(zhǔn)幫助應(yīng)用開發(fā)者能夠更好地使用智慧教育平臺的各類資源，支持各系統(tǒng)之間的數(shù)據(jù)共享，保證數(shù)據(jù)的實(shí)時性、整齊性和一致性。

3.統(tǒng)計(jì)分析

（1）支持基本的數(shù)據(jù)統(tǒng)計(jì)分析和可視化展現(xiàn)（圖2）。全院教育基礎(chǔ)數(shù)據(jù)統(tǒng)計(jì)采用橫向（從學(xué)生、教師、課程、學(xué)科角度對比單位情況）與縱向（從單位深入查看學(xué)生、教師、課程、學(xué)科情況）相結(jié)合的方式。院校領(lǐng)導(dǎo)、院校機(jī)關(guān)（主管業(yè)務(wù)部門）可以了解各分校的學(xué)生、師資、課程、學(xué)科的總體情況及各校對比情況。也可查看每個培養(yǎng)單位（院系/研究所）的學(xué)生、師資、課程、學(xué)科數(shù)據(jù)。分校領(lǐng)導(dǎo)、研究所領(lǐng)導(dǎo)可以查看本校（含對口培養(yǎng)單位）或本單位總體情況以及面向全院校公開的各校對比情況。

（2）支持按需查詢與數(shù)據(jù)導(dǎo)出（圖3）。院校領(lǐng)導(dǎo)、院校機(jī)關(guān)（主管業(yè)務(wù)部門）可以以自定義的方式查詢感興趣的數(shù)據(jù)，并可導(dǎo)出相應(yīng)的基礎(chǔ)數(shù)據(jù)。

（3）支持向社會公眾發(fā)布統(tǒng)計(jì)數(shù)據(jù)（圖4）。院校機(jī)關(guān)（主管業(yè)務(wù)部門）有權(quán)限將統(tǒng)計(jì)數(shù)據(jù)（圖表）對外發(fā)布，可設(shè)置院校內(nèi)發(fā)布和向公眾發(fā)布。設(shè)置為院校內(nèi)發(fā)布，則可跨校、跨單位查看相應(yīng)的統(tǒng)計(jì)信息；公眾可通過院校機(jī)關(guān)發(fā)布的面向公眾的統(tǒng)計(jì)數(shù)據(jù)了解本院教育基本情況。

圖4 向社會公眾發(fā)布統(tǒng)計(jì)數(shù)據(jù)

系統(tǒng)應(yīng)用場景

關(guān)注教師數(shù)量變化，提升學(xué)校在崗教師數(shù)量和質(zhì)量

通過查看各級單位歷年新增教師數(shù)量，可以及時發(fā)現(xiàn)教師數(shù)量變化的異常，再通過數(shù)據(jù)鉆取，查看各研究所教師數(shù)量，查看各年齡段教師數(shù)量等，可以發(fā)現(xiàn)異常的根源。比如：某所教師數(shù)量逐年下降是因?yàn)橥诵萁處煍?shù)量增加、導(dǎo)致在崗教師數(shù)量下降，就可以及時補(bǔ)充新教師，在未來三五年內(nèi)，重點(diǎn)引進(jìn)年輕教師，從而避免教師資源短缺（圖5）。

圖5 關(guān)注教師數(shù)量變化

分析各研究所博導(dǎo)碩導(dǎo)的數(shù)量和性別比

用戶需要分析所有單位的博導(dǎo)碩導(dǎo)數(shù)量性別差異。通過分析菜單內(nèi)選擇教師分析，選取導(dǎo)師類型和性別等字段，從而完成整個統(tǒng)計(jì)過程，得到數(shù)據(jù)結(jié)果（圖6）。

圖6 分析各研究所博導(dǎo)碩導(dǎo)的數(shù)量和性別比

制定未來財(cái)務(wù)支出計(jì)劃，有效配置教育資源

用戶通過查看教育經(jīng)費(fèi)概況，教育經(jīng)費(fèi)收支情況，可以觀察歷年各項(xiàng)收入支出變化，計(jì)算收支增長百分比，合理預(yù)測下一年的收支情況，制定財(cái)務(wù)計(jì)劃。

教育信息化是社會信息化的一個重要組成部分，合理利用大數(shù)據(jù)的統(tǒng)籌與應(yīng)用可以推進(jìn)教育決策科學(xué)化。可視化大數(shù)據(jù)管理系統(tǒng)將進(jìn)一步為教育決策大數(shù)據(jù)系統(tǒng)的架構(gòu)設(shè)計(jì)、系統(tǒng)研發(fā)和多面應(yīng)用提供基礎(chǔ)和方法。