淺談高校的數(shù)據(jù)清洗與整合

龐金香

摘 要： 針對我校信息化建設(shè)現(xiàn)狀中最為突出的“信息孤島”問題，從信息化建設(shè)的根本出發(fā)，構(gòu)建面向高校服務(wù)的數(shù)據(jù)清洗與整合大平臺，全面規(guī)范我校數(shù)據(jù)資源，讓數(shù)據(jù)以高質(zhì)量的形式呈現(xiàn)給使用者，從而突破“信息孤島”并進(jìn)一步打破“服務(wù)孤島”。經(jīng)過挖掘分析、清洗、整合后的校內(nèi)各類數(shù)據(jù)為教育教學(xué)改革提供了各種服務(wù)，提升了我校信息化管理水平，為建設(shè)智慧校園提供了精準(zhǔn)有力的工具。

關(guān)鍵詞： 數(shù)據(jù)； 數(shù)據(jù)清洗； 信息化； 整合

中圖分類號：TP393 文獻(xiàn)標(biāo)志碼：A 文章編號：1006-8228（2017）08-39-03

Abstract： Aiming at the predominant problem of "information island" existing in the current situation of our university informatization， starting from the basic of information construction， the service oriented platform for university data cleaning and integration is constructed， which comprehensively regulates the data resources of our university， provides the users with high quality data， so as to break through the "information island" and further break the "service island". After mining， analyzing， cleaning and integrating， a variety of campus data provides various services for the education and teaching reform， which effectively improves the information management level in our university and offers accurate and powerful tools for the construction of smart campus.

Key words： data； data cleaning； informatization； integration

0 引言

數(shù)據(jù)已成為諸多行業(yè)的重點研究對象，多元數(shù)據(jù)具有非常重要的社會價值。當(dāng)前正在使用大數(shù)據(jù)的案例大部分集中于社會商業(yè)領(lǐng)域和公共管理部門。相比之下，高校的數(shù)據(jù)在多元性方面還遠(yuǎn)不及上述領(lǐng)域的數(shù)據(jù)。校園一卡通系統(tǒng)是高校內(nèi)產(chǎn)生數(shù)據(jù)量最多的應(yīng)用，根據(jù)存儲統(tǒng)計，其交易數(shù)據(jù)量可以達(dá)到幾百個G，但距離P（即100萬G）量級的數(shù)據(jù)規(guī)模還有相當(dāng)大的差距。從數(shù)據(jù)多樣性角度來看，高校數(shù)據(jù)種類繁多，類別豐富。大數(shù)據(jù)的思想和技術(shù)對于高校的信息化建設(shè)將起到非常重要的作用[1]。數(shù)據(jù)能夠為高校帶來價值，有利于高校的發(fā)展和創(chuàng)新。

1 高校信息化現(xiàn)狀

在大數(shù)據(jù)背景下，高校的IT資源現(xiàn)狀和支撐條件已無法滿足實現(xiàn)大數(shù)據(jù)應(yīng)用的要求[2]。處于信息化建設(shè)不同階段的高校，都普遍存在著“信息孤島”的問題[3]，具體包括：基于應(yīng)用本位的理念導(dǎo)致從管理思維出發(fā)建設(shè)了諸多應(yīng)用系統(tǒng)；前期缺少信息化整體建設(shè)規(guī)劃，從而因應(yīng)用系統(tǒng)建設(shè)時期的不同導(dǎo)致各部門信息化水平和程度的參差不齊；系統(tǒng)的版本有新有舊，人員對信息化的認(rèn)知程度千差萬別。早期搭建信息化平臺的高校，都在不同程度上存在著各種各樣的數(shù)據(jù)質(zhì)量問題，如數(shù)據(jù)繁雜異構(gòu)導(dǎo)致系統(tǒng)架構(gòu)不同、數(shù)據(jù)種類繁雜缺乏融合等[4]。

2 應(yīng)對措施

我校在前期的信息化建設(shè)中，搭建了數(shù)字化校園基礎(chǔ)平臺，完成了部分資源的共享互聯(lián)工作。隨著業(yè)務(wù)部門應(yīng)用系統(tǒng)的增加，以及對信息化需求的不斷擴(kuò)充，大量教學(xué)、科研、人事、行政、后勤管理等方面的業(yè)務(wù)數(shù)據(jù)資源日益積累下來。在保證學(xué)校原有IT資源的前提下，我校對這些數(shù)據(jù)資源進(jìn)行充分合理的利用，通過數(shù)據(jù)治理的手段，采集全面有效、權(quán)威準(zhǔn)確的信息數(shù)據(jù)，形成服務(wù)資源，分類型存儲在數(shù)據(jù)倉庫中，對這些數(shù)據(jù)進(jìn)行了挖掘和分析，由此形成了如圖1所示的高校數(shù)據(jù)結(jié)構(gòu)圖。據(jù)此搭建基于數(shù)據(jù)標(biāo)準(zhǔn)的元數(shù)據(jù)庫，以數(shù)據(jù)標(biāo)準(zhǔn)作為元數(shù)據(jù)的約束，繼而以元數(shù)據(jù)為基礎(chǔ)形成全校的核心數(shù)據(jù)庫。

信息化應(yīng)用不論建于何時，數(shù)據(jù)量都是在不斷地補(bǔ)充和豐富的，數(shù)據(jù)種類也是在不斷的更新和變換之中，這些數(shù)據(jù)包括歷史數(shù)據(jù)、新數(shù)據(jù)、主數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等[5]。采用面向服務(wù)的數(shù)據(jù)清洗與整合平臺，清洗后的數(shù)據(jù)能夠為學(xué)校提供重要的分析及決策依據(jù)。

3 面向服務(wù)的數(shù)據(jù)清洗與整合平臺建設(shè)策略

3.1 平臺建設(shè)策略

構(gòu)建高校面向服務(wù)的數(shù)據(jù)中心，首先從學(xué)校內(nèi)部業(yè)務(wù)出發(fā)，以業(yè)務(wù)為主線，以服務(wù)為目的，通過數(shù)據(jù)清洗與整合平臺，采集精準(zhǔn)高質(zhì)量的數(shù)據(jù)，并與業(yè)務(wù)進(jìn)行融合貫通，從而利用數(shù)據(jù)為用戶提供服務(wù)[6]。數(shù)據(jù)清洗與整合平臺架構(gòu)如圖2所示。

如果不是從高校的數(shù)據(jù)質(zhì)量及業(yè)務(wù)邏輯出發(fā)，而只是零散、隨機(jī)地利用數(shù)據(jù)進(jìn)行一些分析和挖掘，那么數(shù)據(jù)資源就可能成為缺乏價值和生命力的一種擺設(shè)。因此，高校面向服務(wù)的數(shù)據(jù)清洗與整合平臺建設(shè)可以起到至關(guān)重要的作用。高質(zhì)量、全面的數(shù)據(jù)來源于業(yè)務(wù)，所以必須通過業(yè)務(wù)系統(tǒng)得到基礎(chǔ)數(shù)據(jù)。不同業(yè)務(wù)系統(tǒng)提供的基礎(chǔ)數(shù)據(jù)將匯聚到共享數(shù)據(jù)中心，經(jīng)過清洗、整合、變換、轉(zhuǎn)化，成為規(guī)范的、標(biāo)準(zhǔn)的、準(zhǔn)確的、一致的、完備的數(shù)據(jù)信息。這些數(shù)據(jù)信息隨后在數(shù)據(jù)工程師手中進(jìn)行聚合、運算、變換，得到提煉；通過業(yè)務(wù)模型發(fā)現(xiàn)其新的價值，再通過專業(yè)工具予以展示，最終變?yōu)槿藗儨\顯易懂的形式，成為學(xué)校業(yè)務(wù)改進(jìn)、管理能力提升、教學(xué)質(zhì)量提高和整體辦學(xué)能力增強(qiáng)的有力武器。

3.2 面向服務(wù)的數(shù)據(jù)清洗與整合平臺的組成部分：數(shù)據(jù)服務(wù)共享中心庫和數(shù)據(jù)交換服務(wù)平臺

從數(shù)據(jù)標(biāo)準(zhǔn)的管理和信息化項目入手，采用靈活可配置的標(biāo)準(zhǔn)管理策略，參照標(biāo)準(zhǔn)庫，通過因地制宜的方式，制定適合本校現(xiàn)狀的標(biāo)準(zhǔn)草案，形成一套系統(tǒng)的執(zhí)行標(biāo)準(zhǔn)。同時，不斷與信息化項目的需求進(jìn)行匹配并修正，從而形成一個良好的閉環(huán)系統(tǒng)，真正實現(xiàn)靈活可配置的特性。結(jié)合元數(shù)據(jù)管理和服務(wù)接口管理，在遵循數(shù)據(jù)標(biāo)準(zhǔn)管理的基礎(chǔ)上，實現(xiàn)標(biāo)準(zhǔn)、開發(fā)、具有柔性特質(zhì)的數(shù)據(jù)服務(wù)共享中心庫的設(shè)計。

在不同學(xué)校、不同時期，數(shù)據(jù)結(jié)構(gòu)以及業(yè)務(wù)系統(tǒng)訪問服務(wù)接口均有所變化，一套墨守成規(guī)的管理方式無法滿足學(xué)校的真實需求。如果基于信息標(biāo)準(zhǔn)定義元數(shù)據(jù)，自動生成或更新中心庫的表結(jié)構(gòu)，并將原有的中心庫平滑地整合到現(xiàn)有共享數(shù)據(jù)中心，實現(xiàn)開放的、可定制的對外數(shù)據(jù)服務(wù)功能，那么系統(tǒng)維護(hù)人員或管理員只需進(jìn)行簡單配置即可定制出數(shù)據(jù)服務(wù)接口，而無需通過編程完成。這樣就可以完美地實現(xiàn)安全、靈活、便捷、可感知、可控制的柔性特質(zhì)。

將原有業(yè)務(wù)系統(tǒng)中心庫平滑地整合到現(xiàn)有共享數(shù)據(jù)中心，需要經(jīng)過數(shù)據(jù)清洗、整合、變換、轉(zhuǎn)化等過程。建立數(shù)據(jù)交換服務(wù)平臺，能夠?qū)崿F(xiàn)可視化任務(wù)設(shè)計、多用戶在線管理、可視化業(yè)務(wù)建模、多引擎熱部署等功能。內(nèi)置的15類共200多種數(shù)據(jù)整合業(yè)務(wù)組件及多種轉(zhuǎn)換規(guī)則，幾乎涵蓋高校所有業(yè)務(wù)。針對多樣性數(shù)據(jù)以及不同規(guī)則的整合要求，通過簡單的參數(shù)配置就能完成設(shè)計，操作簡單快速，無需編程。簡易的操作體現(xiàn)在可視化管理和系統(tǒng)的易操作性。B/S架構(gòu)用于數(shù)據(jù)整合監(jiān)控管理，C/S模式用于設(shè)計數(shù)據(jù)整合工具，基于HTML5技術(shù)對業(yè)務(wù)流程進(jìn)行管理與設(shè)計。該平臺能夠承載學(xué)校業(yè)務(wù)系統(tǒng)內(nèi)外的所有數(shù)據(jù)，以高性能的模式實現(xiàn)集群智能負(fù)載均衡，能夠在短時間內(nèi)處理龐大的數(shù)據(jù)量，從而保證數(shù)據(jù)的全面性和規(guī)范性。

數(shù)據(jù)經(jīng)過全面規(guī)范化后，將以高質(zhì)量方式呈現(xiàn)給管理者，這樣就體現(xiàn)出了數(shù)據(jù)的深層價值。若按照既定模式，將數(shù)據(jù)放置在傳統(tǒng)固化的門戶上，已不能夠滿足需求。因此，需要搭建如圖3所示的整體數(shù)據(jù)服務(wù)體系。

數(shù)據(jù)清洗的完成，逐步解決了教務(wù)系統(tǒng)、人事系統(tǒng)、圖書管理系統(tǒng)、一卡通系統(tǒng)、科研系統(tǒng)、學(xué)工系統(tǒng)、迎新系統(tǒng)、研究生管理系統(tǒng)、留學(xué)生系統(tǒng)、信息發(fā)布系統(tǒng)、服務(wù)中心、土地管理系統(tǒng)、公用房管理系統(tǒng)、刷卡開柜系統(tǒng)、騰訊郵箱、后勤管理系統(tǒng)、人事自助打印系統(tǒng)、聯(lián)創(chuàng)刷卡上機(jī)系統(tǒng)、出入境管理系統(tǒng)、大型儀器管理系統(tǒng)、石大云平臺、數(shù)字石大、網(wǎng)絡(luò)計費、聯(lián)想網(wǎng)盤系統(tǒng)、無紙化會議系統(tǒng)、安保系統(tǒng)、餐飲服務(wù)系統(tǒng)等業(yè)務(wù)部門之間信息交互不規(guī)范、信息系統(tǒng)因分布不完善而存儲到不同的數(shù)據(jù)存儲載體、部門間因信息編碼不一致而無法進(jìn)行數(shù)據(jù)的交換和共享以及信息的實時交換和共享等問題，從而有效防止過期或無效數(shù)據(jù)，并且依據(jù)清洗后的數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析。

4 結(jié)束語

本文研究了高校數(shù)據(jù)清洗與整合，對校內(nèi)各類數(shù)據(jù)進(jìn)行挖掘和分析，可為學(xué)校的跨越式發(fā)展提供科學(xué)化的數(shù)據(jù)支持，提高學(xué)校管理水平。下一步的信息化建設(shè)目標(biāo)是將我校建設(shè)成為一個“數(shù)據(jù)化、服務(wù)化、智慧化”程度更高的可持續(xù)發(fā)展的智慧校園。因此必須研究如何合理利用新的信息技術(shù)工具，以實現(xiàn)學(xué)校教育管理信息化為前提，實現(xiàn)更精準(zhǔn)更有價值的大數(shù)據(jù)分析。

參考文獻(xiàn)（References）：

[1] 姚偉.基于大數(shù)據(jù)背景下的數(shù)字化校園建設(shè)[J].信息安全與技術(shù)，2015.9：75

[2] 趙建華.數(shù)字化校園建設(shè)下大數(shù)據(jù)時代高效IT運維管理[J].長春師范大學(xué)學(xué)報，2015.34（12）：47

[3] 周杰.高校教育信息化與數(shù)字化校園建設(shè)的探究[J].制造業(yè)自動化，2011.33（3）：218

[4] 匡博，王穎.大數(shù)據(jù)時代下數(shù)字化校園建設(shè)的研究與探討[J].電腦知識與技術(shù)，2016.12（10）：11

[5] 梁飛媛.關(guān)于發(fā)展我國高校教育信息化若干問題的思考[J].教育探索，2010.9：25

[6] 李建中，王宏志，高宏.大數(shù)據(jù)可用性的研究進(jìn)展[J].軟件學(xué)報，2016.27（7）：1605