大數(shù)據(jù)環(huán)境下高校數(shù)據(jù)治理策略探索

趙亞偉

摘要：隨著大數(shù)據(jù)技術(shù)的崛起，各高校逐步建立起自己的數(shù)據(jù)中心，這在很大程度上解決了高校各業(yè)務(wù)系統(tǒng)各自為政、信息孤立、管理方式復(fù)雜多變等問題。然而數(shù)據(jù)中心的數(shù)據(jù)質(zhì)量情況嚴(yán)重取決于各個基礎(chǔ)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)質(zhì)量。各業(yè)務(wù)系統(tǒng)由于長久以來的信息獨享、信息更改不及時等，在數(shù)據(jù)質(zhì)量上存在著很大的問題。因此，高校系統(tǒng)的數(shù)據(jù)治理便成了及其重要且必需的工作。該文以教師個人主頁系統(tǒng)的推廣為依托，詳細介紹了如何利用教師個人主頁系統(tǒng)協(xié)助基本業(yè)務(wù)系統(tǒng)的數(shù)據(jù)治理工作。

關(guān)鍵詞：數(shù)據(jù)治理;高校信息化;大數(shù)據(jù)

中圖分類號：G647? ? ? ?文獻標(biāo)識碼：A? ? ? 文章編號：1009-3044（2019）01-0022-02

1 高校數(shù)據(jù)治理面臨的問題

目前高校數(shù)據(jù)治理主要面臨以下幾個方面的問題[1]。

一是各業(yè)務(wù)系統(tǒng)彼此獨立，缺乏有效的數(shù)據(jù)溝通和共享，導(dǎo)致數(shù)據(jù)資源無法得到合理利用，產(chǎn)生大量的冗余數(shù)據(jù)，由于人為操作和系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)及代碼標(biāo)準(zhǔn)的不一致性，也導(dǎo)致了大量數(shù)據(jù)格式不統(tǒng)一以及數(shù)據(jù)互斥的現(xiàn)象。

二是部分業(yè)務(wù)系統(tǒng)的管理不規(guī)范，一部分部門仍按照Excel表格的方式存儲數(shù)據(jù)，導(dǎo)致數(shù)據(jù)更新不及時，更為嚴(yán)重的是隨著計算機硬件的更新?lián)Q代，使得以前的數(shù)據(jù)大批量丟失。

三是數(shù)據(jù)質(zhì)量參差不及。首先，同一含義的數(shù)據(jù)可以來源于不同的系統(tǒng)，加上系統(tǒng)之間的獨立性導(dǎo)致很多數(shù)據(jù)格式存在差異，這為數(shù)據(jù)的整合增加了很大困難;其次，部分數(shù)據(jù)缺失或者互斥，如何利用技術(shù)手段解決缺失或者沖突的數(shù)據(jù)并更正便成為數(shù)據(jù)治理的另一個難點;最后，對于錯誤某些數(shù)據(jù)，其擁有單一的數(shù)據(jù)源，而且數(shù)據(jù)格式完全無誤，單純依靠技術(shù)手段難以發(fā)現(xiàn)其中的錯誤，這就需要人為進行數(shù)據(jù)核對，然而由于各系統(tǒng)的復(fù)雜性，這無疑會大大增加教師的工作量，降低教師及工作人員的積極性。

針對以上問題，結(jié)合我校的數(shù)據(jù)治理工作，筆者認為高校的數(shù)據(jù)治理工作可以分成以下幾個步驟。

第一，需要確定統(tǒng)一的數(shù)據(jù)編碼標(biāo)準(zhǔn)和使用操作規(guī)范，各系統(tǒng)嚴(yán)格按照此標(biāo)準(zhǔn)執(zhí)行，這就為數(shù)據(jù)編碼的統(tǒng)一性提供了堅實的基礎(chǔ)。為此，我校參考國家標(biāo)準(zhǔn)、教育行業(yè)標(biāo)準(zhǔn)，修訂了《北京語言大學(xué)信息編碼標(biāo)準(zhǔn)》，同時制定了《北京語言大學(xué)基礎(chǔ)數(shù)據(jù)管理暫行辦法》，為數(shù)據(jù)的生產(chǎn)和使用提供了制度依托。

第二，需要確定起始數(shù)據(jù)源，建設(shè)正確、高效、可重復(fù)利用的數(shù)據(jù)中心。其中，這部分可分為幾個小步：1）確定各系統(tǒng)之間的數(shù)據(jù)流程圖，明確各個系統(tǒng)之間數(shù)據(jù)的流轉(zhuǎn)關(guān)系，找出數(shù)據(jù)源頭;2）分析需要納入數(shù)據(jù)中心的字段名稱，剔除無用字段;3）設(shè)計接口，實現(xiàn)數(shù)據(jù)的歸聚，形成數(shù)據(jù)質(zhì)量還不是特別高的數(shù)據(jù)集合;4）針對系統(tǒng)內(nèi)和系統(tǒng)間的數(shù)據(jù)關(guān)系，設(shè)計數(shù)據(jù)監(jiān)測模塊，利用技術(shù)手段自動發(fā)掘其中的問題數(shù)據(jù)，在源頭系統(tǒng)進行數(shù)據(jù)更改;5）對于無法用技術(shù)手段檢測的數(shù)據(jù)，我們采用一種全新的方式進行校對——教師個人主頁系統(tǒng)，該系統(tǒng)的上線使用，不僅為教師打造了一個動態(tài)的個人電子名片，而且為數(shù)據(jù)治理提供了強有力的工具。數(shù)據(jù)的準(zhǔn)確性可以更客觀的展示教師的科研教學(xué)成果，提升教師的影響力;教師主頁用戶量的提升以及教師影響力的擴大又進一步推動了數(shù)據(jù)治理工作的進展。

第三，根據(jù)數(shù)據(jù)流向，設(shè)計數(shù)據(jù)服務(wù)接口，建設(shè)大批量的碎片化服務(wù)平臺，將經(jīng)常使用的線下服務(wù)搬到線上，真正實現(xiàn)網(wǎng)絡(luò)化、信息化辦公。

第四，規(guī)劃上層數(shù)據(jù)分析應(yīng)用，發(fā)揮大數(shù)據(jù)的潛力，設(shè)計數(shù)據(jù)模型，搭建大數(shù)據(jù)分析平臺，用于個人數(shù)據(jù)的分析展示和整體數(shù)據(jù)的價值挖掘，為學(xué)校的各項宣傳和決策提供助力和依據(jù)。

如何借助教師個人主頁系統(tǒng)治理單純依靠技術(shù)手段無法修正的錯誤數(shù)據(jù)是該文所要論述的重點內(nèi)容。

2 北京語言大學(xué)教師個人主頁系統(tǒng)

為了加強學(xué)校教師對自身教學(xué)和學(xué)術(shù)研究的宣傳，提升學(xué)校在教學(xué)、科研及人才培養(yǎng)等方面的影響力，我中心聯(lián)合研究生處、人事處、教務(wù)處、科研處等單位為全校教職工建設(shè)了“北京語言大學(xué)教師個人主頁系統(tǒng)”。

“北京語言大學(xué)教師個人主頁系統(tǒng)”是為全校教職工提供的一個統(tǒng)一、便捷、個性化的中、英文個人主頁管理和發(fā)布平臺，是教師的電子名片。教職工可以在該平臺中建立個人主頁，展示個人基本信息、教學(xué)情況、學(xué)生信息、研究成果、研究方向、著作成果等內(nèi)容[2]。

教師個人主頁利用科研系統(tǒng)、人事系統(tǒng)、研究生系統(tǒng)、教務(wù)系統(tǒng)中已有的數(shù)據(jù)為依托，方便快捷地將教師的個人基本信息、教育經(jīng)歷、工作經(jīng)歷、授課信息、科研成果、所帶的研究生信息等遷移到教師主頁系統(tǒng)中，并對這四個系統(tǒng)中變化的數(shù)據(jù)實行增量同步策略，大大減少了教師錄入數(shù)據(jù)的工作量，提高了數(shù)據(jù)的準(zhǔn)確率，實現(xiàn)一個數(shù)據(jù)源、多個系統(tǒng)重復(fù)使用的目標(biāo)。同時，教師也可以自定義添加內(nèi)容，為教師的個性化設(shè)置提供了發(fā)揮空間。

然而，教師主頁中的基礎(chǔ)數(shù)據(jù)的數(shù)據(jù)質(zhì)量不是很高，這就需要對源數(shù)據(jù)進行數(shù)據(jù)治理。上一章我們提出了數(shù)據(jù)治理的幾種情況，通過技術(shù)手段我們完成了一部分數(shù)據(jù)的治理工作，并將其保存在數(shù)據(jù)中心;其他的不能使用技術(shù)手段治理的數(shù)據(jù)，我們采用了一種全新的應(yīng)用和數(shù)據(jù)治理相結(jié)合的方法，即利用教師個人主頁系統(tǒng)，將需要核對的字段信息集成到教師個人主頁中，然后組織教師對自己的主頁內(nèi)容進行核對，這樣既避免了教師去各個系統(tǒng)核對數(shù)據(jù)的煩瑣，又進一步增加了教師對個人主頁系統(tǒng)的了解，為教師主頁的推廣提供助力，數(shù)據(jù)核對工作完成后教師可根據(jù)需要選擇是否開通自己的主頁供他人訪問。

3 數(shù)據(jù)整合及數(shù)據(jù)流向

教師個人主頁通過統(tǒng)一身份認證系統(tǒng)獲取教師基本信息，再通過數(shù)據(jù)中心將教務(wù)系統(tǒng)、科研系統(tǒng)、人事系統(tǒng)、研究生系統(tǒng)中的數(shù)據(jù)進行數(shù)據(jù)抽取，集成到教師個人主頁數(shù)據(jù)庫，然后將數(shù)據(jù)分類展示到教師個人主頁中。

其中，數(shù)據(jù)中心采用ODI （Oracle Data Integrator）工具創(chuàng)建接口，配合數(shù)據(jù)質(zhì)量監(jiān)控模塊，實現(xiàn)各系統(tǒng)數(shù)據(jù)到數(shù)據(jù)中心的增量同步工作，并對源數(shù)據(jù)質(zhì)量進行技術(shù)層面的評估檢測。然后，我們根據(jù)教師主頁所需要的字段設(shè)計視圖，從數(shù)據(jù)中心抽取相關(guān)數(shù)據(jù)內(nèi)容以同樣的方式同步至教師個人主頁系統(tǒng)臨時數(shù)據(jù)庫。最后，檢測教師個人主頁系統(tǒng)臨時數(shù)據(jù)庫中的內(nèi)容是否符合系統(tǒng)需求，刪除重復(fù)記錄和有害記錄，將結(jié)果增量同步到教師個人主頁數(shù)據(jù)庫。

教師個人主頁系統(tǒng)管理端訪問權(quán)限封閉在校內(nèi)，很大程度上保證了系統(tǒng)管理端的安全性和可靠性。校內(nèi)教師通過統(tǒng)一身份認證登錄管理后臺，校外教師則通過WebVPN的方式登錄管理端。老師可以在教師端管理后臺看到自己所有的數(shù)據(jù)。其中，有一部分數(shù)據(jù)是老師自己添加的，另外一部分是從其他業(yè)務(wù)系統(tǒng)同步來的數(shù)據(jù)。為了便于區(qū)分，從其他業(yè)務(wù)系統(tǒng)同步過來的數(shù)據(jù)，我們在每個條目后面都添加了特殊的標(biāo)志進行區(qū)分。同時，教師若開通了自己主頁的用戶訪問權(quán)限，還可以對這些數(shù)據(jù)進行自定義設(shè)置其他人是否前端頁面可見。老師如果發(fā)現(xiàn)自己的數(shù)據(jù)問題：如果是自己添加的數(shù)據(jù)，可以在教師主頁進行修改;如果是其他業(yè)務(wù)系統(tǒng)同步過來的數(shù)據(jù)，則需要到指定系統(tǒng)進行更改，經(jīng)過一段時間后，數(shù)據(jù)同步模塊會將更改后的數(shù)據(jù)進行自動同步。這樣便在很大程度上保證了數(shù)據(jù)的準(zhǔn)確性和完整性。

4 數(shù)據(jù)治理進展及成效

我們與人事處、科研處、教務(wù)處和研究生處溝通后，結(jié)合大數(shù)據(jù)分析系統(tǒng)及北語教師印記應(yīng)用所需要的信息，確定了人事系統(tǒng)包括基本信息、教育經(jīng)歷、工作經(jīng)歷、獎勵信息在內(nèi)的40個核心字段以及科研系統(tǒng)包括科研項目、著作成果、科研專利、論文成果、獲獎信息在內(nèi)的43個核心字段、教務(wù)系統(tǒng)的授課信息中的8個重要字段和研究生系統(tǒng)中的教師所帶的學(xué)生信息中的7個重要字段。而后將這些字段信息集中展現(xiàn)在教師個人主頁管理后臺中。教師登陸教師主頁管理端便可以方便地查看這些字段的內(nèi)容是否正確。如果內(nèi)容有誤，我們通過與人事處、科研處、教務(wù)處和研究生處商議，確定了不同系統(tǒng)中數(shù)據(jù)修改流程。此項工作實施六個多月以來，數(shù)據(jù)質(zhì)量有了明顯的提高。

在這次數(shù)據(jù)治理工作中，全校大部分教師先后參與了本人數(shù)據(jù)的核對工作，反饋了大量的數(shù)據(jù)質(zhì)量問題。經(jīng)過總結(jié)整理，主要有以下幾個方面：1）人事系統(tǒng)中教師的婚姻信息由于教師入職填寫后便沒有反饋，導(dǎo)致信息長時間沒有更新，導(dǎo)致一部分教師的婚姻信息有誤，這部分內(nèi)容需要人工進行更正;2）由于教師姓名拼音是系統(tǒng)自動生成的，而漢語中存在多音字的現(xiàn)象，導(dǎo)致一部分教師的姓名拼音有誤，這部分內(nèi)容我們確定了新的拼音生成策略來解決這個問題;3）教師科研項目信息存在缺失的情況，這部分內(nèi)容需要手工進行補錄;4）由于歷史原因，新舊系統(tǒng)在數(shù)據(jù)遷移的過程中，出現(xiàn)了一部分重復(fù)數(shù)據(jù)，這部分內(nèi)容則需要根據(jù)重復(fù)的類型分類對待，必要時需要與教師溝通進行解決;5）某一條數(shù)據(jù)中部分字段信息缺失或有誤。

經(jīng)過此次數(shù)據(jù)治理工作，我校的數(shù)據(jù)中心有了一個質(zhì)的提高。未來，將逐步建設(shè)高質(zhì)量、可用的全量數(shù)據(jù)中心;繼續(xù)加入非結(jié)構(gòu)化數(shù)據(jù)的工具化收集及自動化治理工作，為各級部門及領(lǐng)導(dǎo)的決策提供良好的數(shù)據(jù)支持。

參考文獻：

[1] 魏楚元.高校數(shù)據(jù)治理與大數(shù)據(jù)分析的思考與探索[J].中國教育網(wǎng)絡(luò)，2017（10）： 22-23.

[2] 張巍，劉瑾，楊雨.大連理工大學(xué)高校教師個人主頁系統(tǒng)的探索與實踐[J].中國教育網(wǎng)絡(luò)，2017（11）：64-65.