面向高校治理現(xiàn)代化的數(shù)據(jù)服務(wù)平臺(tái)研究與設(shè)計(jì)*

(浙江建設(shè)職業(yè)技術(shù)學(xué)院,浙江杭州 310000)

0 引言

高校治理體系現(xiàn)代化的一個(gè)重要內(nèi)涵即是治理方式現(xiàn)代化,要發(fā)揮信息技術(shù)在治理中的價(jià)值[1]。數(shù)據(jù)是高校信息化的基礎(chǔ)工程,隨著信息化工作逐步推進(jìn),高校的大量業(yè)務(wù)實(shí)現(xiàn)了線上化,例如學(xué)工管理、教務(wù)管理、科研管理、師資管理等,滿足了業(yè)1務(wù)縱向管理的需求。同時(shí),高校的技術(shù)部門構(gòu)建了傳統(tǒng)的數(shù)據(jù)交換中心,用于匯集各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù),并實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)交換共享。

近幾年,基于數(shù)據(jù)的業(yè)務(wù)協(xié)同化、服務(wù)個(gè)性化、分析交叉化、決策科學(xué)化新需求不斷涌現(xiàn),既有高校的內(nèi)生需求,如教育信息化“十三五”規(guī)劃、高校“最多跑一次”改革、智慧校園建設(shè)等工作提出的新的要求;也有外生需求,如互聯(lián)網(wǎng)、大數(shù)據(jù)等新技術(shù)潛移默化地改變了人們的日常工作、生活的習(xí)慣,用戶對(duì)高校信息化的更高期望等。但當(dāng)前此類新需求的推進(jìn)舉步維艱,無(wú)法實(shí)現(xiàn)或者實(shí)現(xiàn)效果遠(yuǎn)不如預(yù)期,用戶不滿意,最終這些尖銳的矛盾都指向了數(shù)據(jù),暴露出了當(dāng)下大部分高校數(shù)據(jù)方面存在的一些共性痛點(diǎn)、堵點(diǎn)問題,如數(shù)據(jù)質(zhì)量不高,缺少權(quán)威源,系統(tǒng)間數(shù)據(jù)打架,“點(diǎn)人頭”困難,線上滯后于線下,數(shù)據(jù)時(shí)效性差,數(shù)據(jù)融合困難[2],分析缺少科學(xué)性,無(wú)法用于決策及輔助管理等問題。

數(shù)據(jù)服務(wù)能力是高校治理現(xiàn)代化的內(nèi)在要求,將內(nèi)嵌在高校競(jìng)爭(zhēng)力體系之中,在高校治理領(lǐng)域依然存在很大的優(yōu)化升級(jí)空間。因此,轉(zhuǎn)換理念,認(rèn)識(shí)到數(shù)據(jù)服務(wù)模式變革實(shí)際上是對(duì)業(yè)務(wù)管理的梳理重構(gòu),構(gòu)建一個(gè)面向高校治理現(xiàn)代化的數(shù)據(jù)服務(wù)平臺(tái)有其必要性和緊迫性。

1 數(shù)據(jù)服務(wù)平臺(tái)架構(gòu)

平臺(tái)的整體架構(gòu)定義為多橫多縱的松耦合架構(gòu),如圖1所示。

圖1 數(shù)據(jù)服務(wù)平臺(tái)架構(gòu)圖Fig.1 Data service platform architecture

2 數(shù)據(jù)服務(wù)規(guī)范制度建立

數(shù)據(jù)是高校的無(wú)形資產(chǎn)和戰(zhàn)略資源,是高校各項(xiàng)業(yè)務(wù)運(yùn)作的基礎(chǔ)。提高數(shù)據(jù)的綜合服務(wù)能力,實(shí)際上是對(duì)高校業(yè)務(wù)管理工作的整體梳理和重構(gòu),涉及各個(gè)部門、各類人員的切身權(quán)益[3]。確立高校數(shù)據(jù)服務(wù)頂層規(guī)劃,建立數(shù)據(jù)服務(wù)相關(guān)制度,在數(shù)據(jù)服務(wù)工作推進(jìn)過(guò)程中,能夠顯著減少推進(jìn)的阻力。數(shù)據(jù)服務(wù)相關(guān)制度包括《數(shù)據(jù)管理辦法》《數(shù)據(jù)標(biāo)準(zhǔn)管理辦法》《數(shù)據(jù)開放管理辦法》《數(shù)據(jù)安全管理辦法》《元數(shù)據(jù)管理辦法》《數(shù)據(jù)質(zhì)量管理辦法》等[4]。

3 數(shù)據(jù)服務(wù)平臺(tái)功能模塊設(shè)計(jì)

3.1 數(shù)據(jù)采集模塊

高校最核心的數(shù)據(jù)主要是有關(guān)學(xué)生、教職工、專業(yè)、課程、科研等關(guān)鍵基礎(chǔ)數(shù)據(jù),這些基礎(chǔ)數(shù)據(jù)經(jīng)常被學(xué)校各類業(yè)務(wù)系統(tǒng)頻繁調(diào)度使用。目前高校往往采用ODI 定時(shí)全量同步或基于表觸發(fā)器的CDC 數(shù)據(jù)同步等方式在各業(yè)務(wù)系統(tǒng)間進(jìn)行數(shù)據(jù)的交換[5],但這兩種方式往往只適合結(jié)構(gòu)化數(shù)據(jù),且存在使用效率低下、實(shí)時(shí)性差、故障點(diǎn)多等問題。

數(shù)據(jù)服務(wù)平臺(tái)設(shè)計(jì)并構(gòu)建了一套數(shù)據(jù)采集共享體系,采用量身定制的ETL方案,解決目前ODI數(shù)據(jù)交換接口的局限性,主要包括實(shí)時(shí)ETL功能、非結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)采集功能和定時(shí)ETL功能。實(shí)時(shí)ETL功能采用ODI for OGG 的方式實(shí)現(xiàn),利用OGG 實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)日志層面的實(shí)時(shí)捕捉,減少對(duì)數(shù)據(jù)庫(kù)主體業(yè)務(wù)事物的侵入和資源占用,然后利用ODI 的轉(zhuǎn)換清洗功能實(shí)現(xiàn)數(shù)據(jù)的清洗,并落入目標(biāo)庫(kù);非結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)采集功能利用Kafka對(duì)數(shù)據(jù)進(jìn)行文件類型檢測(cè),如存在非結(jié)構(gòu)化數(shù)據(jù)則調(diào)用ETL 文件采集任務(wù),將非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)到目標(biāo)庫(kù)HBase數(shù)據(jù)庫(kù);定時(shí)ETL 功能主要是對(duì)一些重要程度較低、實(shí)時(shí)性要求不高的數(shù)據(jù),采用ODI等傳統(tǒng)的定時(shí)ETL工具完成數(shù)據(jù)的采集和交換。

3.2 數(shù)據(jù)標(biāo)準(zhǔn)模塊

數(shù)據(jù)標(biāo)準(zhǔn)模塊主要包括數(shù)據(jù)標(biāo)準(zhǔn)的構(gòu)建、審核、導(dǎo)入、導(dǎo)出等。

數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)建主要包含數(shù)據(jù)元、代碼集和數(shù)據(jù)集等三類標(biāo)準(zhǔn)的構(gòu)建,是數(shù)據(jù)治理的準(zhǔn)備工作。數(shù)據(jù)元是不可再分的最小數(shù)據(jù)單元,在本模塊中實(shí)現(xiàn)對(duì)數(shù)據(jù)元標(biāo)準(zhǔn)的新增、分類、修改、刪除、檢索、統(tǒng)計(jì)、導(dǎo)出、變更管理以及審核等基礎(chǔ)功能。代碼集標(biāo)準(zhǔn)是處理業(yè)務(wù)信息和建立業(yè)務(wù)信息數(shù)據(jù)庫(kù)的基礎(chǔ)標(biāo)準(zhǔn),在本模塊實(shí)現(xiàn)對(duì)代碼集的新增、分類、修改、檢索、統(tǒng)計(jì)、導(dǎo)出、變更管理以及審核等基本功能,生成校內(nèi)各業(yè)務(wù)系統(tǒng)共同使用的代碼集,包括國(guó)家、行業(yè)代碼標(biāo)準(zhǔn)及學(xué)校自定義的代碼標(biāo)準(zhǔn)。數(shù)據(jù)集是使用者定義的虛擬數(shù)據(jù)表,記錄了每項(xiàng)元數(shù)據(jù)的ID、名稱、類型、長(zhǎng)度、約束等。本模塊在數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)建時(shí),將傳統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)單一的業(yè)務(wù)屬性拓展增加業(yè)務(wù)屬性、管理屬性和安全屬性,為后續(xù)的數(shù)據(jù)治理確定數(shù)據(jù)責(zé)任人及數(shù)據(jù)分層分類開放提供依據(jù)。

數(shù)據(jù)標(biāo)準(zhǔn)審核是為為了保證標(biāo)準(zhǔn)的規(guī)范性和有效性。各類相關(guān)人員創(chuàng)建新的數(shù)據(jù)標(biāo)準(zhǔn)后,平臺(tái)將發(fā)起標(biāo)準(zhǔn)審核流程,由學(xué)校標(biāo)準(zhǔn)管理部門進(jìn)行審核,審核通過(guò)后方可納入標(biāo)準(zhǔn)體系。

數(shù)據(jù)標(biāo)準(zhǔn)的導(dǎo)入導(dǎo)出功能主要實(shí)現(xiàn)將高校已梳理完成的線下標(biāo)準(zhǔn)導(dǎo)入系統(tǒng)生成線上標(biāo)準(zhǔn)以及將線上標(biāo)準(zhǔn)進(jìn)行實(shí)時(shí)導(dǎo)出。

3.3 數(shù)據(jù)治理模塊

數(shù)據(jù)治理模塊主要利用數(shù)據(jù)標(biāo)準(zhǔn)管理中的標(biāo)準(zhǔn)和各種治理規(guī)則,對(duì)各個(gè)業(yè)務(wù)系統(tǒng)的源數(shù)據(jù)進(jìn)行核驗(yàn),核驗(yàn)后,將問題數(shù)據(jù)反饋給數(shù)據(jù)責(zé)任人并通知其整改,提高數(shù)據(jù)流轉(zhuǎn)質(zhì)量。數(shù)據(jù)治理主要圍繞治理規(guī)則設(shè)計(jì)、治理任務(wù)設(shè)計(jì)、治理任務(wù)調(diào)度、數(shù)據(jù)元級(jí)責(zé)任人管理、問題數(shù)據(jù)、質(zhì)量報(bào)告等內(nèi)容開展,如圖2所示。

圖2 數(shù)據(jù)治理模塊流程圖Fig.2 Flow chart of data governance module

3.4 數(shù)據(jù)開放模塊

數(shù)據(jù)開放模塊包括數(shù)據(jù)開放服務(wù)發(fā)布、數(shù)據(jù)服務(wù)獲取和數(shù)據(jù)服務(wù)在線申請(qǐng)。

數(shù)據(jù)開放服務(wù)分為實(shí)時(shí)數(shù)據(jù)開放和定時(shí)數(shù)據(jù)開放,這兩種方式在開放服務(wù)發(fā)布時(shí)都需錄入數(shù)據(jù)服務(wù)名稱,用戶通過(guò)數(shù)據(jù)服務(wù)名稱來(lái)申請(qǐng)數(shù)據(jù)服務(wù)。實(shí)時(shí)數(shù)據(jù)開放服務(wù)發(fā)布時(shí)根據(jù)源業(yè)務(wù)系統(tǒng)向外提供的數(shù)據(jù)特點(diǎn),錄入所開放的數(shù)據(jù)內(nèi)容,并指定數(shù)據(jù)服務(wù)獲取方式。定時(shí)數(shù)據(jù)開放服務(wù)在發(fā)布前,可對(duì)定時(shí)數(shù)據(jù)進(jìn)行多表融合、組合過(guò)濾、字段間邏輯運(yùn)算等處理工作,以滿足用戶自助式、靈活多變的數(shù)據(jù)需求。定時(shí)數(shù)據(jù)獲取方式主要包括基于HTTP 方式的數(shù)據(jù)獲取、基于數(shù)據(jù)庫(kù)接口方式的數(shù)據(jù)獲取、基于API 方式的數(shù)據(jù)獲取和基于WebService方式的數(shù)據(jù)獲取等。用戶根據(jù)開放的數(shù)據(jù)服務(wù)名稱,在線發(fā)起數(shù)據(jù)服務(wù)申請(qǐng)并選擇數(shù)據(jù)服務(wù)獲取方式。平臺(tái)根據(jù)用戶所選擇數(shù)據(jù)的最高安全屬性和管理屬性,確定不同的審批流程。審批通過(guò)后可直接在線自動(dòng)完成數(shù)據(jù)服務(wù)獲取的一鍵配置,或者線下完成數(shù)據(jù)服務(wù)獲取的復(fù)雜配置。

3.5 數(shù)據(jù)展現(xiàn)模塊

包含數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)服務(wù)目錄、數(shù)據(jù)服務(wù)申請(qǐng)、數(shù)據(jù)獲取記錄、數(shù)據(jù)質(zhì)量排行、數(shù)據(jù)質(zhì)量報(bào)告、個(gè)人基礎(chǔ)數(shù)據(jù)頁(yè)、數(shù)據(jù)采集管理等展示頁(yè)面。

4 結(jié)語(yǔ)

2015年國(guó)務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》,其核心是推動(dòng)數(shù)據(jù)資源共享開放。在高校治理現(xiàn)代化的大框架下,轉(zhuǎn)換理念,將數(shù)據(jù)服務(wù)模式變革與業(yè)務(wù)管理的梳理重構(gòu)融合推進(jìn),構(gòu)建數(shù)據(jù)服務(wù)體系,編制相關(guān)制度和流程,然后利用先進(jìn)的數(shù)據(jù)標(biāo)準(zhǔn)、采集、治理、分析等技術(shù),實(shí)現(xiàn)理論的轉(zhuǎn)化,構(gòu)建高校數(shù)據(jù)服務(wù)平臺(tái),以平臺(tái)能力的提升為高校治理現(xiàn)代化提供新的支撐,真正實(shí)現(xiàn)技術(shù)賦能管理,形成結(jié)構(gòu)完善,分工明確,層次清晰的高校治理體系,不僅有助于在教育改革升級(jí)的關(guān)鍵時(shí)間窗口期贏得先發(fā)優(yōu)勢(shì)和引領(lǐng)效應(yīng),而且對(duì)推進(jìn)高校教學(xué)、管理、服務(wù)的智能化、普惠化、均等化,對(duì)提升師生便利感與獲得感也具有積極意義。