基于數(shù)據(jù)中臺架構(gòu)的主數(shù)據(jù)平臺設(shè)計與研究

石冬喜 汪思冰

摘 要： 隨著信息化技術(shù)的快速發(fā)展，高等學(xué)校信息化建設(shè)已經(jīng)基于數(shù)據(jù)采集工具實現(xiàn)了數(shù)據(jù)交換，基本上可以滿足跨部門數(shù)據(jù)的共享需求。但在實際數(shù)據(jù)相關(guān)工作中數(shù)據(jù)采集工具的局限性非常的明顯、數(shù)據(jù)質(zhì)量存在的問題較為突出，主要原因是學(xué)校的業(yè)務(wù)發(fā)展比較快導(dǎo)致了數(shù)據(jù)類型的多樣化、數(shù)據(jù)規(guī)模非常龐大，而數(shù)據(jù)治理能力卻欠缺。建設(shè)學(xué)校數(shù)據(jù)中心已經(jīng)成為各個高校關(guān)注的問題，本文將對數(shù)據(jù)中心建設(shè)提出框架和思路，對具體落地實施提出的想法，物聯(lián)網(wǎng)技術(shù)在智慧校園中的應(yīng)用將會得到普及，其中的相關(guān)數(shù)據(jù)將會無縫的接入到數(shù)據(jù)中心，為學(xué)校師生提供更好的服務(wù)。

關(guān)鍵詞： 數(shù)據(jù)中心;數(shù)據(jù)治理;數(shù)據(jù)展示

中國分類號：G31?????????? 文獻標(biāo)識碼：A

1、引言

現(xiàn)階段各高校數(shù)據(jù)治理遇到一些瓶頸，主要表現(xiàn)在：數(shù)據(jù)交換方式局限性高、數(shù)據(jù)資源目錄尚不清晰、數(shù)據(jù)處理自動化程度低、可視化監(jiān)控能力待提升、數(shù)據(jù)治理和開發(fā)能力亟需加強、重復(fù)填報數(shù)據(jù)，降低工作效率等問題，數(shù)據(jù)中心建設(shè)就是為了解決以上問題并且采用先進的技術(shù)來解決高校多變的需求。

數(shù)據(jù)治理項目建設(shè)主要內(nèi)容包括：數(shù)據(jù)治理服務(wù)、數(shù)據(jù)交換服務(wù)、數(shù)據(jù)總線服務(wù)、數(shù)據(jù)治理規(guī)范標(biāo)準(zhǔn)設(shè)計、數(shù)據(jù)應(yīng)用建設(shè)、數(shù)據(jù)展示（人員畫像）應(yīng)用建設(shè)、數(shù)據(jù)安全管理。作者在高校信息化部門從事十多年的工作，結(jié)合高校實際情況進行了深入理解和總結(jié)，通過本文使以后的數(shù)據(jù)中心建設(shè)提供一些建設(shè)性的意見，供教育界同行借鑒。

2、整體框架和建設(shè)思路

數(shù)據(jù)中心建設(shè)是一個系統(tǒng)工程，需要高校投入大量的人力和財力，是一個循序漸進逐步建設(shè)的過程，而不是一蹴而就的工程，作者認為數(shù)據(jù)中心建設(shè)需要分兩步完成，第一步是數(shù)據(jù)中心平臺基礎(chǔ)工作建設(shè)，第二步是智慧化數(shù)據(jù)中臺建設(shè)。第一步建設(shè)是后續(xù)工作建設(shè)的基礎(chǔ)，第二步建設(shè)是第一步建設(shè)的擴充。

2.1數(shù)據(jù)中心建設(shè)基礎(chǔ)工作

基礎(chǔ)建設(shè)工作如下圖1智慧校園建設(shè)基礎(chǔ)平臺所示：

數(shù)據(jù)中心平臺基礎(chǔ)工作主要包括：數(shù)據(jù)標(biāo)準(zhǔn)、主數(shù)據(jù)平臺、數(shù)據(jù)庫建設(shè)、數(shù)據(jù)交換平臺、數(shù)據(jù)服務(wù)總線、數(shù)據(jù)展示平臺六部分組成。所有的工作都是圍繞著數(shù)據(jù)標(biāo)準(zhǔn)這一工作進行，數(shù)據(jù)標(biāo)準(zhǔn)主要是依據(jù)“JY/T 1006-2012高等學(xué)校管理信息”、“JY/T 1001-2012教育管理基礎(chǔ)代碼”、“JY/T 1002-2012教育管理基礎(chǔ)信息”、“JY/T 1003-2012教育行政管理信息”、“JY/T 1007-2012教育統(tǒng)計信息”教育部標(biāo)準(zhǔn)，同時結(jié)合學(xué)校的實際情況建設(shè)學(xué)校的校標(biāo)，這項工作關(guān)系到學(xué)校信息化建設(shè)的質(zhì)量，具有關(guān)鍵性的作用。

2.2數(shù)據(jù)中心建設(shè)之?dāng)?shù)據(jù)中臺

數(shù)據(jù)中心平臺建設(shè)的第二階段是在第一階段完成以后進行展開，主要是對基礎(chǔ)階段的擴展與擴充，最大限度滿足學(xué)校師生的各種需求。如下圖2智慧校園數(shù)據(jù)中心平臺第二階段建設(shè)架構(gòu)如圖2所示：

第二階段建設(shè)在第一階段的基礎(chǔ)上融合了大數(shù)據(jù)和人工智能技術(shù)，滿足更加復(fù)雜可變的需求變化。這個階段數(shù)據(jù)應(yīng)用中心建設(shè)價值主要滿足快、準(zhǔn)、省工作。快，主要是滿足學(xué)校快速多變的數(shù)據(jù)需求;準(zhǔn)，主要是準(zhǔn)確反映相關(guān)真實的數(shù)據(jù)情況;省、是實現(xiàn)最小的成本，滿足各種學(xué)校信息化需求。

3、關(guān)鍵技術(shù)介紹

3.1、數(shù)據(jù)治理服務(wù)

數(shù)據(jù)治理服務(wù)依托于主數(shù)據(jù)平臺完成，主數(shù)據(jù)平臺以教育部《教育部2012版教育信息化數(shù)據(jù)標(biāo)準(zhǔn)》為基礎(chǔ)。按照面向?qū)ο笤O(shè)計理念，主數(shù)據(jù)庫模式是按照對象和高校核心活動進行劃分的，從總體上對高校上層應(yīng)用及數(shù)據(jù)進行梳理，由應(yīng)用來推導(dǎo)模式的設(shè)計，由模式反向衍生、擴展上層應(yīng)用。

3.2、數(shù)據(jù)交換服務(wù)

構(gòu)建數(shù)據(jù)交換平臺，保障數(shù)據(jù)層的互聯(lián)互通。通過商用的數(shù)據(jù)交換平臺完成學(xué)校基礎(chǔ)數(shù)據(jù)庫、業(yè)務(wù)數(shù)據(jù)庫、主題數(shù)據(jù)庫和文件數(shù)據(jù)之間的數(shù)據(jù)交換作業(yè)設(shè)計、調(diào)度、管理和監(jiān)控的軟件系統(tǒng)，為建立學(xué)校數(shù)據(jù)倉庫的鋪墊基礎(chǔ)。

3.3、數(shù)據(jù)總線服務(wù)

構(gòu)建校園服務(wù)總線平臺，保障應(yīng)用系統(tǒng)間互聯(lián)互通。通過專業(yè)的商用服務(wù)總線產(chǎn)品來保障學(xué)校應(yīng)用系統(tǒng)之間在消息、事件和服務(wù)的級別上動態(tài)的互連互通軟件系統(tǒng)，通過校園服務(wù)總線消除異構(gòu)系統(tǒng)間技差異，實現(xiàn)不同服務(wù)之間的通信與整合，推動學(xué)校業(yè)務(wù)部門之間業(yè)務(wù)協(xié)作。

3.4、數(shù)據(jù)治理規(guī)范標(biāo)準(zhǔn)設(shè)計

學(xué)校信息標(biāo)準(zhǔn)是學(xué)校范圍內(nèi)的數(shù)據(jù)字典，為信息交換、資源共享提供基礎(chǔ)性條件。是學(xué)校信息化建設(shè)的重中之重，對推進學(xué)校信息化建設(shè)，保證各類信息的交流與共享，有著重要意義。信息標(biāo)準(zhǔn)需要保證采集、處理、交換、傳輸過程中有統(tǒng)一、科學(xué)、規(guī)范分類和描述，能夠使信息有序流通、最大限度地實現(xiàn)信息資源共享，使學(xué)校信息系統(tǒng)得到協(xié)同發(fā)展，發(fā)揮信息資源綜合效益。

3.5、數(shù)據(jù)應(yīng)用建設(shè)

數(shù)據(jù)應(yīng)用中心建設(shè)價值主要包括：快、準(zhǔn)、省;概括來說就是快速、準(zhǔn)確的對學(xué)校信息化相關(guān)需求進行回應(yīng)，同時在最少可控的成本內(nèi)完成。

3.6、數(shù)據(jù)展示（人員畫像）應(yīng)用建設(shè)

通過圖形化手段清晰地傳達數(shù)據(jù)，促進信息的傳遞與溝通，是數(shù)據(jù)可視化的基礎(chǔ)要素，也是設(shè)計美學(xué)和功能相結(jié)合的具體表現(xiàn)形式。可視應(yīng)用平臺理論的背景下，圍繞“數(shù)據(jù)視圖”和“可視組件”兩個核心概念設(shè)計，支持多種可視化功能。支持各種不同的數(shù)據(jù)源對接。

3.7、數(shù)據(jù)安全管理

建設(shè)可靠的數(shù)據(jù)安全保障體系，實現(xiàn)應(yīng)用服務(wù)及數(shù)據(jù)調(diào)用的安全認證和安全審計，主動的異常數(shù)據(jù)操作行為的監(jiān)控分析、預(yù)警機制，并提供異常問題的倒查追溯能力。

4、具體落地和實施步驟的思考

智慧校園建設(shè)之?dāng)?shù)據(jù)中心建設(shè)落地實施過程是一個系統(tǒng)工程，首先需要學(xué)校領(lǐng)導(dǎo)層的重視，給予信息化部門更多的權(quán)力，而不是僅僅資金上的支持，需要的是全校各個部門協(xié)作，共同制定學(xué)校的數(shù)據(jù)標(biāo)準(zhǔn)。其次需要高校信息中心領(lǐng)導(dǎo)和技術(shù)工程師的協(xié)作，管理和技術(shù)二個方面都不能或缺。管理方面主要包括協(xié)調(diào)學(xué)校各個二級部門和對中標(biāo)公司項目的合作與管理。技術(shù)部分主要包括，標(biāo)書技術(shù)方案的制定，核心技術(shù)可行性的調(diào)研，以及項目驗收過程中技術(shù)部分的檢查，后期項目的維護工作等。然后是中標(biāo)公司的協(xié)作，中標(biāo)公司需要按照學(xué)校合同標(biāo)書嚴(yán)格執(zhí)行相關(guān)工作，在實施過程中遇到困難及時和學(xué)校溝通、商議得到可行性的方案，共同完成合同規(guī)定的各項工作，服務(wù)于學(xué)校師生。

平臺架構(gòu)的設(shè)計需要充分考慮其先進性并且可以落地實施，能為學(xué)校發(fā)展提供有力支撐，數(shù)據(jù)中心建設(shè)主要圍繞以下五點建設(shè)：

4.1、規(guī)劃先行，鞏固成果

根據(jù)校情現(xiàn)狀做好平臺框架的規(guī)劃設(shè)計，體現(xiàn)頂層設(shè)計上的大格局。需要建立數(shù)據(jù)生產(chǎn)、數(shù)據(jù)治理、數(shù)據(jù)開發(fā)（包含業(yè)務(wù)模型探索）以及數(shù)據(jù)應(yīng)用的閉環(huán)數(shù)據(jù)生態(tài)，符合未來五年的政策發(fā)展要求，適應(yīng)變化頻繁的業(yè)務(wù)發(fā)展要求，更好地滿足廣大教職工和學(xué)生在校工作、學(xué)習(xí)的發(fā)展要求。

4.2、積累數(shù)據(jù)，滴水成河

完善現(xiàn)有的數(shù)據(jù)采集機制，為把“小數(shù)據(jù)”做成“大數(shù)據(jù)”提供良好的基礎(chǔ)環(huán)境。主要包括以下三點：

豐富數(shù)據(jù)采集類型，利用更多的技術(shù)手段和工具從結(jié)構(gòu)化數(shù)據(jù)往半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的方向發(fā)展;

豐富數(shù)據(jù)采集的源頭，建設(shè)更多的小應(yīng)用下沉收集數(shù)據(jù)，并提出小應(yīng)用的管理辦法;

豐富采集數(shù)據(jù)的形式，為散落在電子表格中的、臨時需要填報的數(shù)據(jù)提供新渠道，利用長短結(jié)合的方式不斷突破、推進大數(shù)據(jù)的建設(shè)。

4.3、拓展對象，面向問題

在數(shù)據(jù)安全得到保障的前提下，擴大數(shù)據(jù)應(yīng)用的對象和范圍。不斷強化信息安全意識，健全網(wǎng)絡(luò)安全管理制度，創(chuàng)建可靠、可控、可查的網(wǎng)絡(luò)信息安全技術(shù)防護體系，樹立正確的網(wǎng)絡(luò)安全觀，將服務(wù)對象拓展到校級領(lǐng)導(dǎo)、職能部門、教學(xué)單位、直屬單位和教職工以及學(xué)生，科學(xué)地分析、收集服務(wù)對象的數(shù)據(jù)應(yīng)用需求，并提出對應(yīng)的解決辦法，切實幫助服務(wù)對象解決目前在工作、學(xué)習(xí)中使用數(shù)據(jù)的困難，使他們在安全的閉環(huán)數(shù)據(jù)生態(tài)中持續(xù)獲益。

4.4、深化應(yīng)用，融合創(chuàng)新

治理數(shù)據(jù)的目的是為讓數(shù)據(jù)用起來，讓數(shù)據(jù)“說話”，發(fā)揮其應(yīng)有的價值。本期項目的建設(shè)需要立足于解決學(xué)校發(fā)展面臨的實際問題，堅持“以應(yīng)用為導(dǎo)向，以好用為導(dǎo)向，以用好為導(dǎo)向”，促進管理水平和服務(wù)能力的提高。在服務(wù)對象覆蓋面越來越廣的基礎(chǔ)上建設(shè)以師生需求為導(dǎo)向的數(shù)據(jù)服務(wù)與大數(shù)據(jù)分析，配合目標(biāo)管理系統(tǒng)的建設(shè)，實質(zhì)性推動診改工作，體現(xiàn)產(chǎn)學(xué)融合的新實踐，探索準(zhǔn)確評價的新模型。

4.5、橫向共建，促進協(xié)同

加強“數(shù)據(jù)”與“業(yè)務(wù)”的關(guān)聯(lián)性，引入“數(shù)據(jù)中臺”的關(guān)鍵設(shè)計理念，并通過數(shù)據(jù)中臺的架構(gòu)完善數(shù)據(jù)平臺，降低重復(fù)建設(shè)，減少煙囪式協(xié)作的成本，將學(xué)校的發(fā)展需求和師生的發(fā)展需求納入數(shù)據(jù)應(yīng)用協(xié)同的體系，提高將數(shù)據(jù)（信息）作為基礎(chǔ)設(shè)施的認知程度，不斷通過數(shù)據(jù)應(yīng)用來滿足使用數(shù)據(jù)的需求，通過使用數(shù)據(jù)的需求又不斷促進數(shù)據(jù)應(yīng)用的提升，這個過程就是跨部門橫向共建。項目要在理念設(shè)計和軟件實現(xiàn)上圍繞這一本質(zhì)內(nèi)容開展，建立學(xué)校的數(shù)據(jù)應(yīng)用協(xié)作機制，推動信息系統(tǒng)建設(shè)和應(yīng)用從服務(wù)教育部門和學(xué)校管理、監(jiān)管為主的現(xiàn)狀往服務(wù)全校師生教育教學(xué)的過程發(fā)展。

5、數(shù)據(jù)中心發(fā)展展望

5.1、人工智能，深度學(xué)習(xí)在數(shù)據(jù)中心發(fā)展展望

AI賦能是一套智能模型全生命周期管理平臺和服務(wù)配置系統(tǒng)，基于數(shù)據(jù)中心平臺服務(wù)，通過對智能服務(wù)的共享復(fù)用、對智能服務(wù)研發(fā)相關(guān)角色進行管理，以及研發(fā)流程的標(biāo)準(zhǔn)化、自動化，對前臺業(yè)務(wù)提供個性化智能服務(wù)的迅速構(gòu)建能力的支持。

以貧困生決策樹模型建設(shè)流程為例，具體需要如下工作：開始->數(shù)據(jù)中心平臺中選取消費數(shù)據(jù)->統(tǒng)計學(xué)生各類消費信息->將數(shù)據(jù)拆分成訓(xùn)練集和測試集->利用訓(xùn)練集構(gòu)建決策樹模型->運用測試集對決策樹進行剪枝->結(jié)束。

5.2、物聯(lián)網(wǎng)技術(shù)相關(guān)數(shù)據(jù)的融合

本文以窄帶物聯(lián)網(wǎng)為例，智慧校園建設(shè)將會在不久的將來得到普及化的應(yīng)用，數(shù)據(jù)中心將對接物聯(lián)網(wǎng)數(shù)據(jù)，具體實現(xiàn)如下圖3窄帶物聯(lián)網(wǎng)技術(shù)框架圖 所示：

終端設(shè)備發(fā)送信息，通過窄帶物聯(lián)網(wǎng)信息提供商電信郵局完成數(shù)據(jù)發(fā)送到云端服務(wù)器，云端服務(wù)器把數(shù)據(jù)保存到數(shù)據(jù)庫中，同時開放數(shù)據(jù)接口給各個應(yīng)用，用戶可以在移動終端訪問終端設(shè)備，并且發(fā)送相關(guān)指令到終端設(shè)備中去。終端展示可以是PC電腦，微信，手機APP等。物聯(lián)網(wǎng)技術(shù)在智慧校園中的應(yīng)用將會在不久的將來得到普及，其中的相關(guān)數(shù)據(jù)將會無縫的接入到數(shù)據(jù)中心，為學(xué)校師生提供更好的服務(wù)。

參考文獻

[1].賈海天，陳晨.大數(shù)據(jù)環(huán)境下的智慧校園建設(shè)與應(yīng)用.科技創(chuàng)新與應(yīng)用，2019年20期： 162-163.

[2].Haitian Jia; Chun Jia;. Research and Application of Data Standard Construction .?? 2018 the 2nd annual International Conference on Cloud Technology and Communication Engineering 17–19 August 2018， Nanjing， China

[3]劉屹.基于云計算環(huán)境下的教育信息化資源平臺分析與設(shè)計[J].福建電腦，2016（8）.35

[4].Haitian Jia; Chun Jia;. Construction and Application of Data Standard in Big Data Environment， The 2019 1nd International Conference on Big Data Engineering （BDE 2019）? ，11-13 June， 2019， Hong Kong，China

[5].曹建梅，崔鳳磊，楊祥來.職業(yè)院校智慧校園頂層設(shè)計研究與實踐.電腦知識與技術(shù)，2017（6）： 44

[6].曾祥容.基于防火墻和WAF安全設(shè)備的高校信息安全設(shè)計與應(yīng)用.電子技術(shù)與軟件工程，2017（5）：201

郵寄地址：蘇州國際教育園北區(qū)學(xué)府路287號會國學(xué)院，215009

[作者簡介]石冬喜，（1984-），男，漢族，助理研究員，江蘇蘇州人，工學(xué)碩士，主要從事高等教育管理研究。