高校數據中臺建設方案設計與分析

呂忠亭， 崔巍， 劉洋， 張婕

(1. 延安職業技術學院， 網絡信息中心， 陜西 延安 716000；2. 延安大學， 物理與電子信息學院， 陜西 延安 716000)

0 引言

隨著智慧校園的不斷發展，高校數據呈現多元化的狀態，各業務部門對數據的需求從原來單純的業務管理轉向數據分析決策與判斷，原來面向單一部門內部的管理轉向跨部門的流程服務，對實現數據互通、流程跨部門推進的需求越發突出[1-2]。此外，在大數據背景下，數據隱私與安全越發重要[3]。因此，傳統數據倉庫、數據共享中心無論從數據體量、數據質量還是供給模式上均已不能滿足高校當下對數據深層次挖掘、分析利用的需求，嚴重阻礙和限制了智慧校園的推進。鑒于此，本文有針對性地提出了高校數據中臺建設方案，解決數據管、通、統問題，形成從數據采集、清洗、治理、存儲、使用、管理等環節的閉環，降低數據使用門檻，實現數據真正為教學、科研、管理、服務而服務。

1 數據中臺建設現狀

數據中臺是一個體系，也是一種解決方案，可以被定義為一個集數據采集、融合、清洗治理、組織管理、智能分析為一體，將數據以服務方式提供給前臺應用，以提升業務運行效率、持續促進業務創新為目標的整體平臺[4]。數據中臺的概念最早由阿里巴巴公司于2015年提出，2018年各大互聯網公司紛紛提出中臺戰略并隨之進行組織架構的調整，將“中臺”的概念推向了高潮[5]。目前，國內對數據中臺的研究趨于成熟，在互聯網、金融、電力、媒體等行業得到廣泛應用[6-8]。高校由于受到自身業務需求的限制，應用案例相對較少，但也取得了可觀的成績，如西安電子科技大學數據開放平臺、南京理工大學大數據分析平臺等。高等職業類院校起步較晚，但是發展迅猛，特別是自2018年推進整改工作以來，基本都已完成數據融合平臺和大數據分析平臺建設，形成了較為科學、規范的數據標準體系，實現了數據的初步治理與沉淀，構建了數據倉庫和共享數據中心，初步具備了數據中臺的規模。

相比于國內，國外尚未推出數據中臺的概念，但是針對數據標準體系、數據治理、數據處理、數據服務等方面的研究相對成熟，廣泛地應用于高校教學、科研、管理和服務。

2 傳統數據中臺建設模式及存在問題

高校是數據產生、擁有和使用的主體，面對繁雜、異構、字段內容缺失、難以關聯和分析等數據問題，進行了一系列數據融合、智慧校園基礎平臺、大數據分析與決策系統等項目建設。采用微服務架構，純B/S模式，建成了一站式網上服務大廳、統一身份認證系統、主數據平臺、數據交換平臺ODI、API服務總線、大數據分析與決策系統。確定了數據源和目標，構建了較為原始的集數據采集、轉換、清洗治理、存儲、管理、使用、展示為一體的數據中臺體系，基本上實現了信息標準化、服務一站化、業務流程化、數據模型化。

但是，隨著智慧校園的不斷推進，應用場景不斷被多樣化、碎片化、即時化，往往需要針對某一簡單場景快速上線和應用，各職能部門需要實現跨平臺、跨部門協同辦公，對數據的使用需求和分析決策需求越發明顯。此外，移動化的普及對使用習慣的改變也催生了移動化辦公的轉變。這些不斷產生和變化的需求對智慧校園體系提出更高的要求。而反觀現有數據中臺體系顯然不能滿足需求，由于種種原因并沒有實現平臺價值的充分利用，存在諸多問題，歸納總結如下。

1) 數據中心黑盒運行，技術要求高，部門要數據，操作復雜。

2) 數據維度缺少，只考慮數據交換，數據價值未充分利用。只有結構化數據，忽視了非結構化數據。

3) 數據資源分散，師生重復填表。大量線下數據無法流動共享，數據來源缺乏權威。

4) 數據質量缺乏保障，難以為領導決策提供可信數據支撐，難以支持數據統計、分析，難以支持復雜的跨部門業務協作。

3 高校數據中臺方案設計

數據中臺不是一個跨時代的全新理念，其建設基礎依然是數據倉庫和數據中心。為此，本文針對傳統數據中臺存在的問題，采用大平臺、微服務的智慧校園架構，提出更優的高校數據中臺解決方案。目的在于實現全局數據服務能力統一供給，充分支撐智慧校園體系中的各類信息化服務綜合應用和數據分析挖掘的需求。同時為解決數據的管、通、統3類核心問題提供理論依據和方法借鑒。其設計方案如圖1所示。

圖1 數據中臺體系

1) 數據源層

涵蓋高校常見的各類數據源，包括關系型DB、文本文件、syslog日志、二進制日志等數據，實現線上業務數據、線下業務數據、智能設備數據和互聯網數據的全量提取，在物理層面形成一個大的數據集。

2) 數據采集、處理層

以需求為驅動，以數據多樣性的全域思想為指導，統一業務系統集成通道，確定人事、科研、學工、教學等數據唯一源頭，制定相應規范制度，確保數據來源唯一性。遵循并完善現行數據編碼體系，基于Hadoop生態體系，采集和治理全業務、多終端、多形態的數據，解決各類數據在邏輯層面的統一。

3) 數據倉庫平臺層

對異構數據先進行分類存儲、分類治理、源頭治理，溯源數據血緣關系、質量關系，統一數據格式，再實現數據統一存儲，在物理層面形成一個大的數據倉庫。對于原有數據，抽取、清洗、治理后直接引入數據倉庫。

4) 數據治理輸出層

構建統一數據治理體系，涵蓋數據標準構建、不同類別數據集成、數據質量檢測規則和評分體系、以及配套的數據管理規范制度等內容，實現數據的全生命周期治理，使得數據治理真正成為一個不斷循環和迭代的過程。

5) 數據應用層

構建統一數據開放平臺，通過統一服務總線API接口供應數據。程序通過API調用直接訪問到數據源中的數據，無需本地再建數據庫，實現輕量級架構。同時，將不同來源、不同架構的數據進行統一的API封裝，屏蔽多數據源、多物理表、多查詢渠道、多出口供給的復雜性，實現數據與程序的松耦合架構，從而實現簡單應用場景的快速開發與上線。此外，構建數據庫體系和知識庫體系，真正降低數據使用門檻，為廣大師生、各業務部門、各級領導提供數據化、智能化的智慧校園服務。

4 預期成效

本設計方案在傳統數據中臺體系基礎上，構建了新的更優的數據中臺體系，落地后應實現5類能力和5種體系，分別是構建采集數據、治理數據、發布數據、管理數據、分析數據5類能力；形成數據標準、數據資產、知識庫、數據處理和分析、制度規范5個體系。

5 總結

以智慧校園建設為背景，分析了傳統數據中臺建設現狀與建設模式，針對存在的問題，提出新型的數據中臺解決方案，為解決數據的管、通、統3類核心問題和實現數據的全生命周期治理提供了一種新的解決思路。同時，智慧校園建設應構建采集數據、治理數據、發布數據、管理數據、分析數據5類能力，形成數據標準、數據資產、知識庫、數據處理和分析、制度規范5個體系。降低數據使用門檻，為廣大師生、各業務部門、各級領導提供數據化、智能化的智慧校園服務。

隨著5G網絡、物聯網絡、大數據、人工智能等技術的不斷發展、普及及應用，數據中臺將會朝著數據更多樣、底層更智能、上層使用更簡單、應用更豐富的方向發展，在不久的將來，必將迎來各行各業依托數據中臺進行數字化轉型和構建數據智能應用的熱潮，而蓬勃發展的相關技術也將為數據中臺功能的完善與升級提供更多的可能性。