高校數據中臺中數據管控及服務的研究與實踐

潘旭

摘要：本文介紹了高校數據中臺實現的技術路線，其中數據監控提供數據結構管控、數據交換管控、數據質量管控、數據安全管控和數據存儲服務等通用服務。

關鍵詞：數據管控 ?數據中臺 ?數據服務

高等學校一直以來使用共享數據中心、統一身份認證和統一信息門戶為核心的“三大基礎平臺”數字校園建設模式，面臨數據質量不佳和業務流不健全的諸多問題。采用基于共享服務中臺支撐智慧校園建設模式，實現統一技術架構、統一數據存儲和統一業務服務，保障數據質量持續提升和業務服務持續擴展成為主流解決方案。

1.數據管控中心數據結構和交換

數據中臺中數據管控中心提供數據結構管控、數據交換管控、數據質量管控、數據安全管控和數據存儲服務等通用服務。

1.1數據結構管控

基于元數據可視化管理工具，實現元數據建模、信息標準元數據管理、業務應用元數據管理、元數據版本管理、元數據譜系跟蹤、代碼規范管理和數據照管管理，并形成數據管控制度。主要服務能力包括：元數據配置建模：支持學校按需新建、配置、發布和管理信息標準、業務服務和應用系統的元模型數據結構和關聯關系。標準元數據管理：支持查看、導出國家信息標準、行業信息標準和自建信息標準的元數據結構。業務元數據管理：支持查看、導出信息創新業務服務和已建應用系統的元數據結構。數據表維度配置：支持自定義數據中心表維度，

支撐智能圖表和智能搜索對表維度的配置 ?要求。元數據版本管理：定義元數據版本跟蹤元數據模型變化，支持不同版本元數據模型之間的對比分析。元數據譜系跟蹤：支持元數據血統分析、元數據影響分析、元數據關聯分析，呈現元數據在數據中心的上下游關聯關系、重要程度和影響范圍。代碼規范管理：支持國家代碼、行業代碼和自編代碼的編輯與管理，支持自定義代碼編碼規范。數據照管管理：按學校職能域配置元數據照管歸屬關系，明晰學校數據照管人員或崗位，形成數據生產、使用、照管、管理數據權責矩陣。數據管控制度：發布和管理數據管理制度和文檔，

支持文檔的分類、上傳、下載、在線查看。

1.2數據交換管控

基于數據交換可視化配置工具，實現數據清洗整合作業建模、多引擎任務調度、集群部署與監控，實現數據在各部門和各應用系統中的共享與交換。主要服務能力包括：數據清洗整合工具：通過圖形化界面，采用拖、拉、拽的操作方式，無須編碼即可實現數據清洗整合ETL作業的配置。數據清洗整合組件：提供豐富的數據清洗整合組件，提供常用固化的常用清洗模塊，提供組件二次開發接口支持自定義數據清洗整合組件。多引擎任務調度：實現多引擎作業調度管理，按

需新增和配置數據清洗整合引擎，實現數據清洗整合任務運行管理，提供批量設置、暫停、恢復、停止、啟動ETL作業服務。集群部署監控：支持集群部署，保障負載均衡，實現服務集群管理，可以新增和編輯服務集群和服務器節點，提供集群、節點和任務運行監控，能夠監控ETL服務集群運行狀態和服務器節點性能指標。異構數據源處理：支持關系型數據庫、NoSQL數據庫、桌面文本文件、XML文件等各種類型數據庫與數據中心對接。數據流向監控：提供數據流向共享關系監控服務，通過數據資源供需拓撲視圖監控數據中心數據資源的歸屬系統和數據表。

2. 數據質量和安全管控

2.1數據質量管控

基于數據質量管控可視化配置工具，實現質量目標設定、校驗規則定義、治理任務調度、治理結果反饋、問題數據追蹤、質量對比分析和質量績效考核的閉環質量管控。主要服務能力包括：數據質量治理方法庫：提供多個維度的數據治理方法形成學校自己的治理方法庫，支持數據唯一性、完整性、有效性、規范性、一致性、穩定性、準確性方面的數據治理，治理方法可以根據學校實際需要擴展。

數據質量治理方案配置：提供數據質量治理方案在線配置工具，可配置數據治理范圍、數據治理方法、數據治理周期，實時監控數據治理方案的總體運行狀況。

數據質量治理任務監控：實現自動或手動兩種方式啟動數據治理任務，實時監控數據治理任務運行指標。問題數據治理任務跟蹤：實現問題數據治理任務監控與追蹤，查看問題數據的維護人、告警數量、治理任務分配情況等信息。多維數據質量報告：提供全校、部門、照管熱、數據表多個維度的數據質量報告，監控數據稽核狀態和數據完整性、規范性、一致性、穩定性、有效性、唯一性質量指標狀態。數據質量問題預警：設置重點告警內容、告警閾值、告警級別，支持告警信息推送至相關的數據管控責任人。數據治理工作考核：實現質量績效評分依據和權重可配置，根據問題數據督辦事項和管控數據質量進行考核評分。

2.2數據安全管控

基于數據安全可視化配置工具，管理數據存儲、數據交換、數據接口、數據管控、數據歸檔等多場景數據安全。主要服務能力包括：數據加密存儲安全：提供多種加密方式，實現數據中心所有數據的加密存儲，保障數據安全。數據管控權限安全：為保證數據中心的數據訪問的安全性，實現系統角色、工作崗位、業務部門等多個維度的數據權限控制，可配置所有數據的搜索、查詢、新增、編輯權限。數據接口服務安全：提供數據接口申請和審核服務，實現數據服務接口在線自定義配置，支持配置限制單次訪問最大數據量、兩次請求時間間隔、數據傳輸加密方式等安全策略。敏感信息脫敏安全：提供數據加密和脫敏服務，支持多種加密方式可選擇，支持對敏感信息進行脫敏替換。訪問緩慢接口控制：支持設置訪問緩慢判定標準，監控新增類、更新類和查詢類緩慢服務總量等性能指標信息，指導系統訪問效率優化。

結束語：高校數據中臺職能由“業務支持”、“項目管理”向“業務創新”、“自主運維”方向轉變，構建學校與廠商合能共創服務模式，通過培訓掌握共享服務中臺的運維體系，在深入研究本校業務特點的基礎上，實時響應信息化業務需求變化，全面支撐學校信息化建設與服務工作。

參考文獻

[1]蔡興振， 喻術剛， 張鑫. 基于數據中臺的高校綜合服務系統架構研究與設計[J]. 經濟技術協作信息（33）：1.

[2]吳陽吉. 智能數據交換平臺的研究與應用[D]. ?2010.