劉云 潘峰 徐宇
[摘 要]文章依托信息資源規劃(Information Resource Planning,IRP)和國際數據管理協會(The Data Management Association,
DAMA)數 據治理理論對安徽中煙工業有限公司的數據資源建立數據資產化的基本標準,形成一套配套的規范制度;建立數據資產管控平臺,確保數據標準管理、數據質量管理、元數據管理、數據資源共享等系統落地。通過構建企業的數據治理平臺,從數據標準落地、數據質量管控、元數據管理、數據資源共享等方面,全面提升企業數據治理的能力、提高企業數據資產的管理效率和利用效率。
[關鍵詞]數據治理;標準;元數據;共享
doi:10.3969/j.issn.1673 - 0194.2020.24.046
[中圖分類號]F426;F270.7[文獻標識碼]A[文章編號]1673-0194(2020)24-00-02
1? ? ?數據治理的理論概述
數據治理最早源于20世紀70年代末期的數據管理。DA(Data Administration,數據管理)的概念在諾蘭信息化成熟度模型中有過闡述,自此之后逐漸發展并引入中國,陸續有國內外的學者開始研究數據治理在企業、政府等領域發揮的作用。在國外已有的數據治理模型中,提及較多的是數據治理協會(The Data Governance Institute,DGI)數據治理框架和國際數據管理協會(The Data Management Association,DAMA)數據治理框架。其中,DGI數據治理模型包括規則與協同工作規范、人員與組織架構、過程三大部分及10個子部分。該模型的特點是將治理流程融入模型中,以流程箭頭的形式標識出治理順序。DAMA數據治理的目標是加強信息管理和信息服務,通過數據管理組織架構建設和制度建設、數據標準規范制定和維護、數據質量管理以及數據關系脈絡管理,能夠從根本上解決信息割裂、不完整、不合規等問題,實現數據流轉和血緣分析,增加分析數據的有效工作時間,減少用于在復雜企業數據環境中搜索數據的時間。而國內的數據治理模型要歸根到高復先老師在20世紀90年代引進信息工程理論而獨創的IRP(Information Resource Planning,信息資源規劃)理論模型上,IRP對國內普及數據元、數據標準、元數據的概念起到了很大作用。
2? ? ?煙草企業現存的數據治理問題
煙草企業經過多年的信息化建設與應用沉淀,積累了豐富的數據資源,這些資源為企業自身業務提供服務的同時,也成為企業重要的數據資產。但系統間的集成錯綜復雜,標準各有差別,數據的一致性問題、業務功能共享和流程貫通等都是煙草企業信息化建設需要解決的問題。以安徽中煙工業有限公司為例,該公司在數據管控和應用方面,尤為突出的問題有以下幾點。
2.1? ?系統管理分散,資源缺乏統一管理
企業信息化建設取得了不小的成果,建設了很多高效智能、操作簡單的業務系統,包括營銷系統、生產執行系統、物流系統等。但系統管理分散,系統資源使用情況獲取困難,且故障排查時,時常找不到系統運維人員。業務系統在投入使用后,會產生大量重要的業務數據,而數據存儲直接關系到系統的資源使用情況,現在很多時候該公司在系統磁盤空間用盡導致系統運行異常后才進行擴容處理,進而出現系統運行中斷和數據丟失等問題,缺乏系統資源使用情況管理功能。
2.2? ?缺乏對數據標準的管理和檢驗
企業越來越重視信息標準的建設工作,花費大量人力、時間編制信息標準、規范制度及相關管理辦法文件制,結果卻裝訂成冊,存入檔案庫;或者宣貫到各個單位就結束了,沒有貫徹落實到實際工作中,更沒有在實際管理工作中細化、量化,實踐總結的規范缺少統一管理和回歸檢驗工作的實踐。
2.3? ?共享數據的質量不高
業務系統之間的數據交換共享存在數據對接方式混亂、傳輸效率低、交換數據的質量無從管理等問題,數據交換過程中,數據不同步、共享失敗的情況時有發生。例如,缺少對交換服務的監控機制,導致使用數據的系統業務時長受到影響;缺少全流程日志查詢功能,導致問題排查定位難度高;缺少數據質量檢查工具,人為檢查數據的效率及質量低,導致共享數據的質量不高。
2.4? ?沒有有效管理和追溯元數據
信息中心每年投入大量的費用建設業務系統,但對業務系統的內在信息掌握很少,一個業務系統有什么樣的數據結構,使用了什么樣的元數據,系統相互之間的元數據是否有影響關系,系統使用的元數據是否滿足規范要求,是否會發生變更等,沒有一個可以集中查看的平臺,缺乏對系統資產的管理控制。
3? ? ?煙草企業的數據治理實踐
根據安徽中煙工業有限公司的實際情況,本文將DAMA模型的優勢與IRP理論的精華相結合,在此理論指導下開展了該公司的數據治理工作。依托IRP和DAMA理論對安徽中煙工業有限公司的數據資源建立數據資產化的基本標準,形成配套的規范制度。通過構建企業的數據治理平臺,從數據標準落地、數據質量管控、元數據管理、數據資源共享等方面,全面提升企業數據治理能力,提高企業數據資產的管理效率和利用效率。
3.1? ?數據標準落地
數據標準從字面上理解就是數據既定的“規則”,這個規則一旦定義,就必須執行。數據標準化就是研究、制定和推廣應用統一的數據分類分級、記錄格式及轉換、編碼等技術標準的過程。從管理對象上看,數據標準主要包括3個方面的標準:數據模型標準,即元數據的標準化;主數據和參照數據標準;指標數據標準,如指標的統計維度、計算方式、分析規則等。數據標準編制指根據企業業務進行管控數據項劃分,確定數據項的名稱、編碼、類型、長度、業務含義、數據來源、質量規則、安全級別、域值范圍等。數據標準參考國際、國家或行業標準的現行標準制定,也可以根據企業業務制定特定的企業級數據標準。數據標準審核是對數據標準初稿進行審查,判斷數據標準是否符合企業的應用和管理需求,是否符合企業數據戰略要求數據標準發布要求。數據標準一經發布,各部門、各業務系統都需要按相應的標準執行。同時,企業需要評估現有應用系統、數據模型的影響,并提出相應的應對策略:對于新建的系統要求直接應用定義好的數據標準,對于舊系統建議建立相應的數據映射關系,進行數據轉換,逐步落實具體的數據標準。數據標準管理工具,從功能層面主要包括:數據標準編制、數據標準審核、數據標準發布、數據標準使用等。
3.2? ?數據質量管理
數據質量管理指對數據從獲取、存儲、維護、應用生命周期的每個階段中可能引發的各類數據質量問題,進行識別、度量、監控、預警等一系列管理活動,并通過改善和提高組織的管理水平進一步提高數據質量。數據質量管理建立在完善的數據治理體系上,通過貫徹數據標準,提高數據質量,建立數據質量監控處理工作機制和技術平臺,推進數據資產化管理。數據質量管理主要通過一系列流程和手段,實現對數據質量問題的監控、預警、分析、解決和反饋的閉環管理,以及時發現各類型的數據問題,提升問題處理效率,從而保障數據中心高質量運行。從功能上看,數據質量管理工具主要包括數據質量指標管理、數據質量規則管理、數據質量評估任務、數據質量評估報告等。
3.3? ?元數據管理
元數據管理統一管控分布在企業各個角落的數據資源,通過制定科學、有效的管理機制進行管理,并面向開發人員、最終用戶提供元數據服務。元數據分為業務元數據和技術元數據,業務元數據包括業務歸屬、指標、度量、業務規則、業務數據字典等;技術元數據包括數據模型、數據結構定義、數據倉庫技術ETL過程。對業務人員來說,元數據有利于數據導航、加深數據理解和提高數據信任度。對技術人員來說,通過影響分析,掌握各程序、數據之間的關系,能夠更好地明確系統變更涉及的范圍,更好地開展重點監控、數據交換、數據遷移及數據歸檔與清理工作。元數據管理需要構建元數據模型用于存儲元數據定義,通過基于元數據采集、管理、分析的元數據管理功能框架的技術工具支撐元數據管理。其中,元數據管理功能主要包括元數據采集服務、應用開發支持服務、元數據訪問服務、元數據管理服務和元數據分析服務等。
3.4? ?數據資源共享
數據資源共享管理主要指開展數據共享和交換,實現數據內外部價值的一系列活動。數據共享管理包括數據內部共享(企業內部跨組織、部門的數據交換)、外部流通(企業之間的數據交換)、對外開放。數據內部共享的關鍵步驟是打通企業內部各部門間的數據共享瓶頸,建立統一規范的數據標準與數據共享制度,數據外部流通和對外開放可以通過數據直接交易與提供數據分析信息兩種方式實現,將數據中符合共享開放層級的信息作為應用商品,以合規安全的形式完成共享交換或開放發布。要做到企業數據資源共享,首先要把企業數據資源按照一定的業務主題進行組織歸類,并通過友好的可視化界面展示,使用戶清晰地了解企業擁有的數據和提供的服務,并能靈活地申請訂閱,使數據資源得到最大化利用。同時,需要把數據服務按照主題和需求進行組件化封裝,提供完整統一的、可按需定制的數據服務。在實現數據資源共享的同時,相關機構還要建立明確的數據申請及審批機制,明確各級審批權限,有效地控制數據資源的流向,保證數據安全。數據資源共享通過搭建數據交換共享平臺實現,該平臺包括模型管理、消息管理、接口管理、服務管理等功能,可以組織、歸類企業業務系統中需要共享交換的數據,提供組件化的數據服務,滿足靈活、個性化的需求及各業務系統間數據交換的需求,提升企業數據資源的共享和服務水平。
4? ? 結 語
在數據價值越來越重要的時代,企業數據資產的價值逐漸凸顯,其中,數據管理和利用水平是企業數字化轉型的基礎,而數據治理成為企業關注的重點。企業數據管理平臺重點提供了數據的“采、管、存、用”4種能力,而數據治理工具是提供最核心的“管”數據的能力和一部分“采、存、用”數據的能力。通過構建數據治理平臺,規范組織架構,能夠落實現有標準的系統,賦能精細化經營管理的基礎工作,全面提升企業數據治理能力,進而提高企業數據資產的管理效率和利用效率。
主要參考文獻
[1]李鑰.煙草商業企業“雙核四維”數據統計治理模型探索[J].中國煙草學報,2015(1):46-52.
[2]郭文卓,王子豪.煙草行業大數據資產管理[J].電子技術與軟件工程,2018(20):183.