程永新 梁銘圖 楊志洪



摘要
從數據管理到數據治理到數據資產管理,從全球到國內,各種新概念不斷提出并被加以實踐改良,提升了政府、企事業單位及群眾對大數據資產管理的意識,同時也促進了大數據產業不斷的深入發展,借鑒國內外數據管理模型及相關理論思想,對數據資產管理的模型進行了分析、總結,提煉出組織數據管理的五大管理域十三個能力項,并對每項能力進行了詳細劃分以及相關功能介紹。
【關鍵詞】數妮資產管理 數據管理 數據治理五星模型
1 引言
現在已經全面進入物聯網時代,數據以史無前例的規模大批量一刻不停地生成,與大數據相關的研究和應用層出不窮,數據已經成為各國政府和企業最重要的資產,我國也于2015年8月發布了《促進大數據發展行動綱要》。國家在綱要中明確指出數據是核心資產,大數據是推動經濟發展的新動力,是提升企業核心價值的驅動力。
數據如此重要,數據產生量如此之大,然而整個數據管理領域的理論發展是非常落后的。企業都知道數據很有價值,數據能夠為企業帶來指引,然而真正讓數據為企業帶來價值的案例并不多見,這主要是由于既有的數據管理模型落后并且復雜。
圖1所示,數據管理的概念從80年代提出到現在已經接近40年了,數據治理的提法也有近20年了,而數據資產管理的提出基本是最近5年的事情,中國數據資產管理峰會對數據資產管理的定義為是對數據管理、數據治理及數據資產化的管理過程。
2 數據資產管理研究現狀
2.1 國外研究現狀
20世紀80年代后期,數據倉庫概念開始形成,這也是數據管理理論的萌芽。隨著數據倉庫應用落地和展開,在2000年左右數據治理的相關理念也逐步形成。2000年前后,H.Watson探討了“數據倉庫治理”在BlueCross和Blue Shield of North Carolina兩家公司的最佳實踐,被國內學者認為拉開了“數據治理”在企業管理中的大幕。
早在2004年,國際數據治理協會DGI就首次發布了DGI數據治理框架,從這個框架模型初步提出了RPP(人員/流程/規則)框架。但是,這個框架中沒有對數據治理的具體工作內容給予細化或明確說明。
2006年,國際數據管理協會(DAMA)發布了數據管理框架,并參考了PMBOK的架構編寫了數據管理指南(DMBOK)。經過多次迭代, 2008年3月,國際數據管理協會發布的最新版DMBOK中,將數據管理工作細分為十個職能:
(1)數據治理;
(2)數據架構管理;
(3)數據開發;
(4)數據操作管理;
(5)數據安全管理;
(6)參考數據與主數據管理;
(7)數據倉庫與商務智能管理;
(8)文檔與內容管理;
(9)元數據管理;
(10)數據質量管理。
以及目標和原則、活動、主要交付物、角色和責任、技術、實踐和方法、組織和文化七大環境要素。
2010年,IBM發布了《數據治理統一流程》一書,描述了企業數據能力成熟度評價模型。IBM提出數據治理的要素模型,認為數據風險與合規、價值創造等業務目標或成果是數據治理的核心關鍵命題,并且影響這些目標的達成需要組織結構和認知度、政策、數據相關責任者三個促成要素。在三個促成因素以外,必須關注數據治理三個核心要素,分別是數據質量管理、信息生命周期管理、信息安全和隱私。要素模型中還有數據治理三個支撐要素,數據架構、分類與元數據、審計日志和報告。
2014年,EDM發布了數據管理能力成熟度模型(Data management CapabilityAssessment Model)。在該模型中,EDM將數據管理劃分為八大職能域:
(1)數據管理策略;
(2)數據管理業務案例;
(3)數據管理項目;
(4)數據治理;
(5)數據架構;
(6)技術架構;
(7)數據質量;
(8)數據運營。
2014年,CMMi協會發布了數據管理成熟度模型,將數據管理工作分為六個維度:
(1)數據管理戰略;
(2)數據治理;
(3)數據質量;
(4)平臺及架構;
(5)數據操作;
(6)支持流程。
以及五個成熟度評估等級:可執行級、可管理級、己定義級、可量度級以及優化管理級。
2.2 國內研究現狀
在國內,數據治理和資產管理研究和標準化工作相對較為滯后。2018年5月份,銀保監會正式發布了金融機構數據治理指引。從相關主題的數量,可以看出金融機構數據治理指引主要關注的是制度、人員、流程、監管等相關方面建設。同時,數據管理能力成熟度模型的國家標準也同期發布。
近幾年,隨著數據價值的進一步挖掘,企業對數據資產化需求不斷增長,數據資產管理理念形成。2014年新炬網絡在行業中明確提出了數據資產管理概念及其三大核心框架:數據架構、數據治理和數據運營,并于次年首次對外發布了數據資產管理五星模型,進而將數據資產管理定義為是對數據管理、數據治理及數據資產化的管理過程,此后在與國內外同行的交流和企業實踐中,持續不斷的迭代演進和完善,并于2018年7月的中國數據資產管理峰會上,正式發布數據資產管理“AIGOV五星模型”。如圖2所示。
2018年3月15日,中國國家標準化委員會和中華人民共和國國家質量監督檢驗檢疫總局聯合發布了《數據管理能力成熟度評價模型》,該模型包括數據戰略、數據治理、數據架構、數據應用、數據安全、數據質量、數據標準和數據生命周期等8個關鍵過程功能域,29個能力項。該模型制定了相關的功能域劃分、評價標準和關鍵指標定義,以幫助組織更好地理解和評價數據管理現狀。
2.3 國內外既有模型的對比
簡單總結一下國內外數據管理/數據治理/數據資產管理方面的模型,就會發現,這些模型要么是太過于簡單(比如2003年發布的DGI模型)不知道具體怎么落地,要么是太過于復雜(比如2006年的DAMA模型,DMM模型等)實施起來過于艱難。
相比于其他國內外的標準/模型或框架而言,數據資產管理“AIGOV五星模型”更關注數據資產管理的全局視角和整體過程,企業管理者或從業者可以更清楚了解整個數據資產化價值實現的過程。
如圖3所示,新炬網絡自提出數據資產管理五星模型之后,在與國內外同行分享交流,特別是結合在金融、電信、電力、制造、政府等領域的企業級實踐過程中,歷經多年持續迭代完善,目前的數據資產管理“AIGOV五星模型”正式版覆蓋5大管理域、13個能力項。
3 數據資產管理AIGOV五星模型詳述
3.1 數據資產管理AIGOV五星模型的含義
數據資產管理“AIGOV五星模型”將數據資產管理相關工作劃分成五個管理域和十三個能力項。如圖4所示。
第一個管理域是數據架構策略,針對管理體系,主要是人員的組織結構,以及相關策略制度。數據架構策略管理域只包含一個能力項:組織架構/策略制度。
第二個管理域是數據集成共享,針對數據資產管理的技術平臺。數據集成共享管理域,包括三個能力項:分別是數據采集、數據集成和數據共享中心。
第三個管理域是數據治理,這部分就是數據治理的傳統范疇,包括數據模型管理、元數據管理、數據標準管理以及數據質量管理四個能力項。
第四個管理域是數據運營管理,核心是如何提升數據安全和運營效率;包括數據生命周期管理、數據安全管理和主數據管理三個能力項。
第五個管理域是數據增值應用,通過數據分析挖掘和開放服務,真正將數據服務于企業和企業的戰略聯盟間,提升數據價值、實現業務互動。包括數據分析挖掘、數據開放服務兩個能力項。
3.2 數據資產管理五星模型能力項內容詳解
如圖5所示,數據架構策略域,包含一個能力項組織架構/策略制度。
做好數據資產管理工作,關鍵要做好的是數據資產管理相關組織、制度、流程和規范等相關的建設工作。而其中最為重要的是數據資產管理組織的建立,建立一支真正為企業數據負責的管理和執行團隊,并在企業決策、管理、執行和應用各層面全面實現數據資產管理工作。如果沒有組織,如果沒有人,規章制度靠誰去執行、去監督,如此下去企業中所有的數據資產管理規章制度只會是一紙空文,無法落地。
數據集成共享管理域,包括三個能力項:分別是數據采集、數據集成和數據共享中心。
圍繞數據實現企業中各式數據的采集、集成以及共享,打破企業中形成的數據孤島,將數據進行有效的整合和集成,讓數據實現更多的關聯和碰撞,產生更多業務、產品、服務以及管理等多方面的創新。數據采集整合集成中,應該強調基于元數據驅動數據集成。通過元數據管理,可以讓數據集成過程更公開與透明,更容易發現數據集成過程中出現的問題,更為便捷地得到數據集成過程的深遠影響?;谠獢祿寗酉碌臄祿?,可以使數據采集、處理、匯聚等過程更加規范和利于管理。
數據采集、集成和處理計算之后,形成各種各樣的數據產品。這些數據產品通過數據共享中心打破企業歷史沉淀的數據孤島,通過數據采集、集成進行有效整合,構建企業級數據共享中心,滿足企業內部數據交互、訪問、共享的業務需求,使數據能夠更好的反哺企業業務的發展。
數據治理域從提供一個透明可讀以及高質量的數據環境著手。
數據治理往往始于數據模型管理,根據企業的特點和現狀從正向建模和逆向兩個方面入手。正向建模,從零開始對系統或者數據中心進行模型從新構建。但是對于絕大多數傳統企業,企業存在大量存量系統或者在用系統,同時這些系統中數據模型可能并不清晰,形成事實上的數據黑盒子,企業人員很難理解和運用這些數據。所以,還需要進行逆向數據模型梳理,把數據模型整理清晰,梳理清楚企業數據的基本全貌。數據模型梳理完成以后,實現整個基于版本化的數據模型管控過程。通過數據模型管理體系構建,整個企業的IT系統以及大數據中心所有數據模型的納入統一的管理當中。數據模型管理,最終將以數據地圖、數據資產目錄等方式向企業數據應用、管理和維護人員進行開放和共享,讓數據相同干系人都可以從中獲取必要的數據信息。
數據模型梳理完成,它將是元數據管理最重要輸入內容。元數據管理通過各式的關于數據的信息采集、歸并整合和應用等手段,向企業中提供全局企業多角度元數據視圖??梢暬脑獢祿芾砉ぞ?,為企業數據應用和開發人員提供圖形化全局元數據檢索和查詢,數據處理過程上下文的數據血緣關系分析,以及預覽數據處理和變更對全局的影響度分析。借助元數據管理工具,實現強大元數據監控、稽核和版本管理的能力,便于數據應用和管理人員分析元數據與實際數據中心或者數據倉庫之間的差異,防止元數據與實際系統之間出現“兩張皮”的現象,維護元數據的權威性和準確性。
元數據和數據模型在企業內部數據建設還需要實現標準化過程,數據標準化維度往往包括多個方面,包括數據定義命名的標準化、數據設計的標準化、數據內容和格式的標準以及數據交換的標準等,通過這些數據標準化的工作打通企業內部數據的設計和認知的統一,便利于企業人員理解和認識數據,有利于數據的共享和整合。
完善的元數據管理以及數據標準體系,可以更加方便企業人員進行數據質量管理。數據質量管理借助工具手段將質量管理PDCA循環管理方法論真正落地。在這個過程中,利用數據質量管理工具對數據質量進行有效監控和分析。
數據運營管理域,核心是如何提升數據安全和運營效率。
數據資產管理團隊通過制定合理、完整的數據生命周期管理方案,針對不同類型的業務數據進行貫穿其整個生命周期的管理。面對業務部門和IT部門對數據使用的要求進行調研和分析,結合企業中各類數據特點和趨勢,制定不同數據在不同階段數據生命周期策略,企業上下確認并達成一致后,形成企業中數據生命周期管理規范并發布。
數據資產管理團隊根據國家、行業和企業對數據安全管控需求,對現有數據進行敏感分級分類,形成敏感數據目錄。以此為基礎,還需要針對不同數據制定和完善如安全審計、測試數據管理、數據脫敏、數據提取管理等應用場景。
數據資產管理團隊還負責管理描述企業關鍵業務實體的核心主數據,通過主數據采集、質量管理、審核、發布等方式統一管理企業的黃金數據。
數據增值應用管理域,通過數據分析挖掘和開放服務,真正將數據服務于企業和企業的戰略聯盟間,提升數據價值、實現業務互動。包括數據分析挖掘、數據開放服務兩個能力項。
企業數據分析人員,借助數據可視化、數據統計、挖掘算法和機器學習對整合到大數據共享中心的數據進行分析驗證,提取和發現有用的信息并形成結論。
同時,企業將原始數據、經過有效加工的數據或者整合后的數據報告,通過數據資產化的評估、脫敏和定價,與外部合作伙伴實現數據交換、交易和流通,為企業獲得戰略或財務收益。
4 數據資產管理五星模型的價值和意義
進入大數據的時代,數據被業界公認為是企業的最寶貴資產之一,數據的價值得到廣泛認同。企業依賴數據資產管理為其提供可靠、有價值和高質量的數據,提供更好的產品和服務,降低開發和運維成本,控制風險,以及為企業提供更明智和更有效的決策數據支持。
因此,企業亟需對數據資產進行有效的管理,提升數據的價值。
(1)數據資產管理AIGOV五星模型為企業的數據資產管理提供了管理框架,通過這個有效的管理框架,企業可以參照自身的數據現狀和不足,制定適合自身特點和戰略的數據資產管理規劃,并且有的放矢地按步驟有計劃地開展其數據資產管理活動,分階段實現其整體數據資產管理藍圖。
(2)數據資產管理AIGOV五星模型為企業提供了數據資產管理實踐級的方法論,通過這些在各大型企事業單位中經受過實戰演練的方法、規范和制度流程。它指導企業更有效地開展各種數據資產管理活動,有助于解決企業在實施數據資產管理可能遇到各種問題和規避常見的陷阱。
(3)數據資產管理AIGOV五星模型提出的數據資產管理平臺體系,為企業實施數據資產管理提供了平臺化的支撐。通過各種可視化的數據資產管理平臺,更有效的沉淀企業數據資產知識圖譜,實現企業數據知識的共享和傳播,同時高效地管理數據和提升數據質量,推動企業內外的數據共享和應用,提升企業數據價值,實現數據的資產化。
數據資產管理AIGOV五星模型為構建企業的數據資產管理環境,實現數據資產保值和增值,提高數據質量都具有非常重要的意義
5 數據資產管理五星模型的企業實踐案例
AIGOV五星模型在不同行業的大型企業中進行了企業級的實踐活動。
某大型制造企業在企業數據應用于企業運營的過程中,出現了許多關于數據的形形式式的問題,諸如:
(1)數據資源分散:數據形成事實上孤島,數據資源及管理、開發應用相對分散,數據采集、整合、分析以及數據應用沒形成閉環。
(2)數據黑盒化:企業人員對應用系統中數據理解和認知不足,數據字典與實際脫節。
(3)信息難公開:沒有平臺支撐,梳理出來的有效數據信息也無法在企業中發布和共享
(4)安全管控不足:缺少基本數據安全管控手段,沒有必要的數據安全目錄
(5)數據質量不高:歷史存量數據質量不高,存在大量重碼、無效數據,數據質量管理任重道遠。
(6)數據容量問題:數據容量有效收集與分析不足,數據化決策支持不夠。
這些數據的問題極大限制了該企業進一步運用企業數據資產,阻礙其利用數據做出精確的分析和預測,為企業戰略決策服務的目標。
該企業在與我們一起共同努力,著手數據資產管理項目實施,實現了數據資產管理五星模型的快速落地。
首先,建立技術和業務共同參與的企業數據資產管理團隊,并在項目初期以企業現狀和未來戰略為基礎,制定了三階段的數據資產管理規則,從基礎著手逐步構建適合該企業現狀和特點的數據資產管理體系。
其次,著手梳理企業數據資產,重新整理企業數據字典、數據模型以及相關元數據,打破數據黑盒,讓企業重新掌握數據資產。
最后,建立數據資產管理平臺,通過可視化的平臺,實現了數據模型、元數據、數據生命周期和數據安全的統一管理,有效解決了之前困擾客戶的數據資源分散、信息不公開、數據質量不高、數據黑盒化、安全管控不足和數據容量問題等。通過個性化的數據門戶,面向企業內部的不同用戶和開發人員,賦予不同權限的快捷查詢和實時檢索能力。
如圖6,數據資產管理平臺,輕松將企業級的數據標準、數據模型、元數據和數據質量實現整合和打通,以數據資產目錄、數據地圖等方式實現資產可視化和智能化,做到了:
(1)集中式的元數據管理:實現數據來龍去脈和相互關系的可視化;
(2)企業級多維度元數據視圖,提供可視化的展現、檢索和查詢,上下文的數據血緣關系分析,以及預覽數據處理和變更對全局的影響度分析;
(3)元數據監控、稽核和版本管理能力,實現數據標準、元數據設計稿與實際業務系統之間的差異,防止元數據與實際系統之間出現“兩張皮”的現象,維護元數據的權威性和準確性;
(4)數據安全管理:識別企業敏感數據分類,洞悉數據安全關鍵數據的分布;
(5)數據生命周期管理:實時容量監控和趨勢分析,提升系統性能,降低運維成本;
(6)個性化數據門戶:面向不同用戶,提供個性化門戶、便捷查詢和實時檢索。
6 結束語
數據資產管理AIGOV五星模型,作為一個全新的數據管理方法論,必定會為大數據業界帶來一種全新的思維模式,也會給大數據產業帶來一種全新的助推能力。該模型隨著中國數據資產管理峰會的傳播,將吸引國內外政府機構和企事業單位的數據人才進行學習和推廣,一方面能為行業儲備人才,另一方面可以促進大數據行業發展。在該模型不斷實施和推廣過程中,還會不斷發現和培育行業標桿,行業標桿進一步推動AIGOV五星模型更加完善,使行業和人才共同受益。
參考文獻
[1]CMMI Institute.CMMI institute datamanagement maturity model v1.0[R].[S.1.:s.n.],2014.
[2]EDM Council.EDMC DCAM version 1.0 [R].[S.1.:s.n.],2015.
[3]AIKEN P,ALLEN M D,PARKER B,et al.Measuring data management practicematurity:a community's selfassessment[J].Computer,2007,40(04):42-50.
[4]LI B,BIN J Z.Data managementcapability maturity model[J].BigData Research,2017,3(04):29-36.