基于DAMA體系運營商數據資產管理體系構建研究

劉南?！≈袊苿油ㄐ偶瘓F廣西有限公司信息系統部工程師

基于DAMA體系運營商數據資產管理體系構建研究

劉南海中國移動通信集團廣西有限公司信息系統部工程師

“大數據”時代，數據已成為實現企業目標的關鍵資產。基于DAMA體系，結合省級運營商實際，分析數據生命周期，構建數據資產架構，在組織、流程、IT方面做出相應調整，給出省級運營商數據資產管理體系構建的實施思路。

大數據；數據資產管理；DAMA

1　引言

大數據時代，借助對客戶“通信高速公路”的管控，運營商掌握了海量的數據。這些數據對于運營商內部和外部的“數據驅動營銷”、“數據驅動管理”以及普遍意義上的“數據驅動XX”有著重要的價值。另一方面，雖然運營商對數據的認識、使用方法和管理實踐隨著IT技術的發展和信息化程度的提高不斷增強，如從沙漠中找到金子那般，從“4個V”的大數據中獲取知識，并轉化為價值仍然不容易。本文基于DAMA （DATAManagementAssociation）體系，結合實際，探討省級運營商數據資產管理體系的構建思路。

2　DAMA體系簡介

DAMA（DATA Management Associa tion）數據管理協會是一個國際組織。DAMA體系是該協會對過去20多年數據管理領域知識和實踐的總結。DAMA體系認為，正如資金和人才長期被認為是企業的資產，對其進行精心管理有助于實現企業目標一般，大數據時代，數據以及從數據產生的信息也已經被公認為企業的資產，各個組織都需要有效地管理日益重要的數據和信息資源，通過業務領導和技術專家的合作，有效地提供和控制數據資產。

如同任何其他資產，數據資產具有生命周期，包括計劃、規范定義、開發實施、創建&獲取、維護&使用、存檔&檢索和清除。對數據資產的管理就是生命周期的管理。根據不同業務對數據的不同需求，把數據資產管理分為十大職能，即數據管理、數據架構管理、數據開發、數據操作管理、數據安全管理、數據質量管理、參考數據和主數據管理、數據倉庫和商務智能管理、文檔和內容管理、元數據管理（見圖1）。

圖1　DAMA數據生命周期和數據資產管理的十大職能

3　省級運營商數據管理現狀和存在問題

運營商的組織結構和IT架構通常采用“總部/省級”二級架構，省級運營商按地域承擔IT系統的運、建、維。省級運營商IT系統通常包括BSS（Business Support System，簡稱B域）、OSS（Operation Support System，簡稱O域）和MSS（Management Support System，簡稱M域）三域，分域獨立建設，域內部形成各類子系統和模塊。

大數據時代，在B/O/M三域基礎之上設立融合的分析支撐域（Analysis Support System，簡稱A域），建設獨立的大數據平臺匯聚三域數據，提供企業級的分析能力支撐是省級電信運營商大數據建設的一種最佳實踐。如圖2所示，B域數據主要來自BOSS系統、酬金管理系統、各類結算平臺，每日50億條記錄，1.2TB；O域數據來自網管、網優、信測系統，每日160億條，5TB；M域數據來自MIS、資產、庫存、供應鏈、每月3億條，0.1TB。

圖2　B/O/M三域數據匯聚到大數據平臺

B/O/M三域數據歷經各系統十多年的“運”、“建”、“維”而產生。由于模型層統一管理、生命周期管理、統一文檔知識管理等數據管理基礎工作的缺失。數據模型生長呈復雜網狀結構，清單數據、輕度匯總數據、高度匯總數據、應用數據相互關聯調用，交織成網狀，數據分層不清晰（見圖3）。

數據模型的網狀結構以及數據管理上的缺失，影響了企業目標的達成（見圖4）。數據標準不統一影響業務需求到數據需求的溝通；數據種類的不完整影響數據分析和數據挖掘對決策的支持程度；數據不精確影響效率；數據不安全泄露機密和隱私；數據不及時降低了數據的使用價值。因此，在大數據到來的時候，在IT系統建設的同時，需要加強對數據的管理。

4　基于DAMA構建數據資產管理體系

DAMA是一個標準化的體系，通過“數據生命周期”和“數據管理十大職能”，“大而全”地涵蓋了企業數據管理所涉及的各方面?；谠擉w系，結合運營商數據生命周期、數據管理組織機構、流程、IT狀況等實際情況，構建可落地可實施的數據資產管理體系。

4.1分析數據生命周期、角色

長期以來，各運營商多采用外部集成商提供IT服務的模式進行支撐，自身缺乏實際研發、部署運維能力。數據生命周期上通常分為兩個主要階段：多層次匯總階段和應用階段（見圖5）。

圖3　網狀數據結構

圖4　數據管理存在的問題

圖5　運營商數據生命周期

多層次匯總階段，數據加工者將原始的清單數據在Oracle/Hadoop/MPP等基礎設施上進行多個層次的匯總處理，形成各層次匯總數據。基礎設施廠商就是數據加工者（通常是1～2個），局方維護管理部門承擔平臺管理者的角色。

應用階段，數據消費者使用各層次的匯總數據，開發分析專題/應用/統計報表/數據產品的過程。應用開發商就是數據消費者（多個，按照人天單價簽署框架合同，應用功能點開發折合人天計算費用），局方維護管理部門承擔平臺管理者的角色。開發出來應用供產品消費者使用（業務部門），直接或間接形成價值。

4.2構建數據資產架構

針對數據生命周期兩階段的實際，運營商數據資產可歸為匯總層資產和應用層資產，包含元數據、表結構、處理流程以及相關的文檔、管理流程、組織結構。

對于匯總層，首先是面向各數據接口的數據域，數據域模型從數據視角對清單數據進行合并、降維、歸一等處理。業務域模型和數據挖掘域模型基于數據域模型。業務域模型面向統計分析，從業務視角進行高度匯總，如個人客戶、集團客戶視圖，渠道、產品、營銷視圖等。數據挖掘域模型面向數據挖掘，從業務視角對可能用于挖掘的用戶屬性和特征進行匯總，如流失預警、XX產品潛在客戶挖掘模型等。

對于應用層。包含支撐KPI/報表/臨時提數的模型，也包含實時狀態認知、行業偏好、出行認知等基于數據挖掘的預測模型。以及基于這些模型包裝的大數據產品，比如網格化平臺、旅游人流監控平臺、大數據分析報告、金融征信服務API等。

4.3構建數據資產管理體系

一個良好的數據資產管理組織方式和IT支撐模式，可以高效提升對內精準營銷、對外數據價值變現等的效率，是數據驅動運營的必然要求。在組織、規范制度、IT方面都要進行考慮。組織方面，成立常態化的模型管控團隊對匯總層和應用層的數據模型進行管控。規范及制度方面，流程再造，建章立制，確保數據資產管理常態化開展。IT方面，通過元數據管理、數據質量管理、數據生命周期管理等功能聯動，進行支撐（見圖6）。

4.3.1組織和流程

數據資產管理是是業務人員（產品消費者）、技術人員（平臺管理者）、開發人員（數據生產者、消費者）共同的職責。模型管控團隊應由相關部門的專家組成，定期對涉及匯總層/應用層資產的增刪減的變更進行審核，這種審核將確保數據資產在“概念——邏輯——實體”3個層次的統一（見圖7）。

數據資產管理應包括：事前（包括表、過程、標準、規范等的預定義等，元數據）、事中（基于預先定義的元數據開展數據加工、生產的過程，是生產態或運行態）、事后（對數據資產的稽核、監控等事后環節）流程管控環節（見圖8）。兩個關鍵控制點在進行數據加工和生產前，對需求階段、規劃設計階段輸出規范文檔等進行評審，確保模型調整可控；在數據加工和生產工程之后，通過數據質量監控、元數據血緣分析對數據模型進行事后稽核，確保生產態模型與方案態模型的一致性，為后續評估優化提供指導建議。

圖6　數據資產管理體系要素

圖7　模型管控團隊的構成

4.3.2關鍵IT能力

為支撐模型管控團隊的管理控制，需要具備如下關鍵IT支撐能力。數據訪問管控能力，支持多種數據訪問方式（服務、文件、視圖、數據庫連接等）、敏感數據脫敏、安全、審計方面的管控；資源管控能力，構建多租戶中心，打造Oracle/Hadoop/MPP多租戶能力，對計算資源、數據存儲能力的隔離訪問；元數據管理平臺（數據資產管理），通過元數據收斂B/M/O三域數據管理（表結構、處理邏輯）、統一數據字典/溯源、匯總/應用二級數據資產目錄。關鍵IT能力之間的交互如圖9所示。

圖8　模型管控團隊的控制點

圖9　關鍵IT能力之間的交互

數據訪問管控，資源隔離管控（多租戶中心）、元數據管理平臺（數據資產管理）之前協同工作，實現對個角色的支撐。

數據資產管理平臺采集統一數據接入中心ETL元數據，Hadoop、MPP、DB元數據，并實現管理和分析。提供的數據安全規則、數據質量規則、數據生命周期的定義實現對數據的安全管控、質量稽核以及數據的遷移。

數據資產管理平臺提供數據標準、數據安全規則、數據質量規則、數據生命周期給能力服務中心的多租戶中心，能力服務中心的多租戶中心統一開發模塊基于提供的數據標準進行模型設計、物理建模。

數據加工者、數據消費者、產品消費者、平臺管理者可以通過能力服務門戶獲得對數據生命周期中相應的能力。

4.4小結

基于DAMA體系“數據生命周期”、“數據管理職能”兩大關鍵點，結合省級運營商數據管理實際初步構建了可落地實施的數據資產管理體系，包括組織、流程和IT能力，在過程中舍棄了標準“數據生命周期”以及“數據管理職能”中的一些環節以確?！皬?到1”的過程的快速、可落地、可實際操作。

5　結束語

對數據的認識和使用將成為大數據時代電信運營商轉型成敗的關鍵。雖然為了確保“從0到1”的快速落地，對DAMA體系做了相應的裁剪。在“從1到5”乃至“從5到10”的過程中，仍然需要根據企業目標和管理的精細化程度對DAMA體系進行合理揚棄，比如運營商具備一定程度自主研發能力后，對數據資產的管控會涉及開發。對數據的認識和使用永遠是企業最核心的競爭力，需要培養專業的數據挖掘團隊，管好、用好數據。

［1］DAMA International.DAMA數據管理知識體系指南［M］.馬歡，劉晨，譯.北京：清華大學出版社，2014.

［2］Bill Franks.駕馭大數據［M］.黃海，譯.北京：人民郵電出版社，2013.

The research and practice of the data asset management for telecom operator based DAMA

LIU Nanhai

In the age of Big Data，data has become a key asset to achieve corporate goals.Based the DAMA，with the actual situation of provincial operators，we analyzed the data life cycle，build the data assets structure，made a adjustment in the organization，process and IT.At last，we gave a the implementation of data assets management system for provincial operators.

Big Data；data asset management；DAMA

2016-08-26）