
摘要:文章從數據資產入手,對數據資產的定義進行了梳理,并通過對國內外數據資產管理方案的研究,提出了基于電信數據的資產管理模型。該模型一方面對數據目錄進行了定義,另一方面可基于數據進行定性分析。
關鍵詞:數據資產;數據目錄;數據資產化
doi:10.3969/J.ISSN.1672-7274.2023.03.053
中圖分類號:F 626,TP 311.13" " " " " " " "文獻標示碼:A" " " " " " " "文章編碼:1672-7274(2023)03-0-03
Research and Exploration of Telecom Data Asset Management
LI Sha
(Network Business Department of China Mobile Communications Corporation, Beijing 100033, China)
Abstract: This paper sorts out the definition of data assets, and puts forward an asset management model based on telecom data by studying the data asset management schemes at home and abroad. The model defines the data catalog on the one hand, and can conduct qualitative analysis based on the data on the other hand.
Key words: data assets; data directory; data capitalization
互聯網時代、移動技術的發展和智能化技術的誕生都使得數據不再局限于一種類型,不同種類不同維度的數據背后可發掘的價值將會越來越多[1]。企業對數據資產化的好處是顯而易見,本文從運營商角度出發,思考如何將電信數據資產化,并完成了資產化數據模型的構建。
1" 數據資產研究現狀
1.1 政策對數據研究的推動
黨中央及國務院所制定的相關政策文件,是基于我國國情以及市場規律等要素進行嚴密探討的結果,對這些政策文件進行深度解讀有助于明確當前數據市場發展的總體目標,為數據有效資產化提供政策依據[2]。
1.2 國內外主流數據資產管理辦法
要了解數據資產管理,就要先明確數據資產的7大特性[3]。第一,數據可被無限次共享,無限次共享的特性使得數據在每一次共享的過程中都能獲取對應的價值。第二,數據資產不會隨著使用次數的增加而降低價值,相反會隨著使用次數的增加而提升價值。第三,數據資產最重要的影響因素是時間,隨著時間的流逝,數據資產會處于不同的階段。第四,數據資產的價值會在一定的精度范圍內出現變化。第五,相比于只使用數據資產,為與其他信息資產一同使用時,其發揮的價值會更高。第六,數據并非越多越好,數據的過載會增加企業的運營成本,并且有可能在數據分析時造成精度的降低。第七,數據資產不屬于可消耗資源,數據的使用并不會對數據本身產生損耗。
國外針對數據資產的管理起步較早,目前已較為成熟。2014年,北美企業數據管理協會(EDM)和卡耐基梅隆大學旗下機構先后出版了數據管理能力成熟度模型(DCMA)[4]、數據管理成熟度模型(DMM)[5],兩個模型均提供了在實踐方面管理數據資產的有效經驗。
2" 電信數據資產的構建與管理
2.1 電信數據資產概述
目前在運營商側主要由三大系統支撐數據管理,即業務支持系統(BSS)、管理支持系統(MSS)、運營支撐系統(OSS)。其中,運營支撐系統(OSS)管理的數據從數據類型上進行分類主要包括資源數據、告警數據、質量數據、工單數據。
(1)資源數據是指網絡對象描述配置數據,這些數據由資源產生,其所轄范圍較為廣泛,常見的網絡、網絡配套的設施以及輔助設備均在管理范圍內。
(2)告警數據一般包括設備告警、投訴預警等,一般是在實時的檢測或網絡運行中出現的事件和狀況中產生,發生的場景多且復雜。
(3)質量數據包括DPI數據、測量數據等。以DPI數據為例,這些數據是業務統計、用戶故障診斷的重要基礎數據。信令面數據的分析可以定位移動網元間的信令交互,定位故障原因,而用戶面數據可以統計用戶的使用記錄。
(4)工單數據包括業務變更數據等。工單作為業務開通過程中支撐業務流轉的關鍵單元,承載了多維度信息。
除了按數據類型區分,在數據治理的過程中,也引入了按元數據、參考數據、主數據、指標數據的分類進行管理。
(1)元數據最常見的定義是“關于數據的數據”,元數據的建立有助于處理、維護、集成、保護和治理其他的數據。元數據在數據治理中起到的作用好比是圖書館中圖書的目錄卡片。
(2)主數據的定義從字面上理解即在核心業務流程中產生的核心數據,是關于業務實體的數據,屬性相對穩定,準確度要求較高。
(3)參考數據則是用于描述或分類其他數據或者將數據與其他外部的信息聯系起來的任何數據,最基本的參考數據由代碼和描述組成,更復雜的可能包含映射和層次結構信息。
(4)指標數據是將指標定義為反應目標系統在一定時間和條件下的規模、程度、比例、結構的概念的數據。
2.2 資產模型設計原則與方法
2.2.1 數據資產模型設計原則
(1)層次分明:要體現數據分層的設計思想,面向數據共享目標,從基礎數據、底層匯總數據、中層匯總數據、高層匯總數據的角度體現出數據所在的層次。
(2)容易理解:對各層面、各專業的數據用戶、開發者來說,都能夠見名知義。
(3)實用性強:使用戶、開發者能夠真正理解數據、獲取數據、使用數據。
2.2.2 數據資產模型設計方法
(1)實體關系建模法:針對發生業務關系的對象實體,關注實體和其完成業務流程的事件過程,以及相關的特殊說明。在實體關系建模過程中,通過對整個業務、數據情況的梳理,能夠輕易實現業務模型的抽象與劃分。結合實際業務的使用特點,可以創建出符合實際業務需要的業務模型。
(2)范式建模法:一個關系模型可以從第一范式到第五范式進行無損分解,這個過程也可稱為規范化。在數據模型設計中一般采用第三范式(3NF)滿足每個屬性值唯一,消除部分依賴,消除傳遞依賴的要求。
(3)維度建模法:按照事實表、維表來構建數據模型。由于電信數據資產都具有一定的面向主題的特征,因此維度建模法也適用于電信數據資產模型的描述。維度建模的一個明顯特征就是事實表中的度量值可按照維度屬性進行投影運算,如匯總。
2.3 數據資產模型分層
應用指標層面向最終應用,實現指標統計、查詢和分析。如圖1所示。
(1)詳單明細層:是最小粒度的數據,一般直接從數據源采集獲取。在采集存儲時,可根據業務需要,進行必要的數據預處理,包括數據域分類、數據清洗、維值變換、信息回填等。
(2)維度匯聚層:是基于詳單明細數據進行匯聚計算得到的counter數據;在處理時可根據共性需求,按公共維度進行聚合操作,生成基礎數倉模型,提升數據復用性;原則上按統一維度標準進行維度模型設計管理。
(3)應用指標層:是基于匯聚層或明細層進行統計分析得到的數據(如率值等);該層數據可直接面向特定專業/部門/專題的需求,形成數據倉庫和數據集市能力,支撐指標數據的統計分析與可視化呈現。
圖1 數據資產模型分層
具體的分層過程以電信數據中數據量較大的DPI數據為例進行說明。
DPI數據是基于深度包檢測技術獲取的網絡流量對應OSI協議每層的流量特征屬性信息,常用于流量管理、內容分析及網絡安全等。基于DPI詳單數據統計計算,可得到表征網絡性能、業務質量、用戶感知方面具體情況的DPI指標,用于支撐網絡、業務、客戶的各類應用場景。
在DPI數據處理過程中,存在難以靈活使用、缺乏統一共識、存在冗余計算等問題:DPI系統數據規模目前日均已達PB級別,對使用平臺在資源、性能、效益方面提出了挑戰;在基于DPI數據生成的指標中存在定義算法不清晰,缺乏統一共識的問題;不同網管系統基于同一份DPI數據后進行加工處理,其中存在類似的處理邏輯,導致重復計算與資源浪費。
為解決DPI數據使用過程中存在問題,可將原有的DPI數據分為DPI詳單層、DPI中間層及DPI指標層。DPI詳單層就是原始的DPI數據。DPI指標層是基于DPI數據計算得到的用于支撐應用的指標。DPI中間層,是在原始數據和上層應用指標之間的數據層,是對原始DPI數據加工處理得到匯聚數據,構建的目的是為了更好地滿足DPI相關應用的支撐需求。通過對DPI數據資產的三層劃分,可實現DPI數據降維壓縮,保障指標數據標準化,減少原始數據重復計算,高效靈活地支撐上層應用分析。
2.4 數據資產目錄及標簽分類
在數據資產模型分層的基礎上,數據資產目錄按不同維度進行分類。其中,基礎數據包括各類原始詳單數據、設備測量數據等,內容分類包括“管理對象”和“主題域”2個維度。管理對象包括網絡、業務、客戶3個分類,主題域包括資源、告警、質量、服務4個分類。數據資產標簽是一種用來描述業務實體特征的數據形式。通過標簽可以有效擴充業務實體的分析角度,且通過對不同標簽的簡單操作,可進行數據篩選和分析。
2.5 數據資產管理
(1)數據資產概覽:通過多類型可視化展現形式,如圖表、儀表盤、流程圖等形式匯呈現網絡域數據整體情況,具體包括各類型網絡數據存儲規模及日增數據量、數據共享規模及服務調用次數、數據模型分層分類及數量、數據質量情況及數據流向情況等。
(2)元數據管理:由于元數據的多樣性且包含的數據范圍較為廣泛,因此在建立元數據管理系統時,要做到堅持以目標驅動,初期確定元數據構成以及元數據分類,中期整理記錄,后期對元數據進行結構化、標準化的存儲,通過增量式的建設打造出符合系統特性的管理模式。
(3)數據資產檢索:主要目標是對數據資產信息進行檢索,該功能幫助用戶在信息庫中快速檢索并準確定位信息項。實現數據資產按業務類別、專業類型、數據架構層次等方式進行統一編目管理,形成數據資產目錄及標簽,便于數據資源檢索。模型搜索主要包括:支持數據資產關鍵字搜索,提供標準的搜索功能,支持模糊查詢;支持在指定標簽范圍內的條件查詢,包括不同維度多選功能;支持在資產模型屬性頁面搜索當前模型包含的字段屬性。
(4)數據價值分析:數據價值的評估主要依據對數據熱度的分析,熱度高的數據被近似認為是高價值數據。數據熱度即數據訪問頻率,高訪問熱度的數據是系統需要重點保障的。數據熱度管理包括:管理數據的依賴情況,較多依賴的數據實體一般是系統的關鍵資產,影響下游數據的質量和及時性;管理應用的訪問情況,應用訪問越多則對用戶的價值越高。
(5)數據血緣分析:數據血緣主要是對元數據進行溯源分析,展示數據之間的依賴關系,以圖形化方式展現數據的來源、加工過程數據流向,增加用戶對數據的信任度。數據血緣管理包括:支持以圖形化方式展示血緣分析結果;支持查看當前元數據所關聯的父表-子表、子表-父表逐層邏輯。
3" 結束語
本文從數據資產入手,梳理了數據資產的定義,并總結了國內外主流數據資產管理方案。針對電信O域數據設計了數據資產管理模型,該模型可通過數據的不同劃分標準進行數據資產目錄呈現,并且在資產化管理的過程中,可基于數據進行模型的熱度分析以及血緣分析。■
參考文獻
[1] 張志剛,楊棟樞,吳紅俠.數據資產價值評估模型研究與應用[J].現代電子技術,2015,38(20):44-47,51.
[2] 陸岷峰,歐陽文杰.關于新時期數據資產要素市場化的目標,原則及路徑的研究——以商業銀行數據資產為例[J].新疆社會科學,2022.
[3] 陳徽因,李永剛.基于用戶對象的數據資產價值評估方法總結與研究[J].國有資產管理,2022(7):62-70.
[4] 葉蘭.研究數據管理能力成熟度模型評析[J].圖書情報知識期刊,2015(13):51-57.
[5] 楊寶龍,吳宏,張浩東.基于數據管理成熟度模型的數據管理研究與應用[J].現代情報,2017,37(9):118-121.