
摘要:數據治理已經逐漸成為企業的主要戰略焦點。通過有效運用數據獲取競爭優勢,以及深度開發大量數據的可能性,已成為推動企業發展的核心動力。本文闡述了企業面臨的數據現狀和主流數據治理概念及定義,結合數據治理體系框架的內容,提出了企業開展數據治理實踐應用的具體步驟,總結了國內企業在數據治理工作中的研究案例,以此為現代企業提升數據治理水平提供一定的借鑒與實踐依據。
關鍵詞:數據治理;數據質量;數據資產
引言
在當今數字經濟蓬勃發展的大環境下,企業內部的數據規模和復雜度均呈現急劇增長趨勢。目前,大數據管理技術正逐漸作為公司的一個關鍵產品要素,為公司科學決策、提高市場競爭力、智能創新等方面提供豐富的科學依據。人們日益意識到數據資產的重要性、無治理數據帶來的挑戰、數據潛在的經濟效益以及有效應用時可以提供的競爭優勢,這使得數據治理已經成為企業的核心戰略關注點。然而,現今國內公司的數據管理常常會出現大量的劣質數據,比如數據不一致、數據缺失不可用等情況,如若不進行整治,不但會嚴重干擾數據的使用價值,還可能導致數據流動、信息資源共享、公司管理層判斷失敗的后果。因此,數據治理的重要性越來越突出,也越來越成為現代企業戰略方面的一個復雜且富有挑戰性的任務。數據治理被公認為是改善數據資產管理和應用、簡化業務流程、加強跨部門協作和增加信息系統效益的關鍵措施。
1. 企業面臨的數據現狀
企業在數據應用和管理上普遍面臨的主要問題可以概括為以下幾個方面:(1)企業內部不同部門之間管理流程和規范混亂,造成數據和應用孤立現象;(2)沒有統一的數據標準,統計口徑不一致,計算過程因選擇眾多無法判斷如何選擇指標,數據定義不清晰導致產生歧義,為業務開展增加阻力;(3)數據質量較差,而且在發現數據質量問題后,很難定位到具體責任方,低質量的數據資產已成為影響信息業務開展的關鍵制約因素;(4)數據缺乏共享集成環境,系統存在重復建設和資源浪費的情況,溝通成本高,企業面臨整合系統的挑戰;(5)數據因為得不到安全保障遭遇遺失、泄密和篡改的風險,同時由于數據的來源眾多,造成了數據安全管理困難,為企業的生產經營帶來一系列財產損失。
2. 數據治理的概念
目前,行業范圍內對于數據治理概念有許多不同的觀點,尚未形成一個統一的定義標準,結合一些主流權威的組織機構如DAMA、IBM數據治理委員會等的觀點,我們可以將數據治理定義為使用組織人員、流程和技術來控制和利用數據作為企業的核心資產。數據治理的目標是為企業創造更多利益,是一個實現數據價值的過程。簡單來說,就是讓企業的數據從不好用到方便易用且對業務開展有促進作用的過程。
3. 數據治理體系框架
數據治理是一個漫長而復雜的系統工程,企業必須深入分析當前自身的數據治理水平,厘清痛點難點問題,并根據各自行業特色與資源優勢,確定數據治理現狀,在必要時也可引進專業信息咨詢服務企業或參考行業內其他公司的實踐經驗,以正確制定當前數據治理的發展方向和框架。
經過綜合考慮數據治理的概念、實施目標、覆蓋范圍和數據標準化的需求,并以《數據治理標準化白皮書》中提出的數據治理標準體系作為參考依據[1],本文為企業構建出一個數據治理體系框架,如圖1所示。具體來說主要包括以下五個方面的任務:
一是綜合保障,包括做好數據治理工作所需要的組織架構規劃、制度流程建設、人才隊伍建設、基礎設施平臺建設和數據治理水平評估等。
二是數據安全,包括對企業數據進行分類定級、個人隱私信息的保護、加密傳輸和存儲等。在數據傳輸、存儲和使用的各個環節實施安全訪問控制,對數據的增刪改查行為進行安全審計。
三是數據應用,主要是對企業數據資產化、價值化的過程,包括數據產品、數據服務和數據分析、數據交易等,體現數據治理應用的實際成效。
四是數據生命周期,主要是對數據采集、存儲、處理、傳輸、應用、歸檔和銷毀各個環節進行規范化管理,避免因系統故障、數據丟失泄露給企業帶來災難性后果。
五是數據標準化治理,主要是對企業全范圍內的數據資產進行系統梳理,并利用信息化技術手段,推進數據治理逐層落地,內容包括數據資源目錄、數據標準、數據質量、數據模型、元數據、主業務數據等。
4. 數據治理具體實施過程
結合上述數據治理體系框架的內容,企業可以通過以下具體實施步驟切實可行地開展數據治理工作。
4.1 開展企業內部調研,估算數據治理成本效益
在數據治理的準備階段,首先應該對企業開展數據治理的相關調查與調研,收集企業現有的信息化水平信息,盤點企業所有數據資產,厘清各類數據之間的關系和數據流轉過程,同時需要了解企業內部部門以及外部關聯方的數據業務需求和范圍,完成企業數據治理評估工作。此外,還需要獲取企業對于數據治理所期望達到的質量要求,然后根據需求估算出數據治理成本和效益。
4.2 制定企業數據治理戰略規劃
完成對企業的初步調研之后,必須確定企業數據治理目標,圍繞企業業務發展戰略,規劃制定出符合企業實際情況的數據治理戰略,實現對數據的科學化管理,提高數據質量,提升數據運用水平,提高數據應用場景指標,推動企業精細化管理和業務創新,增強核心競爭力和可持續發展。
下一步需要針對企業設計整體的數據治理體系架構。具體內容包括數據質量、數據生命周期、數據標準、數據安全、元數據、數據模型的管理,以及組織人員、制度流程和基礎設施平臺建設的保障支持。
4.3 確認企業組織架構,明確管理職責
數據治理具體實施的第一步,就是確認自上而下、協調一致的企業組織體系,建立一支角色明確、職責明確的專業數據治理團隊,進行有效的數據治理實施和協調。
從職責分配角度看,數據治理的組織架構主要由三個層面組成,分別是決策層、協調管理層和執行層。決策層主要負責制定數據治理的發展戰略和重大事項決策,可以成立專門的數據治理委員會;協調管理層指企業中的技術部門或者專門的數據管理部門,主要負責數據治理的統籌規劃,制定數據標準、制度規范等;執行層主要負責實施具體的各項數據治理工作,需要企業內部各部門人員共同參與。此外,還可以在各組織層級上再劃分出次一級執行單位。這種結構化方法可確保協調數據治理工作,明確定義職責,并促進不同角色之間的溝通和協作,以實現組織內有效的數據治理。
4.4 數據治理政策和規范流程的制定
對應于企業組織架構的劃分,可以將數據的政策與制度分為三個層面,主要內容涵蓋數據分類分級、用戶權限訪問控制、數據安全等方面。數據治理的制度政策用來明確基本架構和范圍,描述數據管理應用的總體目標,基本由數據決策層審核通過并公開發布,是企業在制度層面的頂層設計;數據治理管理辦法由協調管理層制定,用來確定詳細的流程規范和管理規則,保障數據治理工作在企業內部順利開展;數據治理細則是對數據治理辦法的進一步細化,以保障各類數據方法實施落實到位。
4.5 數據標準梳理和衡量,對業務流程重組和優化
數據標準是數據管理的基礎。對企業內部的數據標準進行梳理,具體包括管理標準、業務標準和技術標準。在管理上需要確定標準的使用者、所有部門和相關管理人員等內容,以明確管理維護標準的責任主體,方便后續進一步改進和更新;在業務上主要是確定業務主題劃分和標準的業務概念,如業務的定義和使用規則等;在技術上需要描述清楚數據項的類型、統一數據長度、明確數據來源等技術屬性,從而能夠為數據校驗提供指標參考依據。
4.6 企業元數據梳理,掌握數據來源和流轉情況
開展企業元數據梳理,具體就是要清楚企業目前有什么樣的數據、數據的來源是什么,以及數據是如何在企業各個系統之間流轉的。對應于數據標準劃分,可以從管理、業務和技術三個角度對元數據進行劃分,建立元數據標準。管理元數據主要提供數據系統中數據管理的概念、管理規范和關聯關系等信息,涵蓋管理人員權限和角色、崗位職責、管理流程等的信息;業務元數據主要提供數據系統中業務術語的概念、交互標準和規則等信息,包括信息分類、指標規定、統計口徑等;技術元數據主要是對技術領域中相關的概念、規則以及相關關系進行定義,包括數據平臺內對象和數據結構的定義、源數據到目的數據的映射、數據轉換加工過程的描述等。
4.7 數據質量管理和監測
完成對企業元數據梳理之后,對數據的質量管理也是數據治理過程中的一個重要環節,是數據運用過程中準確性、一致性、完整性、及時性、唯一性、有效性的重要保障,是數據業務價值創造的重要前提。按照設定的數據標準,由數據管理部門制定數據質量管控目標,并遵循企業數據治理要求進行數據質量度量,檢查業務校驗規則和監控業務指標。數據質量要求企業內部各業務部門對相應數據領域的數據質量全權負責。因此,當監測到數據指標偏離質量管控標準時,須立即啟動協查整改流程,督促數據擁有者作出數據質量相關的改進,以實現持續對企業數據質量的優化和管控。
4.8 數據治理自動化管理平臺建設
建設數據治理自動化管理平臺,有利于消除企業內部數據孤島,改善各系統資源分散和應用孤立的缺點,幫助企業實現數據標準的統一,構建全域的大數據資產,加快數據變現,實現企業數字化轉型。
數據治理平臺是企業數據治理與服務工作的有效載體,我們可以通過系統化、可視化的方式更加高效地對數據質量問題進行定位和糾正,以線上流程化支撐保障相應制度規范落實。數據治理平臺的建設重點包含兩個層面:首先是對平臺的基礎功能化建設,包括標準、質量、元數據、生命周期、安全、模型等流程管理,實現線上化流程化管理企業的數據資產;其次是在實現健全功能的情況下,進一步開展企業數據治理平臺的智能化建設工作,可以通過在產品服務中融入各類模型算法以及運用人工智能、區塊鏈等技術,來提供數據預測分析、機器學習、深度學習、可視化等數據服務,為企業的經營管理、風險控制、業績考評、產品服務管理等各個方面提供智能決策。
4.9 企業范圍的培訓與推廣
數據治理的階段性成果需要在企業內部廣泛推廣,并且在長效治理機制的建立上達成普遍共識,即數據治理是一個長期資源投入的過程,須對基礎設施治理平臺不斷進行改造升級,對管理制度流程、組織結構等進行深入的探索研究和實踐創新,以確保企業在管理數據資產方面獲得持續成功。此外,還需要在企業范圍內開展培訓,做好數據治理政策、數據規范和標準等的解讀工作。
4.10 企業數據治理水平評估和優化
可以依據國家制定發布的《數據管理能力成熟度評估模型》(簡稱DCMM)中所提供的成熟度、估算指標對企業的數據治理水平進行評估[2]。首先了解企業數據治理的現狀在各維度上的表現,然后制定具有合理可操作性的治理目標,進一步分析目標與現狀之間的差距,最后確定切實可行的改善實施計劃,迭代優化數據治理成果,糾正企業存在的數據質量問題,提升數據資產價值。
5. 企業數據治理的應用實踐研究
基于不同行業自身的特性以及企業存在的實際數據問題,工業界在數據治理的應用實踐方面開展了大量的研究性工作,具有非常大的參考價值。
華為的數據治理在行業內始終保持領先地位,其在數據上的探索實踐經歷了兩個階段:第一階段是實現數據全流程貫通和數據清潔,提升業務效率;第二階段是打造統一的數據底座,驅動企業數字化轉型。阿里巴巴基于自主研發的大數據計算平臺,將多年積累沉淀的數據治理的經驗方法論、數據管理的流程融合其中,全新升級打造了全鏈路數據治理開發平臺DataWorks,現在已經成為許多大型企業和機構的優選解決方案。
李歡等探討了數據治理在石化行業的實踐應用,并且搭建了石化工業大數據平臺的整體架構,包括數據采集、數據融合和數據資源,實現了石化企業數據的價值釋放[3]。張立申等從加快供熱行業轉型、促進北京供熱行業戰略目標出發,借鑒大數據理論和實踐經驗,構建了熱力數據治理體系的整體方案,提高了數據質量和安全性以及整個企業的數據集成[4]。劉雯針對航天制造企業的業務特點,開展業務流程梳理,形成一種以主數據為中心的數據治理方法,緊密結合自身業務目標實施數據治理過程,建立統一的數據管理平臺,支撐企業數字化轉型[5]。
結語
在數字化轉型浪潮的推動下,數據資產已經逐漸成為現代企業最關鍵的價值來源之一,支持企業的戰略發展。數據治理可以幫助企業作出理性分析和決策,創造價值,提高業務效率和整體競爭力。本文清晰闡述了數據治理的概念,從企業面臨的數據現狀和挑戰出發,通過結合數據治理體系框架的內容,提出企業開展數據治理實踐應用的具體步驟,并且總結了國內企業在數據治理工作中的幾項研究和實踐案例,可以為現代企業提升數據治理水平提供一定經驗借鑒和方法。
總之,我們仍然需要對數據治理進行深入研究與探索,以滿足時代進步與發展的需求,并將數據治理的實踐經驗在各個行業內進行廣泛推廣和跨行業跨企業融合應用,使數據資產的價值得到最大程度發揮,促進企業不斷向前發展。
參考文獻:
[1]中國通信標準化協會.數據治理標準化白皮書(2021年)[EB/OL].(2021-12-20)[2024-03-20].https://www.ccsa.org.cn/detail/?id=4690amp;title=%E6%95%B0%E6%8D%AE%E6%B2%BB%E7%90%86%E6%A0%87%E5%87%86%E5%8C%96%E7%99%BD%E7%9A%AE%E4%B9%A6%EF%BC%882021%E5%B9%B4%EF%BC%89,2021-12-20.
[2]全國信息與文獻標準化技術委員會.數據管理能力成熟度評估模型:GB/T 36073-2018[S].北京:中國標準出版社,2018.
[3]李歡,于韶飛,陳勇,等.一種基于數據治理的石化企業工業大數據應用方法[J].信息技術與標準化,2024(Z1):104-108.
[4]張立申,荀志國,李仲博,等.大型供熱企業數據治理體系建設與實踐[J].國企管理,2021(16):20-31.
[5]劉雯.以業務為驅動的航天企業數據治理方法[J].信息技術與信息化,2019(5):62-64,68.
作者簡介:項姣姣,本科,研究方向:數據挖掘。