大數(shù)據(jù)環(huán)境下運(yùn)營(yíng)商面臨的數(shù)據(jù)治理挑戰(zhàn)與研究

摘要：互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展使得數(shù)據(jù)量呈爆發(fā)式增長(zhǎng)，數(shù)據(jù)的快速增長(zhǎng)在帶來巨大價(jià)值的同時(shí)也帶來了大量的劣質(zhì)數(shù)據(jù)，提升數(shù)據(jù)質(zhì)量成為了數(shù)據(jù)治理的核心內(nèi)容。文章首先梳理了國(guó)內(nèi)外數(shù)據(jù)治理研究概況，在此基礎(chǔ)上提出了基于內(nèi)部數(shù)據(jù)共享平臺(tái)的數(shù)據(jù)質(zhì)量稽核模型，并以及時(shí)性、準(zhǔn)確性、完整性、一致性、唯一性作為模型評(píng)價(jià)標(biāo)準(zhǔn)評(píng)估了模型的有效性。

關(guān)鍵詞：數(shù)據(jù)治理；數(shù)據(jù)規(guī)范；數(shù)據(jù)質(zhì)量；數(shù)據(jù)稽核

doi：10.3969/J.ISSN.1672-7274.2023.03.054

中圖分類號(hào)：TP 393.09" " " " " " " "文獻(xiàn)標(biāo)示碼：A" " " " " " " "文章編碼：1672-7274（2023）03-0-03

Data Governance Challenges and Research Faced by Operators in the Big Data Environment

YANG Jin

（Network Business Department of China Mobile Communications Corporation， Beijing 100033， China）

Abstract： The rapid development of Internet technology has led to explosive growth of data volume. The rapid growth of data has brought great value， but also brought a large number of poor quality data. Improving data quality has become the core content of data governance. This paper first combs the research situation of data governance at home and abroad， and then proposes a data quality audit model based on the internal data sharing platform， and evaluates the effectiveness of the model as the evaluation criteria of timeliness， accuracy， integrity， consistency， and uniqueness.

Key words： data governance; data specification; data quality; data auditing

1" 研究背景

隨著互聯(lián)網(wǎng)時(shí)代的到來，衍生出了大批諸如物聯(lián)網(wǎng)、云計(jì)算、虛擬現(xiàn)實(shí)等新興技術(shù)，這些新興技術(shù)不僅給傳統(tǒng)行業(yè)帶來了新的機(jī)遇與挑戰(zhàn)，也使得數(shù)據(jù)呈現(xiàn)爆發(fā)式增長(zhǎng)。數(shù)據(jù)規(guī)模在迅速擴(kuò)大的同時(shí)，劣質(zhì)數(shù)據(jù)也隨之而生，據(jù)不完全統(tǒng)計(jì)，在美國(guó)的企業(yè)信息系統(tǒng)中，劣質(zhì)數(shù)據(jù)的占比達(dá)到1%～30%[1]。這些劣質(zhì)數(shù)據(jù)極大地影響了數(shù)據(jù)治理過程中的處理效率，對(duì)信息社會(huì)造成了較大的困擾[2]。

運(yùn)營(yíng)商經(jīng)過多年的發(fā)展，在數(shù)據(jù)業(yè)務(wù)方面的優(yōu)勢(shì)是顯然的，基于龐大的用戶群體所產(chǎn)生的數(shù)據(jù)體量也是其他行業(yè)無法比擬的。然而數(shù)據(jù)是一把雙刃劍，隨著信息化管理的不斷升級(jí)，如何管理數(shù)據(jù)也是傳統(tǒng)運(yùn)營(yíng)商面臨的一大難題。本文從運(yùn)營(yíng)商角度出發(fā)，提出了數(shù)據(jù)質(zhì)量稽核模型，以期助力增強(qiáng)網(wǎng)絡(luò)域數(shù)據(jù)管理能力。

2" 相關(guān)技術(shù)研究

2.1 國(guó)外數(shù)據(jù)治理研究

國(guó)外學(xué)者對(duì)于數(shù)據(jù)治理的研究最早可以追溯到20世紀(jì)90年代末。早在1996年，Wang amp;Strong等人提出數(shù)據(jù)質(zhì)量管理框架（DQM），他們?cè)谘芯恐姓J(rèn)為數(shù)據(jù)消費(fèi)者（使用數(shù)據(jù)的人）在數(shù)據(jù)質(zhì)量方面發(fā)揮了更大的作用。1998年，Wang等提出全面數(shù)據(jù)質(zhì)量管理（TDQM）的概念，進(jìn)一步提升了數(shù)據(jù)質(zhì)量管理的效率，TQDM方法的目的是向信息消費(fèi)者提供高質(zhì)量的信息產(chǎn)品（IP）。

2010年，Khatri amp;Brown等提出在數(shù)據(jù)治理時(shí)應(yīng)考慮的決策域，該框架包含五個(gè)相互關(guān)聯(lián)的決策域：數(shù)據(jù)原則、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)、數(shù)據(jù)訪問、數(shù)據(jù)生命周期。根據(jù)他們提出的理論，數(shù)據(jù)原則顯示在框架頂部，因?yàn)樗鼈冎荚跒樗衅渌麤Q策領(lǐng)域確定方向。因此，這些原則為數(shù)據(jù)資產(chǎn)的使用設(shè)定了邊界要求，設(shè)定了企業(yè)的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)。數(shù)據(jù)質(zhì)量細(xì)化了用戶如何解釋數(shù)據(jù)（元數(shù)據(jù)）和訪問數(shù)據(jù)（數(shù)據(jù)訪問）。數(shù)據(jù)生命周期決策定義了數(shù)據(jù)資產(chǎn)的生產(chǎn)、保留和報(bào)廢，這在數(shù)據(jù)原則運(yùn)用于IT基礎(chǔ)設(shè)施方面起著基礎(chǔ)性作用。

2.2 國(guó)內(nèi)數(shù)據(jù)治理研究

國(guó)內(nèi)數(shù)據(jù)治理研究起步較晚。2019年，吳信東等人提出了大數(shù)據(jù)HAO治理模型，該模型基于人類智能（HI）、人工智能（AI）和組織智能（OI）提供數(shù)據(jù)治理支持，該模型包括三個(gè)核心模塊：數(shù)據(jù)接入，通過數(shù)據(jù)采集等工具將數(shù)據(jù)進(jìn)行匯聚；數(shù)據(jù)治理，對(duì)匯聚后的數(shù)據(jù)進(jìn)行清洗并規(guī)范；數(shù)據(jù)服務(wù)，通過一定的機(jī)器學(xué)習(xí)算法提供給多平臺(tái)多用戶的數(shù)據(jù)服務(wù)[2]。袁滿等人在研究中提出了一種通用數(shù)據(jù)質(zhì)量評(píng)估模型，實(shí)現(xiàn)從數(shù)學(xué)模型到本體模型映射的一類轉(zhuǎn)換規(guī)則，在通用性的基礎(chǔ)上，可根據(jù)不同的專業(yè)添加對(duì)應(yīng)的業(yè)務(wù)規(guī)則進(jìn)行模型的定制化[3]。

3" 網(wǎng)絡(luò)數(shù)據(jù)治理體系

3.1 數(shù)據(jù)治理目標(biāo)

數(shù)據(jù)治理能力、應(yīng)用能力將成為數(shù)據(jù)經(jīng)濟(jì)時(shí)代的重要競(jìng)爭(zhēng)能力。數(shù)據(jù)治理是將數(shù)據(jù)作為資產(chǎn)進(jìn)行管理的一套管理機(jī)制，以確保數(shù)據(jù)長(zhǎng)期有序、可持續(xù)地得到管理。數(shù)據(jù)治理將構(gòu)建和完善跨組織、跨業(yè)務(wù)、跨層級(jí)的數(shù)據(jù)管理制度，加強(qiáng)數(shù)據(jù)業(yè)務(wù)與數(shù)據(jù)技術(shù)的有效融合，提升數(shù)據(jù)質(zhì)量、降低數(shù)據(jù)使用成本、釋放數(shù)據(jù)價(jià)值，為企業(yè)數(shù)智化轉(zhuǎn)型打好數(shù)據(jù)底座。

3.2 數(shù)據(jù)治理體系

參考國(guó)家標(biāo)準(zhǔn)DCMM，制定網(wǎng)絡(luò)數(shù)據(jù)治理體系。DCMM（Data management Capability Maturity Assessment Model）對(duì)各過程域進(jìn)行分析，選取核心內(nèi)容，從數(shù)據(jù)治理組織、數(shù)據(jù)制度建設(shè)、數(shù)據(jù)工作任務(wù)三個(gè)方面構(gòu)建網(wǎng)絡(luò)數(shù)據(jù)治理體系，確保數(shù)據(jù)一致、有效、可見、可信、安全。

3.2.1 數(shù)據(jù)治理組織

（1）業(yè)務(wù)歸口方：負(fù)責(zé)數(shù)據(jù)需求的業(yè)務(wù)建模、數(shù)據(jù)質(zhì)量、數(shù)據(jù)發(fā)布、數(shù)據(jù)對(duì)外共享的業(yè)務(wù)審批以及從外部獲取數(shù)據(jù)的業(yè)務(wù)協(xié)商。

（2）IT歸口方：負(fù)責(zé)數(shù)據(jù)定義規(guī)范的制定、數(shù)據(jù)需求的IT實(shí)現(xiàn)、數(shù)據(jù)對(duì)外共享的技術(shù)方案、自動(dòng)化采集和處理數(shù)據(jù)的數(shù)據(jù)質(zhì)量。

（3）數(shù)據(jù)使用方：使用數(shù)據(jù)，反饋數(shù)據(jù)使用效果和問題，對(duì)所消費(fèi)的數(shù)據(jù)安全負(fù)責(zé)。

（4）數(shù)據(jù)安全統(tǒng)籌：負(fù)責(zé)制定數(shù)據(jù)安全職責(zé)分工、管理流程、操作規(guī)范、檢查數(shù)據(jù)安全執(zhí)行情況、數(shù)據(jù)對(duì)外共享需求的牽頭管理及安全審批。

3.2.2 數(shù)據(jù)工作任務(wù)

包括數(shù)據(jù)建模、數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)應(yīng)用、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等部分。

（1）數(shù)據(jù)建模。數(shù)據(jù)建模工作是數(shù)據(jù)治理的基礎(chǔ)性工作，是一項(xiàng)長(zhǎng)期持續(xù)性任務(wù)，需不斷整理完善。

數(shù)據(jù)模型是使用結(jié)構(gòu)化的語言對(duì)數(shù)據(jù)需求進(jìn)行綜合分析，通過規(guī)范化的數(shù)據(jù)模型設(shè)計(jì)，對(duì)全量數(shù)據(jù)進(jìn)行統(tǒng)一的分類、分層建模。元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”，即對(duì)數(shù)據(jù)的描述信息。對(duì)數(shù)據(jù)不同方面的描述形成不同類型的元數(shù)據(jù)。

主數(shù)據(jù)是需要跨系統(tǒng)共享的核心數(shù)據(jù)，是被不同應(yīng)用場(chǎng)景反復(fù)引用的關(guān)鍵數(shù)據(jù)。

指標(biāo)數(shù)據(jù)是按照一定業(yè)務(wù)規(guī)則加工計(jì)算的數(shù)據(jù)，指標(biāo)數(shù)據(jù)管理要對(duì)指標(biāo)業(yè)務(wù)含義、生成系統(tǒng)、計(jì)算公式、取值范圍等進(jìn)行定義，實(shí)現(xiàn)其名稱統(tǒng)一、描述統(tǒng)一、公式統(tǒng)一、來源統(tǒng)一、參照統(tǒng)一。

（2）數(shù)據(jù)采集。數(shù)據(jù)采集來源包括網(wǎng)元、OMC、終端、服務(wù)器、測(cè)試等，數(shù)據(jù)類型包括資源數(shù)據(jù)、告警數(shù)據(jù)、質(zhì)量數(shù)據(jù)、工單數(shù)據(jù)等。

（3）數(shù)據(jù)處理。在原始數(shù)據(jù)基礎(chǔ)上進(jìn)行數(shù)據(jù)處理，包括數(shù)據(jù)關(guān)聯(lián)回填、異常數(shù)據(jù)處理、時(shí)空維度數(shù)據(jù)匯總等。數(shù)據(jù)處理技術(shù)包括實(shí)時(shí)流處理和批處理兩種方式。

（4）數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)存儲(chǔ)包括文件存儲(chǔ)和數(shù)據(jù)庫存儲(chǔ)，采用分級(jí)存儲(chǔ)管理，規(guī)范存儲(chǔ)目錄，以快速獲取指定數(shù)據(jù)。支持存儲(chǔ)規(guī)則配置，按要求配置數(shù)據(jù)存儲(chǔ)時(shí)間、數(shù)據(jù)清理規(guī)則、存儲(chǔ)安全要求等。

（5）數(shù)據(jù)應(yīng)用。數(shù)據(jù)應(yīng)用是數(shù)據(jù)最終提供給用戶的功能，包括數(shù)據(jù)可視化（數(shù)據(jù)目錄、數(shù)據(jù)血緣、數(shù)據(jù)檢索、數(shù)據(jù)分析）、數(shù)據(jù)共享（批量數(shù)據(jù)同步、實(shí)時(shí)數(shù)據(jù)訂閱、API數(shù)據(jù)服務(wù)）、數(shù)據(jù)開發(fā)支撐等。

（6）數(shù)據(jù)質(zhì)量。數(shù)據(jù)質(zhì)量可以從數(shù)據(jù)的合規(guī)性、完整性、及時(shí)性、準(zhǔn)確性、一致性、唯一性等維度衡量。數(shù)據(jù)質(zhì)量管理要重點(diǎn)建立數(shù)據(jù)質(zhì)量指標(biāo)體系、數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則庫、數(shù)據(jù)質(zhì)量問題線上閉環(huán)管理流程。

4" 數(shù)據(jù)質(zhì)量管理

4.1 數(shù)據(jù)質(zhì)量模型構(gòu)建

數(shù)據(jù)質(zhì)量的稽核模型基于內(nèi)部數(shù)據(jù)共享平臺(tái)搭建，數(shù)據(jù)共享平臺(tái)通過稽核告警等方式發(fā)現(xiàn)質(zhì)量問題，或在數(shù)據(jù)消費(fèi)方發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題后通過流程快速解決數(shù)據(jù)質(zhì)量問題，為了提升數(shù)據(jù)質(zhì)量問題處理效率和問題管理規(guī)范度，數(shù)據(jù)質(zhì)量問題處理可實(shí)現(xiàn)部分或全部電子流程化閉環(huán)管理。

4.2 數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)評(píng)價(jià)指標(biāo)

數(shù)據(jù)質(zhì)量指在特定的業(yè)務(wù)環(huán)境下，數(shù)據(jù)滿足業(yè)務(wù)運(yùn)行、管理與決策的程度，主要包括合規(guī)性、完整性、及時(shí)性、準(zhǔn)確性、一致性、唯一性等。在開展網(wǎng)絡(luò)域數(shù)據(jù)治理過程中，制定滿足業(yè)務(wù)要求的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)指標(biāo)，具體說明如下。

（1）合規(guī)性：指數(shù)據(jù)在建模和開發(fā)過程中為避免二義性應(yīng)遵循的不限于命名規(guī)則、元數(shù)據(jù)描述、數(shù)據(jù)值的合理范圍等。數(shù)據(jù)內(nèi)容合規(guī)性包括數(shù)據(jù)在字段非空、取值符合枚舉、取值符合范圍等方面的度量；數(shù)據(jù)格式合規(guī)性包括數(shù)據(jù)格式是否滿足預(yù)期要求。

（2）完整性：指數(shù)據(jù)在采集、處理、共享過程中做到數(shù)據(jù)信息不存在缺失。包括數(shù)據(jù)文件不缺失、數(shù)據(jù)表不缺失、數(shù)據(jù)字段不缺失。

（3）及時(shí)性：指數(shù)據(jù)的傳輸頻率和傳輸時(shí)延等滿足相關(guān)系統(tǒng)對(duì)數(shù)據(jù)實(shí)時(shí)性要求，包括批數(shù)據(jù)及時(shí)率、流數(shù)據(jù)及時(shí)率、文件及時(shí)率。

（4）準(zhǔn)確性：是指原始數(shù)據(jù)需要被準(zhǔn)確地、沒有虛假數(shù)據(jù)地被記錄下來，沒有誤差或偏差；處理過程應(yīng)按照相應(yīng)的規(guī)則，不進(jìn)行人為修改；數(shù)據(jù)在各處理環(huán)節(jié)的文件封裝、數(shù)據(jù)校驗(yàn)、關(guān)鍵字段和信息關(guān)聯(lián)等處理準(zhǔn)確。

（5）一致性：是指所有的數(shù)據(jù)應(yīng)該遵守一致的標(biāo)準(zhǔn)，在同樣的主體范圍內(nèi)所獲取到的屬性信息應(yīng)是一致的，包括相同數(shù)據(jù)一致率、關(guān)聯(lián)數(shù)據(jù)一致率。

（6）唯一性：是指數(shù)據(jù)在相同的屬性下只能被唯一的符號(hào)進(jìn)行標(biāo)識(shí)，并且一個(gè)標(biāo)識(shí)只能對(duì)應(yīng)唯一的一個(gè)實(shí)體，即特定字段、記錄、文件或數(shù)據(jù)集的唯一性度量。

4.3 數(shù)據(jù)質(zhì)量模型執(zhí)行

4.3.1 數(shù)據(jù)質(zhì)量規(guī)則庫搭建

數(shù)據(jù)質(zhì)量規(guī)則庫的建設(shè)是一個(gè)將質(zhì)量管理員的經(jīng)驗(yàn)進(jìn)行總結(jié)沉淀并將其應(yīng)用到數(shù)據(jù)質(zhì)量管理系統(tǒng)監(jiān)控功能的建設(shè)中，有效減少數(shù)據(jù)質(zhì)量監(jiān)控人員的日常維護(hù)工作量，提高發(fā)現(xiàn)問題和響應(yīng)處理的效率。根據(jù)實(shí)際業(yè)務(wù)需求，將數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)轉(zhuǎn)化為相應(yīng)質(zhì)量監(jiān)控的規(guī)則要求。數(shù)據(jù)質(zhì)量規(guī)則會(huì)根據(jù)監(jiān)控對(duì)象實(shí)行分類管理，質(zhì)量規(guī)則的有效性取決于是否解決數(shù)據(jù)質(zhì)量問題，可利用數(shù)據(jù)質(zhì)量監(jiān)控工具或者執(zhí)行命令，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量監(jiān)控和評(píng)價(jià)。

4.3.2 數(shù)據(jù)質(zhì)量監(jiān)控

數(shù)據(jù)質(zhì)量監(jiān)控的范圍包括接口數(shù)據(jù)稽核、處理過程檢查等。監(jiān)控的周期根據(jù)業(yè)務(wù)特性可以分為小時(shí)、日、月等。

（1）接口數(shù)據(jù)稽核：對(duì)源系統(tǒng)傳到應(yīng)用系統(tǒng)側(cè)的源接口文件及數(shù)據(jù)、關(guān)鍵表、關(guān)鍵字段和關(guān)鍵指標(biāo)進(jìn)行數(shù)據(jù)稽核，驗(yàn)證數(shù)據(jù)的差異性及波動(dòng)性。

（2）處理過程檢查：根據(jù)預(yù)先配置的檢查規(guī)則和質(zhì)量檢查度量，對(duì)數(shù)據(jù)處理過程進(jìn)行檢查稽核。重點(diǎn)關(guān)注處理過程的及時(shí)性和準(zhǔn)確性。

（3）資源數(shù)據(jù)稽核：為保證處理得到的網(wǎng)絡(luò)對(duì)象數(shù)據(jù)的有效性，需對(duì)網(wǎng)絡(luò)對(duì)象本身資源數(shù)據(jù)進(jìn)行檢查，資源數(shù)據(jù)的稽核是數(shù)據(jù)質(zhì)量監(jiān)控的重點(diǎn)。

數(shù)據(jù)質(zhì)量稽核模型針對(duì)資源數(shù)據(jù)的稽核主要從完整性核查、一致性核查、異常性核查、關(guān)聯(lián)性核查四個(gè)方面入手。

資源數(shù)據(jù)的完整性核查是指核查數(shù)據(jù)是否完整地記錄了其所表達(dá)的真實(shí)實(shí)體及事件信息。具體包括基本信息的完整性、空間信息的完整性、業(yè)務(wù)信息的完整性。

資源數(shù)據(jù)的一致性核查是指檢查多點(diǎn)資源數(shù)據(jù)的一致性，包括狀態(tài)的一致性、屬性信息的一致性。一致性核查有助于避免指標(biāo)的二義性，或者是避免數(shù)據(jù)在經(jīng)過清洗和同步處理流轉(zhuǎn)后產(chǎn)生不一樣版本。

資源數(shù)據(jù)的異常性核查包括長(zhǎng)度異常、空間位置異常、數(shù)量信息異常。在資源數(shù)據(jù)的所有核查中，異常性核查是對(duì)實(shí)時(shí)性要求最高的一環(huán)，目的在于保障各個(gè)環(huán)節(jié)數(shù)據(jù)的準(zhǔn)確性。

最后一項(xiàng)核查是關(guān)聯(lián)性核查，主要包括承載關(guān)系核查、連接關(guān)系核查、包含關(guān)系核查。資源數(shù)據(jù)的自核有助于提升資源數(shù)據(jù)的準(zhǔn)確性，準(zhǔn)確性的提升又會(huì)提升運(yùn)維人員在運(yùn)維過程中的效率，在數(shù)據(jù)治理的過程中是至關(guān)重要的一個(gè)部分。

5" 結(jié)束語

本文從數(shù)據(jù)治理入手，通過對(duì)國(guó)內(nèi)外數(shù)據(jù)治理已有的研究成果進(jìn)行梳理，針對(duì)數(shù)據(jù)治理過程中較為重要的環(huán)節(jié)，以提升數(shù)據(jù)質(zhì)量作為切入口，提出了基于內(nèi)部數(shù)據(jù)共享平臺(tái)的數(shù)據(jù)質(zhì)量稽核模型，定義了質(zhì)量監(jiān)控規(guī)則，并利用及時(shí)性、準(zhǔn)確性、完整性、一致性、唯一性等作為數(shù)據(jù)質(zhì)量稽核模型的評(píng)估指標(biāo)，驗(yàn)證了模型的有效性?！?/p>

參考文獻(xiàn)

[1] 李建中，王宏志，高宏．大數(shù)據(jù)可用性的研究進(jìn)展．軟件學(xué)報(bào)，2016，27（7）：1605-1625.

[2] 吳信東，董丙冰，堵新政，等．?dāng)?shù)據(jù)治理技術(shù)．軟件學(xué)報(bào)，2019，30（9）：2830-2856.

[3] 張曉冉，袁滿．通用數(shù)據(jù)質(zhì)量評(píng)估模型及本體實(shí)現(xiàn)[J]．計(jì)算機(jī)研究與發(fā)展，2018，55（6）：1333-1344.