面向市場監(jiān)管領域的數(shù)據(jù)治理體系構(gòu)建

仝姍　陳大海　王駿驥

[摘 要]江蘇省市場監(jiān)管部門體制“三合一”改革后，監(jiān)管工作在面臨巨大挑戰(zhàn)的同時，也迎來了難得的機遇。高質(zhì)量、可信賴的數(shù)據(jù)資產(chǎn)在精準監(jiān)管中的作用日漸凸顯，已成為智慧市場監(jiān)管的核心驅(qū)動力。本文從數(shù)據(jù)標準、元數(shù)據(jù)、基礎數(shù)據(jù)、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量五要素展開分析，以優(yōu)化數(shù)據(jù)治理流程，構(gòu)建完善的數(shù)據(jù)治理體系，提升數(shù)據(jù)質(zhì)量。

[關鍵詞]市場監(jiān)管;數(shù)據(jù)治理體系;數(shù)據(jù)質(zhì)量

doi：10.3969/j.issn.1673 - 0194.2021.04.088

[中圖分類號]D63;TP391[文獻標識碼]A[文章編號]1673-0194（2021）04-0-04

0 ? ? 引 言

江蘇省市場監(jiān)管部門體制“三合一”改革后，在整合信息化系統(tǒng)、促進業(yè)務融合方面進行了有益嘗試，并取得初步成效。機構(gòu)改革后的市場監(jiān)管工作面臨監(jiān)管主體眾多、監(jiān)管事項增多、監(jiān)管責任加重、監(jiān)管壓力增大的挑戰(zhàn)，急需以數(shù)據(jù)驅(qū)動業(yè)務協(xié)同創(chuàng)新，通過大數(shù)據(jù)分析等技術(shù)手段實現(xiàn)科學決策和精準監(jiān)管。

江蘇省市場監(jiān)管原業(yè)務部門已自建規(guī)模不等的數(shù)據(jù)倉庫或數(shù)據(jù)中心，實現(xiàn)了一定程度的數(shù)據(jù)服務。但是由于缺少數(shù)據(jù)標準和相應處理流程，導致數(shù)據(jù)描述不全、數(shù)據(jù)結(jié)構(gòu)各異等問題，從而限制了部門間業(yè)務協(xié)同，聯(lián)合監(jiān)管效能無法發(fā)揮，數(shù)據(jù)價值很難做到深層挖掘。

1 ? ? 數(shù)據(jù)治理體系構(gòu)建

數(shù)據(jù)治理是市場監(jiān)管數(shù)據(jù)管理的重要組成部分。數(shù)據(jù)治理體系通過數(shù)據(jù)標準錄入使數(shù)據(jù)治理有據(jù)可依，采集元數(shù)據(jù)構(gòu)建數(shù)據(jù)模型，其基礎數(shù)據(jù)則可以確保數(shù)據(jù)治理的一致性，避免出現(xiàn)歧義及理解偏差。各模塊協(xié)同，打造完整的數(shù)據(jù)治理流程，實現(xiàn)了數(shù)據(jù)治理全過程可視化。

1.1 ? 體系架構(gòu)

本文通過對數(shù)據(jù)標準、元數(shù)據(jù)、基礎數(shù)據(jù)、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量的管理，打造全視角的數(shù)據(jù)質(zhì)量治理體系，逐步解決數(shù)據(jù)底數(shù)不清、標準缺失、數(shù)值不準等共性問題，實現(xiàn)數(shù)據(jù)標準化，確保數(shù)據(jù)品質(zhì)。數(shù)據(jù)治理體系架構(gòu)如圖1。

1.2 ? 數(shù)據(jù)標準管理

數(shù)據(jù)標準管理是數(shù)據(jù)治理體系建設中的重要環(huán)節(jié)，通過數(shù)據(jù)標準可以有效規(guī)范系統(tǒng)建設時對業(yè)務的統(tǒng)一理解，增強業(yè)務部門、技術(shù)部門對數(shù)據(jù)定義與使用的一致性，減少數(shù)據(jù)轉(zhuǎn)換，提升數(shù)據(jù)效能，優(yōu)化數(shù)據(jù)服務。

本文通過建設統(tǒng)一的數(shù)據(jù)標準管理功能模塊實現(xiàn)數(shù)據(jù)標準的集中管理，為系統(tǒng)建設人員和應用人員提供便捷的數(shù)據(jù)標準獲取途徑，促進數(shù)據(jù)標準規(guī)范的落地實施。數(shù)據(jù)標準管理模塊的功能，包括數(shù)據(jù)標準文檔管理、數(shù)據(jù)標準用語管理、數(shù)據(jù)標準業(yè)務代碼管理、數(shù)據(jù)標準模型管理和數(shù)據(jù)標準指標體系管理。

1.3 ? 元數(shù)據(jù)管理

元數(shù)據(jù)管理是數(shù)據(jù)治理體系的核心組成部分，貫穿于體系的創(chuàng)建、維護和使用的各環(huán)節(jié)之中，元數(shù)據(jù)管理可明確數(shù)據(jù)方向、統(tǒng)一數(shù)據(jù)口徑、梳理數(shù)據(jù)關系、管理模型變更，是數(shù)據(jù)建設和數(shù)據(jù)資產(chǎn)高效管理的有力保障。

本文以元數(shù)據(jù)為核心驅(qū)動，嘗試構(gòu)建完整的數(shù)據(jù)管理和數(shù)據(jù)服務模塊，統(tǒng)一對江蘇省市場監(jiān)管數(shù)據(jù)元進行管理。元數(shù)據(jù)管理實現(xiàn)數(shù)據(jù)生產(chǎn)、服務全鏈路信息的集中管理和展示，同時也為作業(yè)管控、質(zhì)量管理提供數(shù)據(jù)標準。元數(shù)據(jù)是以標準方式表達的數(shù)據(jù)元，數(shù)據(jù)元是數(shù)據(jù)的基本單元，將若干具有相關性的數(shù)據(jù)元按一定次序排列，即組成元數(shù)據(jù)。元數(shù)據(jù)管理包括元數(shù)據(jù)服務和元數(shù)據(jù)分析。

1.4 ? 基礎數(shù)據(jù)管理

基礎數(shù)據(jù)管理包括基礎數(shù)據(jù)的生成服務和版本維護。

存儲于業(yè)務系統(tǒng)中的數(shù)據(jù)，通常采用抽取、轉(zhuǎn)換、裝載（Extract-Transform-Load，ETL）的方式進行導入，生成基礎數(shù)據(jù)。數(shù)據(jù)抽取調(diào)度管理的方式如下：元數(shù)據(jù)管理模塊對元數(shù)據(jù)的自動獲取提供持續(xù)穩(wěn)定的調(diào)度支持，能夠按預設的調(diào)度策略觸發(fā)相應的元數(shù)據(jù)自動采集過程，并滿足元數(shù)據(jù)采集在時效性和獲取時機等方面的需要。例如，在數(shù)據(jù)處理程序更新后8小時內(nèi)觸發(fā)相應的元數(shù)據(jù)自動獲取過程;也可以在每星期一00：30觸發(fā)數(shù)據(jù)庫元數(shù)據(jù)的自動采集過程，由守護進程Cron來處理周期任務，定時任務語句如下：30 0 * * MON /home/dataman/work/job.sh。

基礎數(shù)據(jù)版本管理對基礎數(shù)據(jù)的變化進行記錄和管理，如企業(yè)類型新建視為第一版，之后每次修改新增一個版本，版本號按照規(guī)則自動增加。可以通過對比查看每次的變更記錄，并且支持隨時恢復到某次變更的版本。

1.5 ? 數(shù)據(jù)模型管理

數(shù)據(jù)模型管理包含構(gòu)建模型設計、模型優(yōu)化、模型監(jiān)控的可視化管理體系，提供對模型實體、屬性、關系的設計，模型的標準化管理及模型一致性監(jiān)控。該管理體系完整記錄數(shù)據(jù)治理模型建設的全過程，為數(shù)據(jù)的開發(fā)、部署、融合等各個階段提供基礎支撐。數(shù)據(jù)模型管理功能模塊包括基礎模型管理、邏輯建模和物理建模。

1.6 ? 數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理是數(shù)據(jù)治理工作的基礎。建立基于全局視角的閉環(huán)數(shù)據(jù)質(zhì)量管理模塊，可以確保共享開放、研究分析和應用服務數(shù)據(jù)的品質(zhì)，實現(xiàn)數(shù)據(jù)資產(chǎn)價值最大化。數(shù)據(jù)質(zhì)量管理可實現(xiàn)稽核規(guī)則管理、稽核任務管理以及數(shù)據(jù)質(zhì)量分析功能。

1.6.1 ? 稽核規(guī)則管理

為了高效開展對數(shù)據(jù)治理各關鍵環(huán)節(jié)的檢查工作，應規(guī)劃建設稽核規(guī)則管理模塊，統(tǒng)一配置質(zhì)量檢查規(guī)則。系統(tǒng)在對數(shù)據(jù)進行檢查前，通過訪問稽核規(guī)則管理模塊來讀取質(zhì)量檢查規(guī)則。稽核規(guī)則支持編輯、修改和刪除。

1.6.2 ? 稽核任務管理

數(shù)據(jù)質(zhì)量管理模塊根據(jù)需求或規(guī)則生成所有稽核任務，提供偵測和前置條件觸發(fā)兩種方式啟動稽核任務流程。

稽核任務管理將稽核流程與數(shù)據(jù)加工流程相結(jié)合，支持稽核任務定時、嵌入、手工調(diào)度，實現(xiàn)流程調(diào)度多樣化。當稽核出影響后續(xù)加工的關鍵問題時，數(shù)據(jù)加工流程自動停止，待問題處理完畢后流程會繼續(xù)執(zhí)行。

數(shù)據(jù)質(zhì)量管理模塊對稽核調(diào)度任務具有啟動、停止、定時和并發(fā)數(shù)設置的功能，支持稽核任務的執(zhí)行狀態(tài)查詢，支持查看圖形化的工作流監(jiān)控界面。

1.6.3 ? 數(shù)據(jù)質(zhì)量分析

對數(shù)據(jù)質(zhì)量問題的有效管理，是數(shù)據(jù)治理工作成功的關鍵。數(shù)據(jù)質(zhì)量分析提供對數(shù)據(jù)采集、處理、應用等環(huán)節(jié)質(zhì)量稽核結(jié)果的綜合分析，是一個集中展示數(shù)據(jù)質(zhì)量狀況的窗口。

數(shù)據(jù)質(zhì)量分析支持對問題數(shù)據(jù)的檢索，重點關注稽核對象問題數(shù)據(jù)，提供對問題數(shù)據(jù)數(shù)量變化的趨勢分析、對問題數(shù)據(jù)不同稽核類別的數(shù)據(jù)分布分析以及對問題數(shù)據(jù)的整體分析功能。

2 ? ? 數(shù)據(jù)治理流程分析

數(shù)據(jù)治理從完整性、準確性、一致性、及時性、穩(wěn)定性、規(guī)范性六方面完成對數(shù)據(jù)質(zhì)量的評價，并完成閉環(huán)治理，實現(xiàn)數(shù)據(jù)的統(tǒng)一規(guī)范和統(tǒng)一管理。

數(shù)據(jù)治理需要數(shù)據(jù)標準、元數(shù)據(jù)、基礎數(shù)據(jù)、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量管理各要素協(xié)同完成治理過程，數(shù)據(jù)治理協(xié)同流程如圖2所示。

數(shù)據(jù)標準發(fā)布是數(shù)據(jù)治理的第一步，數(shù)據(jù)標準包括文檔、用語、業(yè)務代碼、模型、指標體系等。數(shù)據(jù)模型提供邏輯建模、物理建模及模型管理功能，數(shù)據(jù)建模過程中引入數(shù)據(jù)標準，實現(xiàn)標準落地。元數(shù)據(jù)服務和管理是數(shù)據(jù)治理的核心部分，原始數(shù)據(jù)通過加工轉(zhuǎn)換形成目標數(shù)據(jù)，目標數(shù)據(jù)校驗結(jié)果自動生成數(shù)據(jù)質(zhì)量元數(shù)據(jù)。基礎數(shù)據(jù)實現(xiàn)版本管理功能，并提供數(shù)據(jù)訪問接口，供數(shù)據(jù)集成系統(tǒng)調(diào)用。數(shù)據(jù)質(zhì)量管理提供數(shù)據(jù)質(zhì)量問題的全流程跟蹤、記錄功能，以保證數(shù)據(jù)質(zhì)量問題能夠得到有效分析、準確分發(fā)、及時解決，最終提升數(shù)據(jù)質(zhì)量。

3 ? ? 實踐和成果

筆者通過分析數(shù)據(jù)治理要素，完成了數(shù)據(jù)治理體系的構(gòu)建，并應用于江蘇省市場監(jiān)管數(shù)據(jù)管理服務。截至2020年7月下旬，共處理數(shù)據(jù)280余億條，數(shù)據(jù)總量高達2 181 GB。

江蘇省市場監(jiān)管數(shù)據(jù)治理體系，堅持標準先行，錄入正式發(fā)布國標、省標及相關行業(yè)標準，并將數(shù)據(jù)標準系統(tǒng)化。部分數(shù)據(jù)標準見表1。

江蘇省市場監(jiān)管數(shù)據(jù)治理采用專項治理和日常巡查結(jié)合的方式實現(xiàn)。

專項治理指集中一段時間就某類數(shù)據(jù)質(zhì)量問題進行集中整治，按需抽取檢測規(guī)則，展示問題數(shù)據(jù)的占比情況和各地區(qū)的問題數(shù)據(jù)量，并生成分析報告和各地市問題數(shù)據(jù)的詳細清單。本文對某信息化系統(tǒng)歸集的數(shù)據(jù)進行專項治理，制定5項稽核規(guī)則，共檢測出問題數(shù)據(jù)36萬余條，詳情見圖3。

日常巡查指完成資產(chǎn)盤點之后，對于業(yè)務上不符合稽核判斷規(guī)則的數(shù)據(jù)項進行檢測，并發(fā)布檢測報告。體系支持自動設定任務，完成對數(shù)據(jù)的巡查，支持稽核規(guī)則配置、周期性任務規(guī)劃等。圖4為江蘇省市場監(jiān)管某次日常數(shù)據(jù)巡查結(jié)果。

4 ? ? 結(jié) 語

2019年11月，國家市場監(jiān)督管理總局辦公廳發(fā)布《市場主體登記數(shù)據(jù)質(zhì)量建設實施方案》，明確指出要以數(shù)據(jù)質(zhì)量建設為契機，進一步加強全系統(tǒng)市場主體數(shù)據(jù)監(jiān)測，全面規(guī)范業(yè)務流程和數(shù)據(jù)標準，完善數(shù)據(jù)質(zhì)量管理制度，形成提升數(shù)據(jù)質(zhì)量的長效機制，為市場監(jiān)管改革提供堅實的數(shù)據(jù)基礎和支撐服務。

《市場主體登記數(shù)據(jù)質(zhì)量建設實施方案》說明數(shù)據(jù)質(zhì)量建設的主要任務是建立數(shù)據(jù)質(zhì)量評價標準、開展數(shù)據(jù)質(zhì)量監(jiān)測、建立完善數(shù)據(jù)質(zhì)量糾錯機制及加強數(shù)據(jù)質(zhì)量管理制度建設。各地市場監(jiān)管部門在數(shù)據(jù)質(zhì)量建設工作中，要將數(shù)據(jù)質(zhì)量建設工作落到實處。只有抓好數(shù)據(jù)質(zhì)量，才能真正提高市場監(jiān)管信息化建設和應用水平。

主要參考文獻

[1]盧樂天，陽夢華，鄧櫻文.政府數(shù)據(jù)治理體系研究[J].電信工程技術(shù)與標準化，2019（1）：29-33.

[2]司莉，曾粵亮，機構(gòu)科研數(shù)據(jù)知識庫聯(lián)盟數(shù)據(jù)治理框架研究[J].圖書館論壇，2018（8）：61-67.

[3]張國寶，卞藝杰.一種面向閉環(huán)的數(shù)據(jù)治理平臺與方法設計[J].計算機技術(shù)與發(fā)展，2019（8）：156-160.

[4]司曉.數(shù)據(jù)要素市場呼喚數(shù)據(jù)治理新規(guī)則[J].圖書與情報，2020（3）：7-8.

[5]李倩，劉冰潔，趙彥云.大數(shù)據(jù)環(huán)境下的統(tǒng)計元數(shù)據(jù)建設[J].統(tǒng)計與信息論壇，2020（3）：14-20.

[6]顧嘉琪，袁莉.基于公眾需求的政府數(shù)據(jù)開放服務質(zhì)量提升研究[J].情報雜志，2020（6）：196-202

[7]ALRUITHE M， BENKHELIFA E. Cloud Data Governance Maturity Model[C]//2017 8th IEEE International Conference on Software Engineering and Service Science. Beijing：IEEE， 2017：517-520.

[8]陳艷，高原.電網(wǎng)企業(yè)數(shù)據(jù)治理成效評估及應用前景研究[J].現(xiàn)代經(jīng)濟信息，2019（13）：66.

[9]農(nóng)發(fā)行總行信息科技部課題組.提升數(shù)據(jù)質(zhì)量的方法和路徑[J].農(nóng)業(yè)發(fā)展與金融，2019（5）：81-84.