基于數據中臺的市場監管數據資源中心架構設計

卜意磊 龐文迪

（江蘇省工商行政管理局信息中心 江蘇省南京市 210000）

2018年11月，江蘇省市場監督管理局組建后，信息化工作是市場監管各項工作的基礎和保障，全系統堅持在系統集成、一體建設、融合發展上下功夫。同時，信息化工作也是引領市場監管方式創新、提高市場監管效能的重要抓手。監管的有效性和精準性很大程度取決于對市場主體信息的全方位掌握，要求以市場主體信息為基礎，進一步關聯、匯聚市場準入、行政許可、綜合執法、質量監管、食藥安全、特種設備、信用監管、網絡交易監管、標準計量、知識產權各類主體監管數據。建設統一的市場監管數據資源中心，分析利用融合后的數據資源支撐監管的智能化，是進一步釋放數據紅利的關鍵所在。

近年來，移動互聯、大數據、云計算、人工智能、數據中臺等新技術的應用在各行各業不斷推廣，也給市場監管領域帶來了機遇和挑戰，本文重點探討數據中臺技術在市場監管數據資源中心的應用，借鑒《數據中臺：讓數據用起來》一書中數據中臺建設方法論[2]，結合市場監管領域數據特點，搭建涵蓋數據匯聚、數據開發、數據資源體系、數據資產管理和治理、應用支撐和數據服務以及數據運營和安全管理體系的市場監管統一數據資源中心，實現數據的全生命周期管理，為各項業務開展提供基礎支撐。依托數據中臺技術，構建一套可持續“讓數據用起來的”機制，以數據驅動跨地區、跨部門、跨層級的數據共享和業務協同，探索創新市場監管方式，提升大數據監管、智慧化治理能力。

1 數據中臺在數據資源中心的應用

1.1 數據中臺技術背景

數據中臺的概念最早由阿里巴巴首次提出，為了應對大規模數據的線性可擴展問題、應對復雜業務系統的解耦問題，而在技術、組織架構等方面采取的一些變革。在2018年 3月 15日ThoughtWorks 技術雷達峰會上，數據中臺受到業界的廣泛關注。

在傳統的“前臺+后臺”的平臺化架構的開發中，前臺是由各類最終用戶直接使用或交互的系統組成的，例如用戶直接使用的網站，手機App，微信小程序等。后臺是由管理了一類核心資源（數據+計算）的后臺系統組成，基礎設施和計算平臺也屬于后臺的一部分。由于后臺修改的成本和風險較高，后臺系統盡量選擇保持穩定性，但是隨著企業業務的發展壯大，為了響應用戶持續不斷的需求，大量的業務邏輯(業務能力)被直接塞到了前臺系統中。前臺系統不斷膨脹，業務系統煙囪林立，導致響應能力下降，業務靈活性也隨之下降。對于這樣的問題，Gatner 在2016年提出的一份《Pace-Layered Application Strategy》報告中，給出了一種解決方案，將企業的應用系統分為前臺、中臺、后臺，各自采用不同策略，中臺用連接前后臺，使前臺能夠快速響應業務的變化。在數據開發中，核心數據模型的變化是相對緩慢的，同時對數據進行維護的工作量非常大，但業務創新的速度、對數據提出的需求的變化，是非常快速的。數據中臺的出現，就是為了彌補數據開發和應用開發之間，由于開發速度不匹配，出現的響應力跟不上的問題。

數據中臺是中臺的核心平臺之一，與傳統的數據倉庫和數據平臺不同，數據倉庫是存儲和管理一個或多個主題數據的集合，主要提供報表分析和支持管理決策分析服務，數據平臺在大數據基礎上融合了結構化和非結構化數據為業務直接提供數據集，而數據中臺則是將數據服務化之后提供給業務系統，不僅限于分析型場景，也適用于交易型場景，距離業務更近，為業務提供速度更快的服務。數據中臺不僅僅是技術，更是一種從“技術優先”到“數據優先”的思維轉變，其目標是讓數據持續用起來，通過數據中臺提供的工具、方法和運行機制，把數據變為一種服務能力，讓數據更方便地被業務所使用[2]。

1.2 數據資源中心的應用

機構整合后，傳統IT 建設方式下，原各局的業務系統和數據中心大多獨立建設，無法互聯互通，造成分散的信息化現狀。業務系統煙囪林立，系統間業務協同能力弱，在機構合并監管責任劇增的情形下，無法滿足各級部門業務協同需求。目前主要存在以下問題：

（1）業務系統多且散，系統開發標準不統一，數據標準和接口標準各異造成數據共享交換困難。

（2）數據資源眾多，且分散存放，造成歸集困難。

（3）各部門共享交換系統不統一，共享需求多樣，種類眾多，方式各異，數據無統一出口/入口，數據質量參差不齊，無統一管理。

數據中臺的出現，為適應機構改革期間的管理變革提供了全新的IT 架構，也為市場監管信息化的升級提供了全新的底層數據支撐。為解決數據孤島問題，本文引入數據中臺概念，利用數據中臺匯聚整合、數據資產化、服務可視化、價值變現的能力整合分散在各個孤島的數據，快速形成數據服務能力，更好地應對快速變化的市場監管前端業務，為智慧監管、精細化監管提供數據支撐。

2 市場監管數據資源中心的架構設計

本文提出一種基于數據中臺的市場監管數據資源中心架構，包含數據匯聚、數據開發、數據資源體系、數據資產管理與治理、應用支撐與數據服務、數據運營與安全管理六部分組成，如圖1所示，數據中臺將傳統數據倉庫的范圍擴大到組織的全域數據，聯通傳統IT 架構和各類數據，融合新老模式，整合孤島數據，沉淀數據資產，快速形成不同維度的數據服務能力，為市場監管決策、精細化管理及創新應用提供支撐。

圖1：市場監管數據資源中心總體架構圖

2.1 數據匯聚

數據匯聚是數據中臺數據接入的入口，對內匯聚來自各個業務系統、已建數據倉庫或數據中心，對外匯聚來自總局、地市局、直屬單位、技術機構、省級部門、藥監局、知識產權局和第三方互聯網平臺數據的資源庫，根據不同數據結構、實時性要求，適配多源異構數據源，例如關系型數據庫、分布式數據庫、實時數據流、NoSql 數據庫、文件系統、大數據組件等，以及國產數據庫例如達夢數據庫、神舟通用等。通過數據集成工具提供的一站式無需編碼的全圖形化大數據開發環境和全托管的大數據調度能力，完成集成過程的設計、維護、運行、監控。采用數據同步、消息隊列等技術手段靈活支撐各種實時、批量、增量數據采集，將分散的異構數據源進行轉換集成后加載到指定的數據存儲位置。通過分布式數據處理和任務調度，高效的完成數據集成，具有高性能和高可靠性，具備多節點任務分發、并行工作、負載均衡處理的能力，同時包含連接管理、腳本開發、可視化配置、工作流編排，作業管理、作業監控等功能。

2.2 數據開發

數據開發是一整套數據加工以及加工過程管控的工具，面向開發人員、分析人員，提供離線、實時、算法開發工具，以及任務的管理、代碼發布、運維、監控、告警等一系列集成工具，具備批計算、流計算、在線查詢、即系分析計算能力，用于處理以下應用場景：

2.2.1 離線處理場景

如離線數倉的加工、大規模數據的清洗和挖掘、在線查詢和即席分析等。通常處理的數據量大，要求高計算和存儲資源，可以通過MapReduce、Hive 或Spark 作業實現。

2.2.2 實時流處理場景

如監控告警、實時異常分析場景。需要對大規模數據進行低延時分析，要求高計算和內存資源，通常應用計算框架Flink、Spark Streaming 和Storm 等。

2.2.3 實時檢索場景

實時檢索主要用于數據的在線查詢、條件過濾和篩選等。主要針對OLTP 類的增、刪、改、查等操作，但是要求支持高并發、低延遲響應，如企業畫像、搜索引擎等場景。根據場景響應延時要求的不同，可以選擇緩存型數據庫Redis 或者HBase、MySQL 等，對于需要進行條件過濾、全文檢索的，可以選擇Solr、Elasticsearch 等。

2.2.4 算法開發

算法開發是一套能支撐多環境、多集群、多形態模型的核心算法服務化能力的工具集，集成了以多維分析為主的數據探索和統計能力、以批計算為核心的離線模型訓練能力、以流計算為核心在線機器學習能力。需要具備可視化建模功能，并支持主流的機器學習、深度學習計算框架（TensorFlow、PyTorch、MXNet、Spark 等）和一系列標準化的算法組件（特征工程、統計分析、NLP、圖計算、知識圖譜等），幫助算法工程師迅速實現人工智能應用的構建和落地。算法開發為離線開發和實時開發提供算法模型，在數據開發和資產加工的基礎上，提供更深層次的數據挖掘和算法標簽生產，供智能應用使用。

表1：市場監管業務板塊[表題]

2.3 數據資源體系

數據資源體系是在全域原始數據的基礎上，進行標準定義及分層建模，建設一套完整、規范、準確的數據體系來支撐數據應用[2]，使得數據可以被更容易、高效、低成本的使用。重點在于構建涵蓋貼源數據、統一數倉、標簽數據、應用數據四層的統一資源分層體系（如圖2所示），首先在原有的數據倉庫內容基礎上，擴展業務內容，對業務系統數據進行采集匯聚，建設包含市場監管全域數據的歸集庫；然后定義統一的指標、維度，利用數據集成工具形成標準統一的基礎庫；再豐富并完善對象建模，形成對象的全域標簽體系，建設主題庫保證數據融合的可實施性，方便數據的深度分析、挖掘、應用；最后在基礎庫和標簽庫的基礎上抽取數據，面向業務的特殊需求，進一步進行較為復雜的指標計算、數據融合、數據重構等加工工作，形成向特定應用組裝的應用數據專題庫，滿足業務及性能的需求。

2.3.1 貼源數據層

貼源層主要對組織內部和外部的系統數據進行采集、匯聚形成歸集庫。與傳統ETL（Extract-Transform-Load）過程不同，采用ELT（Extract-Load-Transform）方式，先將所有原始數據進行抽取（Extract）和裝載（Load），再利用大數據支撐平臺的計算能力進行轉換（Transform）操作。根據不同數據結構、實時性要求，通過數據同步工具采集后，非實時數據加載到HDFS、NOsql 數據庫，實時數據推送到消息隊列，最后存儲到貼源層的歸集庫中，數據傳輸過程除了對非結構化數據進行結構化處理以及對相同數據進行整合或者增加時間標識外，不涉及數據治理相關的清洗及轉換工作，可為后期數據比對校驗提供數據溯源支持。數據同步工具需要具備同步條件配置、任務調度、限速、容錯、質量監控、告警等功能。

2.3.2 統一數倉層

統一數倉層對貼源層的數據進行去臟、去重、落標等工作，通過數據集成工具調用數據治理系統的各類質量規則、腳本以及業務代碼標準庫等來清洗轉換數據，形成標準統一的數據倉庫作為整個數據中臺的基礎庫為后續數據分析利用打下基礎。這一階段的工作是整個數據資源中心的核心工作，需要重新整合定義原始業務流程數據，從業務完整性描述的角度還原全域、全歷史的業務運轉狀態。本文采用維度建模方法，通過劃分業務板塊、定義數據域、業務過程、維度及指標，建立維度表和事實表來組織數據。如表1所示，本文根據市場監管總局《市場監管信息化建設總體技術方案》指導意見將市場監管業務板塊分為市場準入域、市場監管域、質量基礎域、行政執法域和協同輔助域五部分，并梳理業務流程和邊界，將業務過程進行提取、拆分和分類，根據數據流與業務過程的關系，進一步劃分數據域。市場準入域涉及市場主體、客體、行為的準入監管，包括主體登記和行政許可審批數據。市場監管域涉及市場監管業務的全覆蓋，包括產品質量安全、食品安全、信用信息、特種設備、網絡交易、廣告等各類監管主題。質量基礎域匯聚了計量、標準、認證認可、檢驗檢測機構相關數據，為質量基礎建設提供數據支撐。行政執法域包括執法辦案、投訴舉報、反壟斷相關行政執法體系數據。協調輔助域包括綜合辦公、知識庫等綜合類數據。

定義數據的指標使得數據倉庫對同一字段的命名、計算方法、業務理解全局唯一。分為原子指標和派生指標，原子指標是具體業務行為的度量，有確定的字段名稱、數據類型、計算規則和所屬數據域，派生指標在原子指標的基礎上加入時間、數量、區域等修飾詞合并而成[2]。維度表是維度建模的核心，包含了很多描述性屬性字段，通過梳理層次和關聯關系，形成統一的共用的維度屬性，例如企業主維表有企業類型、行業分類等屬性，一般從業務系統同步。事實表是統一數倉層的主要構成部分，主要描述業務過程的事實，通過外鍵關聯各種維度表，事實表可以記錄每個事務事件，也可以根據需要聚合多個事務事件或者累積記錄事務關鍵時間點形成快照。穩定的數據模型可以提高數據的復用性，有助于后續開展數據應用和分析。

圖2：數據資源體系架構圖

2.3.3 標簽數據層

標簽數據層面向對象建模，整合跨業務板塊、跨數據域的特定對象數據，建立對象的全域標簽體系，形成對業務可閱讀、易理解、有價值的描述信息，方便對象的深度分析、挖掘應用。同一個對象的信息往往分散在統一數倉層不同的數據域，例如市場主體對象，基本信息在主體登記域，相關的良好信息、警示信息、年報信息、投訴信息、案件信息分別在信用監管域、行政執法案件域、投訴舉報域等，需要通過關聯計算才能滿足業務需求，而標簽數據層的建立可以有效降低數據使用成本，更利于獲取、分析對象的全域數據。按照各類主題對象的標簽體系設計，從歸集庫和基礎庫抽取、裝載、融合主題對象的相關數據，形成主題信息資源庫，滿足各種業務的共同需求。本文按照主體、客體、關系將標簽類目分層級分類別管理，主體類標簽有市場主體、執法人員等；客體類標簽有許可、特種設備、產品、技術機構、監管對象等；關系標簽可分為審批、檢查行為、檢驗檢測行為、廣告審批、消費維權、投訴舉報、監督執法等行為關系，標簽類目根據業務流程抽象或根據分析需求抽象。每個類目下的具體標簽（屬性標簽、統計標簽、算法標簽等）經過數據中臺的數據開發能力加工后形成標簽融合表。標簽融合表面向組織數據資源，存儲最終結果數據，由于大數據時代下標簽類目及標簽種類眾多，考慮到性能因素，一般采用橫表或縱表，并且由多張表組合而成。

2.3.4 應用數據層

應用數據層是按照業務使用的需要，經過復雜的指標計算、交叉分析、數據重構等工作，圍繞多個類似業務場景建立專題分析庫，滿足查詢、搜索、即席分析、批量計算等不同吞吐量和響應時間的業務場景要求，包括企業精準畫像、企業信用分析、特種設備安全監管分析、食品安全監管、消費維權、風險預警等專題。

2.4 數據資產管理與治理

數據資產管理與治理在傳統數據治理體系的基礎上增加數據價值管理，把數據當資產評估資產價值。數據治理包括對數據標準、元數據、數據血緣、數據資產目錄、數據生命周期等進行管理和展示，數據價值管理以直觀的方式展現數據資產，提升數據意識。首先通過建立統一的數據標準管理功能模塊可以實現數據標準的集中管理，規范數據標準的建立過程，為系統建設人員和應用人員提供了便捷的數據標準獲取途徑，并通過數據標準管理模塊對數據資源中心的建設規范性進行檢查，促進數據標準規范的實施落地。然后以表作為數據資產的核心單元，建立業務使用資產（指標、標簽、維度、屬性）的血緣橋梁，以圖形化數據資產地圖的方式形象的展示數據資源中心的數據分布情況、查看各數據庫之間數據流向關系。通過數據治理來提高數據質量，需要元數據、數據模型、數據標準、數據質量、基礎數據等子系統協同完成治理過程，檢測、統計各類數據治理、數據集成任務執行情況，查看數據質量評估結果，通過影響分析，根據庫、實體的變更關系可追溯并可快速處理。數據資產目錄建立了動態更新的共享信息資源目錄，方便與總局、省級部門及直屬單位、地市局及省級政府部門資源目錄平臺的對接，滿足資源目錄柔性與開放性的要求。信息資源目錄包括歸集、基礎、主題和專題信息資源目錄等。數據價值管理對數據資產進行審核、發布、標簽定義、數據開放管理，通過數據資產地圖或目錄的形式提供數據資產的查詢功能，實現數據資產的“可視化”，對數據資產的價值進行評估，數據資產管理的成熟度是評估數據中臺能力的重要指標。

2.5 應用支撐與數據服務

應用支撐與數據服務模塊為核心應用開發與服務提供支撐，采用組件化、服務化設計理念，提供了快速的服務生成能力以及服務的管控、鑒權、計量等功能。采用容器、微服務等技術架構，將市場監管業務應用需要的復雜功能進行分解，通過提供應用系統開發所需的基礎組件微服務、數據訪問微服務，以及服務組合來實現復雜的業務需求，提升服務模塊的復用度、降低開發成本，實現“做厚平臺、做強應用”，提升大數據整合與利用效率。

2.6 數據運營與安全管理

數據運營策讓數據被持續高質量地生產出來，數據的消費者可以便捷地獲取數據，并在安全、可監督的環境中使用，讓數據資產發揮更大的價值。數據中臺的運營需要在戰略層級進行部署，作為整個組織的共同目標，并搭建配套組織，配備數據管理部門和人員，組建包含業務專家、數據建模專家、數據分析等人員的技術團隊，制定包含數據資產查看、申請、使用、治理、評估完整閉環的運營流程。數據安全和質量是中臺可持續運行的基礎，需要在成本可控的范圍內，提高數據的完整性、規范性、準確性、一致性、時效性等數據質量。通過實施安全策略保障數據資產安全，包括建立數據安全管理機制和定義安全分級分類標準、制定數據安全控制及措施、完善數據訪問權限和回收策略、采用數據隱私保護工具、實施脫敏機制和策略等。

綜上，數據中臺匯聚來自部門內外的數據，利用大數據平臺積累的能力和可復用的數據加工工具，使得開發人員、算法建模人員、分析人員可以快速把數據加工成業務所需的形式。通過建立統一的標準化的數據資源體系增加數據的一致性和可復用性。通過數據資產管理與治理、統一應用支撐及數據服務把數據資產變為數據服務能力，形成統一身份認證等公共服務組件，服務于部門內外的數據共享交換應用以及指揮大屏、企業畫像專題分析、智慧市場監管等各類決策支持和監管方式創新應用。同時運營和安全管理體系使得數據中臺可以長期健康、持續運轉。

3 問題討論與分析

數據中臺作為業務數字化轉型的新興產物，如何保障數據中臺建設在組織內部順利實施尚需進一步的討論與分析。

（1）加強組織保障。數據中臺是一項全新的、全局性的信息化工程，如果只是信息化部門把數據中臺中的某些功能和特性作為新技術來局部驗證和引入，往往達不到數字化變革所期望的效果，并且會面臨成本劇增而效果不明的風險。數據中臺是一種戰略選擇和組織形式，是“一把手工程”，需要從更高的層面推動建設，只有從戰略高度進行頂層設計、確定規模化投入政策、設置更合理的組織結構來運維，才能確保數據中臺作為數據應用的基礎設施并落地建設，承擔起市場監管數據資產全生命周期的管理。

（2）業務部門和信息化部門通力協作。數據中臺必須能夠接入、轉換、寫入或緩存內外部多種來源數據，協助不同部門和團隊的數據使用者更好地定位數據、理解數據。然而信息技術人員不夠懂業務，而業務人員不夠懂數據，導致數據應用到業務變得很困難。因此數據中臺需要考慮將信息技術人員與業務人員之間的障礙打破，信息技術人員將數據變成業務人員可閱讀、易理解的內容，業務人員看到內容后能夠很快結合到業務中去，這樣才能更好地支撐創新，所以需要業務部門的參與，兩方通力協作。

4 結語

本文重點研究數據中臺在市場監管數據資源中心的應用，介紹了數據中臺的技術背景和應用場景，分析了基于數據中臺的市場監管數據資源中心的架構設計，包括數據匯聚、數據開發、數據資源體系、數據資產管理與治理、應用支撐和數據服務以及數據運營和安全管理體系的建設內容和關鍵技術，并對數據中臺在組織內部實施存在的問題進行討論。本文認為，決定數據中臺能否充分發揮數據價值的關鍵因素，在于是否具備完整可行的數據運營機制、穩定的數據建模能力和靈活的數據服務能力。本文提到的數據資源中心架構和關鍵技術只是解決方案之一，只是工具和平臺，更重要是建立讓數據用起來的機制，并對數據中臺進行持續改進，可以采用縱向建設模式，從一個具體的應用場景入手，建立完整的數據從匯聚、開發、建模、提供應用服務，到數據資產管理和數據運營的架構體系，實現幾個典型的數據應用，再根據業務需求逐步擴充完善數據中臺，真正讓數據中臺用起來。