智慧城市數(shù)據(jù)支撐平臺的構(gòu)建和數(shù)據(jù)質(zhì)量管理概述

陳龍生

摘 要 本文主要討論智慧城市中數(shù)據(jù)支撐平臺的實現(xiàn)技術(shù)，包括數(shù)據(jù)集成系統(tǒng)和數(shù)據(jù)處理系統(tǒng)兩部分。數(shù)據(jù)集成系統(tǒng)采集各類數(shù)據(jù)，采用最合適的處理機制，快速構(gòu)建各類基礎(chǔ)主題庫和主題庫，數(shù)據(jù)處理系統(tǒng)對數(shù)據(jù)進行加工處理，實現(xiàn)數(shù)據(jù)資產(chǎn)的統(tǒng)一管理。文章最后討論數(shù)據(jù)質(zhì)量管理的常用規(guī)則，并且給出部分規(guī)則算法的實例。

關(guān)鍵詞 智慧城市;數(shù)據(jù)集成;數(shù)據(jù)處理;數(shù)據(jù)質(zhì)量

背景

智慧城市是運用信息通信技術(shù)，有效整合各類城市管理系統(tǒng)，實現(xiàn)城市各系統(tǒng)間信息資源共享和業(yè)務協(xié)同，推動城市管理和服務智慧化，提升城市運行管理和公共服務水平，提高城市居民幸福感和滿意度，實現(xiàn)可持續(xù)發(fā)展的一種創(chuàng)新型城市[1]。要實現(xiàn)信息共享和業(yè)務協(xié)同，需要打通各系統(tǒng)數(shù)據(jù)，并且將分散的異構(gòu)數(shù)據(jù)源進行抽取、清洗、轉(zhuǎn)換、集成、處理，實現(xiàn)數(shù)據(jù)的統(tǒng)一管理，這就對數(shù)據(jù)支撐平臺有了很高的要求。數(shù)據(jù)支撐平臺作為智慧城市的基礎(chǔ)平臺，對上要支持各種應用開發(fā)，對下要無縫銜接，做到各系統(tǒng)協(xié)同優(yōu)化。

1實現(xiàn)技術(shù)

數(shù)據(jù)支撐平臺包括數(shù)據(jù)集成系統(tǒng)和數(shù)據(jù)處理系統(tǒng)兩部分，以確保智慧城市業(yè)務的建設(shè)和實施。

1.1 數(shù)據(jù)集成系統(tǒng)

數(shù)據(jù)集成系統(tǒng)通過分布式數(shù)據(jù)處理和任務調(diào)度，高效完成數(shù)據(jù)集成，提高數(shù)據(jù)處理效率、規(guī)范開發(fā)流程，快速構(gòu)建各類基礎(chǔ)主題庫和主題庫。系統(tǒng)把不同來源、格式、特點性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機地集中，并保持各系統(tǒng)數(shù)據(jù)的標準化以及規(guī)范化，從而為智慧城市提供全面、可靠的數(shù)據(jù)應用和數(shù)據(jù)共享服務。

數(shù)據(jù)集成系統(tǒng)針對各式各樣的數(shù)據(jù)，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)等類型，不同的數(shù)據(jù)類型應采用最合適的處理機制，要通過任務管理、調(diào)度管理進行各類任務的流程化處理。從數(shù)據(jù)歸集到數(shù)據(jù)融合，從數(shù)據(jù)檢核到數(shù)據(jù)入庫，最大限度地應用自動化的生產(chǎn)工具，提高處理效率與質(zhì)量，同時在整個處理過程中，要通過監(jiān)控管理實時掌握流程運行狀態(tài)，并提供充分的錯誤處理機制，以保證在合適的時間、合適的地點有最合適的數(shù)據(jù)可以使用。

為配合各系統(tǒng)數(shù)據(jù)采集，數(shù)據(jù)集成系統(tǒng)應提供多種結(jié)構(gòu)化數(shù)據(jù)源配置管理，支持采集的多種類型的數(shù)據(jù)庫，包括國內(nèi)外主流的關(guān)系型數(shù)據(jù)庫如Oracle、MySQL、SQLServer、達夢、金倉等，以及HBase、MongoDB和HIVE等，以及靈活的擴展新的數(shù)據(jù)源。

1.2 數(shù)據(jù)處理系統(tǒng)

數(shù)據(jù)處理系統(tǒng)通過對數(shù)據(jù)全生命周期管理，實現(xiàn)數(shù)據(jù)模型標準化、數(shù)據(jù)關(guān)系脈絡化、數(shù)據(jù)加工可視化、數(shù)據(jù)質(zhì)量度量化，實現(xiàn)數(shù)據(jù)資產(chǎn)的統(tǒng)一管理及全業(yè)務流程的實時監(jiān)控，可有效解決數(shù)據(jù)資源不可知、數(shù)據(jù)質(zhì)量不可控、數(shù)據(jù)關(guān)系不可聯(lián)、數(shù)據(jù)脈絡不清晰的痛點問題。

（1）數(shù)據(jù)元管理

數(shù)據(jù)元管理主要包括新增、導入、發(fā)布、檢索、修改、刪除、停用等功能。一方面要支持數(shù)據(jù)元版本管理，包括不同版本之間的差異核對功能，另一方面要支持快速創(chuàng)建標準數(shù)據(jù)元，并建立和相關(guān)元數(shù)據(jù)的關(guān)聯(lián)關(guān)系。部分數(shù)據(jù)元的值需要滿足固定格式的標準，數(shù)據(jù)處理過程中需要通過固定的值組成規(guī)則來規(guī)范數(shù)據(jù)源值的格式，例如身份證、手機號碼、郵箱、日期等格式。

（2）標準代碼配置

標準代碼配置要支持代碼分類和標準代碼項的新增、導入、導出功能，提供標準代碼維護的能力。標準代碼配置可關(guān)聯(lián)到各類標準的代碼字典，為數(shù)據(jù)的規(guī)范性提供更加詳細的描述，為后續(xù)的數(shù)據(jù)質(zhì)量、數(shù)據(jù)標準等工作提供支撐。

標準數(shù)據(jù)元具有唯一的編碼（標準代碼），按照實際的業(yè)務領(lǐng)域進行分類之后，可以形成帶有業(yè)務領(lǐng)域特征的相關(guān)編碼，比如“ZRR00001”代表自然人相關(guān)的數(shù)據(jù)元標準代碼。

（3）元數(shù)據(jù)管理

元數(shù)據(jù)是對數(shù)據(jù)中心所有維護數(shù)據(jù)的一個結(jié)構(gòu)化的業(yè)務定義，主要是對中心所有的庫表的數(shù)據(jù)進行統(tǒng)一管理和監(jiān)控，為數(shù)據(jù)的標準化運維以及數(shù)據(jù)的質(zhì)量檢查等工作提供相關(guān)基礎(chǔ)。

元數(shù)據(jù)采集管理包括手動新增、配置采集、結(jié)構(gòu)管理、結(jié)構(gòu)物化、變更對比等功能。元數(shù)據(jù)主要包括庫表、字段、視圖、存儲過程等，通過新增或采集將需要納管的元數(shù)據(jù)結(jié)構(gòu)自動化分析收錄，同時在管理功能中可針對修改更新后的元數(shù)據(jù)結(jié)構(gòu)進行數(shù)據(jù)庫同步物化操作。

2數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理通過對各數(shù)據(jù)處理環(huán)節(jié)的監(jiān)控，為智慧城市建設(shè)提供有效的數(shù)據(jù)質(zhì)量監(jiān)督和保障，同時為智慧城市數(shù)據(jù)的標準化輸出奠定基礎(chǔ)。

2.1 數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量主要包含準確性、真實性、完整性、全面性、及時性、即時性、精確性和關(guān)聯(lián)性[2]，通過對數(shù)據(jù)分析管理，并對數(shù)據(jù)進行跟蹤處理，實現(xiàn)對數(shù)據(jù)質(zhì)量的全程管控，提高數(shù)據(jù)的質(zhì)量。

質(zhì)量模型由一套實體表、一套規(guī)則以及多套質(zhì)檢方案組成，用戶在定義質(zhì)檢方案時，可以根據(jù)業(yè)務需要選擇實體表和規(guī)則，不同方案之間相互獨立。通過執(zhí)行模型下的質(zhì)檢方案，可以得到用戶關(guān)心的數(shù)據(jù)質(zhì)量分析結(jié)果，如問題數(shù)據(jù)明細信息、數(shù)據(jù)質(zhì)量分析報表等。

2.2 常用數(shù)據(jù)質(zhì)量規(guī)則

數(shù)據(jù)質(zhì)量規(guī)則是數(shù)據(jù)質(zhì)量審核的邏輯校驗標準，是數(shù)據(jù)質(zhì)量監(jiān)控管理的基礎(chǔ)。以下列舉常用的數(shù)據(jù)質(zhì)量規(guī)則：

空值檢查，用于檢查字段非空。

值域檢查，用于檢查字段的取值范圍，包括數(shù)值型、字符型、日期型等。

規(guī)范檢查，用于檢查指標值的格式是否規(guī)范，包括身份證、電話號碼、電子郵箱等多種數(shù)據(jù)類型的檢測[3]。

邏輯檢查，用于檢查指標之間是否滿足一定的邏輯關(guān)系。

重復數(shù)據(jù)檢查，用于檢查表內(nèi)是否有重復數(shù)據(jù)，比如groupby重復依據(jù)字段，如果count（）>1則算重復。

及時性檢查，用于檢查數(shù)據(jù)的及時性，衡量數(shù)據(jù)抽取或數(shù)據(jù)上報是否及時，比如算出上報時間字段的值，將上報時間與最佳上報時間作比較，看是否在允許誤差范圍內(nèi)。

完整性檢查，包括記錄完整性和引用完整性。

記錄完整性檢查用于檢查實體表字段與比照字段的數(shù)據(jù)量、數(shù)值是否完全一致，比如對檢查表字段和比照字段進行g(shù)roupby并求count，根據(jù)兩個字段groupby的結(jié)果來outerjoin，count不相等或檢查字段值和比照字段值有一個為空時，此行結(jié)果都算錯。

引用完整性檢查用于判斷實體表中的數(shù)據(jù)是否完全存在于比照表中。實體表檢查字段中的數(shù)據(jù)必須全部存在于比照表的比照字段中。比如，實體表的檢查字段關(guān)聯(lián)distinct后的比照表的字段，關(guān)聯(lián)后，如果比照字段為空，則檢查字段的值非來源于比照表，則該規(guī)則對應結(jié)果為false。

依據(jù)質(zhì)量規(guī)則執(zhí)行的實際需求，可通過圖形化界面配置多種質(zhì)檢規(guī)則并組成可執(zhí)行方案，依據(jù)執(zhí)行規(guī)則管控平臺自動執(zhí)行質(zhì)量規(guī)則檢查。質(zhì)量規(guī)則執(zhí)行觸發(fā)方式可按固定時間周期（如月、周、日）、事件觸發(fā)等，并且可查看質(zhì)檢方案執(zhí)行記錄，實現(xiàn)對數(shù)據(jù)質(zhì)檢全流程管控。

參考文獻

[1] 智慧城市術(shù)語：GB/T37043-2018[S]北京：中國標準出版社，2018.

[2] 趙興峰.企業(yè)經(jīng)營數(shù)據(jù)分析——思路、方法、應用與工具[M].北京：電子工業(yè)出版社，2016：215.

[3] 牛麗雪.政府數(shù)據(jù)治理成熟度模型研究[D].保定：河北大學，2020.