市場(chǎng)監(jiān)管大數(shù)據(jù)歸集系統(tǒng)建設(shè)研究

卜意磊 龐文迪 陳汝鵬 陳妙苗

（1.江蘇省工商行政管理局信息中心 江蘇省南京市 210036 2.中通服咨詢?cè)O(shè)計(jì)研究院有限公司 江蘇省南京市 210019）

（3.南京航空航天大學(xué)經(jīng)濟(jì)與管理學(xué)院 江蘇省南京市 211106）

1 引言

隨著云計(jì)算等現(xiàn)代新興信息技術(shù)的興起和趨于成熟，大數(shù)據(jù)（big data）技術(shù)開(kāi)始廣泛應(yīng)用和融合于各個(gè)領(lǐng)域。2015年以來(lái)，國(guó)務(wù)院多次發(fā)文部署結(jié)合“互聯(lián)網(wǎng)+”發(fā)展趨勢(shì)，利用大數(shù)據(jù)技術(shù)加強(qiáng)政府服務(wù)和監(jiān)管的新戰(zhàn)略。與此同時(shí)，國(guó)家市場(chǎng)監(jiān)督管理總局圍繞“智慧市場(chǎng)監(jiān)管”的總體工作目標(biāo)，以信息化建設(shè)為基礎(chǔ)，提出整合現(xiàn)有系統(tǒng)、網(wǎng)絡(luò)、數(shù)據(jù)，構(gòu)建市場(chǎng)監(jiān)管一體化信息平臺(tái)。江蘇省市場(chǎng)監(jiān)管局落實(shí)中央部署，編制《江蘇省市場(chǎng)監(jiān)管一體化信息平臺(tái)總體規(guī)劃（2020-2022年）》，從而以此為行動(dòng)綱領(lǐng)加快推動(dòng)市場(chǎng)監(jiān)管一體化信息平臺(tái)建設(shè)。然而現(xiàn)有市場(chǎng)監(jiān)管相關(guān)的業(yè)務(wù)數(shù)據(jù)和部門數(shù)據(jù)結(jié)構(gòu)不一，且分散存儲(chǔ)于不同的平臺(tái)系統(tǒng)和數(shù)據(jù)庫(kù)資源，一體化平臺(tái)首要解決的是數(shù)據(jù)歸集的問(wèn)題[1]。良好的數(shù)據(jù)歸集成果能夠給相關(guān)部門、黨委政府及社會(huì)主體提供富集、優(yōu)化的市場(chǎng)監(jiān)管數(shù)據(jù)資源和信息產(chǎn)品，才能進(jìn)一步提升政府在市場(chǎng)監(jiān)管方向的治理能力與服務(wù)水平[2-6]。

本文以江蘇省市場(chǎng)監(jiān)管一體化信息平臺(tái)的數(shù)據(jù)資源歸集為例，首先結(jié)合政府出臺(tái)的相應(yīng)管理辦法，歸納出市場(chǎng)監(jiān)管數(shù)據(jù)歸集的四個(gè)原則，然后構(gòu)建數(shù)據(jù)歸集系統(tǒng)，闡述系統(tǒng)的功能架構(gòu)，其次提出市場(chǎng)監(jiān)管一體化平臺(tái)中大數(shù)據(jù)歸集存在的問(wèn)題和難點(diǎn)，最后針對(duì)難點(diǎn)，給出明確的技術(shù)解決路徑，為市場(chǎng)監(jiān)管一體化信息平臺(tái)乃至其他政務(wù)平臺(tái)構(gòu)建大數(shù)據(jù)歸集系統(tǒng)提供一定的參考。

2 市場(chǎng)監(jiān)管平臺(tái)數(shù)據(jù)歸集的原則

本文依據(jù)《江蘇省市場(chǎng)監(jiān)管信息平臺(tái)運(yùn)行管理辦法》中針對(duì)市場(chǎng)監(jiān)管平臺(tái)大數(shù)據(jù)歸集提出的要求，同時(shí)結(jié)合大數(shù)據(jù)平臺(tái)自身的特性，歸納出以下四點(diǎn)數(shù)據(jù)歸集的原則：

2.1 準(zhǔn)確性原則

數(shù)據(jù)的準(zhǔn)確性是數(shù)據(jù)歸集的前提和基礎(chǔ)。在市場(chǎng)監(jiān)管中由于合并前的系統(tǒng)彼此不連通，但又因部分業(yè)務(wù)線重合而導(dǎo)致存在“一數(shù)多源”的問(wèn)題。而要實(shí)現(xiàn)各系統(tǒng)的無(wú)縫對(duì)接和數(shù)據(jù)的共享融合，必須保證歸集數(shù)據(jù)的準(zhǔn)確性。

2.2 實(shí)時(shí)性原則

除了實(shí)現(xiàn)市場(chǎng)監(jiān)管相關(guān)歷史數(shù)據(jù)的全量歸集，也應(yīng)當(dāng)滿足增量數(shù)據(jù)的實(shí)時(shí)采集，確保歸集系統(tǒng)的及時(shí)和動(dòng)態(tài)更新，以滿足各部門和社會(huì)主體查詢利用的需要。

2.3 共享性原則

數(shù)據(jù)歸集的最終目標(biāo)是推動(dòng)政府?dāng)?shù)據(jù)的開(kāi)放共享。市場(chǎng)監(jiān)管信息按照共享類型可以分為可開(kāi)放（即可提供給社會(huì)公眾、法人和其他組織的數(shù)據(jù)資源）、無(wú)條件共享（即可提供給所有市場(chǎng)監(jiān)管相關(guān)部門共享使用的數(shù)據(jù)資源）、有條件共享（即可提供給相關(guān)部門共享使用或僅能夠部分提供給所有部門共享使用的數(shù)據(jù)資源）和不予共享（即不宜提供給其他部門共享使用的市場(chǎng)監(jiān)管信息）三種類型。原則上歸集后的市場(chǎng)監(jiān)管信息應(yīng)當(dāng)予以共享，特殊數(shù)據(jù)應(yīng)按特定的程序進(jìn)行共享關(guān)聯(lián)。

2.4 安全性原則

數(shù)據(jù)安全問(wèn)題是互聯(lián)網(wǎng)發(fā)展特別是大數(shù)據(jù)時(shí)代以來(lái)最受關(guān)注和最具爭(zhēng)議的話題之一。市場(chǎng)監(jiān)管數(shù)據(jù)涉及到各級(jí)政府部門、企業(yè)及法人代表等，具有機(jī)密性和內(nèi)向性，因此應(yīng)當(dāng)保有數(shù)據(jù)形成者對(duì)數(shù)據(jù)隱秘性和要求限制使用的權(quán)利，同時(shí)加快統(tǒng)籌建設(shè)市場(chǎng)監(jiān)管數(shù)據(jù)歸集管理和評(píng)價(jià)機(jī)制，盡可能規(guī)避數(shù)據(jù)在傳輸過(guò)程中的安全問(wèn)題，保障數(shù)據(jù)形成者的合法權(quán)益，維護(hù)國(guó)家利益和社會(huì)秩序。

3 市場(chǎng)監(jiān)管平臺(tái)數(shù)據(jù)歸集功能架構(gòu)

市場(chǎng)監(jiān)管一體化平臺(tái)主要包括數(shù)據(jù)采集、數(shù)據(jù)匯聚和數(shù)據(jù)融合三個(gè)層面的技術(shù)，數(shù)據(jù)采集即各個(gè)數(shù)據(jù)來(lái)源的匯總；在數(shù)據(jù)匯聚階段，支撐省局、直屬機(jī)構(gòu)、省級(jí)部門等原始部門數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)以及互聯(lián)網(wǎng)數(shù)據(jù)的采集；在數(shù)據(jù)融合階段，支撐多源數(shù)據(jù)比對(duì)等操作，實(shí)現(xiàn)最終的一數(shù)一源，配合建立基礎(chǔ)數(shù)據(jù)庫(kù)、主題數(shù)據(jù)庫(kù)和專題數(shù)據(jù)庫(kù)等。具體架構(gòu)相見(jiàn)如圖1。

江蘇省市場(chǎng)監(jiān)管大數(shù)據(jù)一體化信息平臺(tái)構(gòu)建涉及省市場(chǎng)監(jiān)管局業(yè)務(wù)處室26 個(gè)部門、五大院（省紡織產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)研究院、省特種設(shè)備檢測(cè)研究院、省產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)研究院、省質(zhì)量和標(biāo)準(zhǔn)化研究院、省計(jì)量科學(xué)研究院）、省知識(shí)產(chǎn)權(quán)局、省藥品監(jiān)督管理局和5 個(gè)地方性市場(chǎng)監(jiān)管局，共計(jì)38 家，涉及42 個(gè)業(yè)務(wù)系統(tǒng)，近千個(gè)數(shù)據(jù)資源表單。其中將已建和新建的各業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)統(tǒng)稱為業(yè)務(wù)數(shù)據(jù)，通過(guò)系統(tǒng)和表單梳理歸類，依據(jù)業(yè)務(wù)類型將其分為市場(chǎng)監(jiān)管、認(rèn)證認(rèn)可、投訴舉報(bào)、行政稽查等10 個(gè)類別；將包括省市各級(jí)市場(chǎng)監(jiān)管部門（包括省藥監(jiān)局、省知識(shí)產(chǎn)權(quán)局、五大院等直屬單位）、相關(guān)省級(jí)政府部門數(shù)據(jù)統(tǒng)稱為部門數(shù)據(jù)；除此以外，本項(xiàng)目中歸集的數(shù)據(jù)源還包括網(wǎng)站和網(wǎng)點(diǎn)數(shù)據(jù)、微信數(shù)據(jù)、微博數(shù)據(jù)等在內(nèi)的互聯(lián)網(wǎng)數(shù)據(jù)，通過(guò)與網(wǎng)監(jiān)處網(wǎng)絡(luò)交易監(jiān)測(cè)中心系統(tǒng)對(duì)接進(jìn)行接入。

在數(shù)據(jù)全面歸集的基礎(chǔ)上，圍繞市場(chǎng)監(jiān)管主體、客體、行為等核心業(yè)務(wù)對(duì)象，以“統(tǒng)一社會(huì)信用代碼ID”、“統(tǒng)一人員ID”、“統(tǒng)一工業(yè)產(chǎn)品ID”等為主線關(guān)聯(lián)融合相關(guān)業(yè)務(wù)過(guò)程、流程信息，構(gòu)建包括市場(chǎng)主體庫(kù)、許可證、電子證照庫(kù)、工業(yè)產(chǎn)品庫(kù)等在內(nèi)的基礎(chǔ)數(shù)據(jù)庫(kù)；然后圍繞市場(chǎng)監(jiān)管業(yè)務(wù)應(yīng)用領(lǐng)域，在歸集數(shù)據(jù)庫(kù)、基礎(chǔ)數(shù)據(jù)庫(kù)的統(tǒng)一數(shù)據(jù)底盤上進(jìn)行融合關(guān)聯(lián)，由多部門共建形成主題信息資源，包括食品安全監(jiān)管主題數(shù)據(jù)庫(kù)、信用監(jiān)管主題數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)交易監(jiān)管主題數(shù)據(jù)庫(kù)等；最后為了實(shí)現(xiàn)市場(chǎng)監(jiān)管大數(shù)據(jù)慧治目標(biāo)，建設(shè)包含企業(yè)全息畫(huà)像專題分析、高質(zhì)量發(fā)展專題分析、新型監(jiān)管機(jī)制專題分析等在內(nèi)的專題數(shù)據(jù)庫(kù)，用以支撐智慧監(jiān)管輔助決策應(yīng)用，建設(shè)數(shù)據(jù)共享服務(wù)專題數(shù)據(jù)庫(kù)和數(shù)據(jù)開(kāi)放服務(wù)專題數(shù)據(jù)庫(kù)，支撐數(shù)據(jù)共享和數(shù)據(jù)開(kāi)放服務(wù)。

4 平臺(tái)大數(shù)據(jù)歸集的難點(diǎn)

通過(guò)對(duì)數(shù)據(jù)歸集系統(tǒng)功能架構(gòu)的闡述，可以看到預(yù)期合并后的市場(chǎng)監(jiān)管平臺(tái)涉及領(lǐng)域多、覆蓋范圍大，本文在歸集不同來(lái)源和不同類型數(shù)據(jù)，進(jìn)行信息資源規(guī)劃和后續(xù)的主題業(yè)務(wù)提取以及數(shù)據(jù)的共享過(guò)程中，總結(jié)了以下四個(gè)市場(chǎng)監(jiān)管一體化信息平臺(tái)中實(shí)現(xiàn)數(shù)據(jù)歸集的難點(diǎn)：

4.1 全量數(shù)據(jù)和增量數(shù)據(jù)采集

針對(duì)現(xiàn)有市場(chǎng)監(jiān)管相關(guān)的42 個(gè)業(yè)務(wù)系統(tǒng)中的歷史數(shù)據(jù)，將采用全量數(shù)據(jù)導(dǎo)入的方式采集。然而當(dāng)前各業(yè)務(wù)系統(tǒng)不聯(lián)通，數(shù)據(jù)庫(kù)接口不統(tǒng)一，要實(shí)現(xiàn)歷史數(shù)據(jù)的全量采集，應(yīng)配置全部接口所需參數(shù)，如IP 地址、端口號(hào)、密碼等，工作量較大。而針對(duì)后續(xù)產(chǎn)生的增量數(shù)據(jù)以及相關(guān)的互聯(lián)網(wǎng)數(shù)據(jù)，則需要配置API 接口，關(guān)聯(lián)網(wǎng)監(jiān)處網(wǎng)絡(luò)交易監(jiān)測(cè)中心系統(tǒng)，采用大數(shù)據(jù)爬蟲(chóng)技術(shù)，采取措施應(yīng)對(duì)反爬蟲(chóng)機(jī)制，才能實(shí)現(xiàn)歸集數(shù)據(jù)的實(shí)時(shí)動(dòng)態(tài)更新。

4.2 海量的數(shù)據(jù)存儲(chǔ)和計(jì)算能力

市場(chǎng)監(jiān)管一體化信息平臺(tái)融合多方業(yè)務(wù)，目前包含市場(chǎng)綜合監(jiān)督管理、市場(chǎng)主體登記注冊(cè)等方面的信息資源庫(kù)擁有的數(shù)據(jù)總量將近11TB，再加上后續(xù)的增量數(shù)據(jù)、需要采集的互聯(lián)網(wǎng)數(shù)據(jù)，以及平臺(tái)自身維護(hù)的數(shù)據(jù)，涉及到的業(yè)務(wù)數(shù)據(jù)量龐大，因而要求平臺(tái)需要有足夠大的空間支撐海量數(shù)據(jù)的存儲(chǔ)。在此基礎(chǔ)上，系統(tǒng)還應(yīng)支持大量終端服務(wù)器同時(shí)在線訪問(wèn)，需要解決大用戶量、多服務(wù)器下海量數(shù)據(jù)的計(jì)算處理問(wèn)題，保證單一環(huán)節(jié)或單一接口臨時(shí)出現(xiàn)的問(wèn)題不會(huì)影響到其他業(yè)務(wù)流程的開(kāi)展。

4.3 歸集數(shù)據(jù)的標(biāo)準(zhǔn)化管理

統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)可以規(guī)范系統(tǒng)建設(shè)時(shí)對(duì)業(yè)務(wù)的統(tǒng)一理解，增強(qiáng)業(yè)務(wù)部門、技術(shù)部門對(duì)數(shù)據(jù)的定義與使用的一致性。然而原省工商、原省質(zhì)監(jiān)和原省食藥品監(jiān)督信息系統(tǒng)建設(shè)采用不同的國(guó)家及行業(yè)相關(guān)標(biāo)準(zhǔn)規(guī)范，如《工商行政管理信息化標(biāo)準(zhǔn)體系》、《金質(zhì)工程標(biāo)準(zhǔn)體系》、《食品藥品監(jiān)管信息化標(biāo)準(zhǔn)體系》等，導(dǎo)致各系統(tǒng)下的同種數(shù)據(jù)可能采取不同的數(shù)據(jù)存儲(chǔ)格式，或因傳輸過(guò)程的數(shù)據(jù)接口及其參數(shù)不同，導(dǎo)致歸集后的數(shù)據(jù)格式各異。國(guó)家市場(chǎng)監(jiān)管管理總局組建后，現(xiàn)有標(biāo)準(zhǔn)規(guī)范已不能適應(yīng)機(jī)構(gòu)改革后新形勢(shì)、新環(huán)境下信息化建設(shè)的需要，盡管總局已啟動(dòng)市場(chǎng)監(jiān)管信息化標(biāo)準(zhǔn)規(guī)范體系的研究工作，但尚未形成成果發(fā)布。

4.4 數(shù)據(jù)共享傳輸?shù)陌踩Ｕ?/h3>

江蘇省市場(chǎng)監(jiān)管一體化信息平臺(tái)的數(shù)據(jù)安全問(wèn)題主要涉及三個(gè)方面，一是采集過(guò)程中可能出現(xiàn)的惡意代碼、類型錯(cuò)誤、校驗(yàn)錯(cuò)誤等問(wèn)題；二是數(shù)據(jù)使用過(guò)程中涉及到的內(nèi)部人員和運(yùn)維人員通過(guò)權(quán)限濫用、誤操作和缺乏審計(jì)等原因產(chǎn)生竊取或非法修改明文數(shù)據(jù)等問(wèn)題；三是數(shù)據(jù)外發(fā)時(shí)對(duì)數(shù)據(jù)去向的跟蹤不夠準(zhǔn)確和及時(shí)。要保障數(shù)據(jù)共享傳輸過(guò)程的安全，不僅要加強(qiáng)管理人員建設(shè)，加強(qiáng)監(jiān)管和懲罰力度，也需要引入新技術(shù)來(lái)規(guī)避可能存在的安全隱患。

5 問(wèn)題解決的技術(shù)對(duì)策

針對(duì)上述提到的平臺(tái)數(shù)據(jù)歸集系統(tǒng)建設(shè)面臨的四大難點(diǎn)，本文從技術(shù)角度提出相應(yīng)的解決思路。

5.1 大數(shù)據(jù)采集技術(shù)

面對(duì)市場(chǎng)監(jiān)管相關(guān)的全量歷史數(shù)據(jù)，利用ETL 技術(shù)進(jìn)行提取、轉(zhuǎn)換和加載。其中，數(shù)據(jù)清洗轉(zhuǎn)換的過(guò)程依據(jù)具體的業(yè)務(wù)場(chǎng)景采用不同的方法，數(shù)據(jù)清洗主要是過(guò)濾掉歸集時(shí)不完整、錯(cuò)誤以及重復(fù)的數(shù)據(jù)，數(shù)據(jù)轉(zhuǎn)換則涉及到統(tǒng)一不同業(yè)務(wù)系統(tǒng)的相同類型數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)粒度以及進(jìn)行商務(wù)規(guī)則的計(jì)算。針對(duì)現(xiàn)有系統(tǒng)存在多種數(shù)據(jù)接口的問(wèn)題，可以開(kāi)發(fā)一種適用于市場(chǎng)監(jiān)管數(shù)據(jù)管理系統(tǒng)的多協(xié)議自動(dòng)適配歸集技術(shù)，實(shí)現(xiàn)多系統(tǒng)數(shù)據(jù)的高效采集[9]。

面對(duì)增量數(shù)據(jù)，例如記錄市場(chǎng)監(jiān)管數(shù)據(jù)源被操作或去向追蹤信息的實(shí)時(shí)采集，可以利用Flume 采集實(shí)時(shí)數(shù)據(jù)，用Kafka 作為消息中間件，再結(jié)合Storm 或Spark 或Flink 進(jìn)行流計(jì)算框架的搭建，過(guò)程如圖2 所示。其對(duì)實(shí)時(shí)數(shù)據(jù)的處理過(guò)程類似傳統(tǒng)的ETL，但卻是通過(guò)流處理，而非定時(shí)的批處理的方式，其中Kafka 采用分布式架構(gòu)，將實(shí)時(shí)采集到的數(shù)據(jù)針對(duì)業(yè)務(wù)場(chǎng)景需求作相應(yīng)的處理，然后再存儲(chǔ)到相應(yīng)的數(shù)據(jù)庫(kù)中。此架構(gòu)高速的數(shù)據(jù)采集和傳輸傳輸，符合市場(chǎng)監(jiān)管一體化信息平臺(tái)增量數(shù)據(jù)實(shí)時(shí)采集的需求。

圖2：增量數(shù)據(jù)的實(shí)時(shí)采集過(guò)程

面對(duì)結(jié)構(gòu)各異的互聯(lián)網(wǎng)數(shù)據(jù)，包括市場(chǎng)監(jiān)管輿情數(shù)據(jù)和涉及業(yè)務(wù)的電商數(shù)據(jù)，則可以采用開(kāi)源的分布式網(wǎng)絡(luò)爬蟲(chóng)工具Nutch，其作為大數(shù)據(jù)處理框架Hadoop 的前身，可以自動(dòng)維護(hù)網(wǎng)頁(yè)的URL 信息，自動(dòng)向搜索服務(wù)器提交爬取的網(wǎng)頁(yè)，具有良好的水平擴(kuò)展性，從而實(shí)現(xiàn)結(jié)構(gòu)化和非結(jié)構(gòu)化網(wǎng)絡(luò)數(shù)據(jù)的實(shí)時(shí)采集[10]。

5.2 基于Hadoop框架的大數(shù)據(jù)存儲(chǔ)和計(jì)算

由Apache 基金會(huì)所開(kāi)發(fā)的主流分布式系統(tǒng)架構(gòu)Hadoop 擁有最核心的兩個(gè)子框架——HDFS 和MapReduce，可以分別用于解決市場(chǎng)監(jiān)管大數(shù)據(jù)海量存儲(chǔ)和高速運(yùn)算的難點(diǎn)[11]。

HDFS 是一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），具有高容錯(cuò)性的特點(diǎn)，放寬了可移植操作系統(tǒng)接口POSIX 的要求，可以提供高吞吐量并以流的形式來(lái)訪問(wèn)歸集數(shù)據(jù)。針對(duì)市場(chǎng)監(jiān)管一體化信息的數(shù)據(jù)存儲(chǔ)，一種是面對(duì)全量數(shù)據(jù)，根據(jù)省市場(chǎng)監(jiān)管數(shù)據(jù)交換接口協(xié)議的相關(guān)要求，對(duì)數(shù)據(jù)傳輸能力進(jìn)行封裝，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)以文件方式進(jìn)行傳輸，將文件取得后使用 put 命令放置于 HDFS 文件系統(tǒng)中，再進(jìn)行數(shù)據(jù)融合或其他應(yīng)用；一種是上述通過(guò) Flume 實(shí)現(xiàn)對(duì)文件增量數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)采集，然后通過(guò) Flume 控件可直接配置為 HDFS 文件系統(tǒng)的存儲(chǔ)。

MapReduce 是一種支持多結(jié)構(gòu)數(shù)據(jù)混合處理的可擴(kuò)展性分布式計(jì)算框架，將市場(chǎng)監(jiān)管一體化平臺(tái)的數(shù)據(jù)處理分為Map（映射）和Reduce（歸約）兩個(gè)過(guò)程，通過(guò)分割、任務(wù)分解與結(jié)果匯總，完成海量數(shù)據(jù)的并行處理。其中Map 函數(shù)表設(shè)計(jì)為把源數(shù)據(jù)表內(nèi)所保存的數(shù)據(jù)名稱、種類以及相應(yīng)字段等有關(guān)的數(shù)據(jù)結(jié)構(gòu)信息正確置入，并有序顯示到相對(duì)應(yīng)的信息表內(nèi)實(shí)現(xiàn)映射，例如表1 即展示了市場(chǎng)監(jiān)管平臺(tái)中企業(yè)相關(guān)的 Map 函數(shù)表；Reduce 函數(shù)表則是把數(shù)據(jù)結(jié)構(gòu)（屬性）中各類數(shù)據(jù)進(jìn)行相應(yīng)保存，運(yùn)行于 Hadoop 平臺(tái)上，實(shí)現(xiàn)自動(dòng)數(shù)據(jù)映射和存儲(chǔ)。可見(jiàn)，MapReduce 通過(guò)歸納多個(gè)數(shù)據(jù)表的特征后匯總處理，能夠有效解決市場(chǎng)監(jiān)管平臺(tái)涉及近千個(gè)數(shù)據(jù)資源表單數(shù)據(jù)處理的難點(diǎn)。而面向?qū)崟r(shí)更新的增量數(shù)據(jù)，僅需對(duì)新增加的數(shù)據(jù)進(jìn)行記載，同時(shí)將對(duì)應(yīng)數(shù)據(jù)記載的元數(shù)據(jù)信息導(dǎo)入到Map表內(nèi)便能夠?qū)崿F(xiàn)擴(kuò)展，從而保護(hù)原始數(shù)據(jù)內(nèi)容且大幅度提升了數(shù)據(jù)處理的效率。除此以外，MapReduce 還適用于進(jìn)行數(shù)據(jù)、日志和商業(yè)智能分析、大規(guī)模索引等業(yè)務(wù)，處理效果顯著，因而除了市場(chǎng)監(jiān)管大數(shù)據(jù)的并行處理問(wèn)題，該技術(shù)也能有效解決海量數(shù)據(jù)的業(yè)務(wù)智能分析需求[12]，衍生出如企業(yè)全息畫(huà)像、市場(chǎng)主體統(tǒng)一信用數(shù)據(jù)等專題形式。

表1：市場(chǎng)監(jiān)管數(shù)據(jù)歸集體系中企業(yè)相關(guān)數(shù)據(jù)的Map 函數(shù)表

5.3 數(shù)據(jù)標(biāo)準(zhǔn)化管理技術(shù)

數(shù)據(jù)標(biāo)準(zhǔn)管理是一項(xiàng)復(fù)雜的、系統(tǒng)性和長(zhǎng)期性的工作，面對(duì)市場(chǎng)監(jiān)管平臺(tái)歸集數(shù)據(jù)的標(biāo)準(zhǔn)化管理需求，技術(shù)上應(yīng)當(dāng)按照標(biāo)準(zhǔn)分類規(guī)劃、標(biāo)準(zhǔn)體系建設(shè)、標(biāo)準(zhǔn)評(píng)審發(fā)布、標(biāo)準(zhǔn)落地執(zhí)行、標(biāo)準(zhǔn)運(yùn)營(yíng)維護(hù)五個(gè)階段進(jìn)行實(shí)現(xiàn)：首先通過(guò)梳理和明確市場(chǎng)監(jiān)管業(yè)務(wù)數(shù)據(jù)實(shí)體、數(shù)據(jù)指標(biāo)的關(guān)聯(lián)關(guān)系，從而確定出主數(shù)據(jù)標(biāo)準(zhǔn)管理的范圍；其次參照收集整理的市場(chǎng)監(jiān)管相關(guān)國(guó)家標(biāo)準(zhǔn)、規(guī)章制度和法律法規(guī)等，對(duì)這些數(shù)據(jù)項(xiàng)及其之間的關(guān)系進(jìn)行標(biāo)準(zhǔn)化定義并提交審核；初步制定好的標(biāo)準(zhǔn)需征詢數(shù)據(jù)管理等相關(guān)業(yè)務(wù)部門的意見(jiàn)，完成意見(jiàn)分析和標(biāo)準(zhǔn)修訂后進(jìn)行標(biāo)準(zhǔn)發(fā)布；然后將已定義好的數(shù)據(jù)標(biāo)準(zhǔn)與江蘇省市場(chǎng)監(jiān)管業(yè)務(wù)系統(tǒng)、應(yīng)用和服務(wù)進(jìn)行映射；最后要求數(shù)據(jù)標(biāo)準(zhǔn)要隨著業(yè)務(wù)的發(fā)展變化以及前期執(zhí)行效果進(jìn)行不斷更新和完善，實(shí)現(xiàn)標(biāo)準(zhǔn)的維護(hù)。除了主數(shù)據(jù)，標(biāo)準(zhǔn)元數(shù)據(jù)的定義也同等重要，通過(guò)標(biāo)準(zhǔn)元數(shù)據(jù)的定義，消除數(shù)據(jù)項(xiàng)的歧義性，規(guī)范信息存儲(chǔ)和展現(xiàn)格式，從而為提高系統(tǒng)數(shù)據(jù)質(zhì)量奠定基礎(chǔ)[13]。

5.4 數(shù)據(jù)歸集過(guò)程的安全保障技術(shù)

在構(gòu)建江蘇省市場(chǎng)監(jiān)管大數(shù)據(jù)一體化信息平臺(tái)的過(guò)程中，依據(jù)《信息系統(tǒng)等級(jí)保護(hù)安全設(shè)計(jì)技術(shù)要求》制定市場(chǎng)監(jiān)管網(wǎng)絡(luò)安全技術(shù)體系建設(shè)框架，從安全管理、基礎(chǔ)環(huán)境安全、數(shù)據(jù)安全、應(yīng)用安全、安全管理中心五個(gè)方面分別設(shè)計(jì)，部署相應(yīng)的安全體系框架，明確以保護(hù)數(shù)據(jù)安全為核心，以戰(zhàn)略體系為指引，以管理體系為運(yùn)行支撐，通過(guò)構(gòu)建統(tǒng)一的基礎(chǔ)安全支撐設(shè)施為數(shù)據(jù)安全保障提供集約化安全服務(wù)能力，通過(guò)建立安全運(yùn)營(yíng)體系實(shí)現(xiàn)對(duì)市場(chǎng)監(jiān)管共享數(shù)據(jù)資源的統(tǒng)一安全運(yùn)營(yíng)管理。在數(shù)據(jù)歸集過(guò)程中涉及到的大數(shù)據(jù)安全技術(shù)包括對(duì)敏感信息進(jìn)行數(shù)據(jù)變形的數(shù)據(jù)脫敏技術(shù)、保證數(shù)據(jù)在存儲(chǔ)和傳輸過(guò)程中保密性的數(shù)據(jù)加密技術(shù)、適于去中心化信任建立及多方共同維護(hù)的區(qū)塊鏈技術(shù)等等[14]。

6 結(jié)語(yǔ)

數(shù)據(jù)是市場(chǎng)監(jiān)管業(yè)務(wù)開(kāi)展的基礎(chǔ)保障，數(shù)據(jù)歸集是構(gòu)建市場(chǎng)監(jiān)管一體化信息平臺(tái)的關(guān)鍵功能，本文即從數(shù)據(jù)歸集的原則、功能架構(gòu)設(shè)計(jì)、難點(diǎn)及相應(yīng)的技術(shù)對(duì)策四個(gè)角度來(lái)闡述數(shù)據(jù)歸集的科學(xué)性和重要性。要落實(shí)解決江蘇省市場(chǎng)監(jiān)管大數(shù)據(jù)的歸集問(wèn)題，不僅需要依靠數(shù)據(jù)質(zhì)量保障的制度建設(shè)和人才建設(shè)，更需要順勢(shì)時(shí)代趨勢(shì)，融合先進(jìn)的科學(xué)技術(shù)手段，通過(guò)數(shù)據(jù)清洗、轉(zhuǎn)換、分析等相關(guān)大數(shù)據(jù)技術(shù)，最大化挖掘數(shù)據(jù)資源中的有用信息，為最終實(shí)現(xiàn)市場(chǎng)監(jiān)管數(shù)據(jù)的充分融合共享，以及政府更好地為民眾展開(kāi)市場(chǎng)監(jiān)管服務(wù)活動(dòng)奠定基礎(chǔ)。