基于大數據的省級計量監管平臺原型設計

吳行惠　張東　王光昕　房立鎮　耿宏偉

摘要：大數據在我國電子政務中的應用越來越廣泛，山東省質監局建設的“基于大數據的山東質監信息共享平臺”是山東省內首家完成的電子政務大數據項目， 本文依托該項目形成的質監大數據倉庫，針對質監領域的計量業務，而設計出了基于大數據的省級計量監管平臺的原型，結合質監局實際開展的計量業務闡明了該平臺所解決的實際需求問題及建設的意義，并給出了該平臺建設的總體設計方案及具體開發技術方案，給系統的開發提供了依據。

關鍵詞：計量；大數據；管理平臺；原型設計

中圖分類號：TM933.4 文獻標識碼：A 文章編號：1007-9416（2018）01-0147-05

隨著大數據技術的不斷進步，“大數據”在電子政務中的發揮的作用也越來越受到人們的重視[1]。山東省質監局自2012年以來一直致力于質監大數據的研究與開發工作，目前已經依托“基于大數據的山東質監信息共享平臺”項目建設完成了山東質監大數據倉庫。為充分利用質監大數據的數據資源，優化山東省計量相關的業務流程，本文提出了基于大數據的省級計量監管平臺，該平臺實現了對計量數據資源的統一監管和信息共享，對規范山東省計量技術機構的檢定或檢驗工作流程，統一檢定證書和檢驗報告格式[2]，提高工作質量加強計量監管等方面都會發揮重要的作用。

1 項目背景

1.1 山東質監局計量業務信息化系統現狀

山東省質監局根據自身計量業務的發展需要，已經開發完成了多款關于計量的信息化系統，在計量業務的辦理及監管中也曾發揮了重要的作用，但隨著計量業務的不斷發展以及對數據共享需求的不斷提高，目前的信息系統也暴露出了證書報告以及檢驗工作流程不規范統一、計量檢定或檢驗工作責任不可追溯等一系列問題，更重要的是，國家對政務數據的共享要求以及質監計量業務對數據共享的需求都在不斷的提高，當前計量業務信息系統“數據孤島”的情形，已經遠遠不能滿足社會各方對數據共享的需求[3]。

1.2 山東質監局“基于大數據的山東質監信息共享平臺”現狀

山東質監局“基于大數據的山東質監信息共享平臺”自2012年開始建設以來經過不斷的完善、優化以及持續的深化應用，截止到2017年年底共梳理形成了776 個信息類，13461個信息項，4435 個數據元；已采集結構化數據138，258，082 條，非結構化文檔403，618 個，數據量4.3T。從管理的業務對象來看，包含了3，169，619條組織機構數據、702，573條人員數據、429，049條產品數據、1，814，182條設備數據以及189，828條標準數據，并可以對這些數據的歷史進行追溯，從而在數據和信息層面滿足了對管理層決策、業務管理和公共服務的需求[5]。

目前，山東質監局在行政許可、監督檢查、特種設備等很多領域已經建立了依托“質監大數據”的信息化系統，并得到了廣泛應用，提高了社會和公眾對質監業務的滿意度同時也增強了質監局對企業、設備的監管力度。

2 大數據在計量業務中的應用

通過對山東省質監局計量業務信息系統現狀及“質監大數據”項目的應用情況進行分析，筆者認為借助大數據平臺的輿情采集、日志采集以及強大的數據分析能力，將會使計量業務的信息化產生非常重要的影響，具體表現在以下幾個方面：

借助大數據平臺，解決了跨部門之間的數據共享問題，將會使計量相關部門的工作效率得到大幅度的提高，同時可以實現跨部門之間的聯動，對于存在問題的器具、機構可以快速追本溯源，從而確定具體監管部門并采取針對性的措施，最大限度的降低危害與影響，同時，借助大數據倉庫的輿情采集與分析系統，可以快速響應群眾提出的有關于計量的質量問題，進一步加強政府對計量業務的監管力度。

借助大數據平臺的輿情采集與分析，可以使相關監管部門更加容易的發現一些企業、機構的違法信息，實現更加精準的執法。

借助大數據平臺強大的數據分析能力，并結合計量業務數據、海量輿情數據、行政許可、監督檢查等數據進行統一的分析整理，可以給政府相關部門更加準確和直觀的展示各種分析數據，從而為政府相關部門提供輔助決策支持。

借助大數據的日志采集與分析，可以發現企業及機構等各類用戶使用系統的關注點，從而更加方便的實現計量系統為各類用戶提供服務。

3 需求分析

3.1 計量行政許可業務需求分析

（1）業務分析。根據權力清單，當前山東質監行政許可計量業務主要包含6類許可事項，如表1所示。

每項行政許都可統一劃分為受理、審查、許可三分離工作模式，受理、許可是由行政許可部門完成，審查是由審查技術機構完成，明確了行政管理人員和技術審查人員的崗位職責和任務，提高現場審查工作質量。依據受理、審查、許可三分離工作模式，主要包含行政許可審批管理、技術審查機構業務管理、行政許可審查人員管理、行政許可文件支撐管理的需求，實現行政許可審批管理、審查機構的業務管理、各類（認證、監督、工業產品、計量）技術審查人員“進、用、管、出”的統一規范管理及行政許可審批過程中需要的法律法規、產業政策、細則、產品標準、作業指導書、具體要求等技術支持文件。

（2）行政許可的業務模型。行政許可的業務模型如圖1所示。

3.2 計量檢驗檢測（檢定）規范管理需求分析

計量檢驗檢測（檢定）業務目前主要涉及計量檢定證書、定量包裝商品凈含量檢驗報告、計量器具型評價報告、計量器具監督檢驗報告四大類證書（報告）。通過許可審批提供計量授權，獲得授權的檢驗檢測機構按照抽查計劃的要求對抽查的相關產品進行抽樣、檢驗檢測，并按照標準規程規范庫中報告的模板出具檢驗報告，最后將報告及相關數據按照相關要求進行共享，以滿足統計分析、風險預警、省政務資源共享以及國家局計量統計的相關需求，其業務流程示意如圖2所示。

3.3 計量業務監督檢查需求分析

計量業務監督檢查主要實現制造（修理）計量器具許可證的證后監督檢查管理、授權計量技術機構的監督檢查管理以及計量建標機構的監管（包括：法定計量檢定機構、省局對外開展工作的專項計量授權檢定機構、法定計量檢定機構）。目前，計量業務監督檢查采用企業（機構）自查和監督部門組織檢查兩種形式。

企業（機構）自查是由計量技術機構或建標單位填寫報表并提交到市局，市局審核提交到省局計量處，由計量處確認歸檔入庫。計量技術機構或建標單位填報后也可直接報到計量處，由計量處直接確認歸檔入庫。業務流程如圖3所示。

監督部門組織檢查是由計量機構選定授權類型、填寫計劃信息、選擇待檢計量技術機構或建標單位、選擇評審專家生成臨時考評組（同時為錄入考評信息的專家分配登陸賬號）、執行計劃、填寫監督檢查記錄，計量處審核確認、歸檔入庫。如圖4所示。

3.4 計量行政執法業務需求分析

根據山東省政府辦公廳對行政執法的部署要求，計量業務的行政執法必須要遵從行政執法公示制度、執法全過程記錄制度、重大執法決定法制審核制度這三項制度的要求[7]。根據調研整理，計量業務行政執法的需求主要包含以下幾個方面：（1）行政執法資源管理：包含行政執法事項管理、隨機抽查事項管理、行政執法主體資格管理、行政執法人員資格管理、行政執法程序流程管理、行政執法服務指南管理、窗口辦事人員信息管理。（2）行政執法過程記錄信息管理：對執法全過程記錄中的文字、音像等信息進行收集、保存、管理和使用。（3）重大執法決定法制審核管理：重大執法決定法制審核流程管理，重大執法決定法制審核目錄清單管理、重大執法決定法制審核人員力量管理。

4 總體設計

4.1 設計概述

省級計量監管平臺的設計要滿足上述需求，與質監大數據平臺的互聯互通是設計的關鍵點，一方面要充分利用已建成的大數據倉庫來獲取計量業務中所需要的數據，另一方面也要使本平臺產生的數據通過大數據項目的數據采集模塊及時共享到大數據倉庫中，以便于監管部門實現精準執法。系統總體設計規劃如圖5所示。

4.2 功能模塊設計

根據業務需求分析計量省級計量監管平臺可以劃分為：計量資源信息庫管理、判定依據管理、計量項目指標庫管理、計量規程規范標準管理、證書（報告）數據要求管理、證書或報告上傳、信息資源使用、其他業務管理八大模塊。各功能模塊的具體職責如下：

計量資源信息庫管理：指對質監系統內具有檢定能力、定量包裝檢驗能力、型式試驗檢驗能力的各計量技術機構的基本信息及各種資質數據庫的管理。主要包括以下數據庫的管理。如表2所示。

判定依據管理：對是否超范圍開展檢驗或檢定的判定依據進行管理。包括對檢定證書、定量包裝報告、型式試驗報告的判定。

計量項目指標庫管理：該模塊主要功能是對全省計量技術機構所要出具的檢驗報告進行規范化，所有計量技術機構所出具的檢驗報告的格式按照省局統一規范定義的模板格式，結果部分由專家組按照相關標準進行確定，全省統一應用。

計量規程規范標準：是計量檢定、校準、檢測的技術依據，建立統一的計量規程規范標準數據庫，對全省計量技術機構所依據的技術規范進行統一管理，確保計量技術機構在用技術文件的有效性。

證書（報告）數據要求：該部分功能主要描述檢定證書、定量包裝報告、型式批準及試驗試驗報告這 3項的證書（報告）的數據結構定義；錄入信息的復制功能；企業信息建立數據數據庫，各單位從數據庫中選擇。

證書或報告上傳方式：各計量技術機構在使用該平臺計量管理有關數據庫的基礎上，將已有證書或報告數據通過該服務平臺接口定期導入，實現計量技術機構的檢定證書或檢驗報告上傳。

信息資源使用：該模塊主要功能是通過查詢、統計的方式，實現對檢定證書、定量包裝報告、型式批準及試驗試驗報告的分析。該功能對監管部門和各計量技術機構通用。根據用戶級別可分為：省、市局和技術機構三類；每一級別可查看依據行政區域管理授權范圍內的數據，也可根據服務平臺進行用戶授權查看不同的數據。

其它業務管理：該模塊主要涉及制造計量器具證書信息、強檢計量器具、能源計量等業務數據的管理、維護、分析功能。根據使用用戶級別可以分為省級、地市級、區縣級、技術機構四類；每一級別可查看依據行政區域管理授權范圍內的數據，也可根據服務平臺進行用戶授權查看不同的數據。

4.3 系統邏輯架構

為了增強系統的可維護性、可擴展性與靈活性，同時提高系統的性能和高可用性，系統在開發時采用目前流行的微服務架構，并將整個系統邏輯上劃分為邏輯表現層、接口訪問層、實體層、業務服務層、公共服務層、服務治理層和資源層七個層次[8]。

邏輯表現層為最終展現給使用者的應用與對外數據共享提供的接口服務。

實體層和接口訪問層屬于邏輯層，并不單獨發布為服務，而是使用Jar包類庫的方式提供給其它服務調用，實體層是系統中與數據庫對應的實體類。

業務服務層在設計時按照4.2節中功能模塊的劃分，將系統規劃為八個服務，每個服務都以restful接口的形式對外提供服務。

公共服務層的日志采集、字典服務、權限管理和通知四個服務同業務服務層的服務類似，以restful接口的形式供業務服務層和web服務直接調用。

服務治理層是是整個系統的核心控制層，采用典型的“服務注冊表”模式對服務的管理，系統使用dubbo分布式服務框架，利用zookeeper作為服務注冊中心，并借助zookeeper的動態“心跳”機制實現服務的治理與高可用，業務服務層和公共服務層的每個服務組件在啟動時將自己注冊進服務注冊表，web服務器或api網關在訪問服務時查詢服務注冊表得到服務的uri，然后調用某服務接口。同時服務治理層也可以單獨對某個接口進行權限控制和配置有針對性的負載均衡策略，保障系統運行的性能與安全性。

資源層使用質監局目前搭建的數據庫服務系統、文件管理系統，同時為了增強系統的性能，系統采用Varnish作為靜態頁面和圖片的高速緩存，并使用Redis集群作為業務層的高速緩存。具體的系統邏輯架構圖，如圖6所示。

4.4 計量大數據分析核心架構

對計量業務中的日志信息、輿情信息等需要借助大數據平臺中的大數據分析架構，具體核心架構如圖7所示。

數據采集模塊根據系統復雜的數據采集情況，使用Sqoop、Kettle以及Scrapy等技術混合采集。Sqoop主要用于在Hadoop（Hive）與傳統的數據庫（Oracle等）間進行數據的傳遞，可以將一個關系型數據庫（如Oracle等）中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關系型數據庫中；Kettle是ETL工具，可在多平臺上運行，且數據抽取高效穩定；Scrapy是一款由Python編寫的網絡爬蟲。

為了適應數據存儲的復雜性，大數據存儲設計為傳統關系性數據庫和KV非結構化數據庫混合存儲。redis是一個高性能的key-value存儲數據庫。它支持存儲多種value類型，包括string（字符串）、list（鏈表）、set（集合）、zset（sorted set --有序集合）和hash（哈希類型）。這些數據類型都支持push/pop、add/remove及取交集并集和差集及更豐富的操作。HBase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統。

大數據計算模塊由spark、mapreduce等組成。Spark 是專為大規模數據處理而設計的快速通用的計算引擎，啟用了內存分布數據集，除了能夠提供交互式查詢外，它還可以優化迭代工作負載。MapReduce是一種批處理計算模型由Map和Reduce兩個模型組成，Map是將一組鍵值對映射成一組新的鍵值對，Reduce則用來保證所有映射的鍵值對中的每一個共享相同的鍵組。

4.5 系統運行架構

根據上述系統的邏輯架構，針對系統中存在的頁面訪問、日志采集、數據交換共享三個主要控制流程，并結合當前大數據倉庫的數據交換情況，給出系統的運行架構圖如圖8所示。

頁面訪問控制流：由前端瀏覽器發起請求，如果請求的內容已經存在緩存中則返回，如果沒有緩存內容，則繼續請求web服務器。也有部分請求可以指定不通過緩存直接訪問web服務器獲取數據。

日志采集：操作日志的采集設計了兩條控制流。一條是在jsp中調用統一js方法，直接將用戶請求發送至日志采集接口，由日志采集接口提交給消息隊列，再由日志采集模塊從消息隊列里獲取數據并保存。另外一條是利用web服務器的攔截器，攔截到用戶訪問請求后，傳送到消息隊列，日志采集模塊在消息隊列中獲取和處理數據。日志采集數據庫與大數據倉庫之間互通，借助大數據的分析工具產生結果后，傳入業務數據庫中。

數據交換共享：由接口調用方或者定時器觸發的形式發起數據交換的請求，經由dubbo框架的控制，通過緩存或者數據庫存取的方式來實現數據的交換。

5 結語

基于大數據的省級計量監管平臺的建立必將會強化質監局對計量業務的監管力度，使得監管的效率得到提高的同時監管維度更加的精細，并且通過對數據的共享與分析，使政府相關部門、檢驗機構和企業都能各取所需從中受益，從而創造更多的社會效益，推進服務模式創新，提高了電子政務服務水平。

參考文獻

[1]史小雪.大數據在質量監督中的應用[J].信息化建設，2016，（4）：6-7.

[2]張瑞，杜衍華.計量檢測信息系統的開發與應用[J].中國計量，2006，（5）：67-68.

[3]孫淳，戴洪宇.計量管理軟件系統發展概況[J].計量與測試技術，2006，（12）：4-5.

[4]吳行惠，劉建，張東，等.論質量技術監督大數據[J].電子政務，2015，（03）：113-117.

[5]吳行惠，張東.質監大數據在產品質量監督檢查中的應用[J].信息安全與技術，2015，（12）：10-12.

[6]高展，吳志剛，高棟.業務流程規范化是電子政務系統建設的基礎[J].信息技術與標準化，2003，（11）：27-30.

[7]梁勇.Java語言程序設計[M].北京：機械工業出版社，2011.