基于渭南市海量數據的數據歸集體系建設

趙林斌 邵戰強 魏 威

（渭南市互聯網信息辦公室，陜西 渭南 714000）

1 渭南市智慧城市數據資源歸集的意義

根據國務院和省委省政府關于加快政務信息系統整合共享的決策部署，按照《加快推進落實<政務信息系統整合共享實施方案＞工作方案》（發改高技［2017］1529號）、《陜西省政務信息系統整合共享實施方案》（陜政辦發［2017］79號）和《省政府第122次專題會議紀要》等文件要求，為確保年底前政務信息系統整合共享工作取得明顯成效，渭南市政府積極響應國務院于省政府的號召，積極打造智慧城市大數據基礎平臺。通過統籌實施本項目可以從根本上解決困擾政務信息化建設的“各自為政、條塊分割、煙囪林立、信息孤島”問題， 推動基礎六庫（人口、法人、經濟、地理信息、信用、電子證照）數據信息歸集及部門業務系統整合共享。項目完成后符合“五個統一”的總體原則，可以有效加快渭南市智慧城市建設進度，切實避免各自為政、自成體系、重復投資、重復建設。

2 數據資源歸集思路

為了盡可能全面有效地匯聚渭南市各部門各方面數據，采取了政府數據與互聯網數據相結合、市級部門數據與縣區部門數據相結合、歷史數據與即時數據相結合的思路。

2.1 政府數據與互聯網數據相結合

政府各部門在各自業務流程與系統錄入中形成的數據，是平臺建設的基礎與保障，這類數據在平臺的數據庫中占了半壁江山。但是面對如今大數據的沖擊與新的社會形態與經濟形態而言，政府數據無法有效囊括，采用網絡爬蟲相關技術，采集互聯網數據如社會輿情、電商等相關數據，填補了政府數據無法涉及的領域，可以及時全面地了解社會輿情信息，可以更全面地反映當前居民消費的現狀。

2.2 市級部門數據與縣區部門數據相結合

通過利用部門現已經打通的業務信息網，自上而下先將縣區級部門級數據匯聚到市級部門，平臺統一從市級部門對接已經匯聚完成的數據。對于內部尚未打通業務信息網的部門，通過前置機對接、數據接口讀取、平臺直接上傳等方式采集部門數據。

2.3 歷史數據與即時數據相結合

平臺在對部門現有的歷史數據進行一次匯聚采集之后，會持續對部門產生的即時數據并且與歷史數據進行比對，并且對平臺現已歸集完成的數據進行及時的更新與清洗。

3 渭南海量數據歸集難點與對策

經過本期平臺的建設，渭南市政務信息化水平有效提升，管理能力顯著增強。政務信息化發展總體平穩，完成了主要信息化發展目標，啟動了信息化頂層設計和標準體系研究，信息化系統基本覆蓋了各業務領域，各系統運行良好，但在對信息實行歸集的過程中，發現在數據歸集方面仍然存在著各種問題。

3.1 數據歸集難點

一是現有各部門業務系統數據量多、分布散，業務系統建設時間、標準不一、信息化程度不一，缺乏統一規劃。導致渭南市政務信息化建設存在“各自為政、條塊分割、煙囪林立、信息孤島”問題。信息資源縱橫聯通共享難，難以實現跨系統、跨區域、跨層級的歸集交換，各種信息重復填報，給本期數據統計、挖掘、分析造成很大困難。

二是數據質量參差不齊，缺乏高質量的數據。由于本次數據歸集是對于整個渭南市各個政務系統的整合。導致匯聚到數據庫中數據來源不一、數據格式五花八門、采集頻率各異。平臺數據庫建設階段雖然建立了統一的數據歸集標準為后續的數據開放共享服務。但是平臺所需歸集數據和部門業務關注的側重點不同，一些規定字段如若不對原有業務系統徹底改造，無法從源頭上解決數據質量問題；而且部分部門數據屬于敏感信息，而各個部門對于敏感信息的處理方式不同，導致部分數據無法歸集到平臺中，最終導致數據歸集情況不能圓滿地貼合到平臺上層的應用中。

三是數據安全性難以得到保證，由于部分業務系統的數據是通過業務人員通過手工錄入到網頁中再歸集到平臺。這種模式可能由于人為的疏忽而出現失誤，直接導致數據的安全性、準確性得不到保證，存在泄密、錯報、漏報的可能性，從而影響數據歸集的安全性、準確率，嚴重影響平臺應用的有效分析與決策。

3.2 相關對策

針對上述分析的渭南市數據歸集中在的問題，如何在實現數據歸集過程中高效、及時、準確，從而降低電子政務成本，已成為迫在眉睫的需要。在此提出以下對策：

一是在線上對數據目錄以及動態實行管理，目前平臺對于數據歸集目錄清單的更新為一月一報，工作量巨大，效率低下，而且準確性有待考證。需要重視目錄結構本身，以各個部門的數據資源信息作為目錄清單的一個初始版本妥善保存，然后將版本清單有效管理，各個報送單位需要培訓專業的工作人員負責數據的報送工作，業務部門工作人員需要在報送數據前，先自行在不同版本的數據項中尋找對應關系最終在給平臺作為最終版本歸集。

二是在數據歸集過程中規范數據歸集行為。在采集過程中，提供各類數據驗證、數據預處理等工具對數據進行檢查，對于問題數據要回歸到數據源頭進行分析，并且對于各種數據問題信息進行歸集并分析，對于高頻出現的錯誤，平臺在采集過程中需要進行二次人工排查，提高數據的采集質量。

三是在平臺建設完成后要結合前沿技術，建設多元化信息產品，完善數據歸集平臺底層設計，保證數據庫的可持續化發展。建立一套通用的標準化信息產品可滿足各個部門及其下屬機構與社會發展的需要。提高數據庫的服務上層應用的能力，并統一大平臺與下屬子節點平臺，為后續的數據庫建設提供可持續發展的支撐。

4 結語

綜上所述，要解決平臺數據歸集的問題，提高上層應用的服務質量，除了加強數據質量保證體系建設和人才建設外，還要立足自身，采用科學先進的方法，在技術手段最大程度對數據進行篩選、清洗、處理。整體把握數據質量，在實踐中找到提高平臺數據質量的方法和原則。

數據作為一種重要的戰略資產，已經不同程度地滲透到每個行業領域和部門，其深度應用不僅有助于企業經營活動， 還有利于推動國民經濟發展。它對于推動信息產業創新、大數據存儲管理挑戰、改變經濟社會管理面貌等方面也意義重大。未來信息數據歸集會朝著更加自動化、智能化的方向發展，而在大數據背景下如何更好地利用云計算、數據挖掘等先進技術對數據信息服務進行管理，仍然需要進行不懈的努力。