基于大數據的電子政務數據分析平臺的研究與設計

摘 要：文章基于當前電子政務平臺的數據存儲量越來越大，而這些數據又不能有效利用這一問題，設計了基于大數據的電子政務數據分析平臺，通過大數據技術的應用，使電子政務平臺模塊大量數據資源得到更有效的利用，并借助數據分析和預測，了解各部門存在的問題，及時調整政策實施方向，提高政府決策效率。

關鍵詞：大數據;電子政務系統;數據分析

一、 大數據平臺介紹

大數據和傳統數據的區別并不在于數據的形式，大數據所涉及的數據，包括文本文件、音頻文件、圖像文件、影像文件等，其數據本身和傳統數據類型并沒有區別，所以，大數據學科主要是為了解決在當前某些計算資源條件下，傳統數據分析技術無法在指定時間內處理的數據。

二、 電子政務系統大數據分析平臺所用技術

（一）云計算和分布式存儲

大數據的數據具有產生速度快、數據量龐大、數據類型繁雜等特點，如果應用本地的存儲軟件，中心數據庫數據龐大，數據的查詢會變得困難，查詢速度會變慢，特別當多線程共同對同一個服務器進行數據查詢時候，數據庫中心負載太大，可能會造成數據處理效率變低。因此，現在采用分布式存儲技術來分割大量數據，將不同的數據模塊存儲在不同的數據存儲服務器上，并使用不同的網絡接口來實現它們之間的數據同步，然后再將數據結果匯總返回到本地，可以加快存儲查詢，處理的速度，提高系統運行效率。

（二）Hadoop

Hadoop是目前大數據分析使用最廣泛的HDFS和MapReduce框架。是大數據處理的核心內容。MapReduce，這個想法是使用哈希映射技術來首先分割大型數據源，使用Map將拆分出來的小塊數據進行單獨的工作單位進行處理。當Map處理完了之后。再通過Reduce模塊接收到Map得到的結果。將其匯總之后，輸出對整個大數據的分析結果。這種并行的小單元處理速度，因為它可以分割大量數據。提高了運算效率，使大數據的分析成為可能。

（三）數據可視化

數據可視化技術是指利用一些可視化報告的軟件，常見的如Tableau，PowerBI等，將大數據分析結果可視化，讓使用者可以快捷、直觀、高效的觀測出數據的結果，以及對結果進行更加智能化的分析、預測。

三、 需求分析

借助大數據對群眾的留言以及意見進行數據分析：基于大數據技術，對網友在電子政務系統中的留言與意見進行采集，對電子政務系統收集的信息以不同的維度和顆粒度進行分析，從中獲取政府辦公現有模塊的不足之處，需要改進的地方，以及用于預測分析的具體問題。

借助大數據對政務部門業績進行多維度的考核與分析：為了推動政府服務人員的主觀能動性，收集平時各個業務部門的工作狀態數據。從而提高人民群眾的滿意度，促進政務部門的健康發展。

四、 大數據分析平臺功能實現

（一）電子政務平臺數據采集/清理

原先每個獨立的系統由于其有著自己獨有的應用背景，往往每個系統的數據結構不統一。為了實現大數據分析，首先，通過分析各個系統的數據，了解不同系統的數據結構關系，可以對數據進行清理。提取標準規范，通過建立統一的數據接口共享電子政務系統各模塊的信息，并將各平臺的數據存儲在一個集中的數據分析云計算平臺中，用于后續的大數據分析功能使用。

（二）電子政務平臺數據處理

1. 借助Hadoop框架中的HDFS技術，創建Distributed FileSystem對象，對電子政務系統數據集群中的NameNode節點的元數據發起下載的請求。拿到數據中臺返回的元數據文件以后對再通過創建FSDataInputStream服務對象，然后分別向電子政務系統數據集群下的子數據節點請求數據，最后將所有子數據服務進行合并，得到最終的數據結果。

2. 借助Hadoop框架中的MapReduce技術，獲取電子政務系統中待處理數據的信息，然后根據參數配置，形成一個任務分配的規劃。使用Job.Split和Job.xml文件提交切片信息，調用Yarn和RM計算出MapTask數量。然后使用Map函數對每個MapTask進行邏輯運算，將運算結果寫入到收集器中。所有MapTask任務完成后，啟動相應數量的ReduceTask，并告知ReduceTask數據處理范圍（數據分區）下載到本地存盤，進行合并文件、歸并排序。

（三）電子政務平臺數據分析展示

在大數據全部通過人工算法進行分析以后，隨后進行數據可視化系統的搭建，幫助人們可以通過最直觀的方式，直接觀察到大數據分析得到的結果。最后通過可視化數據分析的結果直觀的儀表板或以適當的圖片形式呈現。幫助政務處理人員更加快速的得到分析結果。

五、 結論

隨著國家對電子政務系統越來越重視，借用大數據技術構建符合時代需求的電子政務平臺是新時代的發展方向。通過大數據技術，構建了電子政務數據分析平臺，實現了對政務部門的需求分析和績效分析，并借助數據展示平臺，幫助管理者快速發現現有系統中存在的問題，并提供數據參考解決方案，顯著提高政府處理政務的效率。

參考文獻：

[1]蘇勝軍.電子政務云平臺信息安全建設探討[J].中國新通信，2019，21（21）：129.

作者簡介：

陳明杰，江蘇龍虎網信息科技股份有限公司。