大數據時代電子政務構建分析

陶毅國

【摘要】 依據國務院《促進大數據發展行動綱要》作為總體需求，分析了我國電子政務應用現狀、當前大數據技術已有基礎及發展趨勢，對大數據時代電子政務建設涉及的思想準備、需求創新、技術架構和實施注意點等方面進行了初步分析，可作為電子政務大數據建設的參考。

【關鍵字】 大數據 電子政務建設 行動綱要 思想準備 需求創新 技術架構

一、大數據時代電子政務面臨挑戰與高層需求

1.1大數據時代電子政務面臨挑戰

《促進大數據發展行動綱要》（以下簡稱《行動綱要》）是中國啟動大數據戰略的里程碑，由國務院在2015年8月正式發布。電子政務如何適應大數據時代的發展要求，對政府部門是一個新的挑戰。

構建基于大數據理論與技術的電子政務（以下簡稱大數據電子政務）將對政府的服務、管理、決策等方面的職能轉變與深化改革起到巨大的支撐與推動作用。但是，大數據電子政務的建設涉及思想轉換、機制創新、人才結構變化、技術方案選擇、推廣應用等一系列全新的工作，對建設者是一個很大的挑戰。

1.2從大數據電子政務需求角度分析《行動綱要》

《行動綱要》可以概括為五大目標、七項措施、十大工程。它們不僅是大數據時代的社會發展需求，從軟件工程角度來看，也是新一代電子政務的目標和高層業務需求。[1]

上述五大目標及高層業務需求是傳統信息技術無法實現的，必須采用大數據技術才能實現。

二、目前大數據技術已有積累及發展趨勢

2.1大數據技術總體介紹

大數據4V特點是數據量巨大、結構多樣、低密度高價值、快速獲得結果，由于傳統信息技術無法應對，逐步發展起來的全新一代大數據技術。

自2006年左右Google三篇大數據技術論文發表及云計算概念提出，10年來大數據技術與產品快速發展。現將主要產品簡析如下：

圍繞大數據技術核心軟件 Hadoop，產生了與其相關的一系列軟件，稱為Hadoop生態圈。比較著名的有：ZooKeeper分布式協作服務、Hive數據倉庫工具、Sqoop關系數據ETL工具、Avro數據序列化系統、Pig數據流處理語言、Flume日志收集工具、Ambari集群監控與管理、Mahout機器學習、Oozie工作流引擎、Hue圖形化管理界面、chukwa監控分析。傳統應用中需要的很多系統級工具軟件基本包括在內。這些都是開源的。

2.2大數據技術發展態勢展望

2.2.1開源依然是大數據技術創新發展的基石

全球開發者通過開源社區來進行大數據代碼的開發、維護和完善，從而集全球智慧推動大數據技術的不斷進步。全球各大企業加大對 Hadoop、Spark 等開源社區的贊助和智力投入，開源技術生態系統不斷壯大。[2]

2.2.2大數據平臺兼容性與性能快速發展

大數據平臺原來SQL不兼容、GB級數據性能不佳等不足已基本解決，分布式內存計算大幅提高處理性能。基于傳統數據庫的應用會逐步向大數據平臺遷移。原來依賴主機高性能、存儲高可靠性、高大成本解決方案，在大數據分布式平臺中有了更好、更便宜的解決方案。原來覺得困難重重的去IOE行動，在大數據這一全新環境下，居然就順理成章地解決了。因此，大數據平臺在政府行業會有一個快速的普及。

2.2.3大數據生態使系統技術復雜度、應用成本快速降低

Hadoop適應各類低成本硬件（如X86架構），固態盤替代內存逐步流行，計算硬件成本大幅降低。

傳統系統環境一般包括服務器操作系統、DBMS、各類中間件、工作流、數據倉庫、BI工具、集群及負載均衡、數據交換等，產品廠商各異，技術復雜，采購維護成本高昂。Hadoop商業版打包的生態圈軟件，包含了上述產品很大部分功能，復雜性、購置及管理成本大大降低。

阿里云、百度云等互聯網企業在自身大數據應用基礎上，將其產品和技術向市場輸出，很多以云平臺及SaaS形式提供，降低了技術復雜性。

2.2.4流技術發展使實時提醒及決策分析得到兼顧

流數據的高速檢測及流處理以后馬上保存到某個數據庫，可以把實時數據、歷史數據進行連接，這樣，高速查詢與迭代分析可以并行不背。例如，在對交通流做實時的檢測預警分析的同時，如果在交通高峰期某區域產生擁堵，需要快速分析影響范圍，防止出現連鎖反應。

2.2.5虛擬化、平臺化使得云計算與大數據整合逐步走向完成

基于虛擬化技術的快速發展，象Linux container、谷歌Kubernetes、YARN支持多種計算框架，mesos資源調度核心、docker工具會走向數據中心操作系統。二是Hadoop技術操作系統化、平臺化，數據挖掘及展示工具適應性加強。這些助力云計算與大數據終得融合。

三、大數據電子政務建設共同性及難點分析

3.1大數據電子政務的思想準備

大數據的電子政務及社會化應用，將對政府的架構、職能等方面發生深刻的變化，主要將表現為：

3.1.1機構更加扁平化

由于信息化程度，特別是大數據處理能力對決策自動化程度的提高，再加上交通進一步的便捷，機構扁平化、減少管理層次將成為趨勢，省管縣的模式可能會在更大范圍內推行。

3.1.2政府事務性人員降低、專業性要求更高、廉政監督更加嚴密

政府日常管理中很大一塊工作量，就是接受申請、審核、審批等事務，除了服務態度差、部門間推諉、奇葩證明等頑癥，審核、審批過程由于主要靠人為判斷，流程慢且有很大的尋租機會，這些都嚴重影響政府形象及公信力。

隨著電子政務網上申請、物聯網現場監控、部門數據共享等信息化手段普及，備案制推行。政府監管對象的行動、時間及空間移動都會以數字形式被采集、傳輸、挖掘，原來受限于人力、時間無法做到的事，在大數據時代就是舉手之勞或完全自動化，因此事務性處理人員會大幅減少。基于深度挖掘與精準推測技術支持的項目中后期監督、決策事項，不僅流程更加透明，對人員綜合素質也更高[3]

同時，每個政府人員不可避免地會受到大數據無遠弗屆的監管，有來自體制內，也有來自非政府組織、個人的。

3.1.2基于大數據的決策成為政府工作的常規手段

大數據可視化技術使得人們用比數據表格形式更加容易識別、圖形化的方式，達到展示濃縮的信息、表達新的知識、作出推薦及預警、發布行動命令等目的。能夠精確、清楚地描述復雜信息，而且富有趣味性、便于閱讀。猶如現代醫生離不開化驗設備一樣，不僅政府工作人員日常監管會依賴實時提示、精準推測，政府官員做決策時會越來越依賴大數據的量化分析結果。因此，大數據咨詢的機構會獲得較大的增長空間。

3.1.4公眾參與政府決策、公共事務的手段及水平更高

隨著政府數據不斷公開和技術發展，“大數據民主”會獲得象魔鏡這樣的大數據供應商支持。公眾參與社會事務決策的程度與水平也會水漲船高，對政府決策在深度分析基礎上提出他們有數據支持的評判意見。

3.2大數據電子政務的應用階段及功能類型分析

許多系統都喜歡掛上大數據這個名頭，那么，什么樣的電子政務才能算大數據應用？電子政務結合功能及數據處理技術上可劃分為三個階段：以事務處理為主的數據庫應用階段，以數據集成及查詢分析為主的數據倉庫階段，以預警及預測為主的大數據階段。寬泛一點說，帶有共享、預警、分析和預測四類功能，且數據量接近TB級的系統，都可稱為大數據應用。四類功能在大數據不同應用階段所占比重是不同的。現分析如下：

3.3基于決策過程的大數據電子政務業務創新

政府決策涉及大眾切身利益、耗用巨大資源、影響深遠，所以，政府最大的節約就是決策的科學性。下面，以連續有限比較決策論代表人物Herbert Simon的決策四階段劃分為基礎，通過解析政府最重要的決策過程，提供一個思考路徑，大數據電子政務能促進政府職能轉換、業務創新。

3.3.1決策前期準備階段

決策前期準備的信息收集過程中，政府面臨信息“稀缺”與“過載”并存的問題。由于部門條塊分割，部門之間實現數據交換、共享仍存在不少障礙與困難。另一方面，隨著互聯網發展，政府工作受到新聞及網絡媒體產生的信息洪流沖擊，面對這些巨量的毀譽夾雜、真假難分的信息不知如何應對。

《行動綱要》明確了政府數據共享具體要求及時間表，建立具有權威性的政務數據交換制度、機構，減少部門協調成本，提高數據交換的質量，建立對社會的數據公開及購買數據服務等機制，可以有效解決信息稀缺的問題。

應該借助大數據分析工具將網絡輿論中內嵌的多重利益和多元價值轉化為定量化、可視化的參考信息，在科學的基礎上界定決策問題、確定決策目標。[4]

3.3.2多方案設計階段

對決策目標評估憑經驗、缺乏量化分析，這是政府在方案設計階段存在的主要問題。大數據在這一個階段可提供很多支持，如：通過輿情分析了解決策目標公眾認可度，建立如經濟、人口、城建、文化、環保、技術等主題數據庫，分析各種方案的適宜性、約束條件，進行方案優化。

3.3.3政策方案選擇階段

目前，方案選擇以定性決策為主，依賴領導的經驗。隨著決策議題日趨復雜化，這種模式急需改進。發揮大數據作用，建立并不斷完善政府常見決策類型的分析模型，吸納定量決策方法的優勢，形成定性和定量相結合的綜合決策模式。隨著大數據技術發展，政府決策也可以象軍隊沙盤推演一樣，直接觀地對多種方案在各種參數輸入下模擬可能結果。

3.3.4決策執行及反饋階段

發布和實施一項政策后，及時收集和評估公眾的反映十分重要。由于網絡公眾輿情構成十分復雜，個體正當意見訴求，純粹情緒發泄，利益集團訴求，惡性炒作，甚至敵對組織蓄意搗亂。利用大數據語義分析和行為分析等算法，獲得大眾正當的訴求，了解狀態動態變化，對決策模型進行動態測算，有的放矢地調整政府政策，以更好地實現既定的政策目標。要充分利用網絡輿論的優勢，創新模式，利用其疏導誤解、凝聚共識、支持政策實施。

3.4大數據電子政務的架構設計示意

電子政務相當一段時間會采用傳統和大數據混合模式，常見系統架構示意如圓圖1。

電子政務應用趨勢是數據從傳統DBMS向大數據應用環境轉移，但業務處理及展示層仍會以傳統技術為主。

3.5大數據電子政務建設中需關注的幾個問題

3.5.1機制及模式創新

大數據應用對數據、業務、技術應用的要求更高，需要適應不斷創新的環境，不是非常適應政府常規工作氛圍。電子政務大數據應用可以考慮共建、外包、采購服務、政策支持等多種模式，發揮政府應用引領、市場化競爭等不同優勢。

3.5.2大數據電子政務建設投資預算原則

大數據技術仍處在一個爆發初期，架構、技術都在不斷變化。政府在資源投入方面需要謹慎。總體規劃、分步建設、按需投入的原則與大數據分布式技術特性也非常吻合。

3.5.3大數據交換及共享的標準化

國家標準委2007年《政務信息資源交換體系》規范了傳統電子政務信息資源的總體框架、技術要求、數據接口規范、技術管理要求，雖與大數據應用有一定差距，但大部分還是可以參考的。應盡快形成政務大數據交換、共享、公開、交易的相關標準與規范。

3.5.4政府數據在交換、抓取、開放方面的趨勢

《行動綱要》明確要求政府間數據共享及開放，縱橫交叉、市場補充的數據共享模式是一個解決方案。縱向行業數據交換中心由行業上級機構（如部、省級）建立運行，橫向區域數據交換中心由當地政府建立并負責運行并對外開放。數據抓取的業務特點比較明顯，各中心、甚至單位都會根據具體需要進行。只要有充分的需求，會出現專業數據交易機構，政府通過購買服務獲得需要的數據。

3.5.5系統安全及數據隱私

大數據因其影響范圍廣，安全上應采取更加嚴格的要求。數據脫敏的法律法規、評估標準、國產化工具的逐步形成，才能促進與保障政府將數據開放，為社會服務，為創新創業服務。

四、大數據電子政務的展望

大數據電子政務的發展將還有一段很長的道路要走，隨著數據大量積累及深度分析技術提高，對各級政府在思想、法規、機制、職能、人才甚至政治生態等各方面會帶來意想不到的改變。政府管理經驗的算法商業化會有一個較快的發展，技術上則要關注政府私有云平臺在大數據應用方向的發展趨勢。[5]

參 考 文 獻

[1] 國發〔2015〕50號《國務院關于印發促進大數據發展行動綱要的通知》

[2] 陳光，大數據發展新趨勢，中國建設信息化 2015年第10期，66-67

[3] 安學軍，大數據對電子政務的影響及應用，天津科技 2014年，第4期，

[4] 王存剛，大數據與中國外交決策機制創新--基于組織決策理論的視角，外交評論 2015年，第4期。

[5] Robert L. Mitchell，8 big trends in big data analytics，Computerworld， Oct 23，2014