基于云平臺的數據采集與統計匯總系統應用研究

石桂芳，劉陳榮

（北京華電天仁電力控制技術有限公司 北京 100039）

1 概述

某科技環保集團（以下簡稱集團公司）的業務涉及很多不同的業務范疇，二級單位之間的業務沒有重復，垂直業務模式不可橫向復制。從數據的角度看，各板塊業務的數據之間沒有任何關聯，給集團公司統一數據口徑、統一數據報送帶來一定難度。因此，建立一套數據在線收集系統，逐漸形成集團公司的數據中心，利用數據中心建設的多維度、多主題智能分析反哺二級單位，實現數據管理的一致性就顯得尤為重要。

集團公司自成立以來，十分重視信息化建設，目前已經初步建立了面向整個集團的信息化網絡環境和集成環境，實現了財務與審計、企業綜合辦公管理（OA）的信息化。之前集團公司對下屬企業生產經營管理信息的獲取與統計匯總，是由下屬企業填寫Excel報表，后經E-mail方式報送給集團公司本部對口部門。集團公司本部業務部門通過 Excel等軟件進行整理、核對、匯總，并報送上級部門，相關數據也以Excel等文件形式保存在個人電腦上。

這種方式存在如下問題。· 數據一致性難以保證。各個業務部門數據交叉的現象比較普遍，不同部門填寫的相同指標項的結果是不同的，這在后期的數據統計分析中會產生很大的影響。

· 歷史數據的查詢速度和準確性難以保證。工作中經常出現需要迅速查詢某個歷史數據，或者快速匯總某個不常用指標的情況。以前是通過電話詢問二級單位或其他業務部門，并在歷史數據文件中查找，手工進行數據的匯總整理。這種方式的速度和準確性都難以滿足實際的工作要求。

· 工作量相對較大。集團公司業務部門之前需要在匯總下屬企業的報表后，核對報表數據，匯總相關指標項的工作量較大；下屬企業在填報過程中，存在相同的指標項在多張表中重復出現、重復填寫的問題，從而增加工作量。

·基于集團公司之前經營監管信息的采集和管理現狀，集團公司迫切需要構建一套集團本部與分/子公司公用的信息采集、整理與統計匯總一體化的平臺。平臺一方面有效地支持集團本部業務部門對信息的采集、整合和統計匯總，并實現結果的便利導出；另一方面又可實現下屬企業的信息報送并與上級企業交互。

鑒于以上現狀，開發了基于云平臺的數據采集與統計匯總系統。本系統基于云平臺上的數據中心技術研究及應用，主要解決數據中心“數據”方面的問題，如數據收集、數據加工、數據專題分析、數據展現等[1]。

本系統建立的數據中心基于云平臺架構，選擇高效能服務器，能避免服務器蔓延增長、設備利用率低、運維成本高（管理、維護）、應用可靠性低（安全性、可靠性）、性能功耗比低、管理麻煩的缺點；實現高可用按需分配，可以滿足集團公司高效、靈活、快速的業務增長需求。

· 通過對數據中心的整體設計，提高系統的可靠性及可用性，保證數據的統一性，提高工作效率，節省人力，節約資金。

· 通過對數據中心的整體設計，發現問題并將問題消滅在萌芽狀態，實現整體數據中心的節能減排。

· 通過對數據中心的整體設計，可實現系統的靈活變更、隨需擴展。

· 實現統一工程維護，把機房系統作為一個整體產品交付，全網動力監控更易實現，提供主動性服務，并實現統一和全面的服務。

· 統一工程界面清晰，降低工程成本，并大大縮短工程周期，使網絡提早發揮效益。

· 保證維護的持續性及連貫性，保障服務提供的連續性，減少維護風險。

·通過管理提升IT效率，進一步降低日常維護的IT財務支出，實現業務的創新和變革。

2 主要功能結構及關鍵技術

2.1 主要功能結構

本系統的主要功能結構如圖1所示。

2.2 應用系統數據處理

圖2給出了集團公司運營監管信息采集與統計匯總平臺數據的處理流程，具體介紹如下。

（1）數據采集與審核、管理

對于采集數據，系統提供對各類數據的獲取功能，分/子公司的計劃與發展、科技管理、運營管理和國際合作等數據通過在線填報、離線填報方式，報送系統集團公司本部；對于現有業務系統中的數據，如財務數據，提供與現有系統接口的方式實現數據的獲取。

（2）數據的存儲管理

針對來自分/子公司、現有業務系統的數據，系統提供統一的信息存儲和管理功能，確保數據的安全。

（3）數據的統計匯總與展現

根據集團公司對業務監管的需求，提供統計匯總功能，并提供靈活、方便查詢、實現多樣化圖表的展現及結果的下載、導出。

2.3 應用系統業務處理

集團公司數據采集與統計匯總系統的用戶主要分為3種類型，分別為系統管理員、數據管理員和業務用戶。其中，系統管理員維護系統基礎信息；數據管理員包括集團公司、二級公司的數據管理人員；業務用戶包括集團公司、二級公司、三級公司的數據填報人員和使用人員。應用系統業務處理流程如圖3所示。

系統主要管控指標的分配與數據填報業務流程、數據的查詢與導出業務流程。指標的分配與上報流程分3級管控模式，由集團公司首先維護報表模板，并下發給二級單位。二級單位有權限對接收的報表模板進行二次分配，形成新的分發規則發給三級單位填報。三級單位填報完成后，將報表提交給二級單位統一審核匯總并上報給集團公司，集團公司進行審核匯總后完成數據的下發與上報流程。定期（按周、月、年等）執行數據分配與填報流程后，系統形成數據池，可供數據使用人員隨意組成報表，由系統自動抓取數據以用戶希望的表現形式顯示數據，完成數據查詢流程。

圖1 軟件系統功能結構

圖2 集團公司運營監管數據中心信息處理流程

圖3 應用系統業務處理流程

2.4 針對集團經營監管指標體系的功能

針對集團公司的運營監管指標體系，系統提供如下3方面功能。

· 指標屬性管理，包括指標屬性設置、指標增/刪/改/查、指標閾值設置等[2]。

· 指標體系建模，指標建模的過程，對指標進行編號、命名，并且建立指標之間的邏輯關系、數據來源、數據存儲格式、數據展現方式選擇等指標屬性。

· 指標展現設計，指標數據隨時可被已經授權的用戶讀取，并通過預先定義的各種展現方式，按用戶需要的形式展現給用戶，并且支持數據審核、數據導出等數據再利用。

3 系統架構及實現

3.1 系統建設目標

在充分利用現有網絡和基礎設施環境的基礎上，基于集團公司的經營監管指標體系，實現對下屬10余家子公司的計劃與發展、運營、科技創新和國際合作等業務關鍵信息的定期（周/月/季/年）跟蹤、監測、監控、管理和分析，及時了解各子公司的生產、營銷和運行情況的特點、現狀和發展趨勢，為集團的發展提供決策支持、信息參考，從而實現集團對子公司的高效指導和管控，有效推動集團公司及其下屬分/子公司的穩定、可持續發展，進而提升集團的信息化和監管水平。

通過本系統的建設，可以實現如下具體目標：

· 設計公司共享的經營監管指標體系，為集團運營監管提供信息依據和參考；

· 指標信息采集、存儲、管理與統計匯總；

·提供多樣化的數據展現方式和導出功能；

·提供輔助管理功能；

· 提供集團本部與分/子公司的信息交互功能，便于信息的及時溝通、報告下載等。

3.2 系統架構

系統架構如圖4所示，包括云平臺基礎架構及上層平臺架構。

推薦配置如下。

· 服務器：長城四子星，3個節點，每個節點4個物理機，單個物理機配置為2個CPU 4核，96 GB內存，2個300 GB硬盤，4個萬兆網口。

· 交換機2臺：48口，萬兆以太網口。

· 盤陣一臺：EMC，配12塊600GB盤，可擴展12塊（不加擴展柜還可擴展12塊2 TBSAS盤），支持iSCSI和SAS混配，8GBFC光纖擴展端口或4個10Gbit/s接口，8個吉比特以太網接口，配40TB盤，可用20TB。

· 虛擬磁帶庫一臺，型號為EMCDD140。

3.3 系統實現

系統實現如圖4所示的云計算平臺，并在此云平臺上實現企業門戶系統。

由于集團公司下屬有多個分子公司，故本次集團公司的數據中心建設涉及面較廣，而且數據中心系統要與企業門戶系統集成，與門戶系統互相倚靠、相互協調。為確保數據中心項目的成功實施，集團公司企業數據中心系統將根據“統一規劃、分步實施”的原則進行建設，具體介紹如下。

（1）數據采集及統計系統開發并與門戶系統集成

完成集團公司的數據上報及統計系統的開發實施，并在集團公司企業內部門戶中初步展現，并以門戶為接入口為集團及各職能部門領導決策提供依據。

（2）優化并完善系統功能

實現各企業在第一階段沒有提出的新功能需求以及需要改進的第一期系統的數據采集及上報、審批、統計的功能（內容和功能優化完善階段）。

（3）整體優化階段

實現完整全面的數據采集及統計系統，并與企業門戶完美集成，作為企業門戶的報表門戶和數據采集及統計系統的入口，打造一個真正有意義的綜合信息平臺，實現企業信息的統一查看、統一入口訪問、企業內外流程的統一管理，加強移動應用，深化跨平臺協作和企業搜索功能，建立真正的集團公司企業信息業務數據中心，實現信息的交互與共享，消除信息“孤島”現象，增強企業的市場競爭力；實現與其他企業內部信息系統的全面集成 （如財務系統等）；實現不同的數據能夠為不同公司、不同領導和部門提供參考和決策。

圖4 云平臺基礎架構及上層平臺架構

4 創新點及亮點

本系統最大的亮點及創新點是采用了以經營監管指標為體系的指標系統管理模式，隨時靈活地增加、修改、減少指標，任意選取不同指標生成不同報表，突破一般以報表為體系的報表管理模式，在數據存儲和抽取方面既靈活，又大大提高了數據抽取速度，對于有大量數據需要管理的企業非常適合，對于不斷改進和變換經營監管指標的企業也是不可多得的體系管理模式和數據管理平臺。

第二大亮點是技術開發平臺完全智能化，稱為華電天仁智能Web平臺。智能Web平臺是一款企業級應用的快速開發平臺，可以作為成熟的產品推向市場，也可以在該平臺上進行二次開發。開發的報表基于華電天仁智能Web報表，是業界第一款基于J2EE技術的以純HTML及CSS實現的Web報表。華電天仁智能Web平臺采用業界領先的J2EE技術構建，MVC設計模式，B/S的多層結構，技術上相當領先，具有極高的穩定性、安全性及可擴展性、可伸縮性、可維護性[3]。

·利用華電天仁智能Web平臺，企業及開發商均可以非常方便、快速、高質量地開發復雜的業務系統，包括 CRM、MIS、ERP、HIS、OA 等系統；80%以上的模塊不需要編碼，甚至零編碼，不懂Java也可以開發，只需懂數據庫即可，開發速度是傳統開發模式的5倍以上。

·華電天仁智能Web平臺內集成了在線自定義Web報表引擎，用戶除了可以用來開發業務系統外，還可以集成企業內已有的分散的業務數據，制作各類復雜的綜合查詢、Web報表、統計分析。

第三大亮點是本數據中心構建在云平臺上，采用了最先進的存儲技術，加快了數據存取速度，實現了數據存儲的安全穩定，節約了硬件資源和網絡資源。

5 結束語

本系統云平臺由公司統一建設，在云平臺上構建虛擬機，在分配的虛擬機上建立數據采集及統計系統應用，并具體實現與以下系統的集成。

與財務系統：數據上報及統計系統需要從財務系統獲取相應的財務數據，作為重要指標項的來源。

與集團公司企業門戶系統：數據采集及統計系統需要企業門戶中的組織機構（LDAP）作為基礎登錄用戶數據，進行單點登錄及統一用戶管理及身份驗證，需要將報表數據以不同形式展現在企業門戶系統中，根據用戶權限的不同分別展現不同的數據。

與郵件系統：郵件系統作為郵件服務的提供者，需要向企業門戶、數據上報及統計系統提供基礎的郵件發送及接收服務。此外，也需要同企業門戶實現單點登錄、統一用戶管理及身份驗證、郵件來件提醒等功能。

與短信系統：短信系統作為短信服務的提供者，需要向企業門戶、數據上報及統計系統提供基礎的短信發送及接收服務。此外，也需要同企業門戶實現單點登錄、統一用戶管理及身份驗證、短信來信提醒等功能。

總的來說，系統已正式投入使用，目前系統運行良好，用戶反饋滿意，達到了預期的效果，獲得了預期的經濟效益。

1 唐箭.云存儲系統的分析與應用研究.電腦知識與技術,2009(20)

2 成靜靜,喻朝新.基于云計算的大數據統一分析平臺研究與設計.廣東通信技術,2013(1)

3 田甜.基于云計算的GIS數據采集教學服務平臺設計與研究初探.技術與市場,2011(7)