基于開源框架的大數據智能報表平臺的設計與關鍵技術

張文兵

（神華和利時信息技術有限公司 北京市 100001）

為實現煤炭、電力、化工等各大產業板塊報表及各層級單位報表的多級應用，落實上級的統一數據報送要求，滿足數據采集報送、分類統計、共享協同、數據展示、分析預測等數據資源管理系統建設的業務需求，以及加強各單位之間的數據融合，實現集團全口徑統計數據管理，并且滿足不同單位可以實現自定義報表功能的實際需要，完成全過程、全口徑業務統計分析，整合生產歷史數據，提高數據整合和經營統計分析能力、加強數據校驗水平。智能報表平臺通過大數據、容器化、微服務、多租戶和分布式服務等技術的應用為集團高層決策提供了可靠的數據支撐。

1 總體架構

智能報表平臺按照集團指標標準體系和管控平臺要求實現指標統一分類、統一定義，確保指標分類科學、定義準確、來源清晰、接入規范、質量可控、數據可用。面向集團報表的整體需求，平臺分三個組成部分：統計平臺、采集平臺、報表平臺。提供了數據從采集、填報、校驗、計算、匯總統計、報表、搜索、共享發布及服務的一體化解決方案。

平臺采用大數據平臺的數據支撐和標準支撐為基礎。統計平臺作為整個平臺的支撐，提供了統一認證、多租戶、授權、監控、報表引擎等服務。采集平臺主要在數據填報、數據采集、數據校驗、報送流程管理等功能方面進行技術實現與擴展。報表平臺主要在集群部署、參數可視化配置、報表打印、報表閾值管理等工作內容進行建設實施。

采集平臺通過從PC 端、移動端批量或者定時采集的方式采集并校驗從而完成數據上報。通過采集平臺配置Oracle 等關系型數據庫、Web Service 接口等形式的數據源作為數據接入層，并通過TCP 協議將加密數據傳輸至采集平臺，通過全文檢索引擎完成數據的索引和格式化存儲。報表平臺負責對數據解析、制定計算規則、設置報表參數、閾值等完成報表的初始化配置與展現。平臺具有高兼容性、高吞吐、高并發、可視化分析、大數據分析等特點。

2 關鍵技術

2.1 技術選型

報表平臺設計遵循可用性高、可擴展性強、響應迅速的要求。選擇基于開源的大數據及其相關組件作為選型標準，要求系統7×24 小時持續可用，可在每日特定時間段內對系統進行維護。要求數據存取服務準確，不能丟失數據。擴展性方面要求系統功能擴展或用戶量增加時應不影響現有系統功能和結構，能夠方便后續其他系統模塊的擴展，能夠當系統數據量和訪問量增大而導致系統配置不能滿足要求時，可以通過僅增加服務器等硬件進行解決。在系統響應方面，要求支持數10 萬客戶同時在線填報和執行數據校驗規則時，頁面響應時間在3 秒以內。

數據采集包括批量采集技術ETL-Data Services，它通過ETL技術將數據從數據資源層采集至報表平臺；非結構化數據采集技術Flume，提供一個模塊分明，易于開發的高可用，高可靠，分布式的海量日志采集、聚合和傳輸系統；Java 采集接口，通過接口采用統一數據交換格式由第三方系統采集數據；BW-OpenHub 數據推送接口，從數倉采集數據到報表平臺。

存儲方面平臺采用分布式存儲策略，存儲技術采用關系型數據庫MySQL、分布式數據庫MongoDB 和分布式全文搜索引擎ElasticSearch、內存數據庫Redis 以及離線緩存服務IndexedDB。

數據分析處理方面平臺使用包括腳本語言、分布式消息隊列KafKa、分布式計算引擎Spark、算法應用Python、機器學習MLlib、深度學習TensorFlow 等開源技術中先進的分布式計算引擎和豐富的數據模型及算法。

針對高可用、高性能、擴展性強的業務特點，平臺選擇基于容器化的應用部署方式。Docker 作為一種新興的虛擬化方式，比傳統虛擬化方式有更多優勢：

（1）Docker 實現了更快地應用交付和部署，可以解決傳統方式下應用部署的步驟繁瑣問題，

（2）使用Kubernetes 的容器管理功能，實現了更輕松地應用遷移和擴展，能在系統擴展上發揮獨特優勢，借助kubernetes 強大的容器管理和編排功能，可以實現在占用較少服務器資源的情況下，更方便地進行應用的遷移與擴展，解決了隨著用戶量不斷增加而導致的傳統方式下服務器資源調度效率低下的問題。同時提高了應用迭代更新的效率，容器啟動也能秒級響應，大量節約了開發、部署的時間。

（3）Docker 實現了更簡單地應用管理，應用修改以增量方式分發和更新，實現了高效地自動化應用管理。

2.2 關鍵技術

2.2.1 數據采集

平臺數據采集層使用采集工具和基于Node.js、Java 自主開發的數據采集模塊完成數據采集工作。平臺數據采集層支持數據自動采集，減少了人工填報的工作量，并可實現同一張報表或腳本支持多個不同的數據源，如關系型數據庫、文本數據源、多維數據庫、NoSQL 數據庫、分布式文件存儲系統、時序數據庫等。采集工具包括批量采集技術ETL-Data Services 以及開源的非結構化數據采集工具Flume。ETL-Data Services 通過ETL 技術，將數據從第三方平臺的數據資源層加載到報表平臺，Flume 提供一個高可用、高可靠、分布式的海量數據采集、聚合和傳輸系統，Flume 將需要同步數據的第三方平臺信息通過配置文件配置到工具采集端，通過對報表數據的解析、轉換將數據格式轉換成報表平臺的數據規范，從而完成數據的采集工作。

Java 接口數據采集的模式是根據第三方平臺的數據規范和要求，通過統一數據交換格式，定制開發專屬數據采集程序從而完成從第三方系統的數據采集需求。此外平臺從數據倉庫BW 采集數據時，可以通過BW 提供的OpenHub 接口技術，把數據推送到報表平臺。

通過以上采集手段豐富了平臺采集模塊的功能，使采集模塊可從不同的數據源中抽取、傳輸、轉換和加載數據到統計分析庫中，完成ETL 過程，實現從各種數據源到報表平臺的格式化存儲過程。

2.2.2 數據存儲

平臺采用分布式存儲策略，存儲技術包括關系型數據庫MySQL、分布式數據庫MongoDB 和全文檢索引擎ElasticSearch、內存數據庫Redis 以及離線緩存IndexedDB。

基于傳統報表系統存在數據存取效率低的現狀，平臺存儲采用分布式部署架構，選擇開源分布式文件存儲數據庫MongoDB做存儲集群為Web 應用提供可擴展的高性能數據存儲解決方案。MongoDB 支持格式化以及非格式化的數據結構，功能豐富，可以存儲比較復雜的數據類型，同時還支持數據建立索引以增強數據查詢的性能。MongoDB 集群在保證擴展能力的同時實現了數據讀寫均衡、高吞吐量，有效的提高了數據存取的效率，同時運用分片技術，智能拆分數據，分片執行任務，實現數據關聯查詢的高性能。數據存儲服務提供負載均衡能力，保證短任務的快速響應、實現報表數據的快速讀寫。

分布式全文檢索引擎ElasticSearch 實現了報表數據的高速檢索、聚合以及高性能關聯匯總查詢，利用查詢緩存技術提高查詢體驗。針對報表的多任務處理，采用智能隊列技術，合并相似任務，提高磁盤讀寫數據的利用率。報表平臺利用ElasticSearch 高擴展、高實時性的搜索與數據分析引擎完成了多報表的索引和關聯查詢，解決了傳統關系型數據庫多表關聯查詢效率低的問題，大大提升了報表數據的分析能力。

2.2.3 容器化

平臺采用微服務架構來承載高并發的需求。基于分布式微服務協同架構的計算引擎、匯總引擎、審核引擎、搜索引擎等支持海量數據運算，支持容錯能力，每個數據節點都有備份，有節點失效仍能保證系統運行。集群中的微服務節點都是對等的，多機可同時服務。大量的高并發高耗時任務可在微服務架構下協同進行，并能夠智能合并任務，完成多級并發操作。

平臺基于微服務的架構設計，讓系統整體變得復雜，提升了測試和運維部署的成本，針對微服務場景下進程多、迭代快的實際需求，平臺采用基于開源的Kubernetes 和Docker 實現了微服務的容器化。容器化技術有效的減輕了微服務模塊的測試、部署以及運維的負擔。同時Docker 解決了各微服務運行時的隔離問題，并且通過打包應用本身及其所有依賴，實現了良好的可移植性以及各環境部署的一致性，打通了開發測試發布的整個流程。基于輕量級、易擴展的Docker 服務，各微服務模塊很容易實現持續集成、持續部署以及計算性能的線性擴展。各模塊如匯總引擎微服務的容器化，通過構建Dockerfile 描述文件把微服務制作成鏡像，并上傳到鏡像私有倉庫。通過基于Kubernetes 的容器編排管理框架，實現各個微服務的快速部署和迭代，并且可以實現各微服務之間的組合編排形成應用。同時Kubernetes 簡化了部署復雜度并且實現了低成本的應用秒級回滾，也提供了應用的可伸縮、高可用、高容錯特性。

2.2.4 多租戶

報表平臺中數據源來自于各第三方系統，數據敏感度高，用戶之間權限隔離度要求高，平臺內各系統數據要求相互隔離存儲，避免造成數據權限混亂從而導致的數據資源濫用，因此數據安全在報表平臺中顯得尤為重要。

報表平臺提供安全訪問控制功能，包括：身份識別、訪問授權、功能訪問鑒權和數據訪問鑒權。訪問授權分為功能授權和數據授權，功能授權決定用戶能訪問的功能，即用戶能看見的功能菜單、按鈕等；數據授權決定用戶訪問某功能時能讀取的數據范圍。平臺支持數據訪問鑒權，在后臺程序處理用戶提交請求時，系統必須根據當前用戶擁有的權限決定此用戶是否具有訪問此功能的權限，防止用戶更改請求URL 跨功能訪問。平臺還提供數據分級管理功能，建立數據分級訪問制度，確定用戶對業務數據特別是敏感的業務數據的訪問范圍，訪問時效等。

報表平臺采用多租戶架構，有獨立的租戶管理模塊，通過系統管理員分配租戶，租戶可自行定制自身的業務。平臺支持租戶間資源隔離及共享，包括CPU、內存、存儲、網絡、數據庫集群等。租戶間數據隔離，采用類“數據庫實例”概念隔離，隔離級別最高，安全性最好，保障了數據安全性，且故障恢復互不影響。租戶間的數據共享由平臺的數據共享模塊統一管理，通過數據共享提高了數據利用率。平臺采用獨立數據架構，底層通過Node.js 實現不同租戶綁定不同的數據庫，保證安全性的同時提高數據隔離和數據擴展級別，簡化了數據模型的擴展設計，滿足了不同租戶的獨特需求，針對故障情況，恢復數據也更簡單。多租戶表單定制具有良好的跨平臺性、易用性以及即配即用特點。租戶通過數據定制選擇和配置數據存儲模式，精準地配置所需要呈現在界面上的業務屬性元素、頁面的樣式及應用操作，滿足了不同租戶的業務需求。

3 結語

智能報表平臺已在集團多個業務系統中成功應用，為全集團各級單位提供報表服務，平臺各功能都實現了既定目標。基于開源框架實現的智能報表平臺滿足了全集團多層級、多業務的應用需求，實現了集團各級數據的采集、存儲、處理、分析、展現全過程以及指標數據的標準化、模型化管理，實現了各種對上、對外報送任務的自動化解決，數據就源輸入以及一次填報多處應用的功能。平臺整體提升了集團數據資源統一管理和利用水平，同時共享業務能力和基礎技術能力，提高了數據質量并增強了集中管控，整體降低了集團總部及各層級單位重復建設的資金成本、時間成本和試錯成本。