ZPW-2000R大數據運維平臺實現方案的研究

周明晰

摘要：為了滿足電務大數據智能運維平臺在數據實時性、全面性、設備狀態健康診斷等方面的要求，需要將大數據技術應用到ZPW-2000R軌道電路運維平臺。

關鍵詞：大數據;運維平臺;ZPW-2000R軌道電路

一、概述

目前，ZPW-2000R遠程服務平臺無法滿足哈局電務大數據智能運維平臺在數據實時性、全面性、設備狀態健康診斷等方面的要求。需要在ZPW-2000R遠程服務平臺的基礎上，開發ZPW-2000R大數據運維平臺，實現ZPW-2000R軌道電路設備的實時監測、運用狀態健康診斷、故障處理流程管理等功能。

二、需求分析

通過與現場客戶的溝通，ZPW-2000R大數據運維平臺需要實現的需求包括：與車站系統維護終端進行數據交互，獲取各車站ZPW-2000R軌道電路設備監測數據;設備數據實時監測;設備狀態健康診斷;篩選、排序、統計、匯總;故障處理作業流程管理;天窗設置管理;調試開通管理;返修設備記錄管理;通過短信、釘釘、微信等形式推送故障信息;向SAP系統發送返修設備基礎數據。

三、系統功能

ZPW-2000R大數據運維平臺主要分成六個大模塊，功能應用層、接口應用層、數據處理平臺、站點數據解析模塊、基礎設施層以及其他應用系統對接。系統架構如圖1所示。

四、系統設計

ZPW-2000R大數據運維平臺基本的技術方案架構如圖2所示。

1、Web前端

Web頁面類型分為：靜態頁面，動態頁面。靜態頁面對I/O要求比較高;動態頁面對內存、CPU等要求比較高。因此靜態頁面與動態頁面分開部署在具有針對性的服務器上以提高性能。

2、Web服務器

Web服務器分為靜態Web服務器，動態Web服務器。其中當客戶訪問靜態頁面的時候，僅訪問靜態web服務器，靜態Web服務器根據需要從文件服務器上提取所必須的css，js，圖片等文件;而當用戶訪問動態頁面時，動態Web服務器根據需要先去緩存服務器上檢查是否有需要的數據，如果有，則直接從緩存服務器中取，否則從數據庫中取相應的數據（以此來達到部分分流效果），同時添加到緩存服務器上根據需要從文件服務器上提取所必須的css，js，圖片等文件。

為了讓多臺服務器更好的協同工作，添加多臺服務器達到分擔負荷的作用，利用網絡負載平衡器把這些服務器群集起來。動態服務業可以按照這樣的均衡方式達到提高性能與擴展的效果。通過Nginx的負載均衡機制，將訪問請求均衡的分配到集群的各個服務器上。

3、數據庫系統

影響動態服務性能關鍵在于數據庫能否及時響應。各個動態應用規模越大，響應的數據庫就越臃腫，響應的速度就越慢。

數據庫系統綜合使用讀寫分離、縱向分割、橫向分割等三種方法實現數據庫負載均衡。

1）讀寫分離。由于讀多寫少，大部分時間消耗在查詢上，因此讓主庫專門用于寫，從庫專門用于讀（讀庫可以有很多個，以減輕單個讀庫的負擔），同時同步寫庫與讀庫的數據;

2）縱向分割。不同的應用可以分到不同的DB中，不同的實例中。這種發放不但效率高，實施也很方便。

3）橫向分割。采用表分區把大表分成小表，數據存儲在不同文件上，然后再部署到獨立物理服務器增加IO吞吐以改善讀寫性能，表分區的另外一個優勢可以增加數據查詢速度。

采用分布式數據庫集群的中間件，如mycat，性能良好，易于擴展，同時監控的更加全面。

緩存系統采用業內主流的Memcache。Memcached是開源的分布式cache系統。Memcached的緩存是一種分布式的，可以讓不同主機上的多個用戶同時訪問， 因此解決了共享內存只能單機應用的局限，更不會出現使用數據庫做類似事情的時候，磁盤開銷和阻塞的發生。

服務器端使用CentOS Linux系統，作為主流的服務器操作系統其穩定性、實用性、適應性、硬件資源利用率等方面均得到國內外普遍認可和采用。

數據庫分別使用MongoDB和Redis。MongoDB作為設備數據存儲，為WEB應用提供可擴展的高性能數據存儲解決方案。MongoDB是一個介于關系數據庫和非關系數據庫之間的產品，是非關系數據庫當中功能最豐富，最像關系數據庫的。它支持的數據結構非常松散，是類似json的bson格式，因此可以存儲比較復雜的數據類型。Mongo最大的特點是它支持的查詢語言非常強大，其語法有點類似于面向對象的查詢語言，幾乎可以實現類似關系數據庫單表查詢的絕大部分功能，而且還支持對數據建立索引。而且它的路線圖中已經包含對MapReduce引擎的內置支持。Redis用作數據庫、高速緩存和消息隊列代理。它支持字符串、哈希表、列表、集合、有序集合，位圖，hyperloglogs等數據類型。內置復制、Lua腳本、LRU收回、事務以及不同級別磁盤持久化功能，同時通過Redis Sentinel提供高可用，通過Redis Cluster提供自動分區。支持很強的性能和并發性。

五、結束語

本文研究了ZPW-2000R大數據運維平臺的一種實現方案，討論了平臺的系統架構、功能和使用的技術，為ZPW-2000R大數據運維平臺的開發提供參考。

參考文獻

[1] 蔣志文 大數據分析技術在數據中心運維中的應用 信息與電腦（理論版）. 2018，（15）