動環監控數據分析系統研究開發

陳克勝

（廣東盈嘉科技工程發展股份有限公司，廣東廣州 510000）

0 前言

目前主流的動力環境集中監控系統僅僅做到事后告警，普遍缺乏對海量歷史數據價值的二次利用，缺乏故障分析功能和事前預警功能。隨著機房/基站監控規模越來越大，沉淀下來的歷史監控數據越來越多，如何利用好這些數據？本論文提出結合大數據思維、計算機技術，同時結合移動運營商的節能減排的目標，對動力環境集中監控系統的數據進行分析。

1 需求分析與功能設計

為了有效的利用動環集中監控系統的海量數據，為動力設備的維護工作提供有力支撐，需要對動環監控系統存儲的歷史數據進行二次開發利用[1]。在通信領域，動環監控系統的應用已經有十多年的時間，其技術應用發展情況基本可以分為三個層次：分別為基本應用、中級應用和高級應用，具體情況見表1，從目前在通信領域的應用情況看：基本應用已經全部實現，大部分處于中級應用水平，高級應用尚處于探索和不斷完善之中。近年來，用戶對動環監控的高級應用需求越來越多，例如通過動環監控數據分析動力設備的故障率和其容量占有率的關系，以優化設備的帶載率，提升設備的可用度；通過分析不同品牌或不同型號設備的故障率來輔助設備的采購選型；通過對動力設備的用能分析，改進設備節能運行方案，優化機房/基站能效水平等等[2]。

根據動環監控高級應用需求，本文以數據倉庫為基礎，以云平臺為支撐，結合其ETL和并行數據挖掘開發套件，設計了動環監控數據分析系統。

表1 動環監控不同應用階段對比表

1.1 系統總體設計

如圖1所示，動環集中監控系統負責數據采集的實現，完成基礎和關鍵數據的采集；數據分析系統設計為基于云計算的平臺為依托，借助其處理海量數據、分析數據以及決策支持方面的卓越能力，高效、可靠地實現業務需求[3]。數據分析系統以數據倉庫為基礎，以云平臺為支撐，結合其ETL和并行數據挖掘開發套件，打造出高性能、高實時性、高靈活性的新一代基于“云”計算的動環監控數據分析系統。

針對機房設備數據量大，數據格式多樣化，實時性要求高的特點，同時為了滿足上層OLAP和數據挖掘的需要，建立數據倉庫成為了項目成功的關鍵所在。為了保證數據倉庫中數據的質量，需要一種支持多種數據源，具有“數據凈化提煉”功能、數據加工功能和自動化運行功能的抽取類程序，ETL正是這樣的抽取程序。

圖1 系統技術架構圖示

整個系統以數據倉庫為基礎，以云平臺為支撐，結合其ETL和并行數據挖掘開發套件，打造出高性能，高實時性，高靈活性的新一代基于“云”計算的動環數據分析系統。

（1）數據倉庫[4]

數據倉庫通過應用云平臺的數據交換方案，使數據可以在云平臺與倉庫之間雙向流通，充分利用云平臺強大的計算能力，不但保留了原有數據倉庫的特征，并且優化了與前端OLAP和數據挖掘交互的性能問題，在數據操作上具有更大的靈活性，如圖2所示。

（2）數據分區

動環監控系統特點是物理點眾多，數據采集存儲頻繁。數據分析系統設計采用數據分區的方式來解決運營商動環監控數據持續增長后造成的存儲備份、恢復、查詢等問題，把表和索引劃分為多個分區，簡便、高效的對分區進行刪除，添加，拆分、合并和移動等操作，管理TB級別大小的數據。從而解決大數據查詢及處理時阻塞等性能問題，可有效的提高對數據倉庫的管理能力，增強前端數據挖掘和OLAP的響應能力。比如需要大量裝載數據，可先把數據并行的裝入到一個新分區當中建立索引，然后把該分區合并到當前分區中來；如果需要刪除某一年歷史數據，可設計歷史數據分區，只需要把該年的設備數據分區移除即可。

圖2 數據倉庫價值示意圖

圖3 數據分區示意圖

如果采用數據水平分區技術，數據的增長和性能問題就迎刃而解。可以將表和索引劃分為多個分區，輕松的管理TB級別大小的數據。例如，在圖3的設備運行KPI表中，當需要查詢2010年的數據，系統只需要找到2010年的數據分區以及和它對應的分區索引，然后對該分區進行掃描便能迅速獲取需要的結果。

采用數據分區技術將數據表劃分為多個分區，可以簡便、高效的對分區進行刪除、添加、拆分、合并和移動等操作。

基于動環數據倉庫的數據量大、數據采集頻率高、數據分段性強等特點，采用數據分區技術不但可以有效的提高對數據倉庫的管理能力，還能增強前端數據挖掘和OLAP的響應能力。

（3）數據挖掘

如圖4所示。在云平臺上，通過并行計算的方式實現多種數據挖掘算法，通過挖掘方法來給所有設備分類排序，并尋找影響設備的因素，通過查詢對比找出同樣情況最多的類似設備，并展示設備詳細信息和類似信息[5]。通過分析得到設備的故障率，故障發生率，同時結合其他外部因素得出一些影響故障的原因（例如環境、設備本身的屬性等等）。

圖4 數據分析系統示意圖

1.2 并行計算平臺架構設計

動環監控的數據分析系統，通過兩種方式來實現了對動環及能耗數據的挖掘工作，一種方式是在系統中直接集成了兩個分析模塊，一個是能耗模型分析模塊，一個是機房基站聚類模塊，用戶可以通過點擊功能菜單的方式，在系統直接運行對應的算法并以表格或者可視化的圖形返回給客戶，從而實現與客戶進行常規模式下的交互。另一種方式是將數據挖掘的工作分為前臺和后臺兩個部分，即相對獨立的開發一個后臺程序來完成各種算法的并行化實現，類似于一個數據挖掘算法庫；前臺完成數據源及數據挖掘算法的指定，提交給后臺，由后臺對各種算法在并行計算平臺上進行計算[6]，如圖5所示。

圖5 并行計算平臺架構示意圖

1.3 主要功能實現

（1）數據預處理功能的實現[7]

動環監控采集到的前端設備及環境的數據，經過入庫后，在后臺有專門的轉換和導出程序，形成分析系統所需要格式的csv文件包，定時上傳到ftp服務器上。分析系統經過數據的二次采集后，進入數據的預處理流程，經過清洗，轉換及聚合等步驟后的數據才真正成為系統所能夠分析和挖掘的數據。具體的流程如圖6所示。

（2）數據分析功能模塊的實現[8]

下面以動環監控采集到的能耗數據為例，介紹數據分析功能模塊的實現。

能耗數據分析功能模塊實現了基站機房在企業級和用能場所兩個級別上的的能耗結構分析，趨勢分析以及數據相關性分析。其中能耗結構分析又可以劃分為樣本集能耗結構查詢，地域能耗結構查詢，能耗查詢結果下鉆查詢以及查詢結果導出等功能點。趨勢分析又可劃分為樣本集能耗數據相關性查詢，地域數據相關性查詢以及時間相關性查詢。樣本集是某些有特定屬性的地域的機房/基站，經選擇出來并做分析后，能更有效的作為標準去預測同類型設備的耗能情況。

圖6 數據預處理數據流程示意圖

1）Action如圖7所示。

enterprise()

圖7 能耗分析流程（Action）示意圖

2）Service如圖8所示。

getEnterprise(query,analysisType,dataIds)

圖8 能耗分析流程（Service）示意圖

3）Dao如圖9所示。

getEnterpriseInfo(query,dataIds)

圖9 能耗分析流程（Dao）示意圖

4）代碼實現片段如圖10所示。

2 結束語

本論文針對在動環數據的挖掘利用中碰到的一些具體的挑戰，比如所分析的主題往往是新興的主題，提出無論對于用戶還是IT企業，都必須設計出合理的數據倉庫架構，避免采用固定的數據處理邏輯，保持良好的可擴展性和可維護性。本論文設計的數據分析系統已經在南方基地IDC機房，東莞及汕頭移動通信機房/基站等進行了規模驗證試用。經過該課題研究，在動環集中監控系統的數據分析和功能實現等方面積累了豐富的經驗。

圖10 能耗分析代碼實現片段

［1］中國移動集團公司網管建設總體規劃［S］.中國移動通信集團公司，2001.

［2］殷培紅.動力及環境集中動力環境集中監控系統的研究應用［D］.北京：華北電力大學，2007.

［3］余小軍.數據挖掘在動力設備動力環境集中監控系統中的應用研究［J］.計算機光盤軟件與應用，2013（8）：105-106.

［4］郭川軍，朱貴.數據倉庫技術研究［J］.信息技術，2004（04）：61-63.

［5］毛國君，段立娟，王實，等.數據挖掘原理與算法：第二版［M］.北京：清華大學出版社，2007.

［6］殷正坤.淺析云計算在網絡技術中的應用［J］.電子制作，2013（16）：153.

［7］劉明吉，王秀峰，黃亞樓.數據挖掘中的數據預處理［J］.計算機科學，2000（04）：54-57.

［8］張海燕.數據挖掘技術應用于大學圖書館系統研究［D］.南京：南京信息工程大學，2008.