基于運行監控場景的大數據應用探究

國網寧夏電力有限公司電力調度控制中心 徐建忠 李 桐 蘇 波 楊 宏 孫 原

隨著當今信息從發展過度不斷加快，大數據運維是各行各業運維管理的重要方向之一，電力企業也不例外。電力企業運維故障監控工作很多時候需要邀請多位運維專家進行事故檢測與根源排查。安全運維是整個運維管理工作中非常重要原則之一，如何進一步優化電力IT運維監控管理，是電力企業當前需要解決的首要問題。

1 場景類型的研究與分析

運行監控類場景。主要作用是對應用系統具體運行狀況進行實時監控。對網絡層面、系統層面以及應用監控層面，電力企業一般都會采取運維成熟的監控產品來實現企業的正常運轉。而大數據處理技術能夠運用在業務交易級別對其實施監控。采用流數據處理技術，對應用交易日志開展信息、數據的實時采集-匯聚-過濾-關聯-計算-發展。依靠大數據彈性分布式構架以及強大計算性能方面，監控指標可以通過時間維度、指標維度以及業務維度的同時匯集進行計算，實現大數據交易監控顆粒由粗獷到細化的整體監控。

性能容量類場景。一般而言，性能數據主要通過大數據系統監控平臺對其相關信息進行采集并展現出來，但跟數據的交易類型相割裂，很難通過數據的交易量的變化對其性能數據開展關聯性分析，進而找到數據運營的規律所在。因此，大數據系統作為一個平臺，對運維數據進行匯集，通過對數據標識資源標簽進一步實現數據之間的關聯顯示，為進一步發現應用數據吞吐量跟資源消耗二者存在的規律提供可行性的數據分析依據。對于以往歷史性數據，可充分使用大數據技術對其應用模型進行訓練與測算，推測出性能資源的消耗方向，進一步完善歷史數據基線的告警信號，為大數據下的電力資源配置以及年度信息容量規劃提供充足依據。

分析決策類場景。事故前的預測，一是通過大數據處理技術對大量運維數據開展模式化處理，二是數據之間的關聯度分析。由此找到事故出現的預兆與發生的規律，爭取在下次故障來臨之前做好預防以及補救措施，盡可能的避免故障的發生、縮小故障發生所引起的損害范圍以及降低小故障轉化為大故障發生的機率等諸多情況，提供可靠、精準的判斷；事故發生中的定位，主要發生在故障發生過程中，怎樣在告警信號發出后及時、精準、有效的找出故障的位置以及根源能力。通過數據資源之間的匯聚，大數據技術充分運用之下高度實現故障報警自動化識別的基本定位。通過數據的集匯，在大數據處理能力的幫助下，高效找到故障告警信號的自動化識別與定位。能夠大幅度降低故障排除所用的時間以及各方面資源的投入力度，進一步提升業務之間的關聯性。

科技優化類場景。這類場景的立腳點比較高，通過對運行數據從整體上進行綜合分析，對生產的環境以及應用框架提出合理化建議。比如：通過對電子商務不同物品的交易量進行分析，可發現客戶對不同商品的喜愛程度，進而推測客戶的喜好，通過對同類產品不同銷售渠道的處理時間進行研究與分析，根據分析結果進一步改善客戶體驗的方式或者渠道，通過對多活架構主機交易情況的分析，進一步通過對各種交易鏈接交易所消耗的時間計算并發現數據應用群體交易處理的難關等。

2 基于運行監控場景的大數據應用中存在的問題

2.1 事故發生前的故障預測

就當前情況而言，運維管理中存在諸多潛在風險點的挖掘以及系統故障預測功能方面有待升級優化。其一，現行運維的基礎結構隨著時代的需求越來越復雜，所涉及到的平臺逐漸增多，大數據的形態多種多樣，數據的存放比較分散，數據保存質量以及規范性不足，難以實現高效整合；其二，不同運維數據所生成的維度以及顆粒度“井噴”，現行的運維平臺沒有吞吐大量數據以及數據計算的能力，各類運維數據的整合以及數據預測性分析很難完成，非常容易造成“救火式”運維形式的出現。運維管理場景監控在當前還沒有很好的實現一個由被動向主動預防的轉型，需要下一步將數模型逐漸滲透其中，對運維場景進行故障預測與檢驗，構建運維監控管理自身的主動預防能力。

2.2 事故發生中異常情況的識別

運維安全程度高低非常重要，特別是針對一些電網企業，運維安全是其重要生命線，對運行監控針對異常事件以及突發故障的及時識別能力要求非常高。其一，企業對運維系統分析數據結果的時效性要求逐漸提高，傳統的離線場景計算已經遠遠不能夠滿足當下的計算要求，迫使傳統的離線計算場景逐漸向當下計算場景靠近；其二，隨著時代信息化的高速發展，產生了更多的不同類型、不同顆粒度下的運維數據，企業所能收集到的運維量不斷提高，企業對于運維數據自身的處理能力要求越來越高，對其重視度有增無減。如何有效借助大數據所擁有的處理能力，及時有效的實現快速處理多種數據的能力，同時識別運行中存在的風險以及故障，成為企業運維管理工作中一大新的挑戰。

2.3 事故發生后的根本原因分析

在傳統運維管理過程中，面對負載多變的監控業務以及問題診斷，一般都是依靠運維人員的技術以及經驗來找到事件與指標二者之間的關系，進一步對故障位置進行定位。在故障實施定位中，同時再集合多為運維專業人士進行診斷的時候，已經在時間上造成了浪費。

在實施診斷的過程中，其一根據專業人士的專業技能與工作經驗開展對故障的檢驗，但是存在一定程度上主管隨意性，面對當今迅速更新變遷的大數據時代，多種多樣的運維新型系統以及新故障、新風險不斷出現，單純的依據運維專業人員的技術與經驗對故障位置進行定位；其二、隨著當今運維場景的不斷變化、場景的復雜程度越來越高，不同系統以及平臺的高度集成，在傳統運維管理情況下，事故的定位精準度越來越低、定位的及時性越來越差等缺點逐漸暴露出來。假設進一步提高事故發生之后根本原因分析的能力，IT運維管理必然要由粗放式向精細化方向發展，同時借助大數據的處理能力，對事故發生后根本原因的分析過程進行自動化改革，最大限度的節約人力資源，將事故發生后根本原因分析的精準度以及處理速度進一步提高。

3 基于運行監控場景的大數據應用中存在問題的對策

3.1 利用周期性分析技術完善事前故障預警機制

周期性分析與指標性能、故障警報、日志紀律等是依據周期性而發生的規律性，主要作用于運維實施挖掘分析以及數據中反復事物的挖掘。周期性分析可充分運用在指標基線預測當中。IT運維服務系統的服務商應用周期分析可以在運維大數據平臺中根據已有額程序衍生出更多運維大數據。例如充分運用大數據所擁有的自動化籌集資料以及學習業務的運行規律而生成的指標動態預警基本警戒線，能夠擺脫以往“經驗式”的故障運維警戒線模式，有效提高運行監控的精準度。

在業務高峰期出現階段，為求IT系統的穩定，一般運行做法是根據相應業務部門提交上來的業務量以及上漲的預估值，繼而對IT系統基本性能增長的百分比進行判斷。舉例來講，假設預估下一年第一季度的業務上漲量有可能達到45%，進而保障業務水平處于高峰期的時候IT系統的承載能力是多少。這樣的IT運維決策嚴重缺失實際數據支持，存在風險較大，如果IT投入較少，極有可能造成整IT業務系統運營服務系統的崩潰，反之就會造成網絡系統資源的一種浪費。如果通過周期性分析為基礎的指標基線預測的優質在這里充分體現出來，通過進一步對歷史性運維數據的了解與分析，預測未來一段時間（一周）內有關數據的各項指標數值的變化趨勢圖，運營商的運維工作人員可以依據基線預測來對業務高峰期的相關IT數值指標的可能運行狀態進行預測，進而做到預防工作，深層次保障業務處理系統的平穩性以及安全性。

3.2 加強大數據實時計算的處理能力

數據是解決運維效率，提高運維自動化、智能化水平的核心所在，電力企業應該致力于調度、數據故障處理以及質量調優等多個場景當中，積極實現大數據處理的自動化，進一步完善大數據搭建的平臺建設，充分發揮大數據平臺的支撐作用。提升運行效率，進一步完善運維大數據本身的自動化以及智能化水平，最終達到運維大數據的告訴處理，高效應對運維故障中數據井噴現象的發生。針對離線數據進行分析，Hadoop相關數據云計算平臺可以充分利用數據挖掘計算方法高效實現對大量數據廣域運維系統數據開展高效處理。實時數據分析，在流處理模式之下的大數據處理技術的重點在于產生數據實時計算同時可以將結果充分表現出來。

3.3 運用相關性分析技術加強對運維數據的根因分析

相關性分析主要應用于跨業務軟件系統、跨軟件與硬件設備以及跨自動化數據工具等所產生的多個指標之間內部存在的關聯性，主要應用在運維故障根本原因的挖掘以及發現潛在故障原因等模塊。數據相關性分析法可以運用在告警根本原因的挖掘方面，有助于專業運維工作人員高效搜索到告警信息具體是從哪里生發出來的。

例如：A、B兩個服務器在某些業務上存在關聯性，A服務器Tomcat由于CPU的占據比例較高，發出告警信號；B服務器上面的Oracle死鎖數不斷增長，進而發出告警信號。針對歷史運維告警數據，同時對其開展大數據關聯性研析，發現這兩個貌似沒有任何聯系的指標竟然在同一時刻發出告警信號的概率超過90%；在相關性分析挖下可以發現，可以跟A服務器上面的Tomcat在同一時間發出告警信號這一指標的還有C交換機上面某個端口流量與A服務器上面URL協同響起的時間，發生的幾率分別為85%以及80%。通過成分運用大數據技術開展實時學習、研究與分析的基本特性，運維工作人員能夠依據相關性發生的概率在最短的時間內挖掘告警信號發出的位置以及原因，從而進一步完善運維關系庫與知識庫，盡可能的降低人工排查過程中人力、物力以及財力方面的支出，從根本上將潛在的故障風險排除，保障電力系統穩定、安全的運營。

4 項目必要性

安全性分析：本項目是以計算機和數據通信網絡為基礎的應用系統，不采取安全保密措施與網絡系統連接的任何終端都可能導致安全隱患，所以管理信息系統安全保障工作對提高社會信息化水平具有深遠的現實意義。本項目實施全過程無需現有網絡設備及其他電器設備停電，不影響網絡設備運行，亦無需采取過渡措施。保證原有系統正常運行，采用逐步升級過渡的方式。

效能與成本分析：本項目的完成，可以對變電站的設備運行、監控數據的存儲-分析-可視化展示，進一步完善變電站設備監控數據相應的管理以及分析機制，提高設備狀態評估和預測的準確性，通過預警預判,提高對設備運行狀態的認知，可有效開展設備消缺與檢修，同時電網分析將更具有針對性，可有效配置系統備用和通過方式調整，保障電網及百日運行安全，確保調控一體安全高效運作，降低設備事故、電網事故的概率及發生的后果，為公司帶來不可估量的經濟效益和社會效益。

政策適應性分析：根據調監2016年出臺的第57號《基于監控數據的變電站設備運行大數據分析功能需求規范（2016版）》以及《216年出版的124號《基于監控數據的變電站設備運行大數據分析系統功能需求規范等三項規范》以及2019年運行監控場景的大數據提出了推廣變電站設備運行大數據分析與應用，公司“十三五”行動計劃中示范工程單位實現在所有地調上線運行。因此需要對國網寧夏電力調度控制中心調度控制系統變電站監控大數據分析改造，實現地調監控大數據全面覆蓋，從而滿足上述文件的要求。