基于新一代用電計量類業務系統運行診斷監測和維護技術研究

安徽南瑞中天電力電子有限公司 孟元 錢立鵬 何義赟 周云鶴

1 背景和意義

1.1 研究背景

面對新形勢、新挑戰和新要求，用電計量類業務公司按照“感知數據總入口、控制指令總出口”的系統定位，聚焦“全量數據按需采集、設備狀態動態感知、臺區能源柔性控制、數據靈活高效共享”四大核心業務主線，以“量測、感知、控制、共享”為切入點，主動應對“雙高、雙峰”問題，構建性能卓越、功能豐富、安全穩定的新一代用電計量類業務系統、能源互聯網營銷服務系統，使之成為公司“碳達峰、碳中和”行動方案的重要落腳點和以能源互聯網為核心構建新型電力系統的著力點。

用電計量類業務系統是電力行業規模、技術復雜度和實用化程度較高的核心信息系統，為營銷、生產、調度、安檢等專業提供各項基礎數據，有效支撐了計量資產閉環管理、電費核算、線損管理、配網搶修等各項業務的開展。隨著新型電力系統的建設推進，對新一代用電計量類業務系統的業務支撐能力和可靠穩定運行提出了更高的要求。

1.2 研究意義

新一代用電計量類業務系統運行監控方面應用成熟的大數據、人工智能、云計算等技術，加強核心技術組件的運行監控服務，構建完善的備份恢復策略、安全控制、運行管理監控、故障智能處理等容錯能力，保障終端設備不間斷接入、業務不間斷訪問和數據不間斷共享，全面支撐新一代用電計量業務系統的“數據多樣化、采集實時化、信息互動化、業務增值化”發展趨勢，全面服務市場能源交易生態，服務智能電網運營生態，服務末端精益運維生態，服務綠色能源低碳生態，服務營商環境優化生態，全力助推用電計量類業務系統平穩有序的向數字化轉型和智能化升級。

1.3 國內外研究水平

1.3.1 國內外同類產品研究現狀

在國網層面，用電計量類業務系統已于2015年開展了用電信息采集主站性能在線監測的研究，并將在線監測與用電信息采集系統集成并配套使用。該系統在線監測的對象在實際應用中僅限于系統主站軟件和硬件，軟件包括中間件、數據庫管理軟件、操作系統軟件、采集前置程序；硬件包括采集系統應用主機服務器、數據庫服務器、前置服務器和網絡交換設備。但該功能缺乏可全面推廣實施的應用性能管理解決方案，缺乏可工程化及可實用化的應用性能管理和分析手段，缺乏對用電信息采集系統各種異常日志的分析及提煉并預警的分析功能，缺乏對關鍵業務指標監控，缺乏針對采集系統各類大數據架構組件的監控兼容性，缺乏事件預警分析和故障處理指令自主執行和推送等缺點。

1.3.2 發展趨勢

新一代用電計量類業務系統的建設啟動在設計原則上遵循“架構普適前瞻、技術穩定先進、功能獨立擴展、界面量身定制”設計理念，將廣泛應用大數據、人工智能、云計算等技術，構建彈性擴展、平滑升級、穩定可靠的技術架構。新架構背景開發設計的系統運行診斷監測及維護技術的研究及應用在運行環境監控、軟件平臺監控、應用軟件監控、關鍵指標監控、事件預警和自動化處理等方面提供了重要的運行診斷監控手段，為信息化運維提供有效的性能和業務支撐工具，支撐用電計量類系統開展數字化運維，使得業務運行高效管控，為系統推廣和實用化提供重要保障。

2 總體思路

2.1 總體架構

新一代用電計量類業務系統運行監測應用先進人工智能技術，通過全方位立體化監控，集數字化運維服務，統一事件管理等組件，打通監測與業務應用，在滿足快速響應前臺的變化和創新需求的同時，保障業務系統穩定可靠運行，支撐系統開展數字化運維與業務運行高效管控。

新一代用電計量類業務系統的運行監測由采集層、存儲層、分析層、業務層和展現層組成。采集層基于Prometheus 和Cloudera Manager 收集各類組件和中間件的運行日志，將異常信息寫入消息總線。存儲層通過“讀寫分離”將日志存儲在ElasticSearch 和Hive 中，滿足日志復雜查詢和在線分析的需求。分析層運用流處理程序、人工智能算法，將不同節點、關鍵指標、運行環境異常信息與應用程序進行融合和實時分析，研判告警發生時間、持續時間和嚴重等級，研判對系統運行和業務的影響范圍。業務層根據告警推送策略，主動推送至系統主頁、App以及短信通知運維人員、業務主管等相關人員，同時支持日志、告警的查詢、統計和分析。展現層支持將告警信息、監控指標等信息，以大屏、移動端桌面PC等方式進行展現。

2.2 技術選型

新一代用電計量類業務系統基于組件監控（Prometheus）、全鏈路監控（SkyWalking）等服務組件，構建運行狀態監測、異常實時監測、主動告警與異常處置等能力，實現系統資源、技術組件、應用服務的統一監控。

2.3 功能架構

運行監控能力支撐系統可以對生產應用、交互服務的各類軟硬件資源和服務實現一體化監測與管理。資源監測可以對基礎資源的使用情況和健康程度進行實時監控，并提供歷史狀態查詢。組件監控對系統內大數據組件、中間件、微服務、容器等組件實現統一形式的狀態捕獲，對系統各組件服務的運行狀態、健康情況等實現一體化監測與管理。業務監控對微應用、計算應用進行實時監控，在對任務執行狀況監測的基礎上，實現業務指標的跟蹤監測。日志監測可以提供統一的日志收集、處理、分析、檢索能力。告警預警結合各維度監控信息，結合日志分析，提供告警規則的配置與實現，支持郵件、短信等多種告警形式，并提供可擴展接口，滿足不同網省的差異化需求。支持通過大屏、PC 端、移動端（App掌機、企業微信）等媒介進行展現[1]。

2.4 業務架構

對平臺、組件、系統軟件和運行環境進行日志采集，為開展智能研判提供基礎數據。通過消息中間件實現日志的讀寫分離、快速存儲和高效查詢?；诟婢畔R聚，運用流處理和人工智能技術對網絡層、系統層、平臺組件層、統計層、應用程序（微應用）做實時監測與分析，并對告警進行匯聚，開展告警綜合分析，為后續系統災備切換提供可判斷的依據。

2.5 流程設計

結合系統業務應用層、中間件層、平臺層的日志和告警信息，推送消息中間件進行實時分析，分析結果用于系統運維、故障消缺和異常處理，為新一代用電計量類業務系統的自動化運維、同城災備提供輔助支持功能?；诙嗑S監測信息，統一設計告警配置，利用AlertManager 實現多維告警信息聚合、過濾，結合消息中心和告警處理流程設計，實現告警信息的發布、推送及處理閉環，形成告警管理綜合體系。

3 功能設計

3.1 綜合監測

綜合監測是新一代用電計量類業務系統運行監測的基礎功能，也是核心功能。通過設定監測指標，對監測對象的運行狀態及性能進行監測，包括監測首頁、K8S 監測、微服務監測、調用鏈監測、任務關聯監測、組件監測、基礎資源監測和大數據組件監測等。通過集成大數據、微服務、基礎資源、關鍵業務、K8S 等監控信息，展示各類集群、節點、服務和業務指標的輸出信息。采用集成自研圖形工具如KubeSphere、skywalking、springbootAdmin、Prometheus+grafana、cloudrea manager等第三方開元軟件實現[2]。

3.2 資源關系管理

通過各資源拓撲結構展示集群、服務器、組件、應用之間的拓撲關系，可實現新增集群、新增服務器、新增組件、新增應用的方式完成一鍵診斷、因素分析、新增資源、更新拓撲以及發布的功能，便于運行監控資源關系的管理維護。

3.3 告警管理

告警管理分為告警記錄和告警工單監控，可對系統、組件、應用等多維度匯聚的監測信息進行綜合分析，發現影響系統運行的問題并進行告警。應用場景方面為基礎資源擴容更新、組件升級、程序優化提供支撐，實現異常告警處理與消缺，為系統災備切換提供輔助決策依據。技術特征方面建立監測告警基線模型，支持監控信息的綜合分析、預警、告警、告警處理機制、異常等級劃分、多渠道實時推送告警信息及統一的監測告警視圖。

3.4 消息中心

消息中心提供統一的消息配置，將消息按照指定規則推送到指定終端，并對這一過程進行鏈路、業務監控和輸出運維與運營報表的綜合功能模塊，利用消息分類、消息內容、發送時間、狀態等條件，展示消息分類、消息標題、消息內容、狀態等信息。可實現對消息分類、消息模板、消息發布及配置的新增、刪除、修改，可實現針對不同使用人群的新增消息普通推送、模板推送和主題推送。

3.5 配置管理

提供監控告警和預警策略、處理策略的配置功能，提供事件等級配置和告警發布配置功能，允許根據事件和故障等級實現消息訂閱，實現告警和故障實時推送和提醒，可實現對各類監控、告警規則的新增、刪除、修改和啟用停用功能。

3.6 日志管理

日志管理分為審計日志、業務日志、用戶操作日志、第三方接口日志、頁面停留日志、異常日志、運行日志、服務運行日志、API 網關日志、大數據日志等。基于Prometheus、Cloudera Manager或者其他大數據平臺日志采集軟件，針對應用程序開發的探針，實現對服務器、大數據平臺、微服務器、容器、技術組件、運行程序和關鍵業務的日志信息采集，將日志信息送入Kafka，實現入庫存儲和實時分析。同時，管理頁面可實現對各個節點日志采集情況進行監測，提供查詢和刪除操作。

4 結語

新一代用電計量類業務系統運行監測以數據為基礎、以算法為支撐、以場景為導向，采用先進的實時海量大數據處理方法和機器學習等人工智能技術，通過研究輕量級、低侵入、松耦合的立體化監控[3]，集成管理工具集、數字化運維服務、統一事件管理等模塊化組件，實現了運行診斷監測與前臺業務應用之間的信息和管理聯系，提升了系統運行數據能力支撐和系統可靠性。運用各類數據采集軟件，實現對用電計量類業務系統的平臺、組件、程序和指標等資源進行日志信息的全覆蓋、全采集，構建全域數據感知。運用流處理技術實時檢測出系統的異常情況，運用故障診斷模型對異常進行綜合分析與故障診斷，定位故障節點及影響范圍，運用故障預測開展磁盤異常預測、服務器及程序故障預測等工作，實現系統故障智能分析。以異常分析與故障診斷為基礎，通過構建故障運維智能處理模型，自動觸發預定義規則腳本，依據監測的系統數據及對數據的綜合分析，自動發出運維指令執行相關運維操作，故障消缺智能運維監控工作。