運維大數據和智能運維在電力行業的實踐

袁冠云

（廣東寶繹通信科技有限公司 ，廣東 廣州 510660）

0 引 言

信息技術的發展日新月異，大數據和智能運維技術在各大行業數字化轉型中不斷引發新的技術熱潮。IT運維領域涵蓋了各類不同的運維管理和監控系統，在日常運行維護過程中不斷產生大量運維數據，包括日志、指標、關系以及傳感器信息等。這些數據格式不一，解讀方式方法各異，卻覆蓋了IT系統運行過程中的方方面面。對運維數據的集中化采集、清洗和挖掘，結合更多的運維場景提升數據提煉能力、發揮數據價值將是智能運維平臺不可或缺的重要功能。其中的3大要素包括數據、算法和平臺。對于數據，大量且種類繁多的IT基礎設施提供采集數據能力和存儲能力，用于處理歷史和實時產生的海量數據；對于算法，用于計算和分析，以產生IT運維場景所需要的結果；對于平臺，運維平臺是智能運維的基石，既是數據的來源之一，也是算法落地的依托。

運維大數據處理框架如圖1所示。

1 運維大數據

1.1 運維數據采集

IT系統數據的來源極其廣泛，由于歷史原因，電網企業中還存在大量的IOE存量系統在數據中心運行；同時隨著電網數字化轉型加速，信息化建設如火如荼，大量新上的系統更多采用x86架構，運行在Linux平臺乃至docker中。大量的異構軟硬件既有傳統的穩態業務也有新的敏態業務，技術體系不一，產生的運維數據也具備不同的類型和格式，需要不同的采集和解讀方式。隨著時間積累，運維數據量呈現爆發性增長趨勢。要發掘這些數據的價值，需要與時俱進采用各種新技術手段，從各個數據源及時收集數據，統一匯聚發送到數據中間件進行加工處理。數據采集負責將智能運維所需要的各類數據接入至智能運維平臺，一般包括但不限于日志數據、性能指標數據、網絡抓包數據、用戶行為數據、告警數據、配置管理數據以及運維流程類數據等。

1.2 數據預處理

數據質量對數據價值具有非常直接的影響。如何確保數據準確性和完整、及時、可靠地進行采集處理是關鍵。常見的IT軟硬件系統產生的運維數據通常具有多個數據源。由于信息化系統不一定具備統一的應用規范、日志規范，信息系統數據源容易受到噪聲數據、數據值缺失與數據沖突等負面影響。

通過引入數據預處理可以有效提升數據質量，并提升后繼數據分析和可視化的效果。數據清理技術包括數據一致性檢測技術、數據過濾技術、數據修正技術以及數據噪聲平滑技術等。而數據歸約技術可以在確保挖掘結果準確性的前提下，降低數據集規模。經過數據轉換處理后，數據被變換或統一，不僅簡化處理與分析過程，提升時效性，也使得分析挖掘的算法、模式更容易被理解。數據轉換處理技術包括基于規則或元數據的轉換技術、基于模型和學習的轉換技術等。數據處理流程如圖2所示。

1.3 運維數據存儲

目前電網企業中主要數據存儲介質類型包括內存和外存（磁盤、磁帶、光盤等）等。根據運維數據類型和消費場景，可以選擇不同的數據存儲方式。主要數據組織管理方式包括傳統的塊級存儲方式、NAS級文件存儲方式、結構化數據庫組織等。大數據特征和應用特點恰好和現實IT環境中的不同的存儲介質和組織管理形式映射。

傳統的獨占式存儲只能向上擴展，很容易達到性能和容量的天花板。在這個大數據和信息爆炸時代，分布式存儲已經成為大數據存儲的主流技術，其性能與成本呈線性增長關系；各個節點相互冗余，可以物理分布在不同的數據中心，對外提供統一的存儲能力，借助IP網絡完成數據通信和數據傳輸。通過采用通用的標準化硬件，降低了單位容量成本，有效緩解數據的存儲的容量和性能挑戰，降低管理難度。相對于傳統的SAN存儲和NAS存儲，分布式存儲具有經濟、高效、高可用等特點，快速取代了傳統IOE體系的存儲。

文檔存儲以封包KV鍵值對的方式進行存儲，是NoSQL存儲的一種方式，相對于傳統關系模型無需強制架構，支持嵌套，更加關注文檔內部的結構，直接支持二級index高效查詢。文檔存儲支持對結構化數據的訪問。應用開發時做好檢索封包等約定，或根據數據特點劃分不同的文檔集合。KV存儲磁盤讀寫次數相對較少，比起傳統的SQL數據庫讀寫性能更加出色，不涉及太多數據關系的業務數據。

列式存儲將數據按行排序，以流的方式在列中存儲所有的數據。列式數據庫非常適合大數據批量處理和即時查詢場景，可以有效減少數據量讀取I/O需求，降低系統負載提高處理效率。

圖形數據庫可用于描述真實世界的各種對象關系，如社交圖譜建模等。使用傳統關系數據庫技術無法滿足現實世界IT系統中錯綜復雜的關聯關系超大量圖形數據的存儲、查詢等需求，而圖形數據庫正好滿足了圖形數據的查詢、遍歷、求最短路徑等需求。

運維大數據存儲方式如圖3所示。

1.4 運維數據分析和可視化

數據中心大量信息系統以及各類平臺、主機、服務器、網絡設備、安全設備、數據庫在運行過程中會產生大量的運行日志、安全日志和行為日志。因此，需要建立相對完善的數據模型以便提升分析能力，包括相對成熟的存量數據信息的統計分析技術，以及未知數據信息挖掘和學習預測技術。后者發展非常迅速，在互聯網行業應用廣泛，但針對電網企業數據中心運維場景還存在具體落地應用的挑戰。

運維數據對于專業IT運維有規律可循，但對于業務人員如何簡潔、高效呈現數據信息的規律和價值則更為關鍵。數據信息的傳遞和溝通是數據可視化的重要目標。借助計算機圖形圖像處理技術，將數據轉化為各類圖表在大屏幕呈現是傳統方式，借助最新的游戲技術甚至VR技術還可以實現人機數據交互處理。數據庫中的數據項不再是冷冰冰的單個圖元屬性或平面的數據圖像，可以多維度檢索、觀測、分析。

2 智能運維平臺

構建面向業務價值的運維體系離不開優秀的運維管理平臺。在智能運維落地的過程中，數據的來源、算法的實施與智能運維場景落地等都離不開智能運維平臺的有效支撐。智能運維管理平臺包括以下模塊：

2.1 配置和關系數據管理

配置管理模塊包含了數據中心中各類IT資源的關鍵屬性和物理、邏輯拓撲關聯關系，除了資產類應用資源管理、基礎資源管理能力，還具備按需靈活拓展、建立與配置運維對象之間的關系的能力。

2.2 監控數據采集

即運維監控數據的獲取，對業務質量的監控和告警。在構建立體化監控的過程中，收集數據并非最終目標，挖掘數據的價值才能體現運維價值所在，一般運維對業務質量保障的定義為幾個維度（圖4）。

（1）監控，主要關注覆蓋率、狀態反饋、指標度量。監控需要從底層硬件到上層軟件應用全覆蓋。

（2）告警，關注告警及時性、準確性、關聯性等。業務越來越復雜，每一個監控點都會產生數據指標、一個點狀態異常可能造成海量重復告警。通過引入算法有效分級、追蹤、關聯、收斂、抑制，是智能告警的重要一環。結合CMDB中運維對象的關聯關系，以面向業務的視角，將低層次的指標收斂為高層次的指標，實現技術運營數據的價值挖掘。

（3）運營，根因分析、事件管理、統計報表與考核。通過事件管理機制保證RCA落地，通過報表和考核推動運維優化提升。

2.3 運維作業實施

日常運維作業實施包括運維工具箱、任務調度等功能，批量作業實現減員增效的同時降低風險。其中包括兩個亮點。

（1）故障自愈。根據告警事件、故障診斷的結果的輸出，按規則觸發標準變更自動化作業的過程，全程無須人工介入。

（2）基線偏離預警。不同于傳統的固化的閾值報警體系，通過對各個系統運行指標采集自動采集，動態設定系統正常運行的“基準線”，對于基線偏離主動預警、防患未然。

3 結 論

大數據和智能運維技術在IT運維領域的應用將開啟IT運維的新時代，由數據驅動智慧運維，實現個性化服務，深度挖掘電網企業業務熱點及痛點，大大減少對個體依賴，逐步以機器和算法代替人海戰術，實現智能監控、分析、判斷、決策和操作，從而實現成本管理、效率提升、質量保障的精益化管理。