基于事件關聯和數據挖掘的網絡故障分析平臺設計研究

［呂永慶］

1 現狀和難點分析

隨著智能通信網絡規模不斷發展，企業通信網不斷擴大，網絡異構性和復雜性不斷增加，網絡中所承載的業務越來越多。故障管理是網絡管理的重要工作，主要用于告警分析和故障診斷。當通信網絡中的設備或線路出現故障的時候，快速定位故障和進行故障修復是保證網絡安全、可靠運行的關鍵。面對如此繁復的網絡運行環境，當告警故障發生后很難快速確定通信網絡中故障發生的準確位置。因為在一個復雜、多層異構的通信網絡中，各個網元設備之間相互連接相互影響，如某個通信光纜發生故障，與之相關的網絡設備也會產生告警。由于網絡本身的復雜以及在邏輯和物理上的關聯性，可能會由單一的故障引起大量的告警信息，從而形成“告警風暴”。在排除故障的過程中，網絡運維人員在接收到這些告警信息的時候，很難從眾多專業、眾多設備的告警信息中找到故障的根源，這些大量的重復告警信息既增加了網絡的流量開銷，也掩蓋了真實故障點，盡管各個廠家的網絡管理系統可以實現對該品牌子網的告警管理，但是由于組網成分差異以及網絡規模擴大，難以依靠單一品牌網管系統實現告警事件的綜合管理。同時在排除故障的過程中，通信運維人員在接收到這些告警信息的時候，難從分辨其系由網絡計劃檢修還是由真實故障產生。這就給網絡管理人員排查故障帶來巨大困難，這使得通信網絡管理變成一項非常困難和復雜的工作。

2 研究目標

為網絡維護管理部門設計建立一套基于事件關聯和數據挖掘的網絡故障分析系統，系統的應用能安全、可靠的充分通過事件關聯和故障歷史數據的深度挖掘，對通信網絡進行詳盡的故障分析和預警分析，達到網絡告警管理精確化，提高通信運維效率，降低人員工作復雜度的目的。

（1）實現通信網絡故障引發告警事件的快速關聯分析。完成對通信網網絡告警關聯分析模型構建，將多個告警事件歸結成較少的告警事件，過濾無用、無意義、不相關的告警，豐富告警包含信息，加快故障原因推理速度，快速求解產生告警的根源或者可能根源的集合，提高故障定位和故障判別、預測的準確性，縮短故障存在時間、提高網絡服務質量、增強用戶滿意度。

（2）實現歷史告警事件信息背后潛在規律的獲取。通過采用數據挖掘技術對歷史告警事件進行挖掘，發現隱含在大量的告警事件背后潛在的規則，并把挖掘出來的關聯規則和序列規則添加到基于規則推理的網絡故障管理系統的規則庫中，增加系統性故障、告警處理規則獲取的途徑，增強系統故障處理的能力，提高系統的智能性，提高通信運行人員駕馭的能力，提升通信專業面向通信網絡的服務保障能力。

（3）實現通信設備故障預測與健康預報管理的智能化。通過分析設備本身的當前健康狀態、歷史狀態等信息，建立告警預報模型。進一步地，根據診斷規則以及預測結果等狀態信息，提供檢修資源調度建議，為下一步的維護檢修活動提供輔助決策。

3 研究內容分析

通信告警管理過程中，針對事件關聯和數據挖掘存在可以進一步分析深入的地方。

（1）網絡故障發生時，大量的報警信息在短時間內涌入，運行人員難以從大量未過濾、未歸并的信息獲得有用的故障信息，易使通信運行人員誤判、漏判，為了適應各種簡單和復雜事故情況下故障的快速、準確識別，需要基于事件關聯和數據挖掘的網絡故障分析及預警系統進行決策參考。另外，由于告警信息未處理、無差別發送，造成短信資費的浪費。

（2）當前的告警采集技術，無法分辨告警的真實來源，例如告警是由計劃檢修產生還是由真實故障產生。真實的故障極有可能淹沒在無用的信息之中，容易造成遺漏的情況。

（3）各個通信系統中存在龐大的存量告警事件信息，這些信息被孤立地存放或簡單記錄在綜合監視系統之中，缺少有效手段對其進行分析，難以從存量信息中挖掘出易調用、可運用、能夠支持運行決策的價值信息。

（4）單一網絡系統的監控比較完備，而在整個網絡層面缺少統一整體的關聯性的監控手段。尤其在跨越不同的網管系統平臺查看告警、事件時，可視性差，難以一覽告警事件發生后的各個通信子網告警時序和關聯情況。另外，在網絡分析中，仍然依靠人工的方式進行傳統的告警相關性分析，進而判斷故障源。故障推論效率較低，且質量過于依靠員工技術水平與經驗。

綜上分析，本項目研究內容主要包括。

（1）告警管理精確化，提高運維效率

基于告警關聯規則的分析評判，使得故障點定位更加精確和故障分析結果準確，減少故障根源分析中的人工介入，降低通信運行工作人員工作量，提升通信網運維管理工作效率。全程物理光纜網的建設，在“抗風救災”應用中，更加真實、準確、完整展示“抗風”應用。分析對象定位更準確，分析結果更精準。分析過程直觀可視、便捷高效；解決圖實不相符的現場產生問題，從而進一步提升通信運行與管理人員的效率與工作質量。

（2）強化通信告警協同處置能力與效率

增強通信與單位其他專業在告警管理上協同聯動與數據共享，提升通信風險數據影響力。建立電網基準風險/關鍵設備對相關通信關鍵設備的影響、研判知識庫，提取和分析已有歷史數據，總結經驗教訓，有利于有效地提升電網基準風險/關鍵設備對相關通信關鍵設備影響的研判與風險分析能力，增強通信與電網其他專業數據互通共享，提升通信風險數據的影響力。

4 技術研究分析

4.1 告警綜合呈現平臺

基于日常的運行管控流程系統獲取日常通信檢修、通信故障的當前/歷史告警工單，通過與綜合監視模塊的告警進行過濾、規范化后，同步到故障分析模塊中的告警數據庫，為用戶提供基于工單數據和告警數據的關聯告警呈現功能。

用戶可通過WEB 頁面展示和查看當前所有告警信息的統計數據，支持按各通信專業子網(例如傳輸網、光纜網、數據網等)、地市局、站點、機房、時間段等維度進行查看；同時可以按各類資源類型（例如光纜段、網元、業務名稱）查找已歸類的歷史告警信息，展示相關的通信網絡物理資源或虛擬資源在其生命周期內所產生的告警、告警過程過程、告警關聯的處理措施、外力活動等全過程的告警信息管理和呈現。

4.2 告警關聯分析庫

根據網管側綜合資源管理模塊已建立的資源和資源拓撲結構數據，在故障分析模塊中分析各專業子網的業務層次結構與關聯關系，實現與故障分析平臺中實時更新的告警數據庫的關聯分析，為用戶提供告警關聯性分析、告警故障源、根告警溯源、追蹤等功能。

可通過對接電網公司已建設的運行管控流程系統獲取當前維護檢修工單數據，本平臺通過定期或實時獲取的方式，同步已有的維護檢修數據并入庫；根據檢修場景的不同進行差異化分析，平臺通過對告警對象名稱、類別、速率等進行歸類，獲取運行管控流程系統的歷史維護檢修數據。

4.3 智能化告警處理規則挖掘模型

根據光纜網、傳輸網、數據網、接入網等“故障-告警”產生原理，建立靜態規則庫，可自動識別告警與告警、告警與運行數據、告警與資源業務關系、告警與邏輯拓撲、告警與物理拓撲、告警與邏輯路由等之間的關聯關系，形成量化的指標值分析和呈現。

結合設備告警生成原理、專家經驗、告警歸類原理、告警與資源關聯關系等建立本地告警規則分析庫，通過規則引擎與推理機制形成告警預測分析結果向用戶推送。

告警規則庫中可用于保存經過預處理的規范化告警信息，事件預處理模塊負責對收集到的告警事件進行事件信息格式化和事件過濾。其中，事件規格化是指對收集的告警事件使用統一的格式，方便事件關聯過程而進行的統一處理；事件過濾是合理、高效的事件過濾機制，實現快速、準確的過濾無效告警、次要告警和濾瞬時告警，通過對告警的等級歸類處理和海量壓縮處理，防止“告警風暴”。

4.4 網絡健康主動預測模型

平臺通過結合設備告警的相關屬性，建立各專業子網中的光纜、通信設備、電源的健康模型，建立通信設備、鏈路的健康預測模型，分析設備當前狀態與模型之間的差異；根據差異結果對設備當前狀態進行診斷與預測，并根據設定的推送規則主動向相關用戶推送，輔助決策設備運維策略。根據各途徑同步搜集到的網絡告警信息和規則庫中保存的規則進行推理和演算，進行故障定位以及故障預測，實現告警事件推理的智能化，提高推理效率。

5 現有研究開發基礎

（1）基于微服務架構的統一告警采集平臺，以及各專業網管的告警采集、告警壓縮、資源管理、資源和告警拓撲關聯、光路關聯、業務管理等告警和資源數據的綜合管理，可以作為本系統框架和功能的基礎平臺使用；

（2）基于B/S 架構的數據匯聚系統，作為本系統基礎數據源使用；

（3）網管系統已經采集各專業網管告警數據、資源數據等作為數據分析的基礎。

6 結束語

本項目通過管理思路和技術手段的相結合的方式解決了這個難題，并在企業通信內網用戶的實際工作中取得了一些成績。項目作為通信行業企業中基于事件關聯和數據挖掘的網絡故障分析平臺，可以大力提高企業通信網的安全穩定水平和調度運行控制能力，為企業各生產系統提供可靠通信的保障，為今后企業各通信網的穩定良好的發展奠定基礎，滿足相關部門各種業務對基礎通信通道安全性、可靠性需求，提高企業通信應對重大人為事件、通信事件、自然災害事件的處理能力。同時也希望本平臺相關技術應用實踐案例會為其他企業通信部門做通信網管相關管理的優化工作思路帶來參考。