基于業(yè)務(wù)拓?fù)涞母婢垲愱P(guān)聯(lián)分析方法*

尹 山 匡立偉

（1.武漢郵電科學(xué)研究院 武漢 430074）（2.烽火通信科技股份有限公司 武漢 430073）

1 引言

隨著光網(wǎng)絡(luò)的高速發(fā)展，其運(yùn)維也面臨著新的挑戰(zhàn)。從海量的告警數(shù)據(jù)中找到根源告警實(shí)時(shí)準(zhǔn)確診斷故障，保障光網(wǎng)絡(luò)穩(wěn)定運(yùn)行至關(guān)重要［1］。

目前基于關(guān)聯(lián)規(guī)則挖掘的告警相關(guān)性分析已經(jīng)取得了一系列的研究成果［2～6］，其中應(yīng)用較為普遍的是Apriori算法［7～8］以及在其基礎(chǔ)上的一些改進(jìn)算法［9～11］。通過滑動(dòng)時(shí)間窗口法進(jìn)行告警聚類得到告警事務(wù)集是較為有效的方法之一［12～13］。但該方法沒有充分考慮到告警之間的業(yè)務(wù)關(guān)系，很可能將原來相關(guān)的告警劃分在不同的序列中。文獻(xiàn)［14］提出了網(wǎng)絡(luò)和時(shí)間約束的告警相關(guān)性分析算法，在時(shí)間和空間上進(jìn)行關(guān)聯(lián)規(guī)則挖掘，有一定指導(dǎo)作用。因此，針對(duì)滑動(dòng)時(shí)間窗口法的缺陷，結(jié)合網(wǎng)絡(luò)業(yè)務(wù)拓?fù)湫畔⑴c告警相關(guān)性的關(guān)聯(lián)關(guān)系，本文提出基于業(yè)務(wù)拓?fù)涞母婢垲愱P(guān)聯(lián)分析方法。該方法充分考慮光網(wǎng)絡(luò)結(jié)構(gòu)，從光網(wǎng)絡(luò)業(yè)務(wù)維度壓縮告警，改進(jìn)現(xiàn)有的告警聚類方法，使得將相關(guān)告警劃分在不同序列中的可能性盡量減小，為后續(xù)光網(wǎng)絡(luò)故障溯源提供了有效支撐。

2 問題描述和改進(jìn)方法

傳統(tǒng)的滑動(dòng)時(shí)間窗口法在窗口寬度和滑動(dòng)步長(zhǎng)的設(shè)定上存在一定不足［15］。光網(wǎng)絡(luò)中告警產(chǎn)生具有隨機(jī)性，產(chǎn)生時(shí)間具有不確定性。采用固定的窗口寬度和滑動(dòng)步長(zhǎng)，可能會(huì)出現(xiàn)如下問題：1）生成空白告警事務(wù)集，造成時(shí)間和空間資源的浪費(fèi)，影響告警關(guān)聯(lián)規(guī)則挖掘效率；2）窗口寬度過小，同一故障產(chǎn)生的告警可能會(huì)被劃分到不同告警事務(wù)集，不能提取完整的關(guān)聯(lián)告警信息；3）窗口寬度過大，不同故障產(chǎn)生的告警可能會(huì)被劃分到同一告警事務(wù)集，降低告警關(guān)聯(lián)規(guī)則挖掘準(zhǔn)確度。

因此，依據(jù)現(xiàn)網(wǎng)告警具有業(yè)務(wù)拓?fù)湎嚓P(guān)性，基于業(yè)務(wù)拓?fù)溥M(jìn)行告警聚類，將一條業(yè)務(wù)鏈路上的告警劃分到一個(gè)聚類簇，得到一組具有業(yè)務(wù)相關(guān)性的告警。再定義時(shí)間窗來確定這一組告警在時(shí)間上是否相關(guān)。設(shè)一組具有業(yè)務(wù)相關(guān)性的告警事務(wù)集中的告警發(fā)生時(shí)間為t1，t2，…，tn，其中ti-1≤ti(2 ≤i≤n)，時(shí)間差Δt=ti-ti-1，時(shí)間窗口寬度為ΔT，在時(shí)間窗內(nèi)發(fā)生的告警，即Δt≤ΔT，才認(rèn)為具有時(shí)間相關(guān)性。由此得到既具有業(yè)務(wù)相關(guān)性又具有時(shí)間相關(guān)性的告警事務(wù)集，彌補(bǔ)了滑動(dòng)時(shí)間窗口法的局限性。

光傳送網(wǎng)（Optical Transport Network，OTN）的一個(gè)主要特征就是網(wǎng)絡(luò)的層次化。論文基于此特點(diǎn)對(duì)告警事務(wù)集進(jìn)行規(guī)則挖掘。光傳送網(wǎng)的每個(gè)層次之間彼此互為服務(wù)層和客戶層。一個(gè)告警事務(wù)集中，若告警A 和告警B 屬于同一業(yè)務(wù)路徑的不同層次，告警A 處于服務(wù)層，告警B 處于客戶層，告警A 的產(chǎn)生導(dǎo)致同時(shí)產(chǎn)生告警B，則告警A 是告警B的根告警。若告警A和告警B處于業(yè)務(wù)路徑的同一層次，則計(jì)算告警A 和告警B 的支持度和置信度，并定義后項(xiàng)置信度，確定根衍告警。支持度表示告警A 和告警B 在聚類簇S 中同時(shí)出現(xiàn)的概率。如果告警A 和告警B 同時(shí)出現(xiàn)的概率大，說明告警A和告警B總是相關(guān)的。置信度表示告警A出現(xiàn)在聚類簇S 中時(shí)，告警B 同時(shí)出現(xiàn)的條件概率。后項(xiàng)置信度表示告警B 出現(xiàn)在聚類簇S 中時(shí)，告警B 由告警A 引起的條件概率。置信度和后項(xiàng)置信度越高，說明告警A 和告警B 之間的關(guān)聯(lián)強(qiáng)度越大，告警A是告警B的根告警。

3 告警聚類關(guān)聯(lián)分析方法設(shè)計(jì)

本文基于業(yè)務(wù)拓?fù)涞母婢垲惣瓣P(guān)聯(lián)分析方法主要包含三個(gè)模塊：數(shù)據(jù)預(yù)處理模塊，數(shù)據(jù)聚類模塊，規(guī)則挖掘模塊。整體框架如圖1所示。

圖1 告警關(guān)聯(lián)分析系統(tǒng)整體架構(gòu)

數(shù)據(jù)預(yù)處理模塊：從網(wǎng)管系統(tǒng)中導(dǎo)出的原始告警文件和原始拓?fù)湮募枰M(jìn)行數(shù)據(jù)預(yù)處理，篩除其中無效數(shù)據(jù)，并提取出下一步聚類要用到的關(guān)鍵字段。如告警數(shù)據(jù)中的告警ID（TypeId）、告警發(fā)生時(shí)間（Ocurrence Time）、網(wǎng)元（NeId）、單盤（Board-Id）、端口（PortKey）、業(yè)務(wù)ID（Business ID）信息；拓?fù)鋽?shù)據(jù)中每個(gè)拓?fù)涔?jié)點(diǎn)的業(yè)務(wù)ID（Business ID）、對(duì)應(yīng)的層次（Layer）、路由（Route）、客戶層和服務(wù)層（上下層）業(yè)務(wù)ID（ClientID，ServerID）。通過業(yè)務(wù)ID上下關(guān)聯(lián)能夠形成業(yè)務(wù)鏈路拓?fù)湫畔?。預(yù)處理后的部分告警數(shù)據(jù)和拓?fù)鋽?shù)據(jù)實(shí)例如表1、表2所示。

表1 告警數(shù)據(jù)實(shí)例

表2 拓?fù)鋽?shù)據(jù)實(shí)例

數(shù)據(jù)聚類模塊：對(duì)預(yù)處理后的告警數(shù)據(jù)根據(jù)業(yè)務(wù)ID 進(jìn)行聚類，并映射到相應(yīng)的拓?fù)涔?jié)點(diǎn)，形成業(yè)務(wù)鏈路相關(guān)的聚類簇。業(yè)務(wù)聚類簇按實(shí)際情況可分為：?jiǎn)螛I(yè)務(wù)單告警聚類簇，單業(yè)務(wù)多告警聚類簇，多業(yè)務(wù)多告警聚類簇。單業(yè)務(wù)單告警聚類簇中只包含單個(gè)業(yè)務(wù)ID 和單個(gè)告警，對(duì)這種“落單”告警無需進(jìn)行關(guān)聯(lián)分析；單業(yè)務(wù)多告警聚類簇中包含單個(gè)業(yè)務(wù)ID 和多個(gè)告警，這多種告警一般發(fā)生在業(yè)務(wù)路徑的同一層次；多業(yè)務(wù)多告警聚類簇則包含多個(gè)業(yè)務(wù)ID 和多個(gè)告警，這多個(gè)告警可能發(fā)生在業(yè)務(wù)路徑的不同層次或同一層次。在后兩種業(yè)務(wù)聚類簇的基礎(chǔ)上再對(duì)簇內(nèi)告警按時(shí)間窗寬度做細(xì)粒度聚類，得到具有時(shí)間相關(guān)性的細(xì)聚類簇。

規(guī)則挖掘模塊：細(xì)聚類簇中的告警根據(jù)其拓?fù)涔?jié)點(diǎn)的層次對(duì)比得到根衍規(guī)則。同一業(yè)務(wù)路徑不同層次，則服務(wù)層告警為根告警客戶層告警為衍生告警；同一業(yè)務(wù)路徑同層次，則計(jì)算相應(yīng)告警的支持度、置信度和后項(xiàng)置信度，再設(shè)定相應(yīng)閾值得到同層次的根衍規(guī)則。

4 實(shí)驗(yàn)及分析

為驗(yàn)證方法的可行性和有效性，本文以某地級(jí)市現(xiàn)網(wǎng)采集的告警和拓?fù)鋽?shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證。在該地區(qū)采集24 小時(shí)339 個(gè)站點(diǎn)共14106 條告警數(shù)據(jù)，預(yù)處理后還有14106 條告警數(shù)據(jù)共659 種業(yè)務(wù)ID。原始網(wǎng)絡(luò)拓?fù)涔?7804 種拓?fù)涔?jié)點(diǎn)，與告警數(shù)據(jù)相匹配的拓?fù)涔?jié)點(diǎn)共657 種。缺失的兩種業(yè)務(wù)ID 可能是網(wǎng)管服務(wù)器未能及時(shí)獲取更新的拓?fù)湫畔⒃斐傻摹?/p>

采用本文方法對(duì)告警數(shù)據(jù)進(jìn)行業(yè)務(wù)相關(guān)性聚類，得到告警事務(wù)集532 個(gè)，去除單業(yè)務(wù)單告警聚類簇，再對(duì)業(yè)務(wù)相關(guān)聚類簇進(jìn)行時(shí)間相關(guān)性細(xì)聚類后得到事務(wù)集150個(gè)，挖掘規(guī)則131條，部分強(qiáng)關(guān)聯(lián)告警規(guī)則如表3所示。

表3 告警關(guān)聯(lián)規(guī)則

以其中一個(gè)告警事務(wù)集為例，統(tǒng)計(jì)其中告警相互關(guān)聯(lián)下的置信度和后項(xiàng)置信度如表4 所示。該告警事務(wù)集有4 種告警，分析得到共8 種告警關(guān)聯(lián)規(guī)則。

表4 告警關(guān)聯(lián)示意

圖2 對(duì)比了采用傳統(tǒng)滑動(dòng)時(shí)間窗口法和本文方法得到的告警事務(wù)集個(gè)數(shù)和關(guān)聯(lián)規(guī)則個(gè)數(shù)。

圖2 采用傳統(tǒng)滑動(dòng)時(shí)間窗口法和本文方法得到的告警事務(wù)集和關(guān)聯(lián)規(guī)則對(duì)比圖

對(duì)比可知，由本文方法得到的告警事務(wù)集個(gè)數(shù)明顯少于傳統(tǒng)方法，同時(shí)可以挖掘出更多的關(guān)聯(lián)告警規(guī)則。而且如表3 挖掘出的告警規(guī)則經(jīng)由通信專家鑒定基本符合實(shí)際情況，準(zhǔn)確度較高。綜上所述，本文基于業(yè)務(wù)拓?fù)涞母婢垲愱P(guān)聯(lián)分析方法，有效減少了告警事務(wù)集種類，提高了告警聚類的準(zhǔn)確度，在實(shí)際工程應(yīng)用中具有一定的可行性。

5 結(jié)語

本文針對(duì)OTN 網(wǎng)絡(luò)告警具有的業(yè)務(wù)拓?fù)湎嚓P(guān)性，以業(yè)務(wù)分析為核心，提出基于業(yè)務(wù)拓?fù)涞母婢垲愱P(guān)聯(lián)分析方法。該方法的基本思路是引入告警發(fā)生時(shí)對(duì)應(yīng)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和業(yè)務(wù)邏輯信息對(duì)告警進(jìn)行聚類，再根據(jù)時(shí)間窗口閾值進(jìn)行時(shí)間相關(guān)性的細(xì)粒度聚類，然后對(duì)每個(gè)細(xì)粒度聚類簇中的告警再基于告警發(fā)生層次進(jìn)行根衍規(guī)則的挖掘。實(shí)驗(yàn)結(jié)果證明，該方法更符合OTN 網(wǎng)絡(luò)自身的特點(diǎn)，有一定的可行性和優(yōu)越性。下一步工作是將挖掘出的關(guān)聯(lián)規(guī)則進(jìn)一步應(yīng)用于光網(wǎng)絡(luò)故障溯源研究上，實(shí)現(xiàn)告警根因的智能化分析。