民航旅客服務信息系統告警關聯規則挖掘

趙紀剛 張 超 丁建立 王 靜

民航旅客服務信息系統告警關聯規則挖掘

趙紀剛1張 超2丁建立2王 靜2

1(中國民航信息網絡股份有限公司 北京 100105)

2(中國民航大學計算機科學與技術學院 天津 300300)

告警關聯規則挖掘是進行系統故障診斷、定位的重要方法。由于民航旅客服務信息系統的各子系統之間的關聯關系，子系統一旦出現故障，會報出大量甚至海量的告警信息，使得維護人員在大量告警數據面前無法準確進行故障定位。針對故障診斷、定位等難題，提出基于滑動時間窗口框架的關聯規則挖掘方法，在大量告警信息中尋找故障源、故障因素之間的關聯。實驗結果表明，提出的方法能準確、快速地發現有價值的告警關聯規則，為系統維護人員提供決策支持。

滑動時間窗口 告警關聯 規則挖掘 頻繁項集

0 引 言

民航旅客服務信息系統是國家民航業重要信息系統，承載著民航大量的重要業務，需要保持每天24小時無間斷的持續運行，并具有安全性、可靠性、高效性和實時性等特點。系統的癱瘓甚至某個應用的服務中斷、進程的丟失等都可能會導致多個民航業務的癱瘓。因此，國家和民航局對民航旅客服務信息系統的安全可靠運行提出了很高的要求。目前，日志記錄是實現系統及應用軟件全流程監控的一種重要方式，業務系統每天的運行情況都會記錄到日志文件中。其中包含了非常重要的業務運行數據以及故障事件的前因后果等重要信息。尤其當系統發生故障時會出現大量的告警信息，這使系統維護人員不能及時準確地發現根源告警信息，更難以發現告警數據之間的關聯關系，系統維護任務困難且繁重。所以科學合理研究分析告警數據之間的關聯關系，顯示根源告警信息，過濾掉根源告警引起的其他告警數據，實現故障的診斷、預測[1]和報警處理的智能化，對于及時處理故障、維護系統安全具有重要意義。

1 國內外研究現狀

目前國內外很多學者提出了各種基于告警關聯規則挖掘的方法，提高了相關性分析的效率和準確性。Gao等研究如何從大量告警數據中挖掘的關聯規則[2]。Yan等[3]提出基于數值約束的方法來進行網絡告警關聯規則發現。徐前方[4]提出了一種基于相關度統計的告警關聯規則挖掘算法。由于民航信息系統的告警信息的非結構化特性導致上述方法無法直接對數據進行規則挖掘，另外對于時間維度上告警信息如何處理成待挖掘數據集也是一個難點。本文針對告警數據的特殊性，運用滑動時間窗口模型，針對窗口大小和步長進行探討，來生成事務集，并對事務集進行告警關聯規則挖掘。

2 安全監控系統及告警數據特征分析

2.1 安全監控系統

安全監控系統是監控民航旅客服務信息系統各個應用子系統的平臺。監控系統在每個應用子系統上部署一個Agent端點，每當應用子系統發生故障就會發出告警信息，Agent端點負責信息采集，監控系統把告警信息進行簡單分析然后把相應的告警發送給維護人員。同時，監控系統也把告警數據存放到日志文件中去，告警監控示意如圖1所示。

圖1 告警信息監控示意圖

2.2 安全監控系統告警數據特征

安全監控系統采集的各個應用子系統的告警數據有著不同于其他行業數據的特點，它存儲于日志文件中，屬于一種非結構化數據。通過分析和研究監控系統的告警數據將其特征總結如下：

1) 海量數據。由于民航業飛速發展，應用子系統越來越多，而且聯系越來越緊密，設備與設備、系統與系統之間的關系也越來越復雜。這造成一個設備出現故障，可能會引發其他設備也發出告警信息，系統拓撲結構是產生大量告警信息的主要原因。

2) 時序性。告警數據的產生在時間上是呈現為先后順序的，也就是說根源故障總是先發生，繼而導致后續故障發生。它們有很強的時間關聯，這也是確定告警根源的一個重要依據。

3) 關聯性。由于應用子系統之間和設備之間的關聯關系，告警之間的激發關系，所以使得告警數據之間存在有意義的關聯關系，此特性是挖掘分析與研究的重點。

4) 非結構化。告警數據存放于日志文件中，它是一種文檔格式，沒有固定結構，只存在一定的格式標準。同時故障中存儲的信息也是多種多樣，不只告警信息，這就造成通常挖掘算法不能直接應用到原始日志文件中，必須對日志文件進行預處理，把告警數據處理成結構化數據，方便挖掘。

3 告警關聯問題描述及挖掘算法模型介紹

3.1 告警關聯問題描述

3.1.1 告警數據處理

告警數據存儲在日志文件中，日志文件的非結構化形式存儲使得通用挖掘算法不能直接應用于此告警數據，必須得經過數據預處理，提取告警數據將其轉化為結構化數據，使其能夠被挖掘算法所處理。數據預處理是數據挖掘過程中重要且關鍵的一步，數據預處理的好壞決定著關聯規則挖掘的質量與效果。告警關聯分析模型如圖2所示。

圖2 告警關聯分析模型

用正則表達式提取日志文件中具有XML形式的告警數據，并保存XML格式的文本。用Dom4j框架解析保存好的XML文本，提取各個應用子系統的告警信息，去除噪聲數據(即缺失關鍵字段信息的告警數據)并保存為結構化形式數據。每條數據按D={Event_hostname, Event_name, Event_id, Source,Info, Time, Level, Agent_name}形式存儲到數據庫中，其中Source表示告警發生源頭，實際就是告警所發生的主機的IP地址，Info表示告警信息，Time表示告警發生的時間，Level表示故障等級。

3.1.2 相關問題描述

定義1 告警序列[5，6]

告警序列S是由告警信息集合上的多個有序的告警組成，表示為S={s,Ts,Te},Ts為告警序列起始時間，Te為告警序列終止時間。如圖3所示，告警序列由多個告警事件(A,t)組成，A代表告警信息，t代表告警發生時間。

圖3 告警時序圖

定義2 告警窗口[7，8]和滑動步長。

對于給定告警序列S={s,Ts,Te}上面的一個告警子序列，可以表示為Sw={w,ts,te}，ts>Ts,te?；瑒硬介L為當前告警窗口向后滑動的距離，這里用d表示。

定義3 告警關聯規則。

給定一個告警序列S，告警情景α是告警序列組成的告警集合，設定告警窗口寬度w,滑動距離d。遍歷整個告警數據庫序列集。若告警情景α發生的頻繁程度大于給定的最小支持度MinSup，則說明告警情景α是頻繁的。

(1)

告警情景α?β的置信度定義為：

(2)

若告警情景α=A，β=AB，conf(α?β)=90%，情景α、β都是頻繁告警序列并且滿足conf大于最小置信度MinConf，則可以得出一條告警關聯規則：若情景α出現，則在一個告警窗口內，情景α出現的概率為90%。

定義4 告警偏序關系[9]。

下面介紹告警序列中告警信息間的三種偏序關系(如圖4所示)。

圖4 告警偏序關系

(1) 串行關系

根據告警數據的時序性，告警序列間發生告警是有先后引發關系的。當一種告警事件發生時，會引發另外一種或多種告警事件發生，且這種關系是固定不會逆轉的，即α?β，但不存在β?α，則稱這種關系為串行關系。

(2) 并行關系

對于告警情景α、β, α發生β也發生，β發生α也發生，即它們之間沒有嚴格的時間先后關系，總是同時發生，則稱這種關系為并行關系。

(3) 混合關系

告警情景(c)由告警事件E、F和G組成，且通常告警E和F共同發生后會引起告警G發生，那么E、F和G為混合關系。其實混合關系也是串行關系與并行關系的一種綜合關系。

3.1.3 時間窗口寬度和滑動步長選擇

時間窗口寬度和滑動步長是影響規則挖掘結果的兩個重要因素。時間窗口寬度過小會使一些有關聯的告警事件無法被挖掘出來，時間窗口過大會造成原本沒有關聯的告警事件當作關聯規則被挖掘出來。本文時間窗口寬度設置依據是，統計整個告警數據集上告警事件的持續時間，并根據時間分布比例來設置窗口寬度大小。

滑動步長的選擇以保證相鄰窗口有足夠的重疊為原則[10]?；瑒硬介L越小，相鄰時間窗口內告警相關性越強，挖掘的關聯規則越多?；瑒硬介L越大，相鄰的兩個時間窗口內告警重疊越少，告警相關性越弱，挖掘的關聯規則越少?；瑒硬介L取值范圍為Smin

3.2 基于時間滑動窗口的關聯規則挖掘算法

本算法主要分為兩個主體部分：(1)生成告警關聯數據集；(2)告警關聯規則挖掘。其中在生成告警關聯數據庫部分，為了壓縮告警數據，提高挖掘告警關聯規則的效率，運用了有效時間窗口的思想。

3.2.1 生成告警關聯數據集

首先設定時間窗口的大小以及窗口滑動距離，遍歷整個數據預處理后的告警數據集，產生告警關聯數據集。由于告警數據集的告警字段很多，為了提高算法的挖掘效率，對字段進行縮減，只提取那些對告警關聯規則挖掘緊密相關的字段。本算法主要提取四個字段：① 發生告警的主機IP；② 產生的告警信息，描述發生了何種告警信息，包括故障類型，產生原因；③ 告警發生時間；④ 告警發生等級。最終生成了告警數據庫，每個時間窗口內發生的告警事件作為一條數據集，每條數據集記錄了告警信息，告警發生時間、告警數據所發生在的主機IP地址以及在窗口內發生的次數。

由于系統并不是時時刻刻都在告警，有些告警數據中間的時間差比較大，這樣就會造成時間窗口在數據集上按照時間維度滑動時，有些時間窗口內并沒有告警事件發生，這樣就產生了空時間窗口，稱為無效時間窗口。整個時間序列上有效窗口的個數為：

(3)

其中，|W(S,W)′|表示無效窗口數。顯然，在生成頻繁項集過程中需要掃描數據庫，無效窗口浪費了很多掃描時間，占用了大量空間。本算法去掉所有無效時間窗口，基于時間窗口的思想進行實驗，大大提高了算法的效率。由式(1)可知，時間窗口數量|W(S,W)|減小，支持度也提高了。

分析告警數據時發現在一個時間窗口中，同一個告警事件在一個時刻發生了多次，而且在不同時刻也發生了多次。為了壓縮告警數據庫，同時避免一個告警事件在一個窗口內發生頻繁而其他時間窗口極少發生而被計算成頻繁項的情況，本算法采用如下處理模型，一個時間窗口中同一個告警事件發生了多次被記錄一次。為了保證原有告警數據的時序性，嚴格按照告警事件發生的時間順序進行記錄。

3.2.2 告警關聯規則挖掘

本文采用FP-Tree的序列模式挖掘算法[4]，通過兩次掃描數據庫，構造FP-Tree，在以后發現頻繁項集的過程中，不需要產生候選項集，效率明顯強于Apriori算法?；舅枷霝椋菏紫韧ㄟ^FP-Tree的改進，將告警數據壓縮到FP-Tree上，然后對FP-Tree自底向上查找頻繁告警項集，最后挖掘告警事件間的時序關系。算法的輸入輸出如下：

輸入：(1) 告警序列S；(2) 滑動窗口寬度w和滑動步長d；(3) 最小支持度MinSup；(4) 最小置信度MinConf。

輸出：S中滿足MinSup和MinConf的關聯規則。

4 實驗測試及結果分析

在CPU為Intel 2140-1.6 GHz，內存為2 GB，操作系統為Window7的計算機環境下，用Java對數據庫SQL Server 2008里存儲的已預處理的告警數據進行了實驗。對 2013年12月1日到2013年12月21日的告警數據的告警事件持續時間進行統計分析，對告警事件按持續時間進行劃分，不同持續時間的告警事件所占比重如圖5所示。

圖5 告警事件持續時間分布圖

由圖5可知，持續時間在16分鐘以內的告警事件大約在整個告警數據集中95%左右，也就是說絕大部分告警事件會囊括在寬度為16分鐘的時間窗口內。實驗中設置滑動窗口的寬度為16分鐘，滑動距離大小為8分鐘，設置最小支持度為8%，置信度為85%。實驗數據為民航旅客服務信息系統連續三周的告警數據，大約46 000條告警記錄，27種告警類型。實驗挖掘出的告警關聯規則如表1所示。

表1 告警關聯規則

以第一條規則為例解釋挖掘出關聯規則的含義：當IP地址為10.6.141.16的子系統下發生了ALARM_TLOG_RESTART這個告警時，在時間窗口大小16分鐘內，IP地址為10.6.141.16的子系統下發生ALARM_TLOG_ERROR這個告警的概率為91.3%。

為了驗證挖掘出關聯規則的準確率，進行了另外一組驗證實驗，驗證數據是2013年12月22日到2013年12月31號產生的告警信息。把告警信息與關聯規則前件進行匹配，如果告警信息和規則后件描述一致，則規則匹配成功，否則匹配失敗。部分關聯規則準確率如表2所示。

表2 告警關聯規則準確率

根據上面提到的關聯規則之間的偏序關系，對挖掘出來的告警關聯規則進行意義及應用分析。比如表1中第一條告警關聯規則滿足串行關系，其意義有兩點：(1) 追溯故障源，把告警規則的前件當作故障源來處理；(2) 壓縮冗余的告警數據，系統在發生告警時會報出大量數據，除了故障源之外，與故障源關聯的其他系統也會報出告警數據，這樣在下次系統發生規則前件的告警時，讓安全監控系統的Agent只提取出規則前件的告警信息，其余告警信息過濾掉。表1中的第二、三條告警關聯規則屬于偏序關系中的并行關系，當規則前件的告警事件發生時可以預測另外IP地址下的子系統將要發生的告警。第七條規則屬于混合關系，規則前件的事件都發生后來預測規則后件的告警。這些規則的意義對于維護人員來說可以提前采取措施進行處理，及時恢復系統。

5 結 語

本文根據民航旅客服務信息系統產生的告警數據的特征進行了數據預處理并用基于事件窗口滑動的框架模型進行了告警關聯規則的挖掘并取得有效的實驗結果。系統維護工作的繁雜使得告警關聯規則的挖掘很有必要。挖掘出的告警關聯規則對于系統維護人員進行故障定位、告警數據壓縮以及告警事件的預測起到了決策支持的作用。下一步將對支持度以及置信度等參數的設置對實驗結果影響做更細致和深入的研究。

[1] 張現飛, 侯思祖.電力通信網監控系統告警關聯分析[J].電力系統通信, 2009,30(1):47-50.

[2] Gao H S, Li Y M. An efficient communication network SDH alarm association rule mining algorithm[J].Advanced Materials Research, 2014,926-930:1870-1873.

[3] Yan H, Zhang T. Association rules mining based on numeric constraint[J].Advances In Information Sciences and Service Sciences,2012,4(23):634-642.

[4] 徐前方. 基于數據挖掘的網絡故障告警相關性研究[D].北京郵電大學, 2007.

[5] 徐前方, 闞建杰, 李永春. 一種具有時序特征的告警關聯規則挖掘算法[J].微電子學與計算機, 2007,24(3):23-26.

[6] Li T, Li X. Novel alarm correlation analysis system based on association rules mining in telecommunication networks[J].Information Sciences, 2010,180(16):2960-2978.

[7] 李國輝, 陳輝. 挖掘數據流任意滑動時間窗口內頻繁模式[J].軟件學報, 2008,19(10):2585-2596.

[8] Hou S, Zhang X. Alarms association rules based on sequential pattern mining algorithm[C]//Proceedings-5th International Conference on Fuzzy System and Knowledge Discovery: 2008：556-560.

[9] 劉康平, 李增智. 網絡告警序列中的頻繁情景規則挖掘算法[J]. 小型微型計算機系統, 2003,24(5):891-894．

[10] 李彤巖, 李興明. 基于雙約束滑動時間窗口的告警預處理方法研究[J].計算機應用研究,2013,30(2):582-584.

[11] 陳輝, 鄧慶山, 楊兵. 挖掘數據流最近時間窗口內頻繁模式[J].小型微型計算機系統, 2009, 30(12):2404-2408.

[12] 寇香霞, 任永功, 宋奎勇.一種基于滑動窗口的數據流頻繁項集挖掘算法[J].計算機應用與軟件, 2013,30(1):143-146.

ALARM ASSOCIATION RULES MINING IN AVIATION PASSENGER SERVICE INFORMATION SYSTEM

Zhao Jigang1Zhang Chao2Ding Jianli2Wang Jing2

1(TravelSkyTechnologyLimitedCompany,Beijing100105,China)2(SchoolofComputerScienceandTechnology,CivilAviationUniversityofChina,Tianjin300300,China)

Alarm association rules mining is an important method in system fault diagnosis and localisation. Due to the association relationship between each subsystem in aviation passengers service information system, once a subsystem fails, it will produce a large number of or even massive alarm information, which makes it hard to find the system fault root for the system maintenance personnel. To overcome the difficulties of fault diagnosis and localisations, this paper puts forward an association rules mining method which is based on sliding time window framework. This method can find the association relationship between fault roots and fault factors from huge alarm information. Through the experiment it is indicated that the proposed method can find the valuable alarm association rules accurately and quickly, and provides the decision-making support for system maintenance personnel.

Sliding time window Alarm association Rule mining Frequent item sets

2014-08-08。國家科技支撐計劃項目(2012BAH 21F02)；民航局科技創新引導資金專項(MRHD20130106)；中國民航大學中央高校基金項目(3122014P004,3122014C016)。趙紀剛，工程師，主研領域：計算機應用，民航信息系統。張超，碩士生。丁建立，教授。王靜，講師。

TP273+.4

A

10.3969/j.issn.1000-386x.2016.04.017