淺談大數(shù)據(jù)分析在網(wǎng)絡(luò)運(yùn)維中的應(yīng)用

摘 要：隨著企業(yè)信息量處理加重，網(wǎng)絡(luò)運(yùn)維的任務(wù)變得艱巨，而目前很少有企業(yè)將大數(shù)據(jù)分析應(yīng)用到網(wǎng)絡(luò)運(yùn)維中去，本文旨在淺談下大數(shù)據(jù)分析在網(wǎng)絡(luò)運(yùn)維中的應(yīng)用，結(jié)合具體的應(yīng)用，即日志大數(shù)據(jù)分析對(duì)網(wǎng)絡(luò)運(yùn)維保障作用。

關(guān)鍵詞：大數(shù)據(jù)分析 日志分析 網(wǎng)絡(luò)運(yùn)維

一、引言

由于目前企業(yè)網(wǎng)絡(luò)設(shè)備種類繁多、品牌和型號(hào)各異，且現(xiàn)代的企業(yè)不再滿足于網(wǎng)頁(yè)瀏覽、電子郵件、ERP/ERM、OA 等初級(jí)信息應(yīng)用，已經(jīng)進(jìn)入到遠(yuǎn)程視訊會(huì)議、IP 電話等網(wǎng)絡(luò)通訊、移動(dòng)辦公、物聯(lián)網(wǎng)信息交互為象征的企業(yè)社交和企業(yè)協(xié)作的新歷史階段，產(chǎn)生的日志數(shù)量非常龐大，一般中等規(guī)模的網(wǎng)絡(luò)（1000～5000 臺(tái)設(shè)備），日志量可達(dá)到每日數(shù)百萬(wàn)至上千萬(wàn)條。因此，分析和挖掘海量日志，從中發(fā)現(xiàn)網(wǎng)絡(luò)異常或隱患，對(duì)實(shí)現(xiàn)網(wǎng)絡(luò)運(yùn)維智能化、完善網(wǎng)絡(luò)保障體系具有重要作用。本文主要探討利用日志大數(shù)據(jù)挖掘分析，對(duì)日志事件進(jìn)行分級(jí)和關(guān)聯(lián)，學(xué)習(xí)并研究網(wǎng)絡(luò)日志關(guān)聯(lián)、網(wǎng)絡(luò)安全審計(jì)，根據(jù)實(shí)際的日志挖掘結(jié)果來(lái)定義智能化分析策略，發(fā)現(xiàn)網(wǎng)絡(luò)異常或隱患，以實(shí)現(xiàn)網(wǎng)絡(luò)運(yùn)維智能化、完善網(wǎng)絡(luò)保障體系。

二、日志報(bào)表智能化關(guān)聯(lián)分析

1.定制安全審計(jì)報(bào)表，分析防火墻異常日志。通過(guò)日志的初始化分割，建立防火墻 Deny 行為的“源 IP、目標(biāo) IP、協(xié)議、目標(biāo)端口、計(jì)數(shù)項(xiàng) 1”常規(guī)全量統(tǒng)計(jì)報(bào)表。在常規(guī)全量報(bào)表的基礎(chǔ)上，采用二次計(jì)數(shù)法，進(jìn)行 2 次分析統(tǒng)計(jì)。定制報(bào)表“源 IP、目標(biāo) IP 計(jì)數(shù)（計(jì)數(shù)項(xiàng) 2）、協(xié)議、目標(biāo)端口、計(jì)數(shù)項(xiàng) 1”（按照計(jì)數(shù)項(xiàng) 2 排序），可分析識(shí)別非法“源 IP”掃描目標(biāo) IP 的行為，病毒主機(jī)掃描 Win-dows 文件共享端口即屬于該行為 ；定制報(bào)表“源 IP、目標(biāo) IP、協(xié)議、目標(biāo)端口計(jì)數(shù)、計(jì)數(shù)項(xiàng) 1”即可分析識(shí)別非法“源 IP”掃描服務(wù)器端口的行為，黑客攻擊前的端口探測(cè)屬于該行為。

2.定制鏈路抖動(dòng)報(bào)表，分析廣域網(wǎng)線路質(zhì)量。通過(guò)匯聚路由器的日志信息，分析統(tǒng)計(jì)廣域網(wǎng)線路中斷和抖動(dòng)的事件。線路報(bào)表包含設(shè)備名稱、設(shè)備 IP、端口（線路）名稱、線路編號(hào)、抖動(dòng)次數(shù)等字段，將不同設(shè)備、不同端口UP 或 DOWN 的次數(shù)計(jì)數(shù)排序，生成鏈路抖動(dòng)次數(shù)統(tǒng)計(jì)報(bào)表，可以從成百上千條鏈路中，輸出線路質(zhì)量較差的排名，從而有針對(duì)性地實(shí)施處理。

3.定制設(shè)備登錄及操作報(bào)表，審計(jì)操作行為。通過(guò)分析設(shè)備輸出的用戶行為日志，生成出不同設(shè)備、不同用戶的登錄（成功、失敗）、操作類型、登錄操作次數(shù)的統(tǒng)計(jì)報(bào)表，實(shí)現(xiàn)對(duì)設(shè)備操作行為的自動(dòng)分類審計(jì)，大大減少操作行為審計(jì)的工作量。

三、日志實(shí)時(shí)監(jiān)控分析

日志實(shí)時(shí)監(jiān)控需要展示整體的監(jiān)控匯總信息、未識(shí)別日志以及需要重點(diǎn)處理的事件。管理員對(duì)未知以及未識(shí)別日志進(jìn)行分類歸納，是實(shí)時(shí)監(jiān)控分析的基礎(chǔ)工作。告警動(dòng)作包括短信、郵件以及客戶端本地的聲音響應(yīng)，所有關(guān)聯(lián)分析的告警通過(guò)參數(shù)化方式，自定義發(fā)送內(nèi)容。重要的告警事件，則通過(guò)告警文字在監(jiān)控客戶端的語(yǔ)音朗讀，提醒運(yùn)維監(jiān)控人員及時(shí)處理。

1.端口或鏈路類日志的實(shí)時(shí)分析。網(wǎng)絡(luò)設(shè)備的 sys-log 日志顯示端口或鏈路產(chǎn)生 up down 事件，在規(guī)定時(shí)間內(nèi)又產(chǎn)生 down up 事件，即可判定為一次端口或鏈路抖動(dòng) ；超過(guò)規(guī)定時(shí)間未恢復(fù)，則可判定為中斷事件。事件發(fā)生后，根據(jù)事先定義端口字典表進(jìn)行對(duì)照，將對(duì)應(yīng)內(nèi)容組合成精確的告警信息發(fā)送給用戶。發(fā)生端口或鏈路抖動(dòng)事件，一定時(shí)段內(nèi)累計(jì)至設(shè)定閥值，即生成抖動(dòng)告警。發(fā)生端口或鏈路中斷事件，馬上生成中斷告警。

2.異常訪問(wèn)的實(shí)時(shí)分析告警。異常訪問(wèn)主要包含兩類：一類是病毒、木馬以及黑客攻擊行為，對(duì)網(wǎng)絡(luò)特定端口掃描，對(duì)單臺(tái)主機(jī)所有端口掃描，或?qū)μ囟☉?yīng)用的持續(xù)攻擊 ；另一類是接入網(wǎng)絡(luò)的設(shè)備配置有誤，訪問(wèn)了錯(cuò)誤的 IP 或端口。防火墻、IDS、IPS、UTM 等設(shè)備可檢測(cè)到上述異常訪問(wèn)，每次異常生成一條日志記錄。當(dāng)異常訪問(wèn)頻繁時(shí)，可以通過(guò)日志分析平臺(tái)，生成有效規(guī)則，在病毒掃描或異常流量到一定閥值時(shí)，進(jìn)行自動(dòng)分析觸發(fā)報(bào)警，管理員只需根據(jù)報(bào)警信息檢查異常主機(jī)，提高處理效率。

3.故障處理時(shí)限的告警策略。針對(duì)指定的一個(gè)或多個(gè)網(wǎng)絡(luò)事件、網(wǎng)絡(luò)故障的組合，制訂告警策略。從故障發(fā)生時(shí)間開始觸發(fā)計(jì)時(shí)，自定義多個(gè)恢復(fù)時(shí)間閥值。如故障發(fā)生后，超過(guò)設(shè)定閥值 A 未收到指定日志（恢復(fù)日志）則發(fā)送告警信息一。如超過(guò)閥值 B 未收到指定日志（恢復(fù)日志）則發(fā)送告警信息二。以此類推，直至故障解決，發(fā)送系統(tǒng)恢復(fù)信息。

4.建立不同時(shí)間段的實(shí)時(shí)告警策略。針對(duì)每組關(guān)聯(lián)分析規(guī)則，區(qū)分不同時(shí)間段，制訂相應(yīng)的規(guī)則表。如可導(dǎo)入每年工作日時(shí)間表，可區(qū)分工作日和休息日不同監(jiān)控時(shí)段的日志，按照對(duì)應(yīng)規(guī)則進(jìn)行報(bào)警和報(bào)表匯總。

四、定制自動(dòng)關(guān)聯(lián)及智能化分析策略

不同設(shè)備的日志反映的可能是同一個(gè)事件在不同角度表現(xiàn)的組合。通過(guò)挖掘不同日志源中的關(guān)聯(lián)信息，根據(jù)發(fā)生時(shí)間段，結(jié)合已知的以及智能分析得出的關(guān)聯(lián)信息，建立事件之間的關(guān)聯(lián)，從而實(shí)現(xiàn)迅速定位故障點(diǎn)，全面分析故障原因。經(jīng)過(guò)一段時(shí)間周期的跟蹤，還可進(jìn)一步分析統(tǒng)計(jì)歷史事件的相互關(guān)聯(lián)性。

1.關(guān)聯(lián)映射表信息的智能關(guān)聯(lián)。已知的關(guān)聯(lián)信息可以通過(guò)關(guān)聯(lián)映射表導(dǎo)入系統(tǒng)。關(guān)聯(lián)映射表包括 ：網(wǎng)絡(luò)設(shè)備互聯(lián)信息表、廣域網(wǎng)鏈路信息表等設(shè)備或系統(tǒng)相關(guān)性的信息。網(wǎng)絡(luò)設(shè)備互聯(lián)信息表包含的是所有網(wǎng)絡(luò)設(shè)備以及服務(wù)器的端口互聯(lián)信息。當(dāng)一個(gè)廣域網(wǎng)鏈路總頭發(fā)生中斷，所有在該總頭的鏈路會(huì)發(fā)生上百條 up down 的日志，通過(guò)自動(dòng)關(guān)聯(lián)，可匹配到參數(shù)化預(yù)定義的報(bào)警內(nèi)容，生成一條報(bào)警信息。主備端口或鏈路均發(fā)生中斷，或同一個(gè)區(qū)域發(fā)生大面積鏈路中斷，則根據(jù)影響面，反映出不同的告警級(jí)別。

2.日志的自學(xué)習(xí)信息智能挖掘和關(guān)聯(lián)。未在關(guān)聯(lián)信息表中的日志信息，也可能存在關(guān)聯(lián)性。未定義日志的智能挖掘和關(guān)聯(lián)涉及到分析平臺(tái)的自學(xué)習(xí)能力。對(duì)常規(guī)日志進(jìn)行一定周期的匯總分析后，通過(guò)與人工相結(jié)合，完成基線建模并持續(xù)跟蹤，根據(jù)不同時(shí)段實(shí)際日志的數(shù)量和類型進(jìn)行動(dòng)態(tài)調(diào)整，形成“自學(xué)習(xí)—調(diào)整—自學(xué)習(xí)”的基線閉環(huán)，逐步完善系統(tǒng)對(duì)日志基線演變的自學(xué)習(xí)能力與關(guān)聯(lián)能力。

五、結(jié)語(yǔ)

經(jīng)過(guò)實(shí)際的應(yīng)用實(shí)踐，對(duì)各種網(wǎng)絡(luò)日志進(jìn)行綜合的大數(shù)據(jù)分析能夠更加有效的擴(kuò)展和延伸對(duì)網(wǎng)絡(luò)運(yùn)維管理，為信息部門綜合的保障使用部門對(duì)信息化網(wǎng)絡(luò)運(yùn)維的實(shí)際需要拓寬了視野，也找到大數(shù)據(jù)在信息化運(yùn)維中實(shí)際應(yīng)用的思路。在大數(shù)據(jù)管理的網(wǎng)絡(luò)運(yùn)維中我們不再用單一設(shè)備故障的可能性排查系統(tǒng)性的問(wèn)題，而是以系統(tǒng)涌現(xiàn)的觀念來(lái)看待某一系統(tǒng)層面的問(wèn)題與其發(fā)生的各個(gè)構(gòu)件之間的相互影響。

參考文獻(xiàn)：

[1]胡翔， 張曉敏， 陳斯. 日志挖掘分析在智能化網(wǎng)絡(luò)運(yùn)維中的應(yīng)用[J]. 金融電子化， 2014（7）：80-81.

[2]卿島， 應(yīng)澤貴. 大數(shù)據(jù)在網(wǎng)絡(luò)運(yùn)維中的應(yīng)用[J]. 通訊世界， 2015（23）：43-44.

[3]李恒久. 運(yùn)維大數(shù)據(jù)分析助力精準(zhǔn)化網(wǎng)絡(luò)運(yùn)營(yíng)研究[J]. 電信網(wǎng)技術(shù)， 2015（4）：48-52.

[4]高海峰. 大數(shù)據(jù)流量的IP性能及移動(dòng)分組網(wǎng)絡(luò)運(yùn)維的研究[J]. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用， 2016（3）：58-58.

[5]王自亮， 單俊明， 姜良軍. 運(yùn)維日志分析在網(wǎng)絡(luò)運(yùn)維管理中的應(yīng)用[J]. 山東通信技術(shù)， 2015， 35（2）：24-26.