基于大數據技術的網絡日志分析系統

張揚

摘要

近年來，網絡技術發展迅速，且為推動我國科技創新的發展做出了較大的貢獻，作為網絡技術發展的組成部分，基于大數據技術的網絡日志分析系統的研究，不僅關系著網絡日志分析系統自身的大數據技術發展，而且對于現代化網絡技術的發展也具有重要的影響。基于此，本文展開了對大數據時代背景下，網絡日志分析系統的研究。

【關鍵詞】大數據技術 網絡 日志 分析系統

隨著互聯網技術的不斷發展，我國進入了大數據時代，且大數據技術的發展也呈現出了良好局勢。因此，本文首先闡述了網絡日志分析系統的功能，其次研究了大數據技術的網絡日志分析算法，最后說明了大數據技術網絡日志分析系統的實驗效果。此次課題研究的主要目的是明確網絡日志分析系統功能，進而提升網絡日志的分析水平，推動大數據技術的發展。

1 網絡日志分析系統的功能

對于大數據的采集，網絡日志分析系統被廣泛使用，該系統具有四個“V”特征，即數據的Volume（體量）巨大、數據的Variety（類型）多、數據的Velocity（速度）快以及數據Value（價值）大。對于網絡日志的大數據特性來說，通過對日志數據存儲與流程分析相結合，此次課題提出了網絡日志分析系統的功能分層，主要包括五大類，第一類為日志源層，主要構成包括企業內網中的網絡設備以及計算機軟硬件，并產生大量的日志記錄。第二類為采集層，其日志的采集服務器主要由一個或多個構成，主要負責接收與存儲日志記錄。第三類為存儲層，存儲層主要負責存儲原始日志及統計分析結果。第四類為業務層，主要構成為由各種日志的分析程序，主要解決日志數據的統計以及分析問題。第五類為顯示層，顯示層是指對業務層的處理結果再處理。并顯示在界面上。

2 大數據技術的網絡日志分析算法

在大數據網絡服務器中，一般會受到DoS與DDoS的攻擊，導致服務器出現高負荷運轉的現象，最終服務呈現出癱瘓狀態。在服務器訪問日志中，通過對不同的IP地址請求次數的統計，進而找到請求次數較多的IP地址，最終達到對攻擊源、防御攻擊檢測的目的。在服務器的訪問日志中，數據信息繁多，日志文件的數量會達到GB級別，相對于傳統的單機模式，對數據的統計算法的時效性很強。根據Map Reduce的計算特點，這種由并行算法改為傳統單機的算法，是大時代網絡日志分析的創新算法。

在網路日志分析系統中，數據主要是以文件的形式存入HDFS中，利用Map函數，分析每一行的日志數據，從而對申請訪問的源IP進行提取，輸出的Key與Value之間的比值為源IP/1。出入的Reduce是相同的源IP，通過對源IP地址的累加，輸出的Key與Value的比值是源IP/n，也就是說，同一個IP源對服務器請求的次數。

3 大數據技術網絡日志分析系統的實驗效果

在網絡日志分析系統中，主要是由8臺普通的PC組成，主要包括一臺為Master、一臺Syslog以及六臺Slave。

實驗題目一：加速比的實驗分析，以及并行算法執行性能以及效果的分析。首先，對加速比概念進行定義，即T1與Tn的比值，其中，T1是指1個Slave算法的運行時間，Tn是指由n個Slave組合算法的運行時間。

其次，分別選取1個、2個、4個以及6個Slave進行實驗。根據實驗結果所示，當數據集顯示為固定時，通過對計算節點的不斷增加，分析并行算法對不同實驗性能的影響。

在Map Reduce框架中，其計算工作會被隨機分配為到個Slave上，從理論上來看，當計算節點沒增加一個時，運其算速度會相比為增加之前提升1倍，然而，在實驗中發現，實際效果并非如此。其原因主要是各節點之間的額外開銷，即同步、信以及調度等額外開銷，隨著節點的增多，開銷也逐漸變大。盡管開銷變大，但整體上的加速比也是呈上升趨勢的。

實驗題目二：等效度量的實驗分析。最大加速比的計算結點數值為n，受額外開銷影響，實際的加速比Sn不會超過n，所以，利用等效度量指標，能夠有效地反映出加速比與n的關系。

實驗分別啟動了2個、4個以及6個Slave，根據不同程度的數據規模，對日志文件進行并行預算。實驗結果顯示，隨著不斷增大的數據規模，等效度量指標也在逐漸提高;隨不斷增加的Slave個數，等效度量指標也逐漸呈現下降趨勢。當數據規模與Slave個數一同增多時，等效度量指標為常數。2個Slave能夠實現對3.8GB日志文件的處理，4個Slave能夠實現對8GB日志文件的處理，6個Slave能夠實現對20GB日志文件的處理。其等效度量的指標E維持在0.75左右。也就是說，隨著系統處理數據的增多，通過增加計算節點能會對系統的性能造成一定的影響[3]。

4 結論

本文在對網絡日志分析系統功能的分析基礎上，展開了對大數據技術的網絡日志分析算法的研究，最后分析了大數據技術網絡日志分析系統的實驗效果。分析結果表明，在網絡日志分析系統中，分析算法受計算節點、額外開銷、處理數據以及等效度量的影響，其中，計算節點的增多會影響額外開銷，呈正相關，處理數據的多少也直接影響著等效度量，也呈正相關。

參考文獻

[1]鄧小盾.一種基于大數據的網絡日志分析模型構建研究[J].電子設計工程，2017，25（23）：97-100.

[2]郗超.校園無線網絡日志大數據分析平臺的研究與實現[D].內蒙古農業大學，2017，52（03）：197-198.

[3]任凱，鄧武，俞琰.基于大數據技術的網絡日志分析系統研究[J].現代電子技術，2016，39（02）：39-41+44.