基于Spark的網絡日志分析系統(tǒng)設計與實現(xiàn)

汪小霞

摘 要：當下，互聯(lián)網技術已經廣泛地應用于企業(yè)辦公系統(tǒng)。企業(yè)在需要對業(yè)務進行處理時，對互聯(lián)網有著較高的需求。在利用網絡技術的基礎上，工作人員可以有效地借助飛快的信息傳播速度，降低工作的成本，同時也可以進一步提升辦公的整體效能。因此，文章針對Spark的網絡日志，進行系統(tǒng)設計、分析以及闡述，以此為相關領域的研究人員提供參考。

關鍵詞：Spark;網絡日志;系統(tǒng)構建;邏輯處理;網頁展示

0? ? 引言

現(xiàn)階段，大多數用戶以及行業(yè)都在使用互聯(lián)網技術，但卻沒有良好的信息安全意識。而當下的網絡環(huán)境也越發(fā)復雜和危險，使得信息安全風險管理工作日漸成為企業(yè)日常風險管理的重要內容。企業(yè)需要有效地分析以及處理網絡日志，以此充分保障企業(yè)不會受到網絡威脅。本研究為整個系統(tǒng)的優(yōu)化以及維護提供一定的數據參考。

1? ? 網絡環(huán)境

在互聯(lián)網發(fā)展的背景下，網絡應用于政務辦公系統(tǒng)中。各行各業(yè)不斷地利用網絡，確保能夠獲得更多的信息以及數據。這使得辦公事務也可以順利地利用互聯(lián)網實現(xiàn)高效率的工作。一項調查顯示，我國四成以上企業(yè)員工在辦公的過程中，使用網絡的時間與工作未產生必然的聯(lián)系，甚至是訪問一些惡意的網站，因此影響了工作效率。企業(yè)在未來的發(fā)展過程中，須改進網絡日志方面的分析系統(tǒng)，保障在運用互聯(lián)網的過程中，有著較高的安全性。

2? ? 基于Spark的網絡日志分析系統(tǒng)的設計

2.1? Spark

Spark是UC Berkeley AMP lab研發(fā)的一種開源集群計算框架，并使用Scala，是基于Hadoop所實現(xiàn)的一種分布式的文件系統(tǒng)類型。最開始研發(fā)的目的是為了有效地在一個開源軟件平臺上進行工具的執(zhí)行，但是最后經過長期的研發(fā)，形成了一個較為完整的系統(tǒng)類型。Spark可以有效地提供內存集群計算的效果。在數據信息的處理過程中，其可以將一些中間輸出以及結果完整地保留在內存中，不需要再次進行讀寫處理。這種信息處理方式可以有效地順應機器的學習，同時也可以有效地進行數據方面的深度挖掘。而在進行迭代計算的過程中，相較于Hadoop，Spark有著更高的效率性[1]。

2.2? 總體結構

2.2.1? 節(jié)點層

節(jié)點層的設計處于最底層。它是由多種機器節(jié)點構成的互聯(lián)集群環(huán)境，同時也是現(xiàn)階段網絡日志在分析系統(tǒng)中的一種物理層。

2.2.2? 任務管理模塊

任務管理模塊主要是針對不同的Spark集群任務，所開展的管理調度。而在系統(tǒng)進行配置方面的管理過程中，設計人員還可以有效地實現(xiàn)人物配置、任務狀態(tài)監(jiān)控以及任務調度。系統(tǒng)在使用的過程中，能夠有效地定時執(zhí)行每日任務。而該模塊還包含兩個不同的部門，由Spark框架以及分布式管理系統(tǒng)構成。

2.2.3? Spark

Spark是一種基于MapReduce的并行計算框架，但是與MapReduce不同的是，在使用的過程中，其產生的計算結果可以保存在內存中，以此就可以在計算的過程中有效降低延遲性，進一步提升交互效果。另一方面，設計人員還需要在Spark的使用過程中，實現(xiàn)更加廣泛的數據集操作，保障數據庫、流處理以及圖計算滿足各種方面的需求。雖然Spark是一種較為獨立的項目，但是依然可以在設計的過程中，實現(xiàn)與分布式文件系統(tǒng)共同運作。同時，也可以直接在HDFS上利用YARN，在MapReduce上一同進行作業(yè)[2]。

2.2.4? HDFS

HDFS是一種分布式文件系統(tǒng)，主要為計算機存儲功能提供一定的底層支持。在設計的過程中，HDFS可以有效地作用于一些廉價的硬件上，并且可以有著較高的容錯性，另一方面，還可以成為一個較為流行的海量數據存儲。

2.2.5? 日志采集模塊

該模塊主要是為了能夠對上游的一些帶解析的日志數據位置進行詳細的解析，以此在自動收集的過程中，對于企業(yè)的內部網絡進行Squid服務器的日志數據分析。在全部收集之后，使用者便可以對數據進行預處理，之后依據數據的實際要求，進行加工。在處理的過程中，日志采集模塊可以實現(xiàn)對于數據的一致性、完整性、丟失性等方面的操作。而子模塊還可以針對性地篩選日志數據，將數據轉換成可以分析的數據形式，之后將其采集到日志數據中。Spark進行集群節(jié)點方面的儲存。

2.2.6? 邏輯處理模塊

該模塊主要與Spark進行集群方面的交互。而對于用戶而言，該模塊可以有效地在網頁端進行相應的操作，之后對業(yè)務數據進行查詢，對HQL進行語句方面的定制。

2.2.7? 網頁展示模塊

該系統(tǒng)主要基于Web。在查詢之后，該模塊就可以返回到結果數據，之后對不同的搜索進行分析，保障在分析的過程中，能夠形成信息數量較多的網頁。

3? ? 基于Spark的網絡日志分析系統(tǒng)的實現(xiàn)

在上述的結構設計下，為了檢驗系統(tǒng)的合理性，設計人員可以進行研究和分析。

3.1? 系統(tǒng)部署

如圖1所示，本系統(tǒng)的實現(xiàn)，需要依靠CICS交易服務器、Hive數據倉庫、客戶端、Liberty服務器、Spark集群，對腳本進行上傳，對日志進行存儲、提取與分析、生成報告等。

3.2? 任務調度

Spark分析模塊是Scheduler最重要的核心組成部分，需要在應用的過程中，運用Hadoop MapReduce。而在資源管理以及調度的過程中，Spark使用的方式基本上基于YARN。這種資源調度器可以有效地在使用的過程中，起到資源調度分配的作用。在不同的應用當中，它都能夠實現(xiàn)任務調度器的作用，以此對于任務進行調度以及協(xié)調。對于這種上層資源調度而言，應用內部的任務調度較為獨立[3]。

3.3? 用戶需求數據分析

在實現(xiàn)的過程中，首先基于用戶的實際需求，將請求的數據進行分析以及計算，之后再將分析的結果進行返回。返回基本上可以分為圖片以及純數據這兩種不同的類型。在使用的過程中，工作人員有效地利用getData進行數據信息的調用以及分析。在前臺的信息處理過程中，技術人員可以有效地利用前臺調用JFreeChart工具，進行相應的分析。

在現(xiàn)階段的發(fā)展過程中，Spark已經成為十分熱門的一種開源項目，并廣泛地應用到各種企業(yè)中。在研究中，該技術也能夠起到十分有效的作用，足以幫助企業(yè)在日常的網絡日志的管理過程中，實現(xiàn)安全性以及質量性的管理目標。另外，這項技術還可以定期優(yōu)化以及改進。

3.4? 日志處理

為確保基于Spark的網絡日志分析系統(tǒng)能夠有效實現(xiàn)，工作人員對日志進行處理非常重要，具體方法如下：（1）日志上傳：系統(tǒng)中日志的上傳方式包括兩種：手動與自動。手動上傳需要依靠CICS交易服務器的部署功能，自動上傳則需要依靠Web來實現(xiàn)。（2）日志處理：工作人員可通過日志分析系統(tǒng)對日志進行處理，利用系統(tǒng)部署中的Spark集群功能進行計算，并實現(xiàn)對不同節(jié)點日志的分析，經分析后的數據可被返回并自動匯總，以備使用。

4? ? 結語

綜上所述，文章主要基于Spark的構建，分析了企業(yè)網絡日志分析技術。為了進一步提升企業(yè)的網絡安全性，技術人員還需要在日后的發(fā)展過程中，對網絡系統(tǒng)的進行優(yōu)化。

[參考文獻]

[1]李言飛，張鵬，戚曉鵬，等.中國疾病預防控制信息系統(tǒng)網絡日志大數據分析[J].中國衛(wèi)生信息管理，2018（6）：625-628.

[2]李亞紅，胡前忠.分布式網絡日志分析系統(tǒng)的設計與實現(xiàn)[J].信息與電腦（理論版），2018（21）：163-165.

[3]張揚.基于大數據技術的網絡日志分析系統(tǒng)[J].電子技術與軟件工程，2018（17）：175.

（編輯 王永超）