網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用探討

萬明秀，宋秋蓮

（新余學(xué)院，江西 新余 338000）

網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用探討

萬明秀，宋秋蓮

（新余學(xué)院，江西 新余 338000）

新時期網(wǎng)絡(luò)技術(shù)在各個領(lǐng)域得到了廣泛的運用，極大促進(jìn)了社會發(fā)展的現(xiàn)代化，方便了人們的生活。文章就新形勢下的網(wǎng)絡(luò)安全問題進(jìn)行剖析，探究了網(wǎng)絡(luò)安全環(huán)境下大數(shù)據(jù)技術(shù)的價值，對基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺建設(shè)進(jìn)行探討，進(jìn)而分析了大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全技術(shù)中的運用。

網(wǎng)絡(luò)安全；大數(shù)據(jù)技術(shù)；互聯(lián)網(wǎng)

網(wǎng)絡(luò)技術(shù)的發(fā)展使信息時代到來，計算機(jī)網(wǎng)絡(luò)可以在一定程度上滿足我們的精神生活，也為我們的學(xué)習(xí)工作帶來了便捷，使一些原本復(fù)雜的工作變得簡單，與此同時，網(wǎng)絡(luò)安全成了我們生活中需要面對的一個問題。隨著網(wǎng)絡(luò)技術(shù)越來越廣泛的應(yīng)用，計算機(jī)網(wǎng)絡(luò)的漏洞也變得更加突出，不僅僅是電腦系統(tǒng)的損毀或者計算機(jī)病毒的擴(kuò)散，電腦黑客的網(wǎng)絡(luò)國際以及不法分子的網(wǎng)絡(luò)詐騙都在不同程度上困擾著我們的工作生活，嚴(yán)重時還會造成人民群眾的經(jīng)濟(jì)損失。因此對計算機(jī)網(wǎng)絡(luò)工程的安全問題以及解決策略進(jìn)行研究是十分有必要的。針對這種情況，大數(shù)據(jù)技術(shù)應(yīng)運而生，所謂大數(shù)據(jù)指的是信息量的增大，同時大數(shù)據(jù)也有著較快的更新速度以及非結(jié)構(gòu)化的特點，近年來對大數(shù)據(jù)的研究不斷增加，人們對大數(shù)據(jù)技術(shù)也在不斷改進(jìn)，利用該技術(shù)能夠有效地提高網(wǎng)絡(luò)的安全性，在網(wǎng)絡(luò)安全分析中占有十分重要的地位[1]。本文就對網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用問題進(jìn)行一定的分析。

1 網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)的價值

與其說21世紀(jì)是科技的時代，不如說21世紀(jì)是大數(shù)據(jù)的時代，在互聯(lián)網(wǎng)快速發(fā)展的同時，流動的數(shù)據(jù)量也在不斷地增加，數(shù)據(jù)量的增加給人們的生活帶來了方便，但是也給網(wǎng)絡(luò)安全分析工作增加了困難，這種壓力主要來自于兩個方面：（1）由于網(wǎng)絡(luò)安全分析中的數(shù)據(jù)增大，所有在進(jìn)行處理的時候應(yīng)該按照分類的形式，但是數(shù)據(jù)越多數(shù)據(jù)的種類也就越多，因此還需要采用更為先進(jìn)的技術(shù)進(jìn)行處理。（2）數(shù)據(jù)增多的情況下，如果還是采用之前的速度進(jìn)行數(shù)據(jù)信息傳遞，那么工作效率會很低，為了能夠達(dá)到高速度、高效率的數(shù)據(jù)采集與處理就要確保信息安全方面的有效性，如果不能達(dá)到高速度的標(biāo)準(zhǔn)就會給網(wǎng)絡(luò)安全的維護(hù)帶來更大的難度。在傳統(tǒng)的網(wǎng)絡(luò)安全分析過程中，都是利用結(jié)構(gòu)化的方式完成對數(shù)據(jù)的存儲，這種方式效率較低，同時存儲的成本也會比較高，如果想要達(dá)到更高的水平就要降低成本，還要降低數(shù)據(jù)的大小，數(shù)據(jù)存儲的容量小了，這樣一來數(shù)據(jù)很容易出現(xiàn)丟失的情況，反而對數(shù)據(jù)的存儲以及處理產(chǎn)生不好的影響，傳統(tǒng)的網(wǎng)絡(luò)安全分析系統(tǒng)在對各種數(shù)據(jù)進(jìn)行處理的時候，不能發(fā)揮出更好的效果，在分析方面以及查詢方面的效率都不太好，針對這種情況必須要找到更好的解決方法，才能達(dá)到更好的效果。利用大數(shù)據(jù)技術(shù)就能夠達(dá)到更好的效果，大數(shù)據(jù)技術(shù)能夠?qū)⒕W(wǎng)絡(luò)的數(shù)據(jù)存儲量提高，也能在結(jié)構(gòu)化的數(shù)據(jù)處理中確保有效性，還能確保數(shù)據(jù)信息的完整性。另外，大數(shù)據(jù)技術(shù)能夠降低網(wǎng)絡(luò)安全分析系統(tǒng)的成本，可以利用分布式數(shù)據(jù)庫提高對軟件的要求，降低對硬件方面的要求，從而實現(xiàn)系統(tǒng)的構(gòu)建與維護(hù)。對于大數(shù)據(jù)技術(shù)的應(yīng)用來說，能夠準(zhǔn)確地完成對數(shù)據(jù)的處理，而且還能確保高速度[2]。最后應(yīng)用了大數(shù)據(jù)技術(shù)可以對網(wǎng)絡(luò)安全問題進(jìn)行精細(xì)的檢測，從多維度、多層次的方面進(jìn)行分析，有效提升數(shù)據(jù)的處理效果。

2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全平臺建設(shè)的體現(xiàn)

2.1 網(wǎng)絡(luò)安全平臺架構(gòu)

網(wǎng)絡(luò)安全平臺由多個層次構(gòu)成，分別是數(shù)據(jù)采集層、數(shù)據(jù)挖掘?qū)印?shù)據(jù)呈現(xiàn)層等，在數(shù)據(jù)采集層中可以對用戶的信息及各種情報等進(jìn)行存儲，將大數(shù)據(jù)技術(shù)應(yīng)用到分布式的文件中，就能實現(xiàn)結(jié)構(gòu)化以及半結(jié)構(gòu)化的數(shù)據(jù)存儲，還能將均衡的算法分布在分布式文件上，這對提高數(shù)據(jù)檢索的速度有很大的幫助，利用數(shù)據(jù)挖掘?qū)涌梢詫?shù)據(jù)進(jìn)行一定的分析，從中提取出相應(yīng)的特征，從而實現(xiàn)對安全事件的挖掘，還可以根據(jù)網(wǎng)絡(luò)中出現(xiàn)的各種問題，發(fā)現(xiàn)并進(jìn)行查詢與定位，讓數(shù)據(jù)真正呈現(xiàn)出可視化以及多維度的狀態(tài)，這才是真正的網(wǎng)絡(luò)安全的狀態(tài)。

2.2 平臺實現(xiàn)的技術(shù)支持

除了要網(wǎng)絡(luò)安全平臺的架構(gòu)，還需要有多方面技術(shù)的支持，例如：（1）數(shù)據(jù)采集技術(shù)。在網(wǎng)絡(luò)安全平臺中可以利用Flume，stom的形式進(jìn)行數(shù)據(jù)采集，還可以將這些數(shù)據(jù)進(jìn)行整合與傳輸，實現(xiàn)其可靠性高、可用性高，利用特定的方法能夠接收來自不同數(shù)據(jù)源的數(shù)據(jù)，對于比較活躍的數(shù)據(jù)進(jìn)行處理，可以發(fā)現(xiàn)數(shù)據(jù)采集與存儲之間的緩存部分，使其成為一個高效率的分布式系統(tǒng)，才能更好地為人們所服務(wù)，也實現(xiàn)了對負(fù)載的均衡。（2）數(shù)據(jù)存儲技術(shù)。利用分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）進(jìn)行數(shù)據(jù)存儲，這種數(shù)據(jù)通常具有高容錯性，也可以對這些數(shù)據(jù)系統(tǒng)進(jìn)行命名，將64 M的數(shù)據(jù)塊作為存儲單位，如果訪問的文件多的情況下就會造成系統(tǒng)效率的下降，利用HDFS來進(jìn)行數(shù)據(jù)存儲就是將數(shù)據(jù)歸納以后，確保每一個文件都能夠滿足64M字節(jié)。（3）數(shù)據(jù)分析技術(shù)。通過網(wǎng)絡(luò)安全分析平臺來完成對數(shù)據(jù)的統(tǒng)計，可以采用結(jié)構(gòu)化查詢語言（Structured Query Language，SQL）的結(jié)構(gòu)化方式，利用HDFS也可以滿足一些非結(jié)構(gòu)化的數(shù)據(jù)檢索，將定制好的插件進(jìn)行開發(fā)實現(xiàn)對各種數(shù)據(jù)的處理[3]。

3 網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用

3.1 應(yīng)用大數(shù)據(jù)技術(shù)的作用

在網(wǎng)絡(luò)安全分析的過程中，可以將需要分析的數(shù)據(jù)分為兩個方面，分別是日志與流量。除了這兩個方面，需要進(jìn)行處理的數(shù)據(jù)還有訪問、業(yè)務(wù)行為等。將大數(shù)據(jù)技術(shù)應(yīng)用到網(wǎng)絡(luò)安全分析中，能夠?qū)崿F(xiàn)對數(shù)據(jù)的優(yōu)化與處理，還能對日志與數(shù)據(jù)進(jìn)行分散性的處理，從而有效降低處理的時間，只有不斷地分析找出其中存在的問題，才能進(jìn)一步提高安全分析的有效性。大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析的效果可以從下面幾個方面來體現(xiàn)。

（1）數(shù)據(jù)采集問題。如果應(yīng)用了大數(shù)據(jù)技術(shù)就可以對數(shù)據(jù)進(jìn)行分布式的采集，這種采集能夠在一秒內(nèi)實現(xiàn)幾百兆的數(shù)據(jù)采集，可以大大提高工作效率。

（2）在網(wǎng)絡(luò)安全分析系統(tǒng)中，對數(shù)據(jù)的存儲是必須的，應(yīng)用大數(shù)據(jù)技術(shù)能夠?qū)Σ煌臄?shù)據(jù)類型進(jìn)行不同的數(shù)據(jù)采集，還能利用不同的方式來提高數(shù)據(jù)查詢的效率，例如：在對日志信息進(jìn)行查詢的時候可以采用列式的存儲，如果是分析與處理標(biāo)準(zhǔn)化的數(shù)據(jù)，就可以利用分布式的模式進(jìn)行處理，在數(shù)據(jù)處理過后可以將結(jié)果存放在列式存儲中。

（3）在數(shù)據(jù)查詢的時候也可以利用大數(shù)據(jù)技術(shù)進(jìn)行，在系統(tǒng)中建立起MapReduce的查詢模塊，進(jìn)行查詢的時候直接將指令放在指定的節(jié)點，完成了相應(yīng)處理之后再對各個節(jié)點進(jìn)行整理，這種方式能夠保證查詢的速度與反應(yīng)速度。

（4）網(wǎng)絡(luò)安全分析系統(tǒng)中對數(shù)據(jù)的分析可以體現(xiàn)在兩個方面：（1）對實時數(shù)據(jù)的分析，可以采用關(guān)聯(lián)分析算法以及圓概率誤差（Circular Error Probable，CEP）技術(shù)進(jìn)行分析，還能實現(xiàn)對數(shù)據(jù)的分析、監(jiān)控以及處理的過程，實現(xiàn)高效率、高速度的處理。（2）對統(tǒng)計結(jié)果以及數(shù)據(jù)的處理，這種處理對時效性的要求并不高，可以應(yīng)用各種數(shù)據(jù)處理技術(shù)，也可以利用離線處理的方式，從而更好地完成風(fēng)險以及攻擊方面的分析。

3.2 基于大數(shù)據(jù)技術(shù)構(gòu)建網(wǎng)絡(luò)安全系統(tǒng)

將大數(shù)據(jù)技術(shù)引入到網(wǎng)絡(luò)安全系統(tǒng)中，主要包括有下面幾個模塊：（1）數(shù)據(jù)源模塊。網(wǎng)絡(luò)安全系統(tǒng)能夠通過分布式采集器的形式，對系統(tǒng)中的軟硬件進(jìn)行信息采集，并將這些數(shù)據(jù)進(jìn)行存儲。科學(xué)技術(shù)在不斷地發(fā)展，網(wǎng)絡(luò)安全系統(tǒng)中的數(shù)據(jù)源更多了，除了防火墻、檢測系統(tǒng)等軟件，對硬件的檢測也更加嚴(yán)格，例如對服務(wù)器、存儲器的檢查與維護(hù)工作。（2）數(shù)據(jù)采集模塊。利用了大數(shù)據(jù)技術(shù)可以對數(shù)據(jù)進(jìn)行分立，從而構(gòu)建起分布式的數(shù)據(jù)基礎(chǔ)，將這些數(shù)據(jù)從出現(xiàn)到刪除進(jìn)行一定的說明，真正實現(xiàn)對數(shù)據(jù)的訪問功能，在數(shù)據(jù)量不斷增大的今天，分布式的數(shù)據(jù)存儲也越來越重要，能夠更好地提高數(shù)據(jù)庫的穩(wěn)定性。（3）數(shù)據(jù)分析模塊。通過大數(shù)據(jù)技術(shù)可以讓網(wǎng)絡(luò)安全平臺發(fā)揮出一定的數(shù)據(jù)處理功能，也能讓人們在一定時間內(nèi)對數(shù)據(jù)進(jìn)行分析，最后的模塊是數(shù)據(jù)展示部分，這主要是針對用戶來說，從用戶的服務(wù)與體驗來分析，讓用戶得到更好的服務(wù)，這樣用戶才會對網(wǎng)絡(luò)技術(shù)以及大數(shù)據(jù)技術(shù)更加的信任，也能更好地使用網(wǎng)絡(luò)安全系統(tǒng)，將自己的信息存儲在網(wǎng)絡(luò)中也會更加放心[4]。

4 結(jié)語

綜上所述，隨著科學(xué)技術(shù)的不斷提高，網(wǎng)絡(luò)技術(shù)在人們的生活、工作以及學(xué)習(xí)中有著更加廣泛的應(yīng)用，互聯(lián)網(wǎng)數(shù)據(jù)的數(shù)量也在不斷地加大，這給網(wǎng)絡(luò)安全分析工作帶來了一定的難度與壓力。如果在網(wǎng)絡(luò)安全系統(tǒng)中應(yīng)用大數(shù)據(jù)技術(shù)，那么在對數(shù)據(jù)進(jìn)行處理、分析的時候就能夠更加快速與方便，也能更快地建立起網(wǎng)絡(luò)安全系統(tǒng)，這對維護(hù)網(wǎng)絡(luò)安全有著很好的作用，希望今后大數(shù)據(jù)技術(shù)能夠得到更多的推廣與應(yīng)用。

[1]張國強(qiáng).淺析大數(shù)據(jù)時代下的計算機(jī)網(wǎng)絡(luò)安全防范[J].經(jīng)營管理者，2015（12）：367.

[2]姜斌，劉靖，劉福強(qiáng).探析大數(shù)據(jù)時代下的網(wǎng)絡(luò)安全問題[J].信息安全與技術(shù)，2015（6）：6-7，22.

[3]林旭川，吳開來，陳祎安.以大數(shù)據(jù)視角看地震工程研究[J].地震工程與工程振動，2017（3）：120-126.

[4]王丹寧，柴旭超，王文青.Hadoop平臺下的地震波形數(shù)據(jù)存儲與應(yīng)用規(guī)劃[J].軟件工程，2016（1）：48-49.

Discussion on application of big data technology in network security analysis

Wan Mingxiu, Song Qiulian
(Xinyu University, Xinyu 338000, China)

The network technology in the new era has been widely used in various fields, which greatly promoted the modernization of social development, to facilitate people’s lives. This article analyzes the problem of network security in the new situation, explores the value of big data technology in the network security environment, discusses the construction of network security platform based on big data technology, and then analyzes the application of big data technology in network security technology.

network security; big data technology; Internet

萬明秀（1969— ），女，江西南昌人，教授，碩士；研究方向：多媒體技術(shù)，大數(shù)據(jù)應(yīng)用。