網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)實(shí)踐應(yīng)用分析

◆文俊峰

（中國(guó)移動(dòng)通信集團(tuán)山西有限公司 山西 030000）

當(dāng)前，社會(huì)上越來(lái)越多的行業(yè)已經(jīng)認(rèn)識(shí)到大數(shù)據(jù)技術(shù)能夠?yàn)樾袠I(yè)的發(fā)展帶來(lái)一定的便利性，并將大數(shù)據(jù)技術(shù)廣泛應(yīng)用到企業(yè)內(nèi)部工作上，提高企業(yè)的生產(chǎn)效率和發(fā)展速度。大數(shù)據(jù)技術(shù)在企業(yè)的深入應(yīng)用，使各個(gè)企業(yè)的網(wǎng)絡(luò)安全體系構(gòu)建工作被提上日程。全面地認(rèn)識(shí)大數(shù)據(jù)技術(shù)的作用及對(duì)網(wǎng)絡(luò)安全進(jìn)行防護(hù)是各個(gè)企業(yè)目前要考慮的重要問(wèn)題。

1 在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)的作用

（1）數(shù)據(jù)傳播速度加快

我國(guó)進(jìn)入網(wǎng)絡(luò)信息時(shí)代后，網(wǎng)絡(luò)發(fā)展如火如荼，網(wǎng)絡(luò)信息數(shù)據(jù)飛快式增長(zhǎng)。在如此大量的數(shù)據(jù)規(guī)模下，如果采用傳統(tǒng)的數(shù)據(jù)傳播方式，則會(huì)大大影響工作質(zhì)量和效率。運(yùn)用新時(shí)期的大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)傳播，在提高了數(shù)據(jù)傳播速度的同時(shí)，還保障了所傳播數(shù)據(jù)的有效性和準(zhǔn)確性。

（2）提高網(wǎng)絡(luò)安全分析系統(tǒng)的準(zhǔn)確度

信息時(shí)代下，各種網(wǎng)絡(luò)平臺(tái)和信息媒介每時(shí)每刻都在進(jìn)行大量的數(shù)據(jù)傳播，網(wǎng)絡(luò)用戶的信息數(shù)據(jù)面臨著隨時(shí)會(huì)被泄露的風(fēng)險(xiǎn)，網(wǎng)絡(luò)用戶的個(gè)人信息日趨透明化，信息安全根本沒(méi)有辦法得到保障。在網(wǎng)絡(luò)安全分析系統(tǒng)中引進(jìn)大數(shù)據(jù)技術(shù)，在對(duì)數(shù)據(jù)進(jìn)行分析時(shí)，可以以多種方式從不同的角度進(jìn)行信息處理，提高網(wǎng)絡(luò)安全系統(tǒng)數(shù)據(jù)處理的準(zhǔn)確度[1]。

（3）延伸網(wǎng)絡(luò)安全分析系統(tǒng)的深度

過(guò)往的網(wǎng)絡(luò)安全分析系統(tǒng)在對(duì)大規(guī)模的流動(dòng)信息數(shù)據(jù)進(jìn)行分析時(shí)，一方面，無(wú)法保證所分析數(shù)據(jù)的準(zhǔn)確性，成本較高，另一方面，由于技術(shù)比較落后，面對(duì)大規(guī)模的信息數(shù)據(jù)時(shí)難免會(huì)有些力不從心。大數(shù)據(jù)技術(shù)可以延伸網(wǎng)絡(luò)安全系統(tǒng)的分析深度，以較低的成本和較高的效率在海量的數(shù)據(jù)中分析出有效的數(shù)據(jù)，并且能夠更加全面深入地對(duì)數(shù)據(jù)進(jìn)行價(jià)值挖掘。

2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

（1）對(duì)信息數(shù)據(jù)進(jìn)行收集

大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中能夠?qū)π畔?shù)據(jù)進(jìn)行離線收集，包括對(duì)信息數(shù)據(jù)進(jìn)行提取、轉(zhuǎn)換、加載的全過(guò)程。同時(shí)也可以對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)收集，充分發(fā)揮Flume、Kafka 和Storm 三方面的功能，對(duì)信息數(shù)據(jù)進(jìn)行采集、緩沖，最后進(jìn)行便利的數(shù)據(jù)在線處理。此外，還可以運(yùn)用Crawler 等進(jìn)行數(shù)據(jù)互聯(lián)網(wǎng)收集。

（2）對(duì)信息數(shù)據(jù)進(jìn)行存儲(chǔ)

網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)，可以對(duì)收集到的數(shù)據(jù)進(jìn)行規(guī)模和類型劃分，在此基礎(chǔ)上選擇不同的存儲(chǔ)形式。針對(duì)原始數(shù)據(jù)信息，可以運(yùn)用GBase、HBase 對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)，針對(duì)需要實(shí)時(shí)迅速進(jìn)行分析的數(shù)據(jù)，可以運(yùn)用Storm、Spark 計(jì)算方法，將信息數(shù)據(jù)以流式的形式存儲(chǔ)[2]。

（3）對(duì)信息數(shù)據(jù)進(jìn)行全面分析

在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)，不僅可以對(duì)信息數(shù)據(jù)進(jìn)行深度挖掘和分析，還能夠?qū)Τ霈F(xiàn)的威脅網(wǎng)絡(luò)安全的風(fēng)險(xiǎn)及漏洞進(jìn)行檢查和恢復(fù)，通過(guò)檢測(cè)到僵尸網(wǎng)絡(luò)中的源頭數(shù)據(jù)、擴(kuò)大對(duì)數(shù)據(jù)的搜索區(qū)域、查找主機(jī)中存在的侵入風(fēng)險(xiǎn)等功能，實(shí)現(xiàn)網(wǎng)絡(luò)安全防護(hù)。

3 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全平臺(tái)中的應(yīng)用

（1）網(wǎng)絡(luò)安全平臺(tái)構(gòu)建的必要性

過(guò)往模式下的人工管理效率低下、對(duì)數(shù)據(jù)的整理不夠?qū)崟r(shí)、對(duì)數(shù)據(jù)的挖掘不夠全面，人工管理的一系列問(wèn)題使人工管理的部分模式面臨淘汰和更新。在解決人工管理帶來(lái)的種種問(wèn)題的要求上，需要提高管理的效率和實(shí)時(shí)性，通過(guò)建立網(wǎng)絡(luò)安全分析平臺(tái)來(lái)防范風(fēng)險(xiǎn)，保障網(wǎng)絡(luò)設(shè)備的安全。網(wǎng)絡(luò)安全平臺(tái)構(gòu)建后，可以對(duì)平臺(tái)中安全防范軟件的信息數(shù)據(jù)進(jìn)行提取分析，了解網(wǎng)絡(luò)安全現(xiàn)狀，因此，網(wǎng)絡(luò)安全平臺(tái)的構(gòu)建具有一定的重要性[3]。

（2）網(wǎng)絡(luò)安全平臺(tái)組成部分

網(wǎng)絡(luò)安全平臺(tái)的構(gòu)建主要包括數(shù)據(jù)采集層、數(shù)據(jù)處理層、數(shù)據(jù)分析層、數(shù)據(jù)訪問(wèn)層、數(shù)據(jù)應(yīng)用層等五個(gè)方面。

（3）網(wǎng)絡(luò)安全平臺(tái)的技術(shù)支撐

在數(shù)據(jù)采集方面，網(wǎng)絡(luò)安全平臺(tái)主要是利用ETL、Flume、Kafka 和Storm 方法進(jìn)行離線和實(shí)時(shí)數(shù)據(jù)采集，使數(shù)據(jù)收集更加規(guī)模化、有效化和準(zhǔn)確化。在數(shù)據(jù)存儲(chǔ)方面，以64M 字節(jié)的數(shù)據(jù)塊作為基本存儲(chǔ)單元，使用HDFS 分布式文件系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)。在數(shù)據(jù)分析方面，使用HiveQL 語(yǔ)言搜索非結(jié)構(gòu)化信息數(shù)據(jù)，并使用Hive 工具對(duì)搜索到的信息進(jìn)行整合和分析。同時(shí)，根據(jù)不同的數(shù)據(jù)需求特點(diǎn)進(jìn)行分析插件定制，進(jìn)一步做好數(shù)據(jù)分析工作[4]。

4 有效促進(jìn)大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用措施

（1）改進(jìn)數(shù)據(jù)采集技術(shù)

作為大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的首要應(yīng)用，數(shù)據(jù)采集是先導(dǎo)工作，只有在做好數(shù)據(jù)采集準(zhǔn)確化、真實(shí)化的基礎(chǔ)上，才能夠進(jìn)行下一步的數(shù)據(jù)分析工作。數(shù)據(jù)采集的單純性已經(jīng)不能滿足于大數(shù)據(jù)技術(shù)未來(lái)的發(fā)展，因此，要改進(jìn)數(shù)據(jù)采集技術(shù)。比如，在時(shí)代發(fā)展進(jìn)程中總結(jié)出來(lái)的在日志采集系統(tǒng)中使用Flume 對(duì)安全數(shù)據(jù)進(jìn)行采集的方法，和其他的數(shù)據(jù)采集方法進(jìn)行比較，可以發(fā)現(xiàn)其速度更加快、容錯(cuò)能力強(qiáng)的優(yōu)點(diǎn)；用Crawler4j 框架進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)采集時(shí)，可以大大提升速度和效率。總而言之，數(shù)據(jù)采集技術(shù)的改進(jìn)主要須落實(shí)在數(shù)據(jù)提取的速度、效率、準(zhǔn)確、安全、錯(cuò)誤數(shù)據(jù)的篩選等幾個(gè)方面[5]。

（2）改進(jìn)數(shù)據(jù)存儲(chǔ)技術(shù)

網(wǎng)絡(luò)信息平臺(tái)及媒介中越來(lái)越多的海量信息數(shù)據(jù)，對(duì)數(shù)據(jù)存儲(chǔ)技術(shù)來(lái)說(shuō)是一個(gè)嚴(yán)峻的考驗(yàn)，大數(shù)據(jù)技術(shù)要考慮如何改進(jìn)數(shù)據(jù)存儲(chǔ)技術(shù)，具體可以從以下幾個(gè)方面進(jìn)行改進(jìn)：首先，要對(duì)收集到的信息數(shù)據(jù)采取加密手段，防止系統(tǒng)中的風(fēng)險(xiǎn)因素造成信息數(shù)據(jù)的丟失，確保信息數(shù)據(jù)安全存儲(chǔ)。接下來(lái)，可以創(chuàng)建一個(gè)相對(duì)來(lái)說(shuō)較大的臨時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)。最后利用云存儲(chǔ)技術(shù)，對(duì)信息數(shù)據(jù)進(jìn)行大量的安全的存儲(chǔ)，規(guī)避了網(wǎng)絡(luò)的風(fēng)險(xiǎn)因素。此外，要加快對(duì)網(wǎng)絡(luò)存儲(chǔ)手段的創(chuàng)新腳步，牢牢把握信息科技時(shí)代發(fā)展的方向和前沿，更好地進(jìn)行數(shù)據(jù)存儲(chǔ)等工作[6]。

（3）保障信息數(shù)據(jù)的完整性

網(wǎng)絡(luò)中泛濫的危險(xiǎn)信息和垃圾信息會(huì)對(duì)網(wǎng)絡(luò)平臺(tái)進(jìn)行惡意攻擊，進(jìn)而造成信息數(shù)據(jù)丟失，自身的失誤操作也是造成數(shù)據(jù)流失的一個(gè)主要原因。因此，對(duì)數(shù)據(jù)完整性的保障也是十分必要的。為了保障信息數(shù)據(jù)的完整性，可以從提升網(wǎng)絡(luò)安全平臺(tái)中的防火墻等級(jí)、運(yùn)用先進(jìn)的病毒入侵防范技術(shù)兩方面入手。然后運(yùn)用身份認(rèn)證等技術(shù)對(duì)數(shù)據(jù)進(jìn)行加密，為數(shù)據(jù)提供一個(gè)安全的保障環(huán)境。

5 結(jié)束語(yǔ)

總而言之，隨著網(wǎng)絡(luò)信息技術(shù)的發(fā)展進(jìn)程不斷加快，網(wǎng)絡(luò)環(huán)境也愈發(fā)復(fù)雜，在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)，解決了數(shù)據(jù)收集、存儲(chǔ)、處理方面的一些原有問(wèn)題，使數(shù)據(jù)的收集更加方便快捷，數(shù)據(jù)的傳輸速度更快、效率更高，數(shù)據(jù)的存儲(chǔ)更加安全完整，數(shù)據(jù)的分析工作也更加有深度有價(jià)值，在我國(guó)當(dāng)前的網(wǎng)絡(luò)安全體系的構(gòu)建中占據(jù)著重要的地位。