基于大數(shù)據(jù)時(shí)代的計(jì)算機(jī)網(wǎng)絡(luò)安全技術(shù)應(yīng)用分析

◆唐培全 戴小佳

（1.華能山東發(fā)電有限公司 山東 250014；2.華能山東發(fā)電有限公司八角電廠 山東 264006）

1 大數(shù)據(jù)技術(shù)的應(yīng)用背景

目前的大數(shù)據(jù)技術(shù)包含了基于數(shù)據(jù)收集、數(shù)據(jù)儲(chǔ)存、數(shù)據(jù)清潔、數(shù)據(jù)挖掘和基于數(shù)據(jù)模型等。其中，數(shù)據(jù)收集主要應(yīng)該包括兩個(gè)部分。一方面，使用網(wǎng)絡(luò)爬蟲這一手段把出現(xiàn)在網(wǎng)絡(luò)和移動(dòng)設(shè)備上的各類信息都收集了起來(lái)，并且有效地對(duì)這些信息加以了管理。另一方面，使用不同類型的傳感器，收集各種行業(yè)的數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)就是按照系統(tǒng)規(guī)定的形態(tài)來(lái)收集所需要的數(shù)據(jù)，例如物理和實(shí)測(cè)信息。

顯而易見(jiàn)，互聯(lián)網(wǎng)技術(shù)取得了很大的進(jìn)步并且仍在進(jìn)步當(dāng)中，這就導(dǎo)致了在世界范圍內(nèi)的數(shù)據(jù)量已經(jīng)增加到很龐大的地步，我們的生活的變化可以用天翻地覆來(lái)形容。目前大數(shù)據(jù)處理方法常用的大數(shù)據(jù)技術(shù)有Spark、Hadoop 以及MapReduce。大數(shù)據(jù)技術(shù)在分析數(shù)據(jù)集背后隱藏的信息時(shí)，通過(guò)機(jī)器學(xué)習(xí)等方式帶來(lái)了很大的商業(yè)價(jià)值。

大數(shù)據(jù)技術(shù)有很大的作用，目前的大數(shù)據(jù)技術(shù)包含了基于數(shù)據(jù)收集、數(shù)據(jù)儲(chǔ)存、數(shù)據(jù)清潔、數(shù)據(jù)挖掘和基于數(shù)據(jù)模型等。其中，數(shù)據(jù)收集主要應(yīng)該包括兩個(gè)部分。一方面，使用網(wǎng)絡(luò)爬蟲這一手段把出現(xiàn)在網(wǎng)絡(luò)和移動(dòng)設(shè)備上的各類信息都收集了起來(lái)，并且有效地對(duì)這些信息加以了管理。另一方面，傳感器的使用，尤其是在各種傳感器類型的發(fā)展下，對(duì)不同行業(yè)內(nèi)數(shù)據(jù)的收集起到了正向的促進(jìn)作用。在對(duì)數(shù)據(jù)存儲(chǔ)工作時(shí)，大數(shù)據(jù)的發(fā)展可以在龐大的數(shù)據(jù)內(nèi)按照系統(tǒng)所規(guī)定的方式收集需要的大量數(shù)據(jù)，比如對(duì)物理和實(shí)測(cè)信息的收集。數(shù)據(jù)清洗所指的是對(duì)收集到的缺陷數(shù)據(jù)進(jìn)行篩選及相應(yīng)處理工作的過(guò)程，通過(guò)這點(diǎn)來(lái)保證結(jié)構(gòu)的完整性。數(shù)據(jù)挖掘工作是以機(jī)器學(xué)習(xí)的方式，智能化挖掘數(shù)據(jù)中能分析得來(lái)的隱藏信息。而對(duì)于數(shù)據(jù)模型使用工作則是根據(jù)收集到的數(shù)據(jù)建立起智能模型并進(jìn)行各種各樣的預(yù)測(cè)。隨著大數(shù)據(jù)技術(shù)的發(fā)展和進(jìn)步，其在各行業(yè)的應(yīng)用也愈發(fā)廣泛。例如，根據(jù)大數(shù)據(jù)技術(shù)對(duì)信息進(jìn)行采集和分析而建立起的銀行信用卡詐騙檢測(cè)模型來(lái)預(yù)防詐騙犯罪行為，同時(shí)大數(shù)據(jù)技術(shù)在財(cái)務(wù)風(fēng)險(xiǎn)評(píng)估和基因信息分析等方面也有重要的應(yīng)用。

2 網(wǎng)絡(luò)安全分析技術(shù)

（1）計(jì)算機(jī)網(wǎng)絡(luò)安全分析的作用

網(wǎng)絡(luò)安全分析收集、存儲(chǔ)和分析網(wǎng)絡(luò)安全日志、流量、用戶方向、業(yè)務(wù)行為等信息，分析網(wǎng)絡(luò)中存在的漏洞、潛在的網(wǎng)絡(luò)攻擊、和可能發(fā)生的網(wǎng)絡(luò)信息盜竊威脅，諸如此類的安全威脅都能通過(guò)大數(shù)據(jù)在網(wǎng)絡(luò)安全中的應(yīng)用進(jìn)行預(yù)防，大數(shù)據(jù)帶來(lái)的網(wǎng)絡(luò)安全分析的結(jié)果，能夠幫助計(jì)算機(jī)在運(yùn)行過(guò)程當(dāng)中進(jìn)行安全維護(hù)和保證計(jì)算機(jī)的穩(wěn)定運(yùn)行。所以大數(shù)據(jù)技術(shù)的應(yīng)用可以說(shuō)是網(wǎng)絡(luò)安全維護(hù)工作和計(jì)算機(jī)網(wǎng)絡(luò)穩(wěn)定運(yùn)行的基礎(chǔ)，網(wǎng)絡(luò)安全分析是網(wǎng)絡(luò)安全正常運(yùn)行的重要步驟之一。

（2）計(jì)算機(jī)網(wǎng)絡(luò)安全分析技術(shù)的現(xiàn)狀

目前，網(wǎng)絡(luò)安全數(shù)據(jù)分析是一種基于網(wǎng)絡(luò)全流量的分析技術(shù)，網(wǎng)絡(luò)攻擊給用戶留下了一個(gè)可以直接用于網(wǎng)絡(luò)跟蹤的印記，網(wǎng)絡(luò)攻擊時(shí)所生成的各種網(wǎng)絡(luò)數(shù)據(jù)不同于普通流量的網(wǎng)站所需要生成的各種數(shù)據(jù)，因此，通過(guò)對(duì)網(wǎng)絡(luò)跟蹤的分析，可以準(zhǔn)確地認(rèn)識(shí)和了解到網(wǎng)絡(luò)的威脅，迅速應(yīng)對(duì)各種網(wǎng)絡(luò)攻擊，最終根據(jù)這些網(wǎng)絡(luò)攻擊的取證結(jié)果做出判斷。但是，隨著現(xiàn)代互聯(lián)網(wǎng)技術(shù)的更新和發(fā)展，會(huì)使用戶在網(wǎng)上遭受各種形式的攻擊。只依靠網(wǎng)絡(luò)安全流程分析的技術(shù)，是無(wú)法滿足各種互聯(lián)網(wǎng)企業(yè)在保護(hù)和維持網(wǎng)絡(luò)安全方面需求。因此，自動(dòng)識(shí)別各類網(wǎng)絡(luò)襲擊、具有自適應(yīng)保護(hù)功能的創(chuàng)新型智能化網(wǎng)絡(luò)安全分析技術(shù)已成為當(dāng)務(wù)之急。

3 大數(shù)據(jù)技術(shù)和計(jì)算機(jī)網(wǎng)絡(luò)安全技術(shù)整合的必要性

隨著互聯(lián)網(wǎng)的普及和用戶的不斷增多，帶來(lái)了數(shù)據(jù)量的激增，同時(shí)也給網(wǎng)絡(luò)安全分析也提出了更高的要求，網(wǎng)絡(luò)安全分析中要處理的數(shù)據(jù)量單位從TB 階段正發(fā)展到PB 階段，在分析的過(guò)程中，所面對(duì)的內(nèi)容比原來(lái)詳細(xì)更多，分析時(shí)進(jìn)行的維度也變得愈發(fā)多樣，信息數(shù)據(jù)傳輸率逐漸增加，并且0day 等漏洞也在增加，同時(shí)有組織性的APT式攻擊發(fā)生的頻率也較以往更高。這就導(dǎo)致數(shù)據(jù)在長(zhǎng)期保存的過(guò)程中丟失的可能性更大，難以跟蹤源頭。特別是在難以降低大量干擾的數(shù)據(jù)中，對(duì)數(shù)據(jù)的分析效率也很難滿足需求，分析出的結(jié)果精度也不夠高。而大數(shù)據(jù)技術(shù)的合理應(yīng)用讓處理的效率和精度都有所提高，同時(shí)降低了處理成本和安全風(fēng)險(xiǎn)，加快了對(duì)安全問(wèn)題的發(fā)現(xiàn)速度。與此同時(shí)，在網(wǎng)絡(luò)安全中應(yīng)用大數(shù)據(jù)技術(shù)對(duì)挖掘的準(zhǔn)確性有實(shí)質(zhì)性的提高，二者的集成在未來(lái)有巨大的前景。

4 大數(shù)據(jù)時(shí)代計(jì)算機(jī)信息數(shù)據(jù)安全問(wèn)題有效應(yīng)對(duì)策略

（1）加強(qiáng)主機(jī)保護(hù)設(shè)置

在計(jì)算機(jī)安全問(wèn)題的案例中，實(shí)際上，各種病毒的攻擊的對(duì)象往往是計(jì)算機(jī)的主機(jī)，所以說(shuō)對(duì)主機(jī)做好保護(hù)，就能大大提高對(duì)攻擊防范的有效性。在采用大數(shù)據(jù)對(duì)用戶的主機(jī)的保護(hù)機(jī)制進(jìn)行增強(qiáng)的前提下，用戶可以做到只通過(guò)相應(yīng)的功能按鈕進(jìn)行重置，而無(wú)須重新啟動(dòng)計(jì)算機(jī)，這一改進(jìn)可以有效保護(hù)系統(tǒng)的主機(jī)，進(jìn)而維護(hù)網(wǎng)絡(luò)安全。加強(qiáng)主機(jī)保護(hù)是保護(hù)計(jì)算機(jī)系統(tǒng)安全的有效手段因此必須有效地應(yīng)用這一措施

（2）提高終端的安全性能

在大數(shù)據(jù)時(shí)代，存儲(chǔ)在網(wǎng)絡(luò)終端上的數(shù)據(jù)量也在增加。持續(xù)加強(qiáng)終端的安全性能可以有效地提高網(wǎng)絡(luò)信息的安全性能，保證有效地執(zhí)行網(wǎng)絡(luò)管理規(guī)則，是保護(hù)計(jì)算機(jī)網(wǎng)絡(luò)信息安全的有效對(duì)策。為了加強(qiáng)網(wǎng)絡(luò)終端的安全，不僅要及時(shí)修復(fù)網(wǎng)絡(luò)漏洞，還必須選擇有效的防范病毒入侵、使用新技術(shù)有效抵御黑客攻擊的有效對(duì)策。此外，還必須實(shí)施有效的安全保護(hù)，加強(qiáng)數(shù)據(jù)安全技術(shù)的研究開發(fā)，不斷更新云計(jì)算模式。應(yīng)用新技術(shù)可以徹底消除攻擊力強(qiáng)的病毒，消除惡意代碼等相關(guān)風(fēng)險(xiǎn)因素，從而有效地運(yùn)行網(wǎng)絡(luò)終端設(shè)備，保證網(wǎng)絡(luò)信息安全。

（3）加強(qiáng)計(jì)算機(jī)病毒的防治能力

在大數(shù)據(jù)時(shí)代持續(xù)發(fā)展的情況下，存在著越來(lái)越多種類的計(jì)算機(jī)病毒，病毒數(shù)量也在增加，對(duì)計(jì)算機(jī)病毒的應(yīng)對(duì)變得困難。在計(jì)算機(jī)網(wǎng)絡(luò)的實(shí)際運(yùn)行過(guò)程中，想要實(shí)現(xiàn)對(duì)信息安全的有效維護(hù)，病毒處理能力的加強(qiáng)也是重要的途徑之一，可以選擇合理的對(duì)策進(jìn)行計(jì)算機(jī)網(wǎng)絡(luò)病毒的防范工作。同時(shí)計(jì)算機(jī)用戶在使用計(jì)算機(jī)網(wǎng)絡(luò)的過(guò)程中，應(yīng)當(dāng)形成定期的殺毒習(xí)慣，重視網(wǎng)絡(luò)安全，在網(wǎng)絡(luò)技術(shù)應(yīng)用的過(guò)程中遵循規(guī)則，規(guī)范自身的行為，對(duì)計(jì)算機(jī)網(wǎng)絡(luò)信息安全進(jìn)行維護(hù)。

5 大數(shù)據(jù)技術(shù)在計(jì)算機(jī)網(wǎng)絡(luò)安全分析中的應(yīng)用

（1）利用大數(shù)據(jù)技術(shù)收集網(wǎng)絡(luò)信息

對(duì)于互聯(lián)網(wǎng)公司而言，在為客戶提供服務(wù)的過(guò)程當(dāng)中，要面對(duì)大量的數(shù)據(jù)信息，為了對(duì)這些信息進(jìn)行合理妥當(dāng)?shù)奶幚砗头治觯梢允褂脤lume 和Scribe 采集系統(tǒng)，有效地采集數(shù)據(jù)。

（2）以大數(shù)據(jù)技術(shù)為基礎(chǔ)的網(wǎng)絡(luò)信息存儲(chǔ)

傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)很大，通常存儲(chǔ)在硬盤上。雖然磁盤容量在穩(wěn)步增長(zhǎng)，但磁盤的讀取速度并未跟上時(shí)代的發(fā)展。而Hadoop 大數(shù)據(jù)技術(shù)和YARN 分布式文件系統(tǒng)中使用HDFS 存儲(chǔ)數(shù)據(jù)后，無(wú)論是數(shù)據(jù)的讀取速度還是精確度都有了很大的提升，能夠滿足實(shí)際的要求。

（3）基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)信息處理分析

所需要的各式信息隱藏業(yè)務(wù)行為以及互聯(lián)網(wǎng)上生成的其他各種信息的背后，大數(shù)據(jù)的應(yīng)用在保證數(shù)據(jù)安全的同時(shí)，實(shí)現(xiàn)了對(duì)數(shù)據(jù)的高效分析。例如MapReduce 框架的合理使用可以避免數(shù)據(jù)集質(zhì)量問(wèn)題導(dǎo)致的錯(cuò)誤和不良分析結(jié)果，如數(shù)據(jù)過(guò)濾、刪除不完整的數(shù)據(jù)和改進(jìn)數(shù)據(jù)集。同時(shí)，還可以使用MapReduce 分析經(jīng)過(guò)機(jī)器學(xué)習(xí)預(yù)處理的數(shù)據(jù)集，挖掘數(shù)據(jù)背后的價(jià)值建立預(yù)測(cè)模型，準(zhǔn)確分析網(wǎng)絡(luò)安全性。機(jī)器學(xué)習(xí)具有良好的一般化性能，可以應(yīng)對(duì)各種網(wǎng)絡(luò)攻擊。

6 大數(shù)據(jù)技術(shù)和計(jì)算機(jī)網(wǎng)絡(luò)安全技術(shù)整合分析平臺(tái)

由于大數(shù)據(jù)技術(shù)優(yōu)于分析、存儲(chǔ)和檢索的傳統(tǒng)方法，因此可以有效提高數(shù)據(jù)分析的效率，具有從海量信息數(shù)據(jù)中消除安全問(wèn)題和隱患的能力。以嵌入大數(shù)據(jù)技術(shù)和計(jì)算機(jī)網(wǎng)絡(luò)安全技術(shù)的分析平臺(tái)為例，可以更清楚地了解大數(shù)據(jù)技術(shù)的好處。

（1）基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全分析平臺(tái)架構(gòu)

基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全分析平臺(tái)從上到下構(gòu)成了數(shù)據(jù)獲取層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)挖掘?qū)雍蛿?shù)據(jù)顯示層。從數(shù)據(jù)類型的觀點(diǎn)來(lái)看，平臺(tái)在計(jì)算機(jī)網(wǎng)絡(luò)的運(yùn)用中生成，如DNS 流量信息數(shù)據(jù)、Netflow流量信息數(shù)據(jù)、用戶行為信息、網(wǎng)絡(luò)結(jié)構(gòu)信息、Web 應(yīng)用信息等。數(shù)據(jù)存儲(chǔ)層可以通過(guò)分布式存儲(chǔ)實(shí)現(xiàn)各種非結(jié)構(gòu)化數(shù)據(jù)的長(zhǎng)期存儲(chǔ)。在分析平臺(tái)上，數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘分析和數(shù)據(jù)顯示可以形成整體。

（2）主要技術(shù)方法

數(shù)據(jù)挖掘技術(shù)：主要實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的在線分析和日志信息與交通信息的離線統(tǒng)計(jì)，信息數(shù)據(jù)的統(tǒng)計(jì)主要通過(guò)Hive 實(shí)現(xiàn)。為了集成在線信息收集和離線信息收集，該平臺(tái)集成了Strom 和Kafka 計(jì)算體系結(jié)構(gòu)。在線信息數(shù)據(jù)和離線信息數(shù)據(jù)整合可以實(shí)現(xiàn)分布式、非結(jié)構(gòu)化、可靠、高效的海量信息收集和收集，并在整合后將數(shù)據(jù)發(fā)送到相應(yīng)的分布式存儲(chǔ)點(diǎn)。與常見(jiàn)的數(shù)據(jù)挖掘方法不同，平臺(tái)可以使用Kafka來(lái)保證流數(shù)據(jù)的有效處理，Strom 可以傳送各種實(shí)時(shí)消息，因此計(jì)算機(jī)網(wǎng)絡(luò)在運(yùn)行中可以連續(xù)讀取、發(fā)送數(shù)據(jù)。

數(shù)據(jù)存儲(chǔ)技術(shù)：所挖掘的網(wǎng)絡(luò)信息數(shù)據(jù)主要存儲(chǔ)在目前成熟的分布式文件存儲(chǔ)技術(shù)HDFS 中，可以在不同的數(shù)據(jù)節(jié)點(diǎn)中存儲(chǔ)不同類型的非結(jié)構(gòu)化數(shù)據(jù)。對(duì)于大量的信息數(shù)據(jù)，HDFS 還支持?jǐn)?shù)據(jù)的相互導(dǎo)入。

數(shù)據(jù)分析技術(shù)：平臺(tái)數(shù)據(jù)分析由成熟的編程模型MapReduce 實(shí)現(xiàn)，主要用于超過(guò)1TB 的數(shù)據(jù)集的并行操作，可以實(shí)現(xiàn)數(shù)據(jù)分布式存儲(chǔ)海量數(shù)據(jù)。此外，平臺(tái)還使用Hive 生成數(shù)據(jù)統(tǒng)計(jì)信息，并使用HDFS 快速發(fā)現(xiàn)和查詢非結(jié)構(gòu)化數(shù)據(jù)。

7 結(jié)語(yǔ)

信息安全在大數(shù)據(jù)時(shí)代變成了數(shù)據(jù)分析的重要問(wèn)題，目前網(wǎng)絡(luò)信息數(shù)據(jù)規(guī)模不斷擴(kuò)大，數(shù)據(jù)種類不斷增加，現(xiàn)有的網(wǎng)絡(luò)安全技術(shù)難以實(shí)現(xiàn)準(zhǔn)確有效的分析。大數(shù)據(jù)技術(shù)的特性能夠滿足目前計(jì)算機(jī)網(wǎng)絡(luò)的安全要求。