網絡安全分析中的大數據技術的有效利用

任勇+劉旸

摘要：隨著當前社會網絡的日益撅起，大數據時代已經成為當前主流的發展，我國許多醫療機構、金融機構等都利用了大數據對當前的影響，網絡安全也是如此，由于人們對網絡的依賴，導致網絡安全問題成為了當前人們普遍關注的主要問題。該文針對大數據技術在網絡安全中的重要性進行優先闡述，然后在將大數據技術運用到網絡安全的各個還擊，從網絡安全運用的實際出發，對大數據技術進行簡潔闡述，從而為當前網絡安全做出貢獻。

關鍵詞：大數據；網絡安全分析；供給檢測

中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2017）34-0016-02

網路安全不僅在生活上保證了人們的隱私不受侵犯，對于整個國家來說，更是保證了國家信息安全，然而網絡安全分析的數據卻隨著網絡架構的復雜化，相應的數據來源也會越來越多，數據的數量也會以指數的形式出現，并且按照曲線的方式增長，從而由原先的TB數量級慢慢發展成為PB的數量級，數據發展過程中，數據所表現的內容也會更加細致，數據維度范圍也會慢慢擴張；當前網絡設備為了能夠跟上網絡發展的腳步，對設備的性能也進行了增強，對數據的發送以及接受速度也進行了飛速提升，因此對于安全信息的采集要求也會進一步提升，因此網絡上的安全漏洞問題也會慢慢的提升，對網絡安全造成范圍影響。不僅如此，一些不法分子更是利用網絡安全中出現的漏洞，對網絡實行有預謀、有組織的持續性供給也慢慢增多，這樣就要求網監部門在維護當前網絡安全信息是，要保證對安全信息的分析工作能夠使用多種手段和種類。

在2013年，Cartner在對數據進行分析時得出了這樣的結論，在未來的時間里，信息構架將發生翻天覆地的變化，發展趨勢也會慢慢朝著大數據方向發展，因此大數據技術就成為了當前主要發展的技術之一。同時，大數據本著自身數據量大；運行速度快、種類齊全以及價值相對較低等特性，滿足了當前網絡安全需求。

1 大數據技術在網絡安全中的具體運用

針對當前數據本身的日志以及數據在傳遞過程中所產生的流量來說，就成為了當前網絡安全分析的主要分析目標，網絡安全帶來的資產、網絡配置、網絡漏洞、對網絡進行訪問工作、網絡使用者的行為、網絡運用上業務上的行為以及外部人員多網絡的報告，都是作為與網絡安全相關聯的輔助信息。而將大數據技術引用到當前網絡安全中的原理，就利用則相對分散的數據日志以及數據的流量進行結合，從而對他們進行基礎處理，在運用當前高校的信息采集、信息儲存、信息的檢索和分析技術，對這些數據信息作出安全分析和處理，還能提升工作成效，節省數據分析所占用用的時間[1]。同時，再根據當前信息的關聯性、階段性組合，使用場景關聯的方式對數據進行分析，從而發現網絡安全問題之間的關聯，從而預測出網絡在運行中，安全漏洞的發生，保證網絡數據中所儲存的數據不會泄露，從而將網絡安全防御系統從被動防御晉升為主動防御。

1.1 信息采集工作

對當前網絡安全問題中，數據和相關信息的采集可以利用Chukwa等工具實施，同時在利用Chukwa等工作實施信息采集時，還要運用分布采集的數據收集方法，從而能做到對于數據日志中產生的信息，可以做到每秒數百兆的信息采集率，進而在根據傳統的鏡像采集方式，完成對數據流程的全部采集工作。

1.2 信息的儲存

當前網絡技術以及信息化發展，所產生的數據也是復雜多樣，對于這些數據的應用方式來說，也是有著各式各樣的方式，而大數據技術想要對這些數據和應用方式進行存儲，就要滿足這些信息數據和應用方式的各個要求，才能實現對這些數據和應用方式的整體存儲工作，因此就要提升對這些數據信息以及應用方式的分析檢索速度，從而對他們進行分類，然后在根據種類不同，選擇不同的儲存方式[2]。

對于檢索工作來說，主要還是對數據中原始安全數據進行分析，例如數據日志產生的信息、數據傳輸過程中所產生的流量信息等。對于上述數據信息進行檢索工作時，可以根據GBase以及HNase兩種列式進行信息儲存工作，這樣的儲存方式，本身就具有快速索引以及快速響應的特定，能夠對數據實現快速檢索工作，提升檢索效率。

而對于實行過標準化處理的安全數據來說，則可以憑借Hahoop分布式，對數據信息的架構進行計算。具體做法則是將需要進行分析的數據信息，放置在計算的節點中，再根據Hive等技術，對其進行腳本的分析，從而將安全數據挖掘出來，才能完成對數據的統計報告工作以及網絡安全分析警告，最后在將分析結果存放在相應的列式中儲存起來[3]。

針對部分需要做出實時分析的安全數據而言，可以根據Strom、Spark等計算方法，將需要做出分析工作的數據放置于計算機節點中，這樣一來，需要進行實時分析的數據流經這個節點時，系統就能夠根據數據信息所產生的流量做到自動分析，最終形完成了對數據的統計工作以及網絡安全報告。這一統計方式稱為流式計算法。

1.3 信息的檢索

在對安全數據進行查詢以及檢索的過程中，由于數據的多樣性，可以根據MapReduce作為基礎，形成數據檢索的基本構架，然后在將數據中出現請求主語時，放在需要進行各個分析的節點上，做到對數據進行統一處理工作，最后在根據分布式中常見的數據并行計算法完成對數據的檢索工作。

1.4 數據的分析工作

對于當前實施數據的分析，可以根據Strom或是Spaik等，采用流式計算法作為基礎計算方法，與當前數據處理工作中復雜事件處理方法以及制定出的相關電聯分析計算方法完成對數據的計算工作[4]。利用上述兩種方式，對需要進行實時分析以及實時監控的數據，有著良好的分析和檢測能力，可以在數據傳輸過程中，第一時間捕捉到數據所產生的異常行為，保證數據安全。而對于不是實時數據的分析工作來說，可以使用Hadoop的運算結構，在聯合上對數據的聚合、挖掘以及抽取技術實施，保證力線統計風險，從而對事態進行分析，從而尋找出當前網絡安全漏洞出現的根本原因。

1.5 多元數據與多階段組合的關聯分析工作

對于大數據技術而言，能夠對數據的儲存以及分析速率做到有效的提升，并且在短時間內進行外挖掘工作，從而分析出數據在傳輸過程中所產生的多元異構數據，從而根絕這項帶有多元異構的數據，可以從整體數據中進行大規模的排查以及挖掘工作，從而找出與之存在關聯的其他異構數據，保證網絡的整體安全[5]。例如，在對將是網絡進行分析過程中，需要就不僅僅是結合流量就能對DNS進行訪問，這是就需要根據這項數據的源頭，對數據檢索工作作出進一步的擴充和分析，從而保證將對網絡數據的全部分組進行集合，然后對數據的源頭以及莫管數據做到主動的攻擊，最后再對這項數據進行深度的分析，從而了解到外界情報信息。又例如，當發現數據運行的過程中，出現主機被攻擊或者網絡出現漏洞的時候，可以則可以通過主機的關聯系統，保證其他主機沒有受到這樣的攻擊或者出現這樣的漏洞，這樣一來就能對網絡安全進行預防工作，保證安全隱患能夠及時被發現，做到防范與未然。

2 基于大叔級技術的網絡安全平臺建設

2.1 基于大數據網絡安全平臺構架

這樣平臺建設，按照從上到下的順序，可以分為數據信息分析層、大數據技術信息儲存、數據的挖掘以及分析層和數據呈現層。而在這些層面中，能夠對網絡用戶的身份信息、利用網絡作出的事件和存在威脅的情報等，得到數據多元異構信息。從而保證了當前大數據儲存層能夠對分布式文件系統進行應用，從而保證系統儲存的海量信息能夠實現長期全量的儲存，并且還能夠將這些信息做出結構化以及半結構化的數據儲存工作。對于數據呈現層來說，則能夠將大量的數據進行定位和搜索工作，并且對于這些工作來說，都能做到可視性，最后在根據數據的多種維度，展現的出網絡的整體安全狀態。

2.2 數據分析技術

這項平臺在運行的過程中，主要是采用了Hive形式，完成了對數據的統計和分析工作，這樣一來，還可以采用與SQL相似的HiveQL語言來滿足HDFS和HBase共組中，對于非結構化的數據做出相對快速的檢索工作。同時這項平臺應該事先利用Hive技術對于API做好完善的封裝處理，在使用特殊的插件事先對各種數據的處理分析以及統計工作。

針對當前數據的整體挖掘分析來說，對數據平臺運用Mahout技術可以完成基于Hadoop技術形成的機械式學習，并完成相應的數據挖掘與整理措施。并且還要針對數據分析中使用的事件流，做出特殊的分析工作，主要分析的內容是事件流的關聯數據[6]。同時，這項系統還是用了CPE技術，將系統中的數據當成了不同類型的事件進行分析，并且針對這些事件中出現的各種問題建立起各種關系庫，從而對數據完成了將簡單時間朝著更高級別事件進行轉化工作，并且還能在大量的信息中，找到威脅網絡安全的隱患。

3 結束語

在當前的大數據環境下，對于網絡安全問題可以說是提出了更高的要求，并且網絡安全中的各種應用為了保證網絡安全工作，也體現除了精準、迅速和價格低廉的特性。因此在當前階段，網路的安全問題以及如何有效地利用大數據技術提升網絡質量已經成為了當前社會主要討論的網絡話題。針對這些工作，將大數據技術的主要應用引到了網絡安全的領域，從而實現網絡對數據的收集工作、儲存設施以及檢索功能都能做到有效應用，進一步的提升網絡安全并提升網絡防御的準確性和效率。

參考文獻：

[1] 魯宛生.淺談網絡安全分析中大數據技術的應用[J].數碼世界，2017，（8）：165-165.

[2] 孫玉.淺談網絡安全分析中的大數據技術應用[J].網絡安全技術與應用，2017，（4）：102-102.

[3] 崔玉禮，黃麗君.網絡安全分析中的大數據技術應用[J].信息安全與技術，2016，（6）：75-77.

[4] 鄧曉東，何慶，許敬偉，等.大數據網絡安全態勢感知中數據融合技術研究[J].網絡安全技術與應用，2017，（8）：79-80.

[5] 潘峰，李濤.大數據環境下網絡安全態勢感知研究進展[J].保密科學技術，2016，（4）：27-33.

[6] 國威，畢遠.大數據環境下的網絡安全技術探究[J].網絡安全技術與應用，2017，（7）：70-71.