面向網絡安全防御防護的大數據平臺架構研究

王逸鶴 黃亦芃

1(中核戰略規劃研究總院有限公司計算機所網絡安全研究室 北京 100048) 2(清華大學軟件學院 北京 100084)

(tinayihe@163.com)

在信息化發展和普及的大趨勢下，日益頻繁的網絡使用和信息交互帶來的網絡流量爆炸以及網絡設備、終端設備和安全產品之間的多樣異構性，為不法分子提供了更多的突破口，使網絡安全面臨更加嚴峻的挑戰.因此，在高復雜度以及高關聯性的網絡環境下，適應并提升網絡安全防御防護能力至關重要.面對網絡攻擊，提高網絡威脅態勢感知的前瞻性和準確性以及網絡安全事件應急處置的實時性和有效性成為了網絡攻擊防御的重點和難點.同時，網絡安全工程師在判斷如何設計網絡安全技術架構和何時進行技術架構調整或加固時，往往需要依據個人經驗或借鑒業界實踐.這種方法難以滿足網絡安全技術架構設計全面性和前沿性以及及時發現整體架構和各節點的漏洞和弱點的需要.

大數據技術的應用給許多行業帶來了突破性的發展.網絡活動所產生的數據與大數據的特征高度吻合，因此大數據技術可以有效地應用在網絡安全領域.大數據的5V特征包括大量(volume)、高速(velocity)、多樣(variety)、價值密度低(value)和真實性(veracity)[1].在網絡中，各類終端、網絡設備、安全設備、應用系統和軟件以及審計系統所產生的網絡流量和日志等數據量巨大且復雜異構，吻合大數據大量和多樣的特征.另外，網絡數據的強時效性以及網絡安全防御對實時性的高要求反映了網絡數據在產生和處理中高速的特點.最后，網絡痕跡與現實世界息息相關，日志文件等記錄覆蓋了網絡域中各時段的行為，可信度高但有效信息提煉難度大.利用大數據技術可以從龐大的網絡數據中提取出有效數據用以分析和預測網絡安全事件的過程和趨勢，符合大數據真實性以及價值密度低的特征.

本文研究討論了面向網絡安全綜合防御防護的大數據平臺的功能需求和整體技術架構，以適應當下的網絡安全形勢，提升信息系統應對網絡攻擊時應具備的各項能力.這一大數據系統將主要滿足3點要求：1)提高網絡安全態勢感知的前瞻性和準確性；2)綜合網絡狀態、基于網絡安全知識庫，建立輔助網絡攻擊應急處置的決策支持系統；3)有能力推薦網絡安全技術架構的優化方案，提高信息系統網絡安全架構的全面性和前沿性.

1 大數據平臺功能需求

基于上述能力要求，我們對大數據平臺提出了以下3項功能需求：態勢感知、應急處置決策支持和網絡安全系統智能優化.這3項功能應分別迎合以下幾點需求：1)迅速感知網絡攻擊威脅，分析其成因并預警，提供網絡安全態勢的可視化描述；2)在緊急情況下快速提供應急處置方案，輔助決策者制定處置措施并派發相應工單；3)結合大量的網絡安全情報，智能化分析信息系統網絡安全架構的健壯程度并查找弱點，進而為整體安全架構以及各設備安全防護提供優化策略和方案.

下面我們將圍繞這3項功能闡述對應的技術特點.

1.1 態勢感知

態勢感知需要對信息系統的網絡安全狀態進行監測，對可能的威脅進行預警，以提高系統對于網絡攻擊的前瞻性.從在線檢測預警的角度，態勢感知所依賴的數據多表現為高密度、不間斷的實時流式數據，如網絡流量數據和日志數據.這些數據在經過簡潔快速的預處理后直接進入在線數據處理過程，結合歷史數據進行實時的異常診斷和溯源，輸出異常的相關指標并預警.同時，在不影響應用性能表現的前提下，流式數據處理的輸出結果還應分發到數據存儲系統，一方面作為歷史數據，供未來的實時流處理使用，另一方面作為離線分析計算的可用數據，為其他應用模塊提供支持.

除此之外，態勢感知還需要離線計算技術的支持，通過集中處理和分析一定周期內(如每天、每周等等)的可用數據，經過清洗、集成、批量處理等過程，輸入如深度學習、異常檢測等機器學習模型來達到更為精細、全面的入侵檢測.另外，檢測結果經驗證后可以反饋給相應的模型進行再學習，以提高態勢感知的準確性.

1.2 應急處置決策支持

在面臨較嚴重的網絡安全攻擊等緊急情況下，大數據平臺應根據威脅的具體信息，結合離線搭建的網絡安全知識庫，快速構建多套處置方案并提供相應的技術指標，輔助決策者進行判斷并制定應急處置的行動方案.

相較于態勢感知，應急處置決策支持的實時性更加注重應對網絡安全威脅作出快速反應，并且更依賴于匯集了各類網絡安全情報和資料的知識圖譜來進行網絡安全威脅的關聯和發散以及相關解決方案的提取和組合，實現多樣的決策支持并保證其有效性.因此，以離線方式在海量的信息和情報中對網絡安全相關知識進行抽取、關聯和融合至關重要.此外，平臺的數據存儲層面還應輔以適當的數據庫技術(如圖數據庫)保證知識實體和關系的讀寫性能.

1.3 網絡安全系統智能優化

大數據平臺還需要對信息系統的網絡安全架構進行評估并提供優化方案，例如及時推送病毒庫升級、漏洞補丁，以及根據網絡攻擊趨勢對現有網絡安全架構提出調整建議和加固方案.相較于單純的人工架構設計，基于大數據的智能優化方式具有以下優勢：

1) 更為及時地評估、發現資產漏洞及架構設計弱點；

2) 用于設計優化網絡安全架構的知識儲備量更大且覆蓋面更廣；

3) 對新興技術和趨勢反應更為及時，可提高網絡安全體系的前沿性.

類似于上述應急處置決策支持的技術特點，該功能的實現建立在對網絡安全動態、漏洞信息、行業最佳實踐等資料的提取、關聯、融合之上，通過構建網絡安全系統優化層面上的知識庫，達到智能化定制優化策略的目的.因此，數據應用層以下的部分技術，如數據分析方面的知識圖譜、離線數據處理、數據庫管理系統等，可以同時為這2個功能提供服務，實現資源的共享和復用.

2 大數據平臺架構

通過分析3項主要功能的業務需求和相應的技術需求，我們可以總結并提出一整套網絡安全大數據平臺的技術架構設計，如圖1所示：

圖1 網絡安全大數據平臺架構

2.1 架構設計

2.1.1 數據收集和預處理

平臺的數據源包括網絡內部的相關數據，如網絡設備日志、安全設備數據、審計信息、操作系統和應用程序日志、資產信息數據等.另外，平臺也需要收集外部的各類網絡安全資料，如漏洞信息和網絡安全相關的社會新聞等情報類信息、網絡安全規范和最佳實踐等知識類信息.原始數據首先需要經過一系列較輕量級的集成、清洗等預處理，再根據不同的業務需求輸入到數據處理和存儲過程.

2.1.2 數據存儲

為了應對這些多源異構的復雜數據，平臺的數據存儲應覆蓋不同種類的數據庫和存儲系統，以更有效地存儲和訪問各種形式的數據.例如，使用關系型數據庫存儲有明確結構和關系的結構化數據，使用時序數據庫存儲依賴時間序列的密集數據，使用圖數據庫存儲更注重圖形關系讀寫的數據.

2.1.3 數據處理

在數據處理層面上，平臺同時提供在線和離線2種模式，以滿足不同的數據處理場景和需求.在線數據處理使用數據流處理的相關技術，對網絡安全異常情況的快速響應提供保障，支撐網絡安全態勢的實時感知.在此過程中，應當避免非必要的數據存儲過程以減少性能消耗，還應當按照實際需要對數據作更為深入的數據清洗和轉換以保證數據質量[2].離線數據處理采用大數據批量處理的基本框架，在對性能要求較寬松的情況下對數據進行更精細的處理.相較于在線模式，離線模式可以選擇在犧牲一部分性能的前提下進行更大范圍的數據集成和融合，為上層數據分析和計算提供更廣泛的可用數據.

2.1.4 數據分析

對數據價值的深層挖掘更多地體現在數據分析層面上.深度學習、異常檢測等人工智能技術可以在網絡安全領域中起到關鍵性的作用，在網絡攻擊、惡意軟件、高級可持續威脅攻擊(advanced persistent threat, APT)等網絡安全威脅的防護方面有著廣泛的應用[3-5].另外，各類網絡安全資料在經過數據集成、關聯、融合等過程后，可以有效地抽取知識并構建網絡安全相關的知識圖譜，以支持平臺上層應用中處置方案和優化方案的智能化設計.運籌學中的優化思想和算法也可以有效地應用在數據分析中，支撐決策支持和系統優化等功能.

2.1.5 數據應用

基于數據收集、預處理、存儲、處理和分析層的技術支撐，平臺可以在數據應用層上實現前文論述的三大功能，并且可以根據實際應用需求增加其他應用模塊.

2.1.6 監控管理和數據安全

在大數據生命周期[6]之外，平臺的設計還包括監控和安全相關的模塊，便于管理從數據收集到應用的全部系統流程和保證平臺中數據的安全性.

2.2 架構特點

結合前文所述的3項主要功能，本文提出的網絡安全大數據平臺設計具有以下特點：

1) 數據處理過程采取在線和離線處理相結合的方式，滿足不同應用模塊的業務需求；

2) 引入外部資料，從中抽取知識并關聯、融合，構建網絡安全知識圖譜，以有效地對信息進行檢索、擴展和發散，支撐決策支持和系統優化等功能的實現；

3) 采用分層化模塊化設計，使平臺具有很強的可拓展性；

4) 利用分布式大數據處理框架的計算能力，結合面向不同數據類型的各類數據庫技術，實現海量異構信息的高性能讀寫和處理.

3 相關工作

近年來，越來越多的研究者加入到大數據技術在網絡安全領域應用的研究.相關工作主要包括面向網絡安全的大數據平臺整體架構以及技術路線的研究.另外，大數據平臺中的數據分析和應用部分往往需要借助人工智能技術.因此，不少研究者也對深度學習等人工智能技術在網絡安全領域中的應用展開了研究.

目前，在網絡安全領域，大數據平臺主要被應用于網絡安全風險態勢感知.管磊等人[7]曾通過討論大數據技術在網絡安全分析上的優勢，提出了基于大數據技術實現網絡安全威脅檢測、研判和報警的安全態勢感知平臺.該研究通過網絡安全威脅數據匯聚與存儲、面向威脅情報的大數據分析和態勢感知與預警這3個層面對網絡安全態勢感知平臺的技術、實現方法、部署、試運行和應用情況進行了闡述.琚安康等人[8]曾通過對開源大數據工具集與前沿的大數據技術的集成，提出了具備威脅預警和態勢感知功能的系統框架，并描述了其數據收集整理子系統、數據存儲子系統、規則挖掘提取子系統、實時關聯分析子系統和安全態勢呈現子系統的功能及相關開源大數據工具.

隨著計算性能的提升和深度學習的發展，人工智能領域的研究工作取得了重大進步.早期，傳統機器學習技術在解決網絡安全威脅中起到了至關重要的作用.然而，傳統機器學習算法對于特征提取的依賴對其在網絡安全領域的應用產生了一定程度上的制約，事先定義的特征識別和提取方法也會影響算法的準確性和靈活性[9].深度學習是機器學習的一種，它與傳統機器學習最大的區別在于深度學習無需前置計算提取特征.因此，深度學習為網絡安全攻防帶來了新的突破.目前，機器學習技術在網絡安全領域應用的相關研究主要包括高級可持續威脅攻擊、惡意軟件、網絡入侵、軟件定義網絡中拒絕服務攻擊的檢測等.此類研究可以支撐網絡安全防御防護大數據平臺中數據的分析和處理階段.

在傳統機器學習方面，最近鄰(knearest neighbor,k-NN)節點算法、支持向量機(support vector machines, SVM)、決策樹等技術都在網絡安全領域有著不同程度的應用.Dada[10]提出了綜合最近鄰節點算法、支持向量機和基于異步式的原始對偶粒子群優化算法(pdAPSO)的網絡入侵檢測方案.通過使用KDD99數據集驗證，該分類機的準確率可達98.55%.然而，此方法只關注了分類的準確率，并沒有考慮到算法的效率和復雜度.當今網絡中每時每刻都會產生海量的流量和數據，如果想通過傳統機器學習方法解決實際網絡安全問題，算法的性能至關重要.Hong等人[11]針對網絡流量檢測的準確性和實時性提出了一種有助于縮短SVM訓練過程的迭代調試方案.同時，通過迭代調試SVM的理論分析，作者提出了一套SVM調參的方法.該研究通過與另外8種基于SVM技術的分類機對比，證明此方法可在保持可接受的準確率的同時提高訓練速度2～10倍.

如前文所述，自動的特征學習過程使深度學習技術可以對數據進行更深層的挖掘，為其在網絡安全領域的應用帶來了優勢.深度信念網絡(deep belief network, DBN)是一種概率生成模型，包含多層隨機隱變量.深度信念網絡可以被視為受限玻爾茲曼機(restricted Boltzmann machine, RBM)的堆棧.深度信念網絡通過逐層訓練的方式為整個網絡進行初始權值選擇和微調優化.Alrawashdeh等人[12]實現了基于深度信念網絡的異常檢測方法.該方法經過DARPA KDDCUP’99樣本集驗證，檢測率和誤報率分別為97.9%和2.47%.循環神經網絡(recurrent neural network, RNN)用于處理序列數據，其特點在于引入了定向循環，通過將隱藏層之間的輸入輸出節點相連接，使神經網絡可以記憶前一時刻的信息并應用于后面的計算.Staudemeyer[13]實現了面向入侵檢測的長短期記憶循環神經網絡(long short-term memory recurrent neural network, LSTM RNN)分類機.該成果在檢測DoS攻擊和探針(probe)攻擊等時間關聯性高的網絡攻擊中優勢突出.卷積神經網絡(convolutional neural networks, CNN)是一種常用的受人類視覺認知機制啟發的前反饋神經網絡.CNN的一大特點在于將大量復雜、無標記的數據進行最小化預處理的同時有效保留數據特征，這使其在網絡安全態勢感知和網絡入侵檢測的應用上很有前景.Yu等人[14]提出了面向網絡攻擊的增大型卷積自編碼(dilated convolutional autoencoders, DCAEs).該深度學習方法結合了自編碼堆疊和卷積神經網絡的優勢，可以從大量異構且未加工的網絡流量數據中自動學習識別高級可持續威脅攻擊、掃描、僵尸網絡、惡意軟件等特征.然而，深度學習對比傳統機器學習算法更易受到惡意攻擊的影響.利用帶有輕微偏差的對抗性樣本可導致深度神經網絡的分類機制發生錯亂.這種現象同樣吸引了很多研究者投入到深度學習安全的研究中.

對于本文提出的相關設計，目前，威脅檢測、態勢感知方面的研究及應用如前文所述已較為成熟.然而，面向網絡安全事件應急處置智能決策支持以及網絡安全架構的智能優化方面的研究和討論相對較少.

4 結 語

本文闡述了以大數據為依托的網絡安全綜合防御防護應用體系，并引申出整套網絡安全大數據平臺的技術架構.從需求分析出發，本文提出態勢感知、應急處置決策支持和網絡安全系統智能優化3項功能要求，分析了網絡安全大數據平臺的業務需求和相應的技術需求，并由此設計了平臺的技術架構.該平臺采取分層模塊化架構，具有高可拓展性，結合例如工單派發、一鍵處理等操作模塊可有效協助監管和運維工作.

本文提出的大數據平臺設計應用在規模較大的網絡中優勢明顯，例如大型企業網絡、大型公共網絡等.此類網絡具有流量大、復雜度高、能力及資金支持度高等特點，使得大數據技術可以得到充分有效的發揮.平臺的應用層可覆蓋網絡安全領域，從攻擊檢測、威脅感知、事件處理、知識庫構建以及可持續反饋提高的全鏈條，實現更為全面、及時和智能化的網絡安全綜合防御防護.