大規模網絡安全態勢分析系統YHSAS設計與實現

賈 焰，韓偉紅，王 偉

(國防科學技術大學計算機學院，長沙，湖南 410073)

1 研究背景

網絡空間中網絡安全事件頻發，影響巨大，例如伊朗的“震網”事件和“烏克蘭停電事件”等。網絡空間種各行各業各部門，如政務、金融、電商、銀行、交通等，從各自的目標和需求角度出發，已部署了防火墻、入侵檢測和防病毒等安全產品。目前，各安全產品針對網絡攻擊紛紛報警，但用戶還是缺乏宏觀的網絡態勢全局視圖，因為網絡攻擊是跟資產漏洞相關的，資源消耗性攻擊還跟系統狀態相關，復雜的網絡攻擊還是跨系統、跨管理域的，因此需要多通道數據綜合分析，才能對網絡事件進行準確發現。大規模網絡安全態勢分析是面向網絡空間安全的需求，基于大數據采集和存儲管理技術，采用數據分析、挖掘和智能推演等方法，發現安全事件、評估其危害，并預測其發展，并對整個全局網絡安全態勢進行從微觀到宏觀的多層次、多粒度的全局掌握，給出全局視圖，為網絡空間安全提供決策支持。

2 相關研究

圍繞大規模網絡安全態勢分析與預測系統的研究，從公開文獻來看，美國、日本、歐盟和中國等均已建立了國家級網絡安全事件監控系統。美國研制了全球預警信息系統GEWIS(Global Early Warning Information System) [1]，愛因斯坦計劃(國家網絡安全保護系統NCPS，The National Cybersecurity Protection System，俗稱“愛因斯坦計劃”)[2], 是美國國家《全面的國家網絡安全行動(CNCI)》的重要組成部分，是由美國國土安全部負責設計和運行,提供全局、局部乃至操作層面的網絡事件監測、分析、預警和態勢感知。日本研制了互聯網掃描數據獲取系統ISDAS(Internet Scan Data Acquisition System) [3]。歐盟龍蝦計劃(Lobster)[4],屬于歐洲基礎設施先導性實驗計劃，通過部署于一些學校、研究性組織、以及部分電信運營商的傳感器獲取相關信息，實施精確的互聯網通信流量監測，利用深度包檢查和深度流檢查的手段來識別0day蠕蟲傳播、識別動態端口應用，并對互聯網服務進行度量等等。歐盟袋熊計劃(WOMBAT)[5]，全稱為《世界范圍惡意行為與攻擊威脅觀測臺工程》，是歐盟資助的一個利用密罐、爬蟲、外部數據源等技術手段，采集、分析網絡中當前存在的和新出現的威脅(尤指惡意代碼)的計劃。中國研制了863-917網絡安全監測平臺，對國家骨干網的網絡安全態勢進行分析。上述系統均自成體系，實現了面向特定問題領域的監測預警。

網絡安全態勢分析技術的發展經過了三個階段：第一階段，主要聚焦基于特征的安全事件檢測研究，以美國2003年推出愛因斯坦計劃為代表；第二階段，主要聚焦面向復雜安全事件的關聯分析、威脅量化評估研究，以美國2009年的愛因斯坦計劃2為代表；第三階段，主要聚焦面向復雜攻擊的智能分析、基于指標體系的量化評估和發展趨勢預測研究，以2013年美國愛因斯坦計劃3為代表。

大規模網絡安全態勢分析面臨的主要挑戰包括：1)針對網絡空間的安全攻擊種類繁多，目前至少有5萬余種，且不斷演化和涌現，如何對其進行實時準確的研判？ 2)網絡系統安全涉及的因素眾多，攻擊、漏洞、資產、網絡等，且關聯復雜，如何實時、量化、可理解地給出其威脅及安全態勢？3)網絡攻擊事件瞬間爆發，危害極大，如何對其進行事先預測，以便采取相關預防手段？

3 YHSAS系統架構

針對上述挑戰問題，我們設計實現了大規模網絡安全態勢分析系統YHSAS，其體系結構如下圖所示。

圖1 YHSAS系統體系架構

主要功能包括1)安全信息采集：可對全網全數據類型采集，包括文件、包、流、會話、內存信息、注冊表信息、地址信息、協議信息、服務信息、載荷傳輸信息等進行采集，支持10PB數據存儲規模，可集成187類網絡安全設備; 2)安全攻擊檢測：可檢測網絡掃描攻擊、口令攻擊、木馬攻擊、緩沖區溢出攻擊、篡改信息攻擊、偽造信息攻擊、拒絕服務攻擊、電子郵件攻擊等常規攻擊和APT攻擊，覆蓋率為92.3%； 3)態勢量化計算：可量化的安全指標體系，能夠描述目前國家互聯網的宏觀整體安全態勢； 4)安全態勢分析：可對網絡安全事件進行深入分析和發現，對當前的網絡安全態勢進行計算及多模式多維度的可視化輸出；5)安全態勢預測：可以準確預測將來某一時段內的安全趨勢，計算的預測模塊能夠對木馬攻擊傳播、DDoS攻擊、病毒態勢、僵尸網絡、APT攻擊進行預測，預測的符合度良好。

4 系統關鍵技術

大規模網絡安全態勢分析系統關鍵技術主要包括：網絡空間安全大數據實時分析計算平臺技術、面向網絡安全全要素信息采集與高維向量空間分析技術、支持超大規模網絡安全知識表示和管理的知識圖譜技術、多層次多粒度多維度的網絡安全指標體系構建方法以及基于自適應預測模型的多模式、多粒度網絡安全事件預測技術。

4.1 網絡空間安全大數據實時分析計算平臺技術

網絡空間安全數據是典型的大數據，阻礙大數據實時計算和分析的核心問題是磁盤I/O瓶頸(目前磁盤I/O速度是內存I/O速度的1/120)。針對這一挑戰，YHSAS采用了基于“分布式數據處理中間件+已有數據管理技術”的體系架構，并在此基礎上插接內存計算、“劃分-規約”計算和流計算的數據分析加速模塊，支持大數據在線計算和分析，且具有高可擴展和在線插拔等特性，如圖2所示。第三方測試表明，該平臺支持PB級網絡安全數據在線復雜分析。

圖2 網絡空間安全大數據分析計算平臺

該分析計算平臺主要包括以下幾個組成部分：

(1)基于分布式對象的內存數據庫模型StarOTM技術

基于分布式對象的內存數據庫模型StarOTM支持分布式對象的狀態加載、原子性和一致性保持、以及持久存儲等技術；實現了內存數據管理和處理系統，大大減少磁盤I/O，實現了PB級大數據在線分析；該平臺在國際開源社區OW2中開源，產生了巨大的國際影響。

(2)面向復雜網絡安全狀態分析的“劃分-規約”迭代遞歸計算模型

采用支持大數據復雜分析的“劃分-規約”迭代遞歸計算模型，該模型將復雜分析計算逐級分解成分布的簡單計算并執行，再將結果逐級歸并。該技術將單盤的讀寫并行化為多盤的讀寫，打破了磁盤讀寫瓶頸。該模型早于Google提出的MapReduce模型。基于該技術開發的系統在處理數據量、吞吐率等方面均滿足YHSAS系統性能要求。

(3)在線流大數據復雜分析技術

設計實現了一組在線數據流復雜分析計算算法，包括基于滑動窗口的分布式流增量排序查詢算法(如表1所示)，基于Bloom-filter的分布式增量突發流檢測算法(如表2所示)，基于物化流立方的流數據實時分析的支撐模型等；流計算無需讀寫磁盤,打破了磁盤I/O的瓶頸。

表1 分布式流增量排序查詢算法

表2 分布式流突發事件檢測算法

4.2 面向網絡安全全要素信息采集與高維向量空間分析技術

針對傳統的安全設備和產品通常根據自己局部目標進行數據采集，缺乏對全局、以及未知和復雜安全事件分析支撐的問題，YHSAS提出了面向網絡安全的全要素信息采集模型，再通過對該多維度、多層次的高維向量全信息進行安全特征的提煉和分析，大幅提高了對復雜安全事件的準確和實時檢測的支撐能力。

(1)多層次、多維度的網絡安全信息全要素采集模型

針對傳統安全設備缺乏對全局、未知和復雜安全事件分析支撐的問題，YHSAS采用基于多層次多維度的全要素采集模型，如表3所示。通過主動獲取與被動接收相結合的方式，從協議層、行為層、敏感行為層、攻擊層、廣譜內容層和精確內容層六個層次，對文件、包、流、會話、協議和網絡對象等十三個維度的對象進行細粒度的全信息采集與提取，得到反映安全對象全信息的高維空間向量。

表3 全要素采集模型

(2) 向高維向量空間的安全事件特征信息分析方法

針對全要素信息采集導致的高維向量空間超大計算復雜度的問題，YHSAS提出了基于高維向量空間的網絡安全事件特征信息提煉方法，如表4所示。該方法首先在流上對海量數據樣本進行聚類，再根據所產生類別的特征進行篩取，一方面可聚焦后續分析的范圍，減小計算復雜度，另一方面可通過聚類發現可疑新的事件類別；其次面向產生的類別信息，通過已訓練的特征識別神經網絡識別其特征信息，以此構建網絡安全事件信息特征向量空間，為下一步的事件研判奠定基礎。

表4 高維向量空間聚類與特征訓練的采集信息分析方法

(3)基于輕量構件技術的網絡安全信息采集探針自動部署技術

針對網絡系統的超異構復雜性和在線演化性，以及數據采集探針的巨規模特性，YHSAS提出了一種基于輕載構件技術的數據采集探針的在線插拔技術。該技術首先對各類數據采集探針進行構件化封裝，并通過構件化應用服務器技術進行集成，實現了探針的在線插拔；其次通過基于正則表達式的配置文件對目標數據進行抽取和集成，并支持配置文件的自動生成和數據模式的自動轉換。本技術能夠高效集成網絡安全設備和數據，YHSAS系統支持187種網絡安全設備，并且在性能上是秒級實時的。

4.3 支持超大規模網絡安全知識表示和管理的知識圖譜技術

針對網絡安全知識的大規模、在線演化和時空相關等特性，YHSAS采用網絡安全知識表示和管理的超知識圖譜模型，突破了多模態知識圖譜的自動/半自動的構建方法，以及在線演化和快速匹配等核心關鍵技術，構建了一個大規模網絡安全知識圖譜，突破了網絡安全事件的準確、實時檢測技術，在標準測試集上該系統去重率為99.8%，誤報率0.01%，漏報率0.2%。

(1)支持大規模網絡安全知識表示和管理的超知識圖譜模型

針對網絡空間安全知識巨規模、高演化和實時利用的問題，YHSAS采用超知識圖譜知識表示模型。在傳統知識圖譜三元組的基礎上，添加了屬性和規則，針對網絡空間安全知識巨規模、高演化和實時利用的問題，提出了五元組，其中，實例是概念的具體化實例，每個實例具有自己的屬性，并可以進行演化，是網絡安全事件的關系的具體化。基于提出的超知識圖譜，實現了大規模網絡安全知識圖譜，具體涵蓋漏洞信息 93578條、攻擊方法 51300種，主流操作系統151類，主流應用軟件200多種，惡意軟件信息3507個，突破了實時、準確研判難題。

(2)基于多模態信息的超知識圖譜的自動構建方法

針對網絡安全知識圖譜知識獲取的瓶頸，YHSAS提出了基于多模態的網安大數據，通過實體詞識別、關系抽取、實體鏈接構建大規模網安知識圖譜的方法。基于句法依賴規則識別自由文本中的其他候選實體詞，以及基于模式推理識別表格數據中的其他候選實體詞，獲得擴充實體集E’。關系抽取方面，首先從網安大數據中查找出現過G中知識的原始數據片段，采用LSTM深度學習模型進行訓練，獲得t的分類器Ct；然后，對原始數據中出現E’的數據片段采用Ct進行計算，獲得E’中各實體詞間可能存在的關系類型。實體鏈接方面，根據知識的屬性和關系構建實體基因，根據實體基因與上下文特征的相似度，實現數據上下文中所提及實體詞與G中已知實體的鏈接，對無法鏈接的實體詞，視為新實體加入到G中，實現消歧融合與知識擴充。

W估計參數= σ訓練函數(Y已知關系/ (tanh降維( [V句子向量,P實體詞位置]T))

y關系類型= softmax (W估計參數×(tanh降維( [V句子向量,P實體詞位置]T))

(3)基于張量分解與路徑排序相結合的知識自動推理算法

針對網絡空間安全知識巨規模、高演化、時空屬性和實時利用的問題，YHSAS采用網絡安全超知識圖譜的演化方法，基于張量分解的思路提出了面向邊和屬性的知識自動推理算法，即根據本節點和相鄰節點的屬性值預測為止屬性的值，并基于可達路徑排序的方法，根據兩點之間所有可達路徑，預測兩個節點之間可能的新的可達邊。在網絡安全知識圖譜的演化過程中，采用候選實體識別、實體間關系類型分類、實體確定技術，自動從網絡安全漏洞庫及利用方法中演化推理。基于自動演化推理算法，可以快速對為網絡安全檢測到的數據流進行研判，突破了安全事件的實時、準確研判難題。

V預測屬性值=∑λi*f(kj節點Vi值)+∑σt*

∑λi*fij(ki相鄰節點Vi值)

S(l,f)預測邊值=∑P路徑(vl點,vi點；l長度(π)≤n)·ωπ權重

(4)基于容忍度K的增量式子圖匹配的網絡安全事件檢測技術

基于子圖匹配和活動模式向結合的方法，YHSAS提出了基于容忍度K的增量式快速攻擊子圖匹配研判算法，實現了僵尸網絡和慢速DDoS的檢測。在實驗數據集上，提出基于動態時間彎曲距離相似性度量方法，對僵尸網絡遷移檢測的準確率達到92%；基于僵尸網絡惡意行為目標和時間關聯分析的僵尸網絡協同檢測方法結果為：在時間跨度為2個月、僵尸主機IP數大于40時，檢測方法漏報率為0。針對隱蔽性強的慢速DDoS攻擊檢測存在檢測困難和效率低下的特點，提出了基于流量與服務協作檢測的慢速DDoS攻擊檢測方法。為評測本方法的有效性，網絡模擬實驗對檢測系統進行了檢驗，實驗結果正確檢測率為99.7%，漏警率為0.4%，虛警率為0.3%，檢測系統性能良好。

4.4 多層次多粒度多維度的網絡安全指標體系構建方法

針對影響大規模網絡安全態勢分析的因素多種多樣，其重要性也不盡相同的特點，給出建立了多層次、多粒度和多維度的網絡安全指標體系的構建方法，及其指數的可配置、實時計算和在線演化的方法，準確描述和量化大規模網絡從宏觀到微觀的網絡安全態勢。

(1)基于主從分析的R聚類與因子分析相結合網安指標提取方法

YHSAS采用主從分析的R聚類與因子分析相結合網安指標提取方法，首先通過主成分分析法確定影響網絡態勢的主要因素和合理層級；其次利用德爾菲法確定網絡安全態勢指標體系的層數，再通過R聚類將同一個層中的指標分類，使得不同的類代表網絡態勢評估的不同方面；最后通過因子分析法篩選出各個類別中因子載荷大的指標，使得少數的指標可以反應整個網絡的安全態勢。建立的網絡安全態勢指標體系標準，僅用了16%的指標，反應了99%的原始信息，可有效、客觀地衡量網絡安全態勢。

(2)多模式的網絡安全指標體系計算模型

通過分析不同網絡安全因素的特點，根據不同的網絡安全指標特性，給出了包括極值法、統計標準化法、反余切函數法、中間變量法和對數法等不同的網絡安全指數量化方法；對量化以后的網絡安全指標，采用聚集算法將各個子指數聚集計算成上一級指數，形成層次式的網絡安全指標體系。主要計算模型包括：加權平均法，具有直觀易理解的特點；最大值法，通過刻畫局部最嚴重的程度，取其中一項的最大值作為聚集后的指數結果；調和三角模法，能夠同時體現全局性和局部性的特點。

(3)基于深度學習的網絡安全指標體系自演化技術

針對網絡安全攻擊不斷創新和演化，已有的指標體系需要適應性變化問題，采用了基于卷積神經網絡的網絡安全指標體系自學習、自演化技術。該技術首先構建了指標體系評測方法，從正確性、穩定性和冗余性三個角度衡量指標體系與實際的符合度，從而指導深度學習算法對網絡安全指標體系的量化方法和聚集算子，以及其中的各項參數的權重進行反饋調整，測試表明基于該方法指標體系與實際的符合率超過了90%。

4.5 基于自適應預測模型的多模式、多粒度網絡安全事件預測技術

針對當前技術對網絡安全發展的趨勢難以預測的問題，YHSAS提出了基于自適應預測模型的多模式、多粒度的網絡安全態勢預測技術，包括：多種預測方式有機結合的網絡安全態勢預測技術，基于特征事件序列頻繁情節的預測技術，基于小波分解及ARMA模型的預測技術，基于改進型支持向量回歸預測的多維熵值異常檢測方法，實現了網絡安全態勢的準確預測。

(1)支持多種預測方式的網絡安全態勢預測框架

針對影響網絡安全態勢演化的因素多，只采用單一的預測技術難以預測的問題，YHSAS采用了多種預測方法相結合的網絡安全態勢預測系統架構。將時序數據預測的相關技術應用于網絡安全領域，根據不同網絡安全數據的特征和應用要求合理的選擇預測模型，并利用歷史安全事件數據進行建模，進而根據多種不同的預測模型對不同安全數據源進行多個粒度的預測。對于短期預測主要考慮近期歷史數據的發展規律進行建模預測，對于中期和長期預測主要考慮歷史安全事件在一段較長時間內所體現出的季節性因素和總體長期趨勢。測試證明，系統支持短期、中期、長期等多種時間粒度的預測，支持木馬、蠕蟲、僵尸網絡等主要網絡安全事件的預測，且預測效果理想。

(2)基于特征事件頻繁情節的時序數據預測技術

針對僵尸網絡、蠕蟲等具有長時間傳播特性的網絡安全事件往往具有自相似性的特點，YHSAS提出了一種新的時間序列數據預測問題的解決思路：首先通過對時間序列數據的分段和對時序子段特征的離散事件化將時間序列數據轉換為事件序列，再引入事件序列處理領域中頻繁情節的相關概念和方法提取預測所需的知識，進而利用這些知識對時間序列數據未來的發展進行預測。所提方法的具體預測過程可分為知識提取和預測兩個階段：在預測階段，使用提取出的頻繁情節前綴事件匹配近期時間序列數據形成的特征事件序列，繼而利用選定的頻繁情節后綴事件預測未來時序子段上的特征事件。實際使用證明基于特征時間頻繁情節的預測使得僵尸網絡、蠕蟲的長期多步預測場景下的預測精度提高了15%左右。

(3)基于改進型支持向量回歸模型的多維熵值異常檢測方法

針對大規模網絡中流量數據中的噪音、擾動因素的特點，YHSAS提出了將支持向量回歸模型(LSSVM)應用于網絡流量數據各維度上熵值的預測的方法，可以很好地屏蔽網絡中流量數據中的噪音、擾動因素，并及時發現流量熵值異常。主要技術突破包括：快速多維熵值計算，通過多個維度上的熵值突變進行關聯增加檢測精度，對大規模網絡上異常檢測需要對海量流量數據進行實時處理；遺傳算法改進支持向量回歸，采用自適應交叉與變異算子，交叉與變異針對種群中所有個體進行，提高了算法的搜索能力，且只保留適應度大的個體，確保進化方向，加速收斂速度避免變異使交叉所產生的優良個體發生退化。測試證明，對DDoS攻擊、蠕蟲能可能引起流量異常的攻擊行為的早期檢測與預警具有很好的效果。

5 小結與展望

大規模網絡安全態勢分析系統YHSAS面向國家骨干網絡安全以及大型網絡運營商、大型企事業單位等大規模網絡環境，對能夠引起網絡態勢發生變化的安全要素進行獲取、理解、顯示以及預測未來的發展趨勢。本文對YHSAS系統的關鍵技術進行深入研究，包括：網絡空間安全大數據實時分析計算平臺技術、面向網絡安全全要素信息采集與高維向量空間分析技術、支持超大規模網絡安全知識表示和管理的知識圖譜技術、多層次多粒度多維度的網絡安全指標體系構建方法、基于自適應預測模型的多模式、多粒度網絡安全事件預測技術等。性能測試顯示，YHSAS系統在態勢分析和預測方面均具有較高的實時性和精度，滿足了大規模網絡安全態勢分析與預測的需求。

大規模網絡安全態勢分析系統還面臨很多新的挑戰，在大規模網絡安全事件預測的準確性方面，由于影響安全事件發生的因素太多，新的攻擊手段是未知的，實際攻擊過程中又存在因各種目的而活動的網絡黑客人為操作等情況， 導致對重大網絡攻擊事件的發生和發展趨勢的準確預測難度大。作為本領域公認的世界性難題之一，是有待進一步研究的方向。

[1] GEWIS(Global Early Warning Information System) , http://www.acronymfinder.com/Global-Early-Warning-Information-System-%28GEWIS%29.html.

[2] https://www.dhs.gov/national-cybersecurity-protection-system-ncps.

[3] JPCERT/CC, ISDAS(Internet Scan Data Acquisition System), http://www.jpcert.or.jp/isdas/.

[4] http://www.ist-lobster.org/downloads/index.html.

[5] S Zanero ， D, Ph .WOMBAT: towards a Worldwide Observatory of Malicious Behaviors and Attack Threats.