基于大數據的網絡安全態勢感知平臺應用研究

李澤慧 徐沛東 鄔 陽 魏 奇

(自然資源部信息中心 北京 100812)

0 引 言

根據國務院《“十三五”國家信息化規劃》的指示與要求,各企事業單位應加強網絡安全防治、網絡威脅監測預警和應急處置能力的建設[1]。作為國家重要政府部門,自然資源部面臨著嚴峻的網絡安全形勢。自2008年以來,自然資源部開展了信息系統安全等保建設,在系統、應用、網絡等方面積累了一定的基礎安全防御能力。然而,由于安全資源管理分散、信息系統建設孤島等問題,使得本部許多的網絡安全日志數據并未得到充分的分析利用。有鑒于此,自然資源部按照國家關于建設網絡安全態勢感知平臺的指導思想,結合自然資源部網絡安全的內外部現狀,整合現有的安全基礎設施,利用大數據、態勢感知、可視化、機器學習等技術,增加并豐富互聯網安全事件的監測、預警和應急響應手段,開展具有自然資源部個性化特色的態勢感知平臺服務建設,以積極提升網絡安全的主動防御能力,進一步強化自然資源部外網安全監測常態化管理,提高自然資源部外網安全運維管理效率和水平,不斷提升整體網絡安全防御能力,最大程度地降低網絡安全風險。

1 態勢感知算法

通過態勢感知,可以發現潛伏在網絡中的攻擊威脅和入侵行為,進而進行預警和展示,這一過程是通過綜合計算態勢感知指標體系來實現的[2-3]。目前基于態勢感知指標體系計算分析的方法主要有基于特征規則的主動防御態勢預警法[4]、基于多源日志的網絡安全態勢感知預警法[5]、基于Apriori算法的網絡安全日志數據分析預測法[6]等。以上方法只適用于企事業單位小規模的局域網絡安全態勢預測和防御,而在面對海量態勢整體指數數據集時顯得無能為力。為破除該技術壁壘,結合已在大數據領域廣泛應用的MapReduce處理優勢,本文提出一種基于MapReduce并行處理的Apriori算法,用于分析外網網絡安全日志數據,使得在挖掘網絡安全態勢指標數據的過程中獲得更大的剪枝程度以及更加準確的預測規則,以提高態勢感知平臺對海量網絡安全日志數據的處理能力和處理效率,獲得平臺具有更佳的擴展能力[7-10]。算法實現步驟如圖1所示。

圖1 算法原理

(4) 對分組后Group ID中的數據再進行Map處理,篩選高頻項集,得到各子項集的頻繁項集,然后進行Reduce運算,逐步關聯數據挖掘規則。

(5) 統計各個子項集節點最后的運算結果,形成全局頻繁項集,再通過行為畫像和可視化等技術在態勢感知大屏上展示網絡安全威脅指標態勢。

2 平臺邏輯架構設計

網絡安全態勢感知平臺的邏輯架構如圖2所示。

圖2 網絡安全態勢感知平臺邏輯架構

平臺從邏輯上分為數據采集層、數據處理與匯聚層、業務服務層和系統展示層[11]。

在數據采集層,通過探針設備采集各類網絡安全日志數據,包括原始流量數據、漏洞數據、IDC基礎資源數據、IP/域名備案數據、資產數據/日志、僵木蠕數據、威脅情報、流量監測數據、DNS解析數據、外網網站數據和NETFLOW信息。各類數據經消息總線和協調總線輸入至數據處理與匯聚層。

在數據處理與匯聚層,數據處理組件的ETL模塊負責將數據采集層匯入的各類數據進行入庫和存儲,同時也對上層的業務服務層或其他關聯系統提供實時的數據源和文件源。平臺為實現海量網絡安全日志的精準檢測和分析,集成了特有的安全組件。其中檢測引擎模塊封裝了脆弱性分析、攻擊行為分析、安全漏洞分析、檢測規則引擎、關聯規則引擎和算法引擎等組件。本文提出的基于MapReduce并行處理的Apriori算法即封裝在算法引擎中[12]。智能分析模塊則封裝了威脅預警、攻擊畫像、脆弱性態勢、惡意操作態勢、攻擊態勢和趨勢預測等組件,對檢測引擎提供的網絡安全態勢指標進行計算分析,形成態勢預測結果數據,進而輸送至系統展示層進行顯示。為了解決自然資源部先前的安全資源管理分散、信息系統建設孤島、原有平臺計算能力不足等問題,數據處理與匯聚層嵌入了分布式數據存儲分析模塊,引用大數據安全技術框架,使用HDFS分布式存儲和HBase來壓縮讀寫、存儲及備份數據。運用Storm實時流計算技術、MapReduce離線計算技術、YARN分布式任務調度技術、Spark內存迭代計算技術,對數據進行計算、索引、挖掘和處理,并通過服務總線進行數據的分發、共享,實現處理結果的多系統在線查詢和分析辨認。

在業務服務層,可實現用戶多類業務邏輯和算法處理結果的直接應用。根據自然資源部業務類別的差異,該層分為網絡安全管理、安全管理能力、基礎資源管理、大數據應用模塊。

(1) 網絡安全管理模塊。異常流量監測功能。通過建立異常流量監測模型,用于監測、分析自然資源部外網網絡流量數據,判斷其是否存在異常流量[13]。

移動惡意程序監測功能。用于監測自然資源部外網中是否有通過移動互聯網來竊取信息系統資產漏洞的惡意事件。

僵木蠕監測功能。用于監測自然資源部外網中的僵木蠕事件,捕獲、分析疑似僵木蠕樣本。

(2) 安全管理能力模塊。主動溯源功能。通過主動回溯分析方式,分析網絡安全攻擊事件的切入點,挖掘已知威脅進入內網的方式,從而加固閉環、封堵缺口,為安全服務人員提供快速分析和追溯能力,避免同類事件發生。

應急處置功能。當網絡安全事件發生時,為避免事態升級或影響重要業務,需要對事件進行快速應急處置。通過打造三級協同聯動的響應機制,讓平臺智能化,精準分析全網未知威脅和針對性攻擊,利用協同聯動實現針對性加固防御和精準打擊,讓全網的安全建設具備主動防御的能力。

會話分析功能。基于采集的流量和會話數據,可以分析主機在失陷過程是否存在對外、對內的異常會話,分析是否有數據外傳、泄漏等風險發生。便于在溯源處置后,分析已發生的其他威脅,形成知識庫。

(3) 實用工具管理模塊。等保管理功能:專門在等級保護建設整改過程中,將系統定級、差距評估、備案、整改、測評過程中產生的文檔結論進行統計歸檔,并使用可視化的統一界面進行展現與管理,最大程度發揮安全措施的保護能力。同時提供快速的檢索能力,可及時查找歷史文檔,方便整改。

情報數據共享:針對多分支管理或多橫向單位場景(如級聯或專網多平臺場景),數據與情報的相互共享可有效提升平臺對新威脅的應對能力。當系統之間采用相同格式的標準對接時,即可實現數據的快速共享。

綠色查殺工具:平臺內嵌綠色版僵尸網絡查殺工具集合,可解決平臺檢測出的失陷主機(病毒、木馬控制類)的閉環處置。

(4) 大數據應用模塊。大數據應用模塊將各類安全事件數據進行關聯,通過機器學習、數據挖掘等手段發現安全事件之間存在的聯系,通過攻擊鏈模型分析多維數據指標,將攻擊行為從點到面地串聯起來,結合安全事件日志中的威脅情報數據,精準地預警信息系統資產即將面臨的安全威脅及其趨勢,制定主動防御和快速響應策略,進而實現攻擊溯源和態勢畫像。

系統展現層使用ext作為JS框架,基于ECharts作為圖形庫,以vue架構作為大屏可視化呈現支撐,實現網絡安全態勢數據的可視化展示。基于從數據處理與匯聚層的數據接口,讀取展示數據,提供整體網絡綜合態勢、資產管理、網絡安全事件分布、流量異常監測、脆弱性、攻擊溯源、漏洞管理、網絡安全預警信息、潛伏威脅的全局展示。展現層保留系統管理功能。

3 系統部署方案

基于大數據的網絡安全態勢感知平臺的部署架構如圖3所示。

圖3 系統部署架構

網絡安全態勢感知平臺部署在自然資源部網絡拓撲中服務器區的旁路交換機邊,以便獲取數據進行管理和展示。服務器區和辦公區的前端服務器為網絡安全態勢感知平臺提供前置數據來源。

在服務器區二層交換機和核心路由器上均旁路部署了潛伏威脅探針對鏡像流量進行采集、檢測。潛伏威脅探針可檢測IDS,運用漏洞利用攻擊檢測規則和Web應用攻擊檢測規則從交換機鏡像流量中檢測已知威脅,生成安全日志輸送至平臺。同時,潛伏威脅探針內置了異常行為檢測引擎,可實時在采集的流量數據中發現、標記流量片段中的異常行為,傳送給平臺,由平臺進行大數據關聯分析,對潛在的威脅進行追蹤溯源。

若有多單位監管需要,也可進行多分支場景部署,通過將潛伏威脅探針下放到各個單位進行監控,保障潛伏威脅探針采集的流量數據能夠通達平臺即可實現多單位全局網絡安全態勢感知。

4 實驗及平臺應用分析

4.1 算法實驗仿真分析

為了檢驗本文算法性能,設置一臺Windows 7操作系統的虛擬機,配置8 GB內存和2.6 GHz CPU。JDK版本是1.8,在Eclipse環境下運行算法程序。設定瞬時輸入平臺的安全日志數據集的容量為64 MB,預警規則矩陣的維度從1×1到100×100按步長1 000進行逐漸遞增,選取本文算法與文獻[6]所提Apriori算法進行對比仿真,統計二者的執行時間,如圖4所示。

圖4 算法仿真對比

由圖4可知,對于處理同樣體量的安全日志數據集,在相同維度的預警規則矩陣下,本文算法執行時間較文獻[6]算法要短。并且,隨著預警規則矩陣維度的逐漸遞增,本文算法借助MapReduce的分布式處理機制,執行時間呈低斜率線性增長,且維持在很小的時間范圍內浮動,即便是規則總數達到10 000,算法的執行時間仍在5 s內,可適用于處理海量的網絡安全日志數據集。而文獻[6]的常規Apriori算法的執行時間卻在規則總數超過5 000后呈現出類似幾何級的增長趨勢,甚至在規則總數達到10 000時,算法執行時間超過了25 s,由此會大量消耗虛擬機的計算資源,并不適用于海量數據應用場景。

為檢驗本文算法對安全日志數據集的處理性能,設定預警規則矩陣的維度為80×80,向仿真平臺輸入的安全日志數據集的瞬時容量范圍為16 MB至1 024 MB,計算本文算法的執行時間,如圖5所示。

圖5 安全日志數據集處理時間

從圖5可知,安全日志數據集的瞬時容量在16 MB至256 MB時,本文算法執行時間在10 s以內,隨著數據集瞬時容量的翻倍增長,算法執行時間也隨之陡然增加,并未在預期的時間區間[0 s,20 s]內進行收斂。究其主要原因,是算法第一步在計算次矩陣時消耗了系統大量的計算能力,且Map環節的分布式項數若設置較低,也會造成計算線程數阻塞,影響執行時間。因此,本文算法在安全日志數據集瞬時容量256 MB以內時可取得較好的處理性能。

4.2 平臺應用

平臺在經過性能測試后投產運行,截至2020年6月,平臺已對外網45個域名進行了長達978天的持續監測,持續監測數次數6 830萬次,監測數據量達19.2 TB,瞬時安全日志數據集約14.3 MB/min,累計通報預警了1 460次安全事件。檢測出的威脅數據會以安全事件的方式展示,可作為威脅事件的入口點進行分析,從而評判自然資源部網絡安全建設的薄弱環節。平臺綜合安全態勢展示如圖6所示。

圖6 網絡安全的綜合安全態勢展示結果

從圖6中可以清晰地看到自然資源部信息系統所面臨的安全威脅,主要體現在6個維度:資產態勢、脆弱性態勢、網絡攻擊態勢、安全事件態勢、外連態勢和橫向威脅態勢。各類安全威脅依照系統設定的規則進行等級和分值劃分。平臺整合分散在管轄范圍內不同區域的各類網絡安全數據,經態勢感知算法和大數據分析生成可視化的監測指標,展現在大屏上,并將預警信息實時推送至平臺管理員或運維人員,協助本單位實時掌握全網安全態勢。當鎖定產生安全事件的風險終端時,平臺會進行相應的扣分,綜合評分會隨之降低并顯示告警。當運維人員及時處理安全事件后,綜合評分會相應回升。

5 結 語

本文結合自然資源部對網絡安全態勢感知平臺的建設需求,分析了平臺建設所需要使用的關鍵技術。面向海量網絡安全日志數據集,提出一種基于MapReduce并行處理的Apriori算法,并通過實驗仿真論證了該算法的適用性。設計并闡述了平臺建設的邏輯架構。通過在外網各個關鍵區域節點旁路部署潛伏威脅探針的方式實現了平臺的安裝集成,形成了一套網絡安全管控解決方案。平臺運營至今,積極維護了自然資源部的外網網絡安全,有效保障了信息系統的穩定健康運行。考慮到外網網絡攻擊事件層出不窮,網絡安全日志數據集的實際體量會逐漸龐大,平臺的數據存儲和計算能力略顯不足,算法引擎的性能會受制于平臺服務器的計算資源配置,自然資源部在未來的工作中會加強平臺的規劃建設,通過設備擴容和配置升級來不斷完善平臺的防護能力,以更好應對網絡威脅帶來的考驗。