基于大數據的網絡安全態勢分析平臺

王志奇 陳宇 雷亞

1. 河南省公安廳網絡安全保衛總隊 2. 鄭州信大天瑞信息技術有限公司

引言

隨著我國信息化建設步伐的加快，信息系統建設已經達到了一個相當的規模，據有關部門統計，目前我國各行業重要系統的數量（等級保護第三級以上的系統）已經達到數萬個。這些系統中承載著我國各行業的重要業務，正發揮越來越重要的作用，成為我國的關鍵信息基礎設施。

與此同時，國內國外均有大量針對我國網絡空間“第五疆域”的安全威脅。國外，有組織的黑客攻擊破壞活動頻發；國內，各類網絡安全事件嚴重影響著社會秩序。這些問題均暴露了我國目前重要信息系統安全防護能力和網絡安全事件監測預警手段的不足。因此，我國已將網絡空間安全問題提升到國家安全戰略的高度，加強和完善網絡安全監測預警與主動防御能力刻不容緩。針對這一問題，以云計算、大數據為代表的新技術在促進數據信息應用和提升協同計算能力方面成效卓著，為問題的解決提供了可適用的參考模式。因此，面對當前嚴峻的互聯網安全形勢，有必要引入新的技術理念，建設基于大數據的網絡安全態勢分析平臺，實現對安全風險的實時監測與精準預警，以及對網絡安全態勢的全面感知和響應，有效對抗各類新型安全威脅。

基于大數據的網絡安全態勢分析平臺正是在這樣的背景下研發，旨在提高公安機關網絡安全監管部門及各行業信息系統運維管理部門的網絡安全態勢感知能力，增強我國關鍵信息基礎設施安全保護的整體防護能力，網絡安全事件應急處置與網絡功能恢復能力，以及依法偵查打擊針對和利用關鍵信息基礎設施實施的違法犯罪活動的能力。

一、公安行業需求分析

經過十多年的高速信息化發展建設，我國各地關鍵信息基礎設施網絡均逐步完成了安全功能和產品的基礎建設。為各級政務外網、各政府及企事業單位互聯網站服務的大量安全產品已可以在較大程度上滿足其基本安全需求，能夠有效完成訪問控制、入侵偵測、漏洞掃描、防病毒等具體的安全功能和技術需求。

但是，隨著互聯網網絡安全環境的不斷變化及日益復雜，網絡安全事件仍然層出不窮。

2017年6月1日起，《中華人民共和國網絡安全法》正式落地實施，根據第一章第8條的要求，公安部門作為依照本法律及有關法律、行政法規負責網絡安全保護及監督管理的主體單位，肩負著實施我國境內的重要信息系統安全監管、網絡與信息安全信息通報、打擊與預防網絡違法犯罪等重要的職責。然而，各級公安網絡安全監管部門逐漸發現，僅僅依托于用戶信息系統環境中部署的各類基礎安全措施，無法準確把握所轄區域關鍵信息基礎設施網絡的底數，對其轄區安全態勢的感知及全局把握能力、對突發安全事件的應急處理能力、對大規模安全事件的協調處理能力、網絡安全犯罪行為的追查處置能力等，均難以有效提升。各地各級公安部門在執行《網絡安全法》賦予的職責的同時，普遍面臨著以下幾種突出的問題：

（1）網絡攻防雙方的技術力量不對等帶來的系統修復滯后，導致網絡安全事件不可能完全避免；

（2）等級保護制度雖然已實施多年，但由于欠缺實施技術手段、管理流程自動化水平較低等，其覆蓋范圍、實施精度和深度等均有待加強；

（3）由于缺乏網絡安全事件研判手段及有效的技術工具支撐，對網絡安全事件的研判能力較低，從而導致相關通報的權威性受到一定程度的影響；

（4）由于缺乏有效的網絡安全預警發布及通告平臺，當發現安全事件預警信息時，預警信息往往難以及時發布和通知，造成了對病毒、攻擊等安全事件擴散的控制能力較弱；

（5）由于缺乏針對安全事件的分析及應急處置平臺，網絡安全事件發生時的應急處置流程往往規范性較差，并且缺乏針對多項相關安全事件的關聯分析能力，不利于事件的及時處置及相關案件的分析判斷；

（6）由于缺乏網絡安全事件發生機理的分析手段及技術能力，事件發生后往往無法定位和發現攻擊者，導致事件線索難以轉化為公安部門的案件線索，并且針對目前猖獗的網絡犯罪行為，事件溯源及案件取證都缺乏有力的手段。

以上各項問題，最終導致了大量網絡安全事件及網絡安全違法犯罪行為無法得到及時處置、大量犯罪人員無法定位和處理、網絡環境的治理效果較差、網絡公共空間安全秩序混亂等后果。

基于以上問題，各級公安機關亟需建設立足于頂層視角、旨在網絡安全態勢感知與協同處理的基于大數據的安全分析平臺，協助網絡安全監管部門掌握網絡安全態勢，提升網絡安全事件的防范能力，有力打擊和預防網絡違法犯罪行為。

二、平臺系統

（一）設計思路及理論依據

1. R3-AST風險管理思路

在進行信息安全系統的建設和運行工作中，風險管理是一個根本性的思路。風險管理思路已經被業界廣泛認可。

在《信息安全技術信息安全風險評估》（GB/T 20984-2007）規范中，比較全面地闡述了風險管理的幾個主要要素，并詳盡而準確地闡述了各要素之間的關系。上圖中的每一個要素，都可以成為風險管理乃至信息安全管理工作中的要點。

風險要素模型有不同的形式，為了能夠更好地抓住風險管理的線索，便于實際工作，將上述風險10要素（含風險）總結為風險三要素（不含風險），如圖2所示。

在國家標準中的10要素，業務戰略、資產、資產價值被合并為本模型的資產；安全需求和安全措施被合并為保障措施；脆弱性、威脅（狹義）、安全事件被合并為廣義的威脅；風險和殘余風險都是風險。

通過風險的三要素，可以抓住風險管理的實質。也就是被保護的“資產”，可能產生侵害的“威脅”，防范威脅保護資產的“保障措施”。

在一個實際的信息安全保障體系中，必須全面考慮資產、威脅和保障措施這三個方面，片面地考慮一個或者兩個，都可能產生遺漏和偏離。所以說，R3-AST的風險三要素思路，充分體現了信息安全特征的思路，需要在整個方案中得到體現，也要在實際的執行過程中不斷反省。

2. 遵循的國際國內標準和規范

平臺在研制設計過程中，遵循的相關技術標準和規范主要包括：

（1）信息安全運營中心系統建設服從信息安全風險評估方法——按照國信辦頒發的《關于印發<信息安全風險評估指南>的通知》（國信辦[2006]9號）；

（2）ISO 27001信息安全管理體系國際標準；

（3）公安部頒布的《信息安全等級保護管理辦法（試行）》及相關規定；

（4）CCISO 15408 和GB/T 18336 信息技術安全性評估準則；

（5）GB/T 20984-2007信息安全技術信息安全風險評估規范；

（6）ISO-13335 IT 安全管理指南。

（二）技術架構

平臺的基本架構如圖3所示。

平臺基本架構根據系統處理流程可分為數據采集、匯聚處理、資源存儲、分析挖掘、業務應用、展示顯示六個層次，其中：

1. 數據采集層

通過收集與網絡安全態勢感知相關的互聯網數據、重點單位監測數據、信息安全企業相關數據、G01攻擊監測數據、專家系統分析數據、等保相關數據、其他網安業務相關數據、其他共享交換數據等，為安全態勢感知業務應用的實現提供數據基礎。

2. 匯聚處理層

根據統一規范的數據標準，將數據采集層收集到的數據進行歸類整理，形成統一格式的數據，將其送入資源存儲層實施存儲，留待后續分析處理。

3. 資源存儲層

利用大數據存儲技術，集中存儲經匯聚處理層歸類整理過的規范化數據。

4. 分析挖掘層

針對業務應用層的數據分析要求，利用聚類分析、神經網絡等大數據分析挖掘及知識發現技術，對海量安全相關數據進行深度分析挖掘，形成知識化數據，為業務應用層提供數據結果支撐。

5. 業務應用層

根據平臺功能設計系統業務流程，利用分析挖掘層的數據分析結果，為追蹤溯源、事件應急、重大活動安保等網絡安全態勢感知相關業務流程的實施提供平臺及手段。

6. 展示顯示層

利用可視化技術，將看似混亂無序的各類安全數據轉化成直觀的可視化信息，形成明晰且直觀的實時網絡安全感知，為公安部門網絡安全管理業務的實施提供便利的決策手段。

（三）核心技術與創新優勢

基于大數據的安全分析平臺，通過在安全全要素數據采集、安全事件分析研判、安全事件通報處置等領域開展新技術應用研究，推進公安機關與其他網絡安全監督職能部門、行業單位、信息安全企業、專家團隊等協同聯動，能夠協助平臺用戶構建起條塊結合、縱橫互通的數據通道，形成威脅感知能力、應急指揮調度能力等大規模網絡安全管理及應急能力。平臺實現的主要技術創新包括：

1. 全要素高環境適應性數據采集技術

在平臺設計中，數據采集模塊負責采集與安全相關的海量異構數據。針對安全態勢分析與安全趨勢預測等功能技術要求，為了完整收集所有安全相關要素的數據，平臺設計中提出并實現了全要素高環境適應性數據采集技術，將安全要素數據根據采集技術特點的不同分為了三大類型，并針對各類數據采取不同的采集技術進行數據收集。具體分類方式為：

第一類，威脅探測器采集數據：通過在現網安全域的關鍵位置部署相應的網絡威脅采集引擎，可對全網安全威脅包括業務系統漏洞、應用配置問題、安全事件、病毒木馬等安全威脅進行監測；對用戶網絡資產信息、內外部威脅情報進行采集；

第二類，高頻數據：也就是通常所說的大數據，以海量、高速、異構為特征，主要有外部流、運行狀態和性能數據、日志和事件、原始流量鏡像包和Flow流數據等，通過高速數據總線采集；

第三類，低頻數據：包括常見的資產信息、配置信息、弱點信息、身份信息和威脅情報等，通過低頻數據總線進行采集。

除此之外，基于大數據的安全分析平臺還擁有三個可選對接維度的數據源：（1）平臺集成了創新的威脅情報體系，可有效獲取與外部情報相結合的威脅信息；（2）平臺可與運維平臺對接，實現內網運營情境數據采集，包括內部人員行為審計日志、日常網絡運行安全數據、漏洞管理信息等；（3）系統可接收來自公安部一所G01系統的互聯網安防業務數據。

2. 全業務流程安全分析技術

任何業務化平臺要得到好的應用效果，都必須在用戶交互環節設計合理、完備的業務流程。在這方面，基于大數據的安全分析平臺采用了全業務流程安全分析技術，在交互部分設計實現了以下四大業務流程分析功能，為安全管理人員提供了可靠的態勢感知、安全事件處理能力及漏洞、情報預警能力：

（1）安全監測：輔助用戶對重點部位、專項威脅、特定對象開展監測工作。同時對網頁篡改、網站掛馬、流量告警、入侵檢測事件等網站安全狀態信息進行全面監測。能夠對非重要報警進行智能過濾，解決傳統監控設備（如IDS）大量報警導致威脅分析和處理難的問題，不再需要使用者在海量的日志數據中進行人工分析，提高使用者的工作效率。

（2）態勢分析：從宏觀方面分析整個互聯網的總體安全狀況，包括各類網絡安全威脅態勢分析和展示；從微觀方面提供對特定保護對象所受各種攻擊的趨勢分析和展示。此外，還提供網絡安全總體態勢的展示和呈現功能。

（3）漏洞預警：支持針對各種安全數據自動生成預警通報，包括Web站點漏洞信息、安全配置問題等，協助用戶對Web問題提早發現并及時整改，對未發現漏洞的攻擊事件及已發現漏洞的聯動攻擊事件進行通報預警。同時，通過漏洞掃描引擎達成資產感知能力。

（4）事件分析：通過對威脅數據的聚類和關聯挖掘有價值的威脅事件線索，對重點事件、嫌疑對象、跳板主機、攻擊溯源等提供分析支撐。采取的技術包括三元組分析、異常服務分析、攻擊者分析等，支持分析提供異常服務和參與對外攻擊的主機，支持分析挖掘疑似攻擊人員相關信息，并支持非技術化語言的威脅分析，以及對事件的關聯分析。

3. 第三方運維系統松耦合融合技術

作為一個復雜的安全管理平臺，為了減小用戶的整體IT管理工作量，降低平臺使用門檻，平臺設計中實現了第三方運維系統松耦合融合技術，較好地保障了平臺與第三方平臺的融合對接。平臺系統通過實現第三方運維系統松耦合融合技術，提供廣泛通用的接口支持能力，能夠有效地支持與各類業務信息系統、統一告警平臺、電子運維系統、網管系統、綜合拓撲監控系統等的無縫對接。平臺滿足的接口原則包括：

（1）松耦合原則：此原則包括接口方式與信息模型的松耦合以及系統與外部信息源的松耦合兩個層面。其中接口方式與信息模型的松耦合要求需與本平臺進行接口的應用系統均遵循統一的信息模型與本平臺進行信息交互。本平臺與外部信息源的松耦合要求通過接口的信息交互，不應使本平臺與采集信息源或監控對象之間存在強依賴的關系。

（2）可靠性原則：接口方式是信息模型的載體，無論采取何種接口方式，都保證所傳遞的信息是可靠、完整和一致的。接口可靠性不僅要求交互方式的可靠與穩定，還要求接口的實現不能對參與接口的系統的可靠性造成任何不良影響，如當采集鏈路或程序異常時，不應造成數據丟失以及對接口相關系統的正常工作造成影響。

適度冗余可以作為安全管理平臺接口的建設參考，以在某種接口方式失效時保證信息的正常交互。

（3）安全性原則：安全管理平臺與外部系統通過接口交互的信息有著不同的安全保密要求，如配置信息通常比安全事件信息更需要保密，根據信息的安全級別可采取內網傳輸等多種方式進行保護。

（4）高效性原則：安全管理平臺的運行效率與接口效率密切相關，接口的高效性要求采用的接口方式與實現技術必須保證接口的暢通以及不會造成待交互信息的積壓或延遲。

（5）擴展性原則：接口的可擴展性包括多個層面的意義：

管理功能的可擴展性：接口的定義不應限制安全管理平臺的功能實現，并且在將來安全管理平臺管理功能發生改變時，接口方式應能繼續提供支持；

信息模型的可擴展性：隨著通信網絡的發展，網絡結構、網絡設備、安全設備及業務應用必然發生變化，管理對象的種類和具體指標都會發生改變。無論采取何種接口方式，都應能很好地支持信息模型的改變；

與其他系統的連通性：安全管理平臺也需要與其他系統互聯來交換信息，各系統之間建議采用統一、通用的接口方式進行互聯。

（6）成熟性原則：接口方式與實現應當盡可能采用成熟的先進技術，與國際主流技術保持一致，從而使系統得到較好的投資保護。本系統要求采用標準接口模塊，支持多種接口模式。

（7）保留對被管對象的控制接口：大部分安全管理平臺接口，如與系統或應用的接口，都以采集或監視信息的上行為主要信息流向，建議接口方式也應當支持控制信息的下行，即支持安全管理平臺對被管對象進行適當控制的擴展接口。

（8）自維護能力：安全管理平臺在異常發生后，可以向其他系統如統一告警平臺發出告警信息，提示監控人員注意，并具有一定的自我恢復能力。

（四）功能服務

通過平臺的建設，各級公安部門能夠在數據采集、分析研判、通報處置的方向推進多種信息安全相關業務，能夠有效推進公安機關與其他網絡安全監督職能部門、行業單位、信息安全企業、專家團隊等的協同聯動，構建條塊結合、縱橫互通的數據通道，形成威脅感知能力、應急指揮調度能力，形成協同防御的網絡安全防御體系，提升關鍵基礎設施的主動防御能力。實現網絡安全監管部門的全景安全視野，增強決策支撐，規范安全事件處置流程，持續優化管理辦法，提高響應能力。

平臺建設能夠實現的功能包括：

1. 網絡威脅感知與態勢分析

幫助用戶實現網絡安全態勢感知與安全預警，是本平臺的核心設計目標和功能。平臺通過在一級節點部署高性能大數據計算集群，實現數據分析和存儲功能，建設可編輯的研判分析數學模型，進行實時計算，從而實現：第一時間通報已爆發的網絡入侵行為、病毒傳播等事件；對網絡潛在的安全風險以及惡意攻擊行為進行分析預警；對業務系統漏洞及配置弱點進行告警。進而為保障關鍵信息系統的安全運行、掌握網絡總體安全狀況、制定信息安全策略等提供基礎數據和決策依據。

2. 海量異構安全信息采集、匯總及分析展示

要獲悉全網的整體安全態勢，首先需從現有各類IT系統及安全系統中采集相關日志信息，即在需監測的業務系統中部署日志采集手段，在安全域的主交換節點部署流量采集設備，用以收集海量的異構安全數據，為態勢感知平臺提供大數據計算基礎。上述信息的完整采集能夠保證態勢分析研判的準確性及安全事件回溯及取證分析的準確性，并最終通過直觀的分析結果展示，使數據分析為安全管理流程所用，為管理層提供決策支持。

3. 數據決策后的監督執行

將態勢感知的數據發現和決策，快速通告組織內的負責人及相關執行者，并且持續反饋過程處理；針對事件處置進行全流程監督，并且反饋經驗及沉淀知識庫。

4. 構建安全管理的長效機制

有效保障組織的戰略可持續運營，問題的處理反饋能夠不斷優化管理辦法，強化組織結構，持續提高效率。因此，需要從業務系統的高度去看待建設需求，通過構建安全管理長效機制，進一步實現持續的安全運營。

5. 安全應急響應到持續響應的升級

將現網內多項安全能力、諸多安全產品進行集成整合，得到數據決策后，快速實現安全能力和策略的調整與部署，打通“發現、通告、響應、復盤”的全流程，將安全防御的動作從應急響應發展到持續響應。

6. 符合并體現等級保護及信息安全管理體系的要求

隨著安全管理需求的不斷提高，等級保護和信息安全管理體系建設已成為安全管理工作中必不可少的職責。各類信息系統管理運維單位均需建立并完善其信息安全保障體系和安全管理體系，以達到系統、完整地保障其信息系統安全的目的。

三、平臺應用

目前，基于大數據的安全分析平臺已經在河南省洛陽、新鄉等多個地市的公安網絡監管部門投入應用。平臺收集了海量的異構安全態勢要素信息，對河南省范圍內的1950臺關鍵信息基礎設施服務器實施了安全監督，監管系統數量近2萬個，日均監測發現攻擊行為13萬次以上，每天發布預警信息超過1000條，為提升河南省內公安網安部門的關鍵信息基礎設施安全監管工作效率起到了積極的推動作用。

以洛陽市為例，系統于2017年9月部署上線，洛陽市公安網安部門民警每天通過登錄本平臺，能夠概覽與洛陽全市互聯網信息安全態勢相關的安全要素數據，及時接收系統推送的預警與告警信息。系統上線后，對洛陽市1276個單位的1894個互聯網信息系統實施監管，攻擊行為檢測數量超過1.8萬次/天。另外，根據安全事件導致的系統告警信息，責任民警也能根據事件信息及時發起案事件處置業務流程，第一時間通知事件處理流程后方的相關下游政企單位，使安全事件處置鏈條高效運轉。系統上線后，日均發布告警信息4條，目前為止的安全事件告警處置率87.6%，事件平均處置時間8.73天。

四、結語

通過基于大數據的安全分析平臺的建設，協助信息安全監管單位對政府部門、企事業單位網站及重要信息系統等關鍵信息基礎設施實現立體安全監測，從系統基本信息、受攻擊事件、系統漏洞、系統風險等多個維度對大量信息系統進行全方位安全監控，對安全事件和漏洞情況及時告警和預警，并可提供全部監測目標的全局統計報表和趨勢分析，為監管層改進關鍵信息基礎設施安全狀況提供有價值的參考數據。

最終實現提高公安網監部門及各行業信息系統運維管理部門的網絡安全態勢感知能力，增強我國關鍵信息基礎設施安全保護的整體防護能力，網絡安全事件的應急處置與網絡功能恢復能力，以及依法偵查打擊針對和利用關鍵信息基礎設施實施的違法犯罪活動的能力，為在當前日益復雜的國際網絡安全生態中提升我國關鍵信息基礎設施整體安全狀況提供有力的技術支撐。

李 欣

博士，現任中國人民公安大學信息技術與網絡安全學院院長，中國計算機學會計算機安全專業委員會委員，公安部通信標委會委員，公安部公安視頻監控專業人才庫專家。長期從事信息處理和信息安全相關領域的教學和科研工作，完成了科研項目二十余項，發表論文二十余篇，獲得發明專利授權4項，獲得國家科技進步二等獎一項，公安部科技進步三等獎一項。

近年來，國內外大量針對我國網絡空間的安全威脅事件頻發，嚴重威脅著國家安全、社會秩序和人民生活。加強和完善網絡安全監測預警能力刻不容緩，提高感知網絡安全態勢的能力十分重要。由于缺乏網絡安全事件研判分析、技術支撐工具、應急處置手段等因素，大量網絡安全事件及網絡安全違法犯罪行為無法得到及時處置，相關犯罪人員無法定位和處理，導致網絡環境的治理效果較差、網絡公共空間安全秩序混亂等問題。

本文基于大數據技術，面向公安實戰需求設計開發了一種基于大數據技術的網絡安全態勢分析平臺，實現網絡安全態勢的感知和響應，安全風險的實時監測與預警。該平臺在安全全要素數據采集、安全事件分析研判和安全事件通報處置等方面具有自身的優勢。平臺在河南省洛陽、新鄉等多個地市的公安網絡監管部門投入使用，能監測發現攻擊行為和發布預警信息，獲得了實戰的檢驗。

未來，面對網絡空間的各類新型安全威脅，應不斷發展完善網絡安全態勢分析技術，提高相關部門的安全管理及應急能力，更好地維護國家網絡空間安全主權。