一種面向云化智能化的網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)構(gòu)建方法*

易小芹，潘麗娟，彭望龍

（中國(guó)電子科技集團(tuán)公司第三十研究所，四川 成都 610041）

0 引言

美軍從全球信息柵格以來(lái)，就開(kāi)始注重增強(qiáng)網(wǎng)絡(luò)全局態(tài)勢(shì)感知能力建設(shè)，通過(guò)采集網(wǎng)絡(luò)中各類異構(gòu)傳感器的監(jiān)控?cái)?shù)據(jù)并進(jìn)行關(guān)聯(lián)分析，形成全局網(wǎng)絡(luò)態(tài)勢(shì)。

美軍在聯(lián)合信息環(huán)境中部署了聯(lián)合管理系統(tǒng)（Joint Management System，JMS），運(yùn)用以大數(shù)據(jù)為支撐的監(jiān)測(cè)和管理等技術(shù)手段，實(shí)現(xiàn)全網(wǎng)統(tǒng)一監(jiān)控和運(yùn)維。各聯(lián)合區(qū)域安全堆棧通過(guò)聯(lián)合管理網(wǎng)絡(luò)（Joint Management Network，JMN）接 受JMS 的 統(tǒng)一管理調(diào)度，共享安全情報(bào)和知識(shí)庫(kù)，協(xié)同執(zhí)行防御任務(wù)，大幅度提升了網(wǎng)絡(luò)協(xié)同防御能力。

從2010 年開(kāi)始，以美國(guó)國(guó)防部高級(jí)研究計(jì)劃局（Defense Advanced Research Projects Agency，DARPA）的X 計(jì)劃、美國(guó)國(guó)土安全部（Department of Homeland Security，DHS）的SHINE 計(jì)劃以及美國(guó)國(guó)家安全局（National Security Agency，NSA）的Treasure Map 計(jì)劃為代表，美國(guó)倡導(dǎo)進(jìn)一步加固關(guān)鍵基礎(chǔ)設(shè)施網(wǎng)絡(luò)組件主動(dòng)探測(cè)能力和快速響應(yīng)能力。DAPRA 的X 計(jì)劃為網(wǎng)絡(luò)戰(zhàn)部隊(duì)提供戰(zhàn)場(chǎng)地圖快速描繪能力，并輔助生成作戰(zhàn)計(jì)劃，從而推動(dòng)網(wǎng)絡(luò)作戰(zhàn)效率和能力；DHS 的SHINE 計(jì)劃定期監(jiān)測(cè)美國(guó)本土關(guān)鍵基礎(chǔ)設(shè)施網(wǎng)絡(luò)組件的安全狀態(tài)；NSA的Treasure Map 計(jì)劃建立對(duì)全球多維度信息的主動(dòng)探測(cè)，從而形成大規(guī)模情報(bào)生產(chǎn)能力。通過(guò)這些計(jì)劃，美國(guó)在初步建立的基于被動(dòng)信息源的感知能力的基礎(chǔ)上，結(jié)合集成主動(dòng)探測(cè)、海外信息搜集等技術(shù)，進(jìn)一步擴(kuò)展其網(wǎng)絡(luò)空間態(tài)勢(shì)感知能力，形成了目前的基于主動(dòng)信息源的態(tài)勢(shì)感知體系。

由此可見(jiàn)，我國(guó)網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)的構(gòu)建已經(jīng)顯得刻不容緩，通過(guò)提取、精煉、融合、深化和管理網(wǎng)絡(luò)態(tài)勢(shì)相關(guān)的各種信息，并將這些信息高效組織升華為管理人員能夠理解的較為完整的宏觀態(tài)勢(shì)知識(shí)，幫助管理人員理解當(dāng)前所處的狀態(tài)和下一步的發(fā)展趨勢(shì)，為網(wǎng)絡(luò)部署和應(yīng)急決策提供依據(jù)[1-2]。

1 網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)構(gòu)建框架

本文介紹的網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)采用面向云化的、服務(wù)化的、滿足分布式集群部署管理要求的技術(shù)體制與架構(gòu)，依據(jù)插件化集成開(kāi)發(fā)標(biāo)準(zhǔn)，實(shí)現(xiàn)態(tài)勢(shì)展示按需組裝和多維信息的可視化集成能力。系統(tǒng)構(gòu)建框架如圖1 所示，由基礎(chǔ)環(huán)境層、業(yè)務(wù)服務(wù)層、態(tài)勢(shì)展示層組成。

圖1 面向云化智能化的網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)構(gòu)建框架

基礎(chǔ)環(huán)境層為態(tài)勢(shì)業(yè)務(wù)服務(wù)提供分布式集群環(huán)境支撐，保障系統(tǒng)的高可靠、高性能運(yùn)行，采用微服務(wù)架構(gòu)，實(shí)現(xiàn)敏捷開(kāi)發(fā)和部署，確保網(wǎng)絡(luò)態(tài)勢(shì)相關(guān)業(yè)務(wù)服務(wù)具備分布式部署發(fā)布、運(yùn)行以及數(shù)據(jù)管理能力。

業(yè)務(wù)服務(wù)層采用服務(wù)化架構(gòu)體系。核心服務(wù)平臺(tái)為服務(wù)化開(kāi)發(fā)、調(diào)用、運(yùn)行、監(jiān)控提供相關(guān)標(biāo)準(zhǔn)接口。業(yè)務(wù)服務(wù)具體實(shí)現(xiàn)標(biāo)準(zhǔn)接口，通過(guò)對(duì)標(biāo)準(zhǔn)接口的調(diào)用，使得業(yè)務(wù)服務(wù)在核心服務(wù)平臺(tái)中可運(yùn)行、可調(diào)用、可監(jiān)管，確保服務(wù)化架構(gòu)體系的建立。分析處理服務(wù)使用聚類分析工具OpenRefine、機(jī)器學(xué)習(xí)工具Storm、流數(shù)據(jù)分析工具M(jìn)apReduce 實(shí)現(xiàn)網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)的綜合分析處理能力。此外，在業(yè)務(wù)服務(wù)層中，還提供日志管理、用戶管理、自動(dòng)化測(cè)試、測(cè)試評(píng)估、跨平臺(tái)封裝等業(yè)務(wù)開(kāi)發(fā)中常用且通用功能的支撐，既降低了服務(wù)開(kāi)發(fā)難度，又保證了服務(wù)質(zhì)量。

態(tài)勢(shì)展示層以插件技術(shù)為核心，通過(guò)2D GIS呈現(xiàn)工具、3D GIS 呈現(xiàn)工具、邏輯圖工具、統(tǒng)計(jì)圖表工具，實(shí)現(xiàn)可集成、可擴(kuò)展的態(tài)勢(shì)展示能力。態(tài)勢(shì)展示插件依據(jù)插件集成開(kāi)發(fā)標(biāo)準(zhǔn)，通過(guò)對(duì)GIS 呈現(xiàn)工具、邏輯圖工具、統(tǒng)計(jì)圖表工具提供相關(guān)接口，可實(shí)現(xiàn)二維、三維圖形繪制、圖層及窗口管理、態(tài)勢(shì)標(biāo)繪等功能。

2 網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)構(gòu)建關(guān)鍵技術(shù)

2.1 多源異構(gòu)態(tài)勢(shì)信息采集處理技術(shù)

2.1.1 必要性及難點(diǎn)分析

網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)需要采集各類網(wǎng)絡(luò)站點(diǎn)、網(wǎng)絡(luò)鏈路、網(wǎng)絡(luò)設(shè)備及網(wǎng)管系統(tǒng)等的各類態(tài)勢(shì)信息，包括狀態(tài)信息、故障信息、性能信息、日志信息等。這些通信網(wǎng)絡(luò)設(shè)施處于多廠商、多技術(shù)和多系統(tǒng)的運(yùn)營(yíng)環(huán)境，因此態(tài)勢(shì)數(shù)據(jù)來(lái)源和結(jié)構(gòu)各異，如何保證采集數(shù)據(jù)的完整性、一致性和準(zhǔn)確性是系統(tǒng)的必須解決的問(wèn)題。

2.1.2 解決途徑

采用多源異構(gòu)態(tài)勢(shì)信息采集處理技術(shù)保證采集數(shù)據(jù)的完整性、一致性和準(zhǔn)確性，其原理如圖2所示。

圖2 多源異構(gòu)態(tài)勢(shì)信息采集處理技術(shù)原理

將采集到的原始數(shù)據(jù)經(jīng)過(guò)抽取、檢查和轉(zhuǎn)換后再加載到數(shù)據(jù)庫(kù)，保證采集數(shù)據(jù)的質(zhì)量，為后續(xù)數(shù)據(jù)分析加工奠定良好的數(shù)據(jù)基礎(chǔ)。

2.2 態(tài)勢(shì)數(shù)據(jù)預(yù)處理技術(shù)

2.2.1 必要性及難點(diǎn)分析

網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)采集的網(wǎng)絡(luò)態(tài)勢(shì)數(shù)據(jù)來(lái)源廣、規(guī)模大、種類多，并且網(wǎng)絡(luò)環(huán)境不確定性也多，例如局部擁塞、癱瘓、設(shè)備異常等，會(huì)導(dǎo)致采集到的原始態(tài)勢(shì)數(shù)據(jù)存在臟數(shù)據(jù)、殘缺數(shù)據(jù)、冗余數(shù)據(jù)等，這會(huì)給態(tài)勢(shì)數(shù)據(jù)融合分析帶來(lái)很大的影響。如何保證融合分析入口態(tài)勢(shì)數(shù)據(jù)的質(zhì)量是系統(tǒng)必須解決的問(wèn)題，也是提高態(tài)勢(shì)分析準(zhǔn)確性的關(guān)鍵技術(shù)之一。

2.2.2 解決途徑

采用態(tài)勢(shì)數(shù)據(jù)預(yù)處理技術(shù)對(duì)采集到的原始數(shù)據(jù)進(jìn)行預(yù)處理后，再進(jìn)行融合分析。態(tài)勢(shì)數(shù)據(jù)預(yù)處理技術(shù)原理如圖3 所示，將采集的原始態(tài)勢(shì)信息（L0）經(jīng)數(shù)據(jù)校驗(yàn)、數(shù)據(jù)去重歸并、數(shù)據(jù)時(shí)空配準(zhǔn)形成預(yù)備數(shù)據(jù)集（L1）。數(shù)據(jù)檢驗(yàn)主要實(shí)現(xiàn)噪聲數(shù)據(jù)去除、殘缺數(shù)據(jù)處理、異構(gòu)數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)去重歸并主要實(shí)現(xiàn)將不同來(lái)源、不同類型、內(nèi)容殘缺的數(shù)據(jù)，進(jìn)行融合歸并，形成具有豐富信息的態(tài)勢(shì)信息。數(shù)據(jù)時(shí)空配準(zhǔn)主要實(shí)現(xiàn)基于時(shí)間、空間數(shù)據(jù)或者用戶指定的關(guān)聯(lián)規(guī)則，進(jìn)行關(guān)聯(lián)匹配。

圖3 態(tài)勢(shì)數(shù)據(jù)預(yù)處理技術(shù)

2.3 大規(guī)模態(tài)勢(shì)數(shù)據(jù)融合分析技術(shù)

2.3.1 必要性及難點(diǎn)分析

網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)采集的態(tài)勢(shì)數(shù)據(jù)規(guī)模大種類多，如何對(duì)采集的大規(guī)模態(tài)勢(shì)數(shù)據(jù)進(jìn)行融合分析處理，是網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)急需解決的問(wèn)題，也是難點(diǎn)問(wèn)題。

2.3.2 解決途徑

采用大規(guī)模態(tài)勢(shì)數(shù)據(jù)融合分析技術(shù)對(duì)態(tài)勢(shì)數(shù)據(jù)進(jìn)行融合分析處理，其原理如圖4 所示，針對(duì)經(jīng)預(yù)處理后的態(tài)勢(shì)數(shù)據(jù)（預(yù)備數(shù)據(jù)集L1），通過(guò)深入挖掘數(shù)據(jù)之間的關(guān)系，利用基于特征相似度、上下文關(guān)系判別的方法，建立各種數(shù)據(jù)的特征，實(shí)現(xiàn)多源數(shù)據(jù)的有效融合；建立專家知識(shí)庫(kù)，有效結(jié)合專家知識(shí)對(duì)態(tài)勢(shì)進(jìn)行綜合分析評(píng)估與預(yù)測(cè)，支撐網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)分析和呈現(xiàn)。并采用多維度態(tài)勢(shì)信息統(tǒng)計(jì)分析方法，支持以表格、曲線、直方圖、柱狀圖、餅圖等方式顯示和輸出統(tǒng)計(jì)分析結(jié)果，形成綜合全局態(tài)勢(shì)信息，以便網(wǎng)絡(luò)管理人員掌控網(wǎng)絡(luò)整體運(yùn)行 態(tài)勢(shì)[3-4]。

圖4 大規(guī)模態(tài)勢(shì)數(shù)據(jù)融合分析技術(shù)原理

2.4 智能故障關(guān)聯(lián)分析技術(shù)

2.4.1 必要性及難點(diǎn)分析

網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)實(shí)時(shí)采集全網(wǎng)故障信息，并存放到故障數(shù)據(jù)庫(kù)，呈現(xiàn)給管理人員，而管理人員要從故障信息中快速、準(zhǔn)確地判明引起這些故障的根本原因難度很大。如何輔助管理人員分析定位故障是網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)亟需解決的問(wèn)題。然而通信網(wǎng)絡(luò)基礎(chǔ)設(shè)施是一個(gè)多廠商、多技術(shù)和多系統(tǒng)的運(yùn)營(yíng)環(huán)境，具有規(guī)模巨大、技術(shù)復(fù)雜、平臺(tái)異構(gòu)的特點(diǎn)，導(dǎo)致故障關(guān)聯(lián)分析非常困難。這些難點(diǎn)主要體現(xiàn)在如下4 個(gè)方面。

（1）故障中含有噪聲數(shù)據(jù)。如果在短時(shí)間內(nèi)產(chǎn)生多個(gè)故障，而與之對(duì)應(yīng)的設(shè)備可以是相關(guān)的，也可以是不相關(guān)的。當(dāng)多個(gè)不相關(guān)的設(shè)備同時(shí)產(chǎn)生告警，那么這些告警集合會(huì)交疊在一起，相互之間存在一定的干擾。另外，故障引起的告警集合中有時(shí)會(huì)包含一些無(wú)意義、冗余的告警數(shù)據(jù)。

（2）告警數(shù)據(jù)不完整。為了能夠全面了解網(wǎng)絡(luò)的運(yùn)行狀況，通常希望獲取全部的故障數(shù)據(jù)，然而在網(wǎng)絡(luò)中有時(shí)會(huì)出現(xiàn)告警丟失和延遲的問(wèn)題，因此無(wú)法獲取全部告警數(shù)據(jù)，如當(dāng)設(shè)備癱瘓、設(shè)備掉電或告警在傳輸中丟失等情況發(fā)生時(shí)，都無(wú)法獲取與該設(shè)備相關(guān)的告警信息。

（3）故障擴(kuò)散。由于網(wǎng)絡(luò)中設(shè)備是相互連接的，某一設(shè)備發(fā)生的故障有時(shí)會(huì)擴(kuò)散到與其相關(guān)的其他設(shè)備上，造成多個(gè)設(shè)備同時(shí)發(fā)生故障的假象。

（4）告警數(shù)據(jù)動(dòng)態(tài)增加。整個(gè)網(wǎng)絡(luò)總是不斷地發(fā)展變化，而故障關(guān)聯(lián)規(guī)則依賴于網(wǎng)絡(luò)的物理和邏輯結(jié)構(gòu)，需要及時(shí)對(duì)不斷產(chǎn)生的新故障數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)網(wǎng)絡(luò)中新出現(xiàn)的故障關(guān)聯(lián)規(guī)則。

2.4.2 解決途徑

采用智能故障關(guān)聯(lián)分析技術(shù)實(shí)現(xiàn)故障關(guān)聯(lián)分析及定位，其原理如圖5 所示，通過(guò)人工定制關(guān)聯(lián)規(guī)則和人工智能技術(shù)結(jié)合的方式進(jìn)行關(guān)聯(lián)規(guī)則挖掘，并將得到的關(guān)聯(lián)規(guī)則保存于規(guī)則庫(kù)中。基于故障關(guān)聯(lián)規(guī)則和故障操作，確定關(guān)聯(lián)規(guī)則模式從而構(gòu)造故障關(guān)聯(lián)分析系統(tǒng)，再用故障關(guān)聯(lián)分析系統(tǒng)迭代應(yīng)用關(guān)聯(lián)規(guī)則產(chǎn)生新的、更高級(jí)的故障關(guān)聯(lián)規(guī)則，結(jié)合對(duì)象模型可以將這些故障間的關(guān)聯(lián)關(guān)系映射到設(shè)備對(duì)象上，從而在發(fā)生新的故障時(shí)能夠快速進(jìn)行故障定位和分析[3-5]。

圖5 智能故障關(guān)聯(lián)分析原理

2.5 多維可視化態(tài)勢(shì)呈現(xiàn)技術(shù)

2.5.1 技術(shù)難點(diǎn)

網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)的可視化呈現(xiàn)存在以下幾個(gè)方面的難點(diǎn)：①采集的態(tài)勢(shì)信息僅能表現(xiàn)某個(gè)維度的網(wǎng)絡(luò)運(yùn)行狀態(tài)信息，無(wú)法全面了解網(wǎng)絡(luò)運(yùn)行的綜合情況，特別是多維度的信息關(guān)聯(lián)呈現(xiàn)；②不同職責(zé)的用戶對(duì)網(wǎng)絡(luò)裝備關(guān)注的維度不同，對(duì)同種資源類型呈現(xiàn)的維度不同，可視化的內(nèi)容也應(yīng)該不同；③當(dāng)大量可視化呈現(xiàn)數(shù)據(jù)加載時(shí)，客戶端會(huì)進(jìn)入長(zhǎng)時(shí)間等待狀態(tài)，甚至陷入假死狀態(tài)，造成糟糕的用戶體驗(yàn)。

2.5.2 解決途徑

運(yùn)用多維可視化呈現(xiàn)技術(shù)來(lái)呈現(xiàn)態(tài)勢(shì)數(shù)據(jù)，其原理如圖6 所示。

圖6 多維可視化態(tài)勢(shì)呈現(xiàn)技術(shù)原理

通過(guò)建立態(tài)勢(shì)信息各個(gè)維度的映射和關(guān)聯(lián)關(guān)系，為滿足用戶不同需求提供可定制的多維可視化呈現(xiàn)方式，建立多維空間信息模型，采用探索型和解釋型相結(jié)合的呈現(xiàn)技術(shù)，提升多維態(tài)勢(shì)呈現(xiàn)的互動(dòng)性和獨(dú)特性。

另外采用數(shù)據(jù)流分片技術(shù)對(duì)可視化呈現(xiàn)的數(shù)據(jù)處理方法進(jìn)行優(yōu)化，其原理如圖7 所示。該技術(shù)對(duì)大規(guī)模海量數(shù)據(jù)進(jìn)行分片、排隊(duì)處理，將一次性大規(guī)模數(shù)據(jù)加載轉(zhuǎn)換為分多次數(shù)據(jù)片加載的方式，并實(shí)現(xiàn)了數(shù)據(jù)片的邊加載邊渲染技術(shù)。該技術(shù)的實(shí)現(xiàn)，在客戶端表現(xiàn)為海量可視化數(shù)據(jù)平滑過(guò)渡呈現(xiàn)，極大提升了用戶使用體驗(yàn)，避免陷入假死狀態(tài)。

圖7 數(shù)據(jù)流分片處理

3 結(jié)語(yǔ)

網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)是應(yīng)對(duì)新形勢(shì)下信息化戰(zhàn)爭(zhēng)的迫切要求，可以幫助網(wǎng)絡(luò)管理人員快速掌握網(wǎng)絡(luò)的整體運(yùn)行態(tài)勢(shì)，實(shí)時(shí)感知故障和威脅，并提供有效的輔助決策能力。本文對(duì)網(wǎng)絡(luò)態(tài)勢(shì)系統(tǒng)的構(gòu)建做了一些研究和實(shí)踐，但距離真正構(gòu)建一個(gè)高效智能的態(tài)勢(shì)系統(tǒng)，有效發(fā)揮作戰(zhàn)輔助決策效力，還有很多難題需要攻克。