基于Ｎｅｔｆｌｏｗ的網絡安全態勢感知系統研究
2007-12-31 00:00:00賴積保王慧強金爽
計算機應用研究 2007年8期
摘要：綜述了網絡安全態勢感知系統的國內外研究現狀；介紹了Netflow基本原理及其數據格式；提出了基于Netflow的網絡安全態勢感知系統結構；重點研究了實現本系統相關的關鍵技術。經試驗表明，該方法合理可行。關鍵詞：Netflow； 網絡安全態勢感知； 采樣間隔； 負載均衡
中圖分類號：TP393．08文獻標志碼：A
文章編號：1001－3695(2007)08－0167－03
網絡的快速發展和廣泛應用，給社會經濟和生活帶來了巨大變化，而與此同時，網絡蠕蟲病毒、DoS/DDoS攻擊等所造成的威脅和損失也越來越大，很多研究人員和機構已經開始意識到僅僅依賴于現有的網絡安全產品是無法實現對整個網絡態勢的實時監控，因此迫切需要一種新技術新方法來完成該項任務，于是提出了網絡安全態勢感知系統（NSSAS）研究。針對該需求，結合Netflow能提供詳細網絡流量信息，并且工作時能很好地避免網絡頻寬及運算資源負擔過重等優點，本文提出了基于Netflow的網絡安全態勢感知系統研究。
1相關工作
鑒于網絡安全態勢感知系統的研究才剛起步，因此先對其研究現狀作一個簡要介紹。1999年，T. Bass等人[1]首次提出了網絡態勢感知（cyberspace situation awareness，也稱network situation awareness）概念，即網絡安全態勢感知，并對網絡態勢感知與ATC態勢感知進行了對比，旨在把ATC態勢感知的成熟理論和技術推廣到網絡態勢感知中。以此為基礎，T. Bass[2]提出了基于多傳感器數據融合的網絡態勢感知框架，G.B. Stephen等人[3]在文章中提出了類似的框架結構。J.
Shifflet[4]采用本體論（ontology）對網絡安全態勢感知相關概念進行了分析比較研究，并提出基于模塊化的技術無關框架結構。 C. J. Matheus等人[5]也采用了類似的方法，把ontology用于刻畫戰場環境態勢感知，這對網絡安全態勢感知系統研究也有一定的借鑒啟發作用。其他開展這項研究的個人還有加拿大通信研究中心的A. DeMontignyLeboeuf，伊利諾大學香檳分校的William Yurcik等。
隨后，很多研究機構也開始研制網絡安全態勢感知系統工具，如美國國家能源研究科學計算中心（NERSC）所領導的勞倫斯伯克利國家實驗室（Lawrence Berkeley National Labs）于2003年開發了“spinning cube of potential doom”系統[6]。2005年，CMU/SEI領導的CERT/NetSA（CERT Network Situational Awareness Group)開發了SILK[7]（system for Internetlevel knowledge）。該系統通過多種策略對大規模網絡進行安全分析，并能在保持很高性能的前提下提供整個網絡的安全態勢感知能力。美國國家高級安全系統研究中心（National Center for Advanced Secure Systems Research， NCASSR）正在進行的SIFT（security incident fusion tool)項目，欲通過開發一個安全事件融合工具的集成框架，為Internet提供安全可視化。目前該機構已開發的Internet安全態勢感知系統有NVisionIP[8]、VisFlowConnectIP[9]等。其他機構還有加拿大國防研究與開發中心（Defence RD Canada）、瑞士聯邦技術院（ETH Zurich）等。
在國內方面，馮毅[10]中從我軍信息與網絡安全的角度出發，闡述了我軍積極
開展網絡態勢感知研究的必要性和重要性，并指出了兩項關鍵技術——多源傳感器數據融合和數據挖掘。其他研究工作主要是圍繞入侵檢測、網絡監控、網絡應急響應、網絡預警、網絡安全評估等方面所開展的，這為開展網絡安全態勢感知系統研究奠定了一定的基礎。
雖然目前在網絡安全態勢感知方面已經開展了一些研究工作，但還未能給出統一、全面的定義。在此為了有助于理解，給出網絡安全態勢感知的描述性定義。所謂網絡安全態勢感知，即是在大規模網絡環境中，對能夠引起網絡態勢發生變化的安全要素進行覺察、理解、顯示以及預測未來的發展趨勢。值得注意的是，態勢是一種狀態，一種趨勢，是一個整體和全局的概念。開展這項研究旨在對網絡態勢狀況進行實時監控，對潛在的、惡意的網絡行為變得無法控制之前進行識別、防御、響應以及預警，給出相應的應對策略。
2Netflow簡介
Netflow流量統計技術是由Cisco公司的Darren Kerr和Barry Bruins在1996年開發的一套網絡流量監測技術，得到了主流廠商如Juniper、Extreme等的支持。目前已內嵌在大部分Cisco路由器上，正逐漸成為業界標準。
2．1Netflow工作原理
Netflow工作原理如圖1所示。在到達的數據包中按照流量采樣間隔采樣數據包，把所采集到的所有數據包過濾并匯聚成很多數據流，然后把這些數據流按照流記錄（flow record）格式存入緩存中，滿足導出條件后再把它們通過UDP協議導出。這里所說的流記錄被定義為“一段時間內的某個觀測點所通過的一系列分組（packet）。從觀測點的角度看，所有同屬于一個特定流記錄的分組具有一些共同屬性，這些特性是由分組中所包含的數據信息和對這些分組的處理方式來決定的”[11]。
2．2Netflow數據格式
根據傳輸UDP數據包格式的不同，Netflow目前分為v1、v5、v7、v9等版本，版本之間差異主要表現在對流采用的匯聚方法不同。但無論哪個版本，Netflow報文均是由報文頭和多個流信息記錄兩部分構成。報文頭主要由版本號、流記錄個數、用于判斷Netflow報文是否有丟失的序列號等字段組成。流記錄中存放有詳細的流信息，主要字段有源和目的IP地址、源和目的TCP/UDP端口、服務類型、包和字節計數、起始和結束時間戳、路由信息（下一跳地址、源AS、目的AS等）等。因為Netflow版本5所采集到的流數據可以支持不同維度的統計分析，因而廣泛應用于網絡安全分析和監控中。其報頭格式如圖2所示。
由于Netflow采用UDP協議來輸出數據報文，可能會丟失數據。為了確定信息流輸出信息是否丟失，版本5、7、9的報頭信息格式中包含了一個信息流序列號（flow sequence number），如圖2所示。這個序列號等于前一個序列號加上剛剛過去的數據報文中信息流的個數。當接收到一個新的數據報文后，接收程序可以從報頭信息的序列號中提取出預期的序列號，這樣即可獲取丟失信息流的數目。
3基于Netflow的NSSAS結構
系統結構是開展該項研究的前提和基礎，通過建立基于Netflow 的網絡安全態勢感知系統的結構，可以明確系統組件與組件之間、組件與環境之間的關系，為各部分具體實現提供支持。在給出基于Netflow的網絡安全態勢感知系統結構之前，先簡要給出網絡安全態勢感知系統基本功能需求。
1）數據采集能實時監控和采集網絡、服務、系統軟件以及各種應用的狀態數據，發現網絡攻擊行為或其他安全異常，支持大規模網絡的安全態勢感知；
2）事件響應能融合、關聯來自多種安全事件源的海量數據，綜合分析、判斷網絡攻擊和其他事件的類型，確定攻擊行為的性質和可能影響，并及時報警和預警；
3）態勢顯示能集中監控系統的安全態勢，融合生成全局安全態勢，提供多角度多尺度的安全態勢表示，實現與統一態勢圖的集成。
在把握網絡安全態勢感知系統基本功能的基礎上，結合Netflow的工作機制，提出了基于Netflow的網絡安全態勢感知系統結構，如圖3所示。該結構主要由流數據采集、數據預處理、事件關聯與目標識別、態勢評估、威脅評估、響應與預警、態勢可視化顯示、過程優化控制與管理以及數據庫管理系統等部分構成。
圖3基于Netflow的網絡安全態勢感知系統結構
流數據采集主要通過內嵌于交換機或路由器的Netflow采集器按一定采樣間隔來實現數據采集，如果有特殊需要，也可在相應的關鍵節點布置新的采集設備。數據預處理i（i=1，2，…，n）完成負載均衡器所分配的Netflow流數據，具體操作包括有數據篩選、數據簡約、數據格式轉換以及數據存儲等功能。事件關聯與目標識別采用數據融合技術對多源流數據從時間、空間、協議等多個方面進行關聯和識別。態勢評估包括態勢元素提取、當前態勢分析和態勢預測，在此基礎上形成態勢分析報告和網絡綜合態勢圖， 為網絡安全管理員提供輔助決策信息。威脅評估是建立在態勢評估基礎之上的、關于惡意攻擊的破壞能力和對整個網絡威脅程度的估計。態勢評估著重事件的出現， 威脅評估則更著重事件和態勢的效果。響應與預警主要依據事件威脅程度給出相應的響應和防御措施，再把響應預警處理后的結果反饋給態勢和威脅評估來輔助態勢和威脅評估。態勢可視化為決策者提供態勢評估結果（包括當前態勢及未來態勢）、威脅評估結果等信息顯示。過程優化控制與管理主要負責從流數據采集到態勢可視化的全過程優化控制與管理工作，同時將態勢可視化的結果反饋到過程優化控制與管理模塊，實現整個系統的動態優化，達到網絡態勢監控的最佳效果。數據庫管理系統主要負責原始數據、特征庫、態勢庫等內容的管理。
4關鍵技術
針對網絡入侵和攻擊正向分布化、規模化、復雜化、間接化等趨勢發展，為了能夠實時、準確地顯示整個網絡安全態勢狀況，提出基于Netflow實現網絡安全態勢感知，必須解決相應的技術問題。
4．1采樣間隔
依據信道的繁忙程度而設定相應的采樣間隔，減少采集器與路由器之間的通信頻度，提高路由器的利用率。此外，從Netflow的工作原理也可以看出，采樣間隔的大小對流量采集性能影響也是至關重要的。因此必須采用合理的方法對采樣間隔進行設定。目前常用的采樣方法有兩種，即固定時間間隔采樣和隨機附加采樣。前者雖然周期采樣簡單，但是很可能導致采樣結果不全面、不真實；而后者樣本之間是相互獨立的，采樣間隔是通過一個函數隨機產生。如果選用泊松函數，則該樣本將滿足無偏的，且泊松采樣不易引起同步，它能精確地進行周期采樣，也不易被預先控制。由于泊松采樣具有上述優點，RFC 2330[12]也推薦使用該方法進行采樣。
4．2負載均衡
在高速網絡環境下的網絡安全態勢感知系統中，采用負載均衡，旨在將前端所采集的海量數據流信息分流，便于并行處理，提高系統性能（包括實時性、高效性等）。通常負載均衡按任務運行特征的預知情況可分為靜態負載均衡和動態負載均衡兩種。靜態負載均衡往往依據先驗知識作出決策，而動態負載均衡則是依據對系統當前負載信息的分析予以決策。兩者的對比分析如表１所示。
目前常用的負載均衡技術有基于DNS的負載均衡技術、反饋代理負載均衡、基于NAT的負載均衡技術、基于CORBA的負載均衡技術等。其中基于CORBA的負載均衡技術是目前較為流行的分布式計算負載解決方案。
基于以上的分析可知，要實現負載均衡，調度算法至關重要。目前常用的調度算法有輪詢調度算法（roundrobin sche￣duling）、加權輪詢調度算法（weighted roundrobin scheduling）、最小連接調度算法（leastconnection scheduling）、加權最小連接調度算法（weighted leastconnection scheduling）等。在保證數據完整性的前提下，考慮網絡環境的動態性、高速性、多樣性等特點，結合網絡安全態勢感知系統實時負載能力、可用性等因素，采用文獻[13]中所提出的基于流的動態負載均衡算法（flowbased dynamic load balance，FDLB）。該算法需要動態維護引擎負載表和數據包分發表，通過動態反饋和預測機制得到當前負載情況，以一個會話為分配單位，進行負載分流并行處理。具體流程有：引擎負載表的定時更新和維護；數據包的分發；數據包分發表的定時更新和維護。
4．3其他技術
其他技術還包括數據簡約、數據挖掘、數據融合、響應與預警、入侵追蹤以及態勢可視化等。數據簡約主要是去除數據中包含的冗余信息，防止大規模網絡中的數據泛濫，減少數據的傳輸總量，提高后續數據分析效率。主要包括有屬性約簡、值約簡、屬性值域縮減三部分。數據挖掘主要是從海量數據中發現有用的可理解的數據模式，便于檢測未知攻擊和自動構建檢測模型。常用分析方法有關聯分析、序列模式分析、分類分析和聚類分析。數據融合主要是用于提高網絡安全態勢感知系統的檢測率和分辨率。典型算法有貝葉斯網絡、DS證據推理等。響應與預警技術主要研究靈活高效的響應政策、響應機制以及防御措施等。入侵追蹤的研究重點是發現攻擊者的數據傳輸路徑和真實IP地址，實現對攻擊者的定位，并且它是對網絡入侵進行正確響應的重要前提。目前采用的主要方法有傳輸日志追蹤、報文標記、鏈路測試、ICMP追蹤等。態勢可視化關注的是將海量數據以圖形圖像的方式直觀地呈現給決策者，以便于決策者作出合理準確的決策，這就對海量安全狀態數據可視化提出了新的要求，勢必要求尋找新算法和技術予以實現。
5仿真試驗
為驗證該方案的可行性和有效性，筆者搭建了一個實驗平臺。實驗環境是Cisco Catalyst 4506多層路由交換機一臺，局域網內有主機六臺（其中一臺作為采集服務器），配置均為Redhat Linux 8.0/P4 3.0 GHz/512 MB/80 GB，網速千兆到桌面。在采用Netflow進行網絡監控之前，必須進行相應設置：a)接口配置模式啟用Netflow，命令是ip routecache flow；b)設置發往采集服務器的版本號，命令是ip flowexport v5；c)設置采集服務器的IP地址及UDP端口號，命令是ip flowexport destination 192.168.36.12 1925；d)依據式（2）設定采樣間隔為5 000:1。
6結束語
網絡安全態勢感知系統作為網絡安全的一個新研究領域，對于實現大規模網絡安全監控具有重要意義。本文采用Netflow技術能很好地實現網絡安全態勢感知，及時發現潛在的威脅和漏洞，以可視化方式呈現給決策者，達到全面監控整個網絡的目的。同時，由于系統所處理的是海量數據信息，性能優化問題有待進一步研究。
參考文獻：
［1］BASS T， GRUBER D. A glimpse into the future of ID[EB/OL]. (1999－09).[2006].http://www.usenix.org/ publications/login/1999－9/features/future.html.
[2］BASS T. Intrusion detection systems and multisensor data fusion: creating cyberspace situational awareness[J]. Communications of the ACM， 2000， 43(4):99105.
[3］BATSELL S G， RAO N S， SHANKAR M. Distributed intrusion detection and attack containment for organizational cyber security[EB/OL]. [2006].http://www.ioc.ornl.gov/projects/documents/containment.pdf.
[4］SHIFFLET J. A technique independent fusion model for network intrusion detection[EB/OL]. (2005).[2006].http://www.wooster.edu/cs/mcurcsm2005/papers/paper22final.pdf.
[5］MATHEUS C J， KOKAR M M， BACLAWSKI K. A core ontology for situation awareness[C]//Proc of the 6th International Conference of Information Fusion. Queensland: IEEE Press， 2003:545－552.
[6］LAU S. The spinning cube of potential doom[J]. Communications of the ACM， 2004，47(6):25－26.
[7］GATES G， COLLINS M， DUGGAN M， et al. More Netflow tools: for performance and security[C]//Proc of the 18th Large Installation Systems Administration Conference.Atlanta:USENIX，2004:121132.
[8］LAKKARAJU K， YURCIK W， LEE A J. NVisionIP: Netflow visua￣lizations of system state for security situational awareness[C]//Proc of ACM Workshop on Visualization and Data Mining for Computer Secu￣rity. Washington: ACM Press， 2004:65－72.
[9］YIN Xiaoxin， YURCIK W， SLAGELL A. The design of VisFlowConnectIP: a link analysis system for IP security situational awareness[C]//Proc of the 3rd IEEE International Workshop on Information Assurance. Maryland: IEEE Press， 2005:141153.
[10］馮毅.中國信息戰—我軍信息與網絡安全的思考[EB/OL].(2005).[2006].http://www.laocanmou.net/Html /2005 61941151.html.
[11］RFC 3176， A method for monitoring traffic in switched and routed networks[S].
[12］IETF RFC 2330， Framework for IP performance metrics[S].
[13］蔣文保，郝雙，戴一奇，等.高速網絡入侵檢測系統負載均衡策略與算法分析[J]. 清華大學學報：自然科學版， 2006， 46(1):106110.
注：“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”
