基于Netflow的網絡安全大數據可視化分析①

王全民,韓曉芳

(北京工業大學 信息學部,北京 100124)

1 引言

Netflow日志可以提供非常精準的流量測量,被廣泛應用在DDOS 監控、入侵檢測、流量統計等方面,所以對Netflow 數據的研究具有極強的實用意義,很多研究者將此可視化研究的切入點.如Nunnally T[1]將傳統的平行坐標軸進行了拓展,提出采用3D Parallel Coordinate 方法對安全數據進行可視化,并取得了較好的效果.但該方法在數據量過大時,線條之間會發生重疊,難以從中發現有用的信息.Flow-In-Spector[2]采用多圖綜合的可視化技術實時顯示網絡流數據,實現了直方圖、力引導圖、輻射圖的繪制.吳亞東等[3]為了增強分析系統的可交互性,設計了一種三維多層球面空間的可視化模型.陳鵬等[4]利用信息熵的流量異常數據挖掘算法,提高了流量異常檢測的成功率,并實現了一個三維可視化的流量監測系統.張勝等[5]針對Netflow日志用樹圖和時間序列圖結合的方式實現了可視化系統,但當數據量較大時,二維的時間序列圖會造成圖形覆蓋,且樹圖會占用較大的屏幕空間,對量大、維度多的數據展示很不友好.

在可視化分析方向,多視圖的關聯分析和可交互式查詢對幫助網絡安全管理人員從多維度觀測當前網絡狀態至關重要.比如趙穎等[6]通過時序化的平行坐標視圖、多主體的矩陣視圖、多主體的時序視圖、相似度擴展樹視圖分析網絡流量日志數據.ENTVis[7]利用雷達圖、矩陣圖等可視化方法支持基于信息熵的網絡攻擊流量特征分析,Shi 等[8]利用改進雷達圖進行網絡事件關聯分析.以上技術雖然通過特征抽取、降維、采樣或聚合的方法減少了數據項和數據維度,但交互性并不好.

綜上所述,針對Netflow日志的可視化分析技術研究已有很大突破,但在多視圖綜合交互以及多維度數據可視化方面仍有很高的提升空間.因此,本文重點提出了用三維柱狀圖代替二維坐標圖展示數據,它可以提供旋轉、縮放、篩選等多種交互方式解決密集數據遮掩的問題,針對平行坐標軸引入信息熵算法實現多維度特征的統一化處理,能較好的展示多維度數據.在最后的在案例分析中,利用本文的可視化分析系統實現了端口掃描、DDos 攻擊網絡異常行為的分析.

2 系統可視化框架

為了幫助網絡安全人員從整體到局部,循序漸進的對整個網絡態勢有準確的掌控,本文設計了一個兩層的可視化框架,如圖1、圖2所示.圖1中的三維柱狀圖幫助用戶了解當前網絡態勢,平行坐標圖對應網絡整體流量時序的多維特征分析,用以分析各個維度的詳細信息.圖2細節圖提供了3 個可視化視圖,多維氣泡圖和矩陣圖詳細介紹了多種網絡活動主體在某個時間段內的細節分布,流量時序視圖對應某個網絡活動主體的時序特征分析.

2.1 三維柱狀圖

任何網絡行為的發生都會在Netflow日志中留下一條flow 記錄,該記錄中的字節數反映了此次網絡行為占用的流量大小.當有可疑的網絡行為發生時,可以通過分析Netflow日志中的字節數,判斷其行為是否異常,比如當有大量的攻擊行為產生時,網絡流量的數量級別會顯著升高.

圖1 概覽圖

圖2 細節圖

以前針對流量的展示方法大多是二維的折線圖和柱狀圖,無法從多個角度分析當前流量的分布,本文的三維柱狀圖(如圖3)按時間序列統計一段時間內不同協議下的字節數,從圖3柱狀圖的高低和顏色的深淺,用戶可以快速判斷出TCP 協議下,顏色較深且柱狀圖較高的時間段內,流量異常增多,而在整個時間段內UDP 協議和其他協議下的流量較少.用戶可點擊圖3右下角的方塊(從下到上,流量大小按區間遞增)快速篩選目標數據,也可利用放大、平移和旋轉功能,快速查看被遮擋區間內的詳細數據.算法1 給出了本文采用Echarts 實現三維柱狀圖的核心算法.

圖3 三維柱狀圖

2.2 平行坐標圖

分析人員通過觀測三維柱狀圖中流量的大小,能快速定位異常時刻.為了判斷該時刻下可能發生的異常行為類型,分析人員需要同時觀測Netflow 的多個維度特征,以做出更準確的決策.

Netflow 數據中的源地址(srcIP)、源端口(srcPort)、目的地址(destIP)、目的端口(destPort)、連接數(link)、字節數(destTotalBytes)和包數(destPackets),這7 個維度最能體現網絡安全態勢的變化.由于各個特征間的數量級別差異較大,且不同的維度統計分析的指標不同,無法直接使用以上7 個特征的統計值作為分析點.信息熵能有效度量網絡活動的隨機特征,它是一種對異常分布很敏感的度量參數,體現了數據分布的不確定性和無序性,數據分布越有規律,熵值越小；越無序混亂,熵值越大.下面我們以目的端口熵為例,介紹網絡信息熵的計算方法,設某一時間段內,流量端口號集合為隨機變量Y,則Y的取值空間為Y={yi,j=1,2,···,N},yj為某個端口號在該時間段下出現的次數,j實際取值范圍0-65535,S為該時間段內總的目的端口數,則該時間段內的目的端口熵為：

例如某些類型的DDOS 攻擊是通過發送海量的攻擊包到特定的目的主機,從而達到讓某個被攻擊目標的服務陷入癱瘓,這時被攻擊的目的IP 固定分布在某幾個,目的IP 熵會變小,攻擊的源IP 熵增大.導致網絡流量異常的行為有很多種,常見的異常流量熵模式如表1所示.

平行坐標圖能很好的支持用戶從多個維度協同分析數據特征,它是一種基于二維圖形表達高維數據的可視化技術,能將復雜的高維數據在平面圖中展示出來,較為節省屏幕空間,如圖1的平行坐標圖展示了整個時間段內的數據,利用鼠標的篩選功能,得到某個時刻下的平行坐標圖,如圖4.

圖4 端口掃描攻擊—平行坐標圖

本文平行坐標圖的可視化過程主要分為兩步：首選是數據處理,如圖4選取時間作為平行坐標軸的測量維度,針對源IP、目的IP、源端口、目的端口四個維度引入信息熵算法計算,由于各個維度的信息熵具有不同的數量級,采用除以最大值的歸一化處理,使取值都落在0 和1 之間.針對字節數、連接數和包數量,采用統計求和的方法,為了和信息熵的數量級保持一致,也采用歸一化處理.其次是平行坐標圖繪制,即將數據源轉換為矩陣模型,再將矩陣映射為平行坐標系上對應的數據.算法2 給出了平行坐標可視化的核心算法.

2.3 氣泡圖和矩陣圖

利用平行坐標圖確定攻擊行為類型后,為進一步確定網絡攻擊的來源、受攻擊的主機和此次攻擊行為對網絡造成的影響,本文選擇端口和主機的各項數據特征,包括字節數、連接數和主機的活躍端口數作為監測對象.

傳統可視化方法主要利用像素圖和樹圖,對某時刻網絡流量在主機和端口上的分布情況進行可視化,但大量的主機和端口看起來冗余又復雜,用戶難以快速定位到感興趣的信息.Netflow日志主要監測系統的網絡流量數據,當某些網絡攻擊行為發生時,如DDOS、端口掃描等攻擊行為會造成主機或端口號的流量激增,此時分析流量激增的某幾臺主機和端口號,就可以判斷此次網絡攻擊行為的源,流量較少或變化較小的主機無法為用戶提供有效且豐富的決策信息,可以忽略.因此本文將自動過濾影響用戶判斷的流量較少的主機和端口數據,僅展示各個維度Top-20 數量級的信息,用矩陣圖結合氣泡圖的形式展示,增強用戶交互體驗.

圖5左側矩陣圖展示的是流量Top-20 的主機和端口信息,右側展示了對應矩陣圖中四個維度的Top-5 流量信息.如圖6氣泡圖通過氣泡的大小展示數量級別,針對數量級別差異過大的情況,本文選擇縮小氣泡半徑大小的極差,在不影響可視化的情況下,展示圖形中每一個級別的數據.

2.4 流量時序圖

矩陣圖和氣泡圖只展示了網絡活動IP 和端口在特定時間段內的網絡態勢,對于感興趣的主機和端口,需要通過分析其在正常和異常時刻的網絡流量變化情況,以進一步確定他們的行為特征.本文采用流量時序圖,如圖7,以觀測在矩陣圖和氣泡圖中可疑的主機或端口,此外用戶可以通過時間軸上的滑塊進行區間選擇,對數據集進行篩選,如圖8.

圖5 端口掃描攻擊—矩陣圖

圖6 端口掃描攻擊—氣泡圖

綜上,本系統綜合多種圖形實現對網絡流量的可視化,以幫助用戶快速定位到網絡異常時刻,同時更便于理解圖中量多且復雜的折線.多圖形間的可視化交互是本文的創新之處,也是關聯分析多維度數據的重要手段,它凸顯了可視化的意義,提高了用戶的交互體驗,也讓整個系統更加緊密.

3 案例分析

本文選擇可視化分析挑戰賽VAST 2013 Challenge-Mini Challenge 3[9]提供的Netflow日志數據作為實驗數據,圖9是利用本文的可視化系統,檢測實驗數據中潛在的網絡攻擊行為的分析流程.

首先對數據源進行清洗,兩周的Netflow 數據量很大,需要去除無效的和可視化分析無關的維度信息.然后對可視化圖形進行數據建模,需要對平行坐標圖的信息熵部分、矩陣圖和氣泡圖中的各個端口、主機的流量、被掃描端口數等分類進行統計分析.第二,根據三維柱狀圖中方塊的高度、顏色的深淺定位流量異常時刻.第三,獲取異常時刻的平行坐標圖,綜合分析各維度數據,核對網絡攻擊模型,判斷網絡攻擊的行為.第四,根據判斷的網絡攻擊行為,分析細節圖中主機、端口的流量,端口的活躍連接數等信息,進一步確定網絡攻擊行為的來源和影響的范圍.最后分析受到攻擊的主機、端口及攻擊源的流量時序圖,以確定發起攻擊的時間范圍和攻擊源可能發起的其他攻擊,為用戶的及時防御措施提供決策依據.

3.1 端口掃描攻擊可視化分析

網絡上的端口號代表該計算機提供的一種網絡服務,針對計算機上的一段端口或指定端口進行掃描,攻擊者就可以探測到該主機提供的網絡服務種類,利用這些服務的已知漏洞,攻擊者就可以開始準備攻擊方法.為了找到更多漏洞,有的攻擊者會一次性掃描六萬多個端口,此行為會造成目的端口數顯著增多,目的端口熵升高.在平行坐標圖中,選擇高亮目的端口熵趨近于1 的時刻,發現該時刻是2013年4月6日19：00,觀測圖10三維柱狀圖,發現從4月6日15 點開始到4月6日20 點左右,流量異常增多,說明該時間段內網絡受到攻擊.該時刻的平行坐標圖如圖4所示,此時目的端口熵趨近于1,說明遭到了多端口掃描攻擊,對應的源IP 熵不大,說明參與掃描的源主機并不多.

圖7 端口掃描攻擊—流量時序圖

圖8 端口掃描攻擊—流量時序圖

圖9 可視化系統分析流程圖

圖10 三維柱狀圖

為了進一步確定此次攻擊中的源主機和目的主機,我們從矩陣圖開始分析,如圖5所示,顏色較深的幾個源IP 地址流量顯著異常,右側表格中列出了幾臺源主機的IP 地址和它們的流量,再看源端口矩陣圖,除了常用的80 端口外,幾個非常規端口(51358,51357,45032 和45031)的流量異常多.

因為多端口掃描攻擊,必然會使目的IP 活躍端口數異常增多,為了確定被攻擊的目的IP,選擇該時刻下的目的IP 連接數和目的IP 活躍端口數,如圖6,以目的IP172.20.0.3 為例,發現該主機的6 萬多個端口被訪問了,同時發現還有十幾臺主機也遭到了類似的攻擊.

為了更精確的觀測源IP 和被攻擊的目的IP 的流量變化,我們選擇攻擊者10.7.5.5,發起攻擊的源端口51358 和被攻擊者172.20.0.3 作為流量時序圖觀測對象,如圖7所示是3 個主體的流量時序概覽圖,我們發現源端口51358 的流量分布有周期性特征,可能經常作為攻擊行為的端口,安全人員需要對此重點監測.目的IP172.20.0.3 僅在4月6日19 點有一次異常流量峰值,源IP10.7.5.5 在第一周內流量有多次異常值,說明該源IP 曾發出過不止一次攻擊行為.圖8是我們根據時間坐標軸定位到4月6日19 點時刻左右,近距離觀察該時刻的攻擊行為,從源IP10.7.5.5 和源端口51358 的流量時序圖,可以發現此次攻擊行為約從4月6日15 點開始持續到20 點左右結束.

綜上,2013年4月6日15 點開始到4月6日20 點左右,內部網絡遭受了外部攻擊,在19 點左右,10.7.5.5 等多臺主機對監控網絡的多臺主機發起了多端口掃描攻擊,約6 萬多個端口被訪問了,網絡安全人員可以根據該可視化圖形及時做出響應,封鎖相關的源IP 和源端口,降低攻擊的影響.

3.2 DDOS 攻擊可視化分析

DDOS 攻擊是將多個傀儡機聯合起來作為攻擊平臺,對一個或多個目標發動DOS 攻擊,成倍地提高拒絕服務攻擊的威力,從而導致目標迅速癱瘓.如果在很短的時間內,有大量的不同源IP 朝同一目的IP 大量發包,就表示 DDoS 攻擊存在,匹配表1異常熵模式圖,會發現DDOS 攻擊會造成源IP 熵增多,目的IP 熵減少.依據此特征,我們選擇高亮4月2日14 點,如圖11,發現該時刻下,連接數和字節數較多,但目的IP 熵和目的端口熵趨近于0,說明活躍的目的主機較少,同時源IP 熵不小,源端口熵趨近于1.表示此次攻擊行為是聯合多臺主機通過多個端口集中針對某些IP 發起的,符合DDOS 攻擊的行為特征.

該時刻下Top-20 流量矩陣圖如圖12,我們發現顏色較深的方塊較多,表示異常活躍的源IP 數較多,右側列表表示源端口80、0、123 端口等流量較多,說明此次攻擊行為是多主機借助一般常用端口發起的攻擊行為.活躍的目的IP 有多個,其中目的IP172.30.0.4 流量顯著異常,結合氣泡圖的目的IP 連接數發現,如圖13,該時刻下目的IP10.6.6.6,10.6.6.14,172.30.0.4 等承受了大量的攻擊,其中目的IP172.30.0.4 連接數達到700 多萬個,同時多臺源IP 的連接數都表現異常,表明這些主機都參與了此次DDOS 攻擊.

圖11 DDOS 攻擊—概覽圖

圖12 DDOS 攻擊—矩陣圖

圖13 DDOS 攻擊—氣泡圖

我們選擇部分較活躍的攻擊方源IP10.6.6.14、10.16.5.15,受攻擊方目的IP172.30.0.4 作為此次分析的入口,觀測他們在其他時刻的流量情況.如圖14所示,發現攻擊方10.6.6.14 和10.16.5.15 在兩周內只出現過一次流量高峰,但受害服務器172.30.0.4 分別在4月3日19 點左右和4月11日20 點左右還有另外兩次流量高峰期,可以推測該服務器在這兩個時間段內有其他異常情況出現.

綜上,2013年4月2日14 點左右網絡受到了DDOS攻擊,該次攻擊是聯合多臺源主機針對特定的某幾個主機發起的,如172.30.0.4、10.6.614 等,受攻擊的端口主要集中在常用的8 0、1 2 3 端口,同時目的IP172.30.0.4 在其他時刻還有疑似的異常行為.

圖14 DDOS 攻擊—流量時序圖

4 結束語

網絡可視化技術是未來網絡安全監測的重要發展方向和研究熱點.本文構建的網絡可視化系統采用多圖聯動的形式,優化了高維度數據的可視化,為用戶提供了豐富的可交互式操作,有利于用戶發掘數據間的關聯,提升用戶體驗.但本系統采用的數據類型較為單一,而且不能實時監測網絡安全數據,無法幫助安全人員及早發現網絡威脅.本文的下一步研究方向,將引入多種類型的網絡安全數據,采用數學模型提取各種數據的特征,利用Spark 對數據的快速處理和實時展現技術,構建一個完善的網絡安全評估系統.