回溯分析追查網絡卡頓

故障現象

筆者單位自搬遷以來，網絡有時會出現卡頓，癥狀下午尤其明顯。具體表現是，訪問網站出現卡慢現象，但卡頓時間并不長，最多持續兩分鐘。單位網絡拓撲結構如圖1所示。

網絡測試

經過仔細思考，決定采取以下三種方法進行網絡測試：

1.使用Ping包測試

在網絡出現卡頓情況下Ping終端網關地址，比如終端的IP是192.168.10.3，那 就 ping 192.168.10.254，看 網 絡會不會丟包。經過測試，網絡不丟包。

2.抓包測試

核心三層交換機進行抓包，未發現異常情況。

3.部署網絡回溯分析系統測試

圖1 單位辦公網絡拓撲圖

圖2 網絡回溯系統部署示意圖

由于網絡中缺少了可以對網絡直觀分析的設備，同時也有懷疑網絡安全設備（比如內網核心三層交換機、防火墻）的網絡瓶頸問題，于是決定使用網絡回溯分析系統進行部署測試分析網內流量，具體部署如圖2所示。

故障分析

部署在內外網的三層交換機通過鏡像端口實現獲取數據，在網絡安全管理員PC上安裝網絡回溯分析控制臺軟件，通過內部網絡訪問回溯分析服務器，監控和分析服務器采集到的數據。

1.鏈路流量分析

利用網絡回溯分析系統的數據回溯功能，對一周內的流量進行統計。外網鏈路總流量為1.23TB，峰值流量為638.97Mbps；內網鏈路總量流量為1.24TB，峰值流量為654.87Mbps。網絡帶寬利用較規律，工作日的網絡帶寬占用率遠高于休息日，流量趨勢規律。

2.流量可視化展現

網絡回溯系統提供流量可視化分析能力，能夠透視被監控鏈路的所有流量成份，鏈路中主要的應用流量為：Web、未知UDP應用、未知TCP應 用、BitTorrent、Multimedia。

3.TOP主機流量分布

查詢具體IP的應用信息，可以查詢IP終端是因為下載或是某種異常應用占用大帶寬（如圖3）。

4.鏈路流量比對

選取相同的時間段，發現兩條鏈路的流量趨勢及進出網流量解一致，無異常流量的發生，詳情如圖4所示。

5.IP流量比對

選取相應的IP地址，數據流量在經過防火墻前期基本一致，無異常。

6.數據包比對

通過網絡回溯分析功能，可詳細看到IP的其中一段數據會話完成過程，響應時間、鏈路延時過程都能得到詳細的體現。經分析流量大小、帶寬速率，數據包響應時間在經過防火墻前后一致，網絡訪問行為無異常。

圖3 TOP主機流量分布

圖4 鏈路流量比對

圖5 可疑通訊流量分析

7.可疑通訊流量分析

在回溯分析期間，出現了大量的TCP通訊異常及SYN FLOOD告警，通過對該可疑通訊進一步回溯分析，判斷該通訊行為是蠕蟲掃描攻擊（如圖5）。

經驗及思考

1.監控鏈路流量趨勢正常，網絡帶寬利用較規律，不存在長時間的網絡阻塞、丟包等情況。內網流量組成正常，未見明顯會對網絡造成危害的應用。

2.網絡經過防火墻前后，流量大小、帶寬速率、數據包響應時間基本一致，網絡訪問行為無異常。

3.網內存在疑似蠕蟲掃描攻擊行為，疑似受到APT攻擊。APT攻擊的原理相對于其他攻擊形式更為高級和先進，隱蔽性高。攻擊者長期挖掘內網中的受信系統及應用程序，并利用0day漏洞進行攻擊和侵襲行為。因單位內使用的個人版本殺毒軟件，筆者根據提供的IP地址信息逐一進行終端處理，并擬同意購置網絡版防殺病毒軟件統一全網安全防護。

總之，網絡回溯分析系統是一款集成大容量存儲的高性能數據包采集和智能分析硬件平臺，可以分布部署在網絡的關鍵節點，實現了對網絡通訊數據包級的高性能實時智能分析。實現對關鍵業務系統中的網絡異常、應用性能異常和網絡行為異常的實時發現、以及異常原因的智能回溯分析，從而提升了單位對關鍵業務系統的運行保障能力和問題處置效率。