一起網絡故障的處理與分析

一、故障分析及處理

現象為信息網絡出現多次網絡規律性反復閃斷故障，而且影響面較廣:互聯網、辦公自動化系統、生產MIS系統網絡通訊故障，有時一天內中斷數十次;其他應用系統，如可靠性管理、投資統計等系統也被涉及，對于我公司生產經營工作造成了嚴重的影響。

總結這次網絡故障，有以下幾個特征：

第一，規律性。上班時段每10分鐘左右出現一次，下班時間則很少出現。

第二，反復性。如果重起中心交換機可以保持短時正常，然后重新出現該故障。

第三，短時性。每次中斷10秒～60秒自動恢復。

第四，分時性。因特網和內網不同時中斷，各個應用系統也不同時中斷。

我們最先發現的是因特網的定時中斷，首先懷疑是我公司互聯網防火墻出現故障，采用排除法進行排除，更換為一臺備用防火墻后故障現象仍然出現，于是懷疑是移動公司設備故障（我們的因特網使用河南移動公司服務，曾經出現過因他們設備故障因特網不通），經過和移動公司協調，檢查后移動公司方設備無故障，我們就用一臺計算機直接接到因特網入口上，發現因特網的定時中斷現象解除，于是首先排除了互聯網設備的因素。

其次，基層部門反映生產MIS總是不定時中斷，頻繁的時候十幾分鐘就中斷一李小永 張 嵐 河南省電力公司平頂山供電公司 次，調度值班記錄、工作票系統提示發生通訊故障，我們懷疑是內部交換機故障，就要求運行工區、調度中心進行配合，共同調查故障現象發生時間和頻率，變電站反映下班時間網絡很穩定，上班時間中斷厲害，因此我們懷疑是中心交換機處理能力不夠，但是經過我們測試，中心交換機CPU板負荷很小。于是我們就向兩個方面懷疑：第一是中心交換機CPU板故障；第二是新上的財務FMIS系統用的VPN網絡設備干擾了我們網絡的正常運行。將財務FMIS斷開后，運行一個工作日之后，故障現象仍然出現，判斷該故障與FMIS無關。于是懷疑中心交換機CPU板故障。由于故障原因不明，一塊中心交換機CPU板費用又太貴（約6萬元），我們不能貿然購買，經過和設備提供商多次協商，同意借一塊CPU板給我們測試，一周后收到CPU板，我們馬上進行替換，但是在十幾分鐘后故障現象再次出現。

后來在網絡維護工程師的幫助下，通過分析主交換機的計算機用戶地址列表，發現有幾臺計算機頻繁的循環占用，出現一個MAC對應多個IP地址的現象。在主網段發現兩臺這樣的計算機，循環占用各個服務器和交換機、防火墻的地址，造成這些設備不定期的網絡通訊故障，并且經確定為感染病毒所致。

我們通過MAC地址找到這兩臺感染病毒的計算機，將計算機和網絡斷開后，網絡立即恢復正常。我們根據MAC地址依次找到其他有問題的計算機，處理后網絡恢復正常。經過查詢所知病毒名稱為：“網絡傳奇殺手（Trojan.PSW.LMir.qh）”病毒。

二、網吧傳奇殺手（Trojan.PSW.LMir.qh）”病毒分析

1.“網吧傳奇殺手“木馬病毒工作過程

“網吧傳奇殺手”病毒工作時，首先在將安裝有“網吧傳奇殺手”機器的網卡MAC地址通過Arp欺騙廣播至整個局域網，使局域網中的工作站誤認為安裝“網吧傳奇殺手”的機器是該局域網的網關。由于局域網中的所有信息，都必須通過網關來中轉，當網絡有此病毒在運行時，就造成了網絡故障。

2.“網吧傳奇殺手”木馬病毒發作特征

(1)網絡連接短暫中斷。當“網吧傳奇殺手”病毒發作時，網絡所有的機器由于失去了真正的網關地址，網絡連接會出現短暫中斷，當病毒搜集《傳奇2》玩家信息操作完成后，網絡便恢復正常。網絡中斷時間，一般會在30秒到幾分鐘之間，持續時間不會太長。

(2)網絡中出現相同的MAC地址。病毒發作時，使用“IPbook超級網上鄰居”、“網絡過濾王實名制管理軟件”等網絡管理軟件查看網絡時，會發現局域網中存在著相同的MAC地址。如果有多臺機器安裝了“網吧傳奇殺手”木馬病毒，局域網中則會出現不同的IP地址中卻存在相同的MAC地址。

三、經驗教訓

通過本次網絡故障及處理的過程，我們總結以下幾點經驗教訓:

1.對于各網絡用戶，提請注意以下問題

(1)加強網絡安全管理，建立健全防病毒安全系統。經檢查發現，造成這次網絡故障的幾臺計算機，都沒有按照公司要求安“趨勢”防病毒系統，造成了系統病毒感染。同時對于已安裝防病毒系統的計算機，應及時對操作系統進行補丁升級，避免因系統漏洞給類似病毒以可乘之機。

(2)加強互聯網應用的監控和管理。造成這次網絡故障的病毒——“網吧傳奇殺手”是專門針對網絡游戲“傳奇”而攻擊系統的病毒，因此增設了互聯網日志管理系統，屏蔽掉網絡游戲、流媒體播放等安全隱患大、流量高的訪問，盡量避免訪問易感染病毒的游戲網站等，避免對我們的網絡安全造成隱患。

2.信息管理部門需進一步改進的工作

(1)把重要的服務器IP地址和MAC地址綁定，使其他計算機不能夠占用。

(2)應建立互聯網訪問日志管理系統，加強對互聯網使用的監控和管理，并制定相應的規章制度，對互聯網使用進行規范管理，避免類似情況的發生。

(3)合理規劃網絡，盡量避免因PC機故障影響網絡運行。

我公司中心交換機使用的是北電網絡的passpor8610，按二級交換劃分了多個VLAN，使用靜態IP，主交換機、服務器和重要部門設在一個網段。網絡結構如下圖所示：

造成這次網絡故障的幾臺PC機都位于信息網絡主網段（圖中紅色部分），而重要的服務器和交換機都在這個網段，由于目前主交換機光纖口已經用完，因此這個網段計算機較多，也形成了安全隱患。計劃對主交換機進行擴容，增加千兆光纖口，屆時可將部分PC機調整出主網段，將服務器和交換機等核心設備規劃到獨立網段，以避免類似情況發生，其他計算機按機構劃分一些虛網，減少主網設備數量，降低故障率，出現網絡故障時候，也比較容易查找故障設備。