順藤摸瓜 排除內(nèi)因?qū)е碌墓收?/h1>
2011-01-01 00:00:00何黎明李果
信息化建設(shè) 2011年1期
網(wǎng)絡(luò)故障的現(xiàn)象總是多種多樣，令人撲朔迷離。伹究其原因，大抵不外乎以下幾個層面的故障：一是物理層中物理設(shè)備相互連接失敗或者硬件及線路本身的問題：二是數(shù)據(jù)鏈路層的網(wǎng)絡(luò)設(shè)備的接口配置問題；三是網(wǎng)絡(luò)層網(wǎng)絡(luò)協(xié)議配置或操作錯誤；四是傳輸層的設(shè)備性能或通信擁塞問題；五是上三層或網(wǎng)絡(luò)應(yīng)用程序錯誤。而如今，隨著黑客集團的迅速崛起，網(wǎng)絡(luò)病毒日益猖獗，病毒的種類繁多且隱藏較深，由病毒引起的故障占據(jù)了網(wǎng)絡(luò)故障的80％以上。所以，想成為一名優(yōu)秀的網(wǎng)絡(luò)管理工程師，必須對時下的各種病毒特征有基本的了解，才能在遇到病毒引起的網(wǎng)絡(luò)故障時準(zhǔn)確定位排除。
下面，借助筆者的一次親歷，向大家講述網(wǎng)絡(luò)病毒引起故障時的典型解決過程。
故障現(xiàn)象
2009年8月11日下午上班后，接到某省廳局機關(guān)單位技術(shù)人員電話，反映該單位直屬分局網(wǎng)絡(luò)訪問不正常，故障現(xiàn)象為ping包丟包嚴重，延時較大，不能順利訪問該廳局機關(guān)服務(wù)器。筆者所在的中心技術(shù)人員立刻組織排查。發(fā)現(xiàn)網(wǎng)管中心機房到該分局之間線路正常，網(wǎng)絡(luò)延時也很小，不存在問題。但網(wǎng)管中心機房到直屬分局網(wǎng)絡(luò)較不穩(wěn)定，從網(wǎng)管中心核心路由器上ping直屬分局pc主機延時較大，存在丟包現(xiàn)象，且直屬分局用戶交換機存在時通時斷現(xiàn)象。
網(wǎng)絡(luò)拓撲圖如圖1所示：某廳局機關(guān)和直屬分局分別下掛網(wǎng)管中心網(wǎng)機房兩臺不同的交換機下面，然后匯聚到核心交換機B，上聯(lián)網(wǎng)管中心核心路由器A。
處理過程
1、經(jīng)查三層路由器核心路由器A到某廳局用戶二層交換機之間的設(shè)備配置，不存在問題，且該廳局用戶反映，政務(wù)網(wǎng)的網(wǎng)絡(luò)正常，業(yè)務(wù)也運行正常。
2、核心路由器A到網(wǎng)管中心S3628F線路正常，設(shè)備之間互ping延時較小，而網(wǎng)管中心S3628F到直屬分局S3050之間丟包嚴重，可以確定。網(wǎng)絡(luò)故障出現(xiàn)在從S3628F到用戶內(nèi)部之間。之后，我們把接到直屬分局的尾纖接到了網(wǎng)管中心S3026FS上，發(fā)現(xiàn)故障依舊，如圖2所示。
3、說明存在問題的地方為：網(wǎng)管中心到用戶之間的線路或用戶內(nèi)部，此時，中心外派技術(shù)人員到局直屬分局測試當(dāng)?shù)氐骄W(wǎng)管中心機房之間的光纜線路正常，經(jīng)與廳局技術(shù)人員溝通，排查線路，理清情況后，得知直屬分局內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。
4、運營商網(wǎng)絡(luò)光纜進用戶大樓后，經(jīng)過光電轉(zhuǎn)換器，雙絞線聯(lián)入到一臺天融信防火墻。防火墻下掛一臺華為S3050交換機；S3050交換機下聯(lián)二樓辦公室用戶PC主機，其中一個端口下掛一臺無網(wǎng)管功能的Dlink1024交換機；Dlink1024交換機下掛一部分用戶，其中也有一個端口通過光纜下聯(lián)到一樓辦證大廳。辦證大廳Dlink上聯(lián)機房Dlink1024。下聯(lián)辦證大廳PC主機。直屬分局局域網(wǎng)內(nèi)一共大概有約s。臺辦公主機。
5、網(wǎng)管中心技術(shù)人員對光纜進入用戶的光貓后面只掛了一臺PC主機，甩開用戶內(nèi)部局域網(wǎng)。經(jīng)測試，到政務(wù)網(wǎng)的piog包正常，到廳局服務(wù)器之間的plng包也正常，無丟包現(xiàn)象，延時為ims。由此可以判斷問題出現(xiàn)在直屬分局內(nèi)部局域網(wǎng)，
6、之后恢復(fù)用戶局域網(wǎng)。去掉光貓與$3050交換機之間的防火墻，光貓直接連接$3050交換機。用戶反饋網(wǎng)絡(luò)正常，由于此時己過下午s點半。直屬分局工作人員反映，一般情況下，網(wǎng)絡(luò)在下午s點半后，故障會自動消失。故建議第二天觀察后。有異常情況再來現(xiàn)場診斷問題，
7、第二天(s月12日)上午l。點左右，網(wǎng)管中心技術(shù)人員又接到直屬分局工作人員電話，反映網(wǎng)絡(luò)故障壩象重復(fù)出現(xiàn)，網(wǎng)管中心技術(shù)人員隨即趕赴現(xiàn)場，重復(fù)前一天的操作，p i n z包正常。到該省局服務(wù)器之間的plng包也正常，無丟包現(xiàn)象，延時為ims。網(wǎng)絡(luò)一切正常。恢復(fù)以前原狀后，網(wǎng)絡(luò)根本不通，后來在將$3050交換機上聯(lián)政務(wù)網(wǎng)的端口鏡像到接筆記本的端口，在筆記本上啟動抓包軟件，如圖4所示。
通過監(jiān)控抓包軟件發(fā)現(xiàn)。直屬分局用戶內(nèi)部局域網(wǎng)存在大量的ARP廣播報文，同時還存在目的端口為445的大量數(shù)據(jù)包。很明顯。這是震蕩波病毒在作怪，該病毒通過掃描網(wǎng)絡(luò)上具有漏洞的系統(tǒng)，試圖利用windows的LSASS中存在一個緩沖區(qū)溢出漏洞進行攻擊。通過拔掉用戶PC主機網(wǎng)線檢測，發(fā)現(xiàn)該局直屬分局局域網(wǎng)內(nèi)只有極少部分主機沒有感染病毒，另外，通過用戶電腦主機發(fā)現(xiàn)，幾乎所有的電腦沒有安裝殺毒軟件，安裝了殺毒軟件的電腦主機也沒有更新病毒庫。
通過拔掉所有的用戶電腦主機網(wǎng)線，在華為$3050交換機下面只掛一臺電腦主機，網(wǎng)絡(luò)訪問正常，ping包延時較小。且將防火墻加載上后，網(wǎng)絡(luò)訪問也正常(上午加載防火墻網(wǎng)絡(luò)訪問不通是由于該局技術(shù)人員誤接了防火墻的內(nèi)、外網(wǎng)口導(dǎo)致)。可以判斷出。由于直屬分局用戶內(nèi)部存在大量的病毒主機，在局域網(wǎng)內(nèi)發(fā)送大量的ARP異常請求，再加上震蕩波病毒作祟，造成用戶出政務(wù)網(wǎng)交換機S3050超負荷運轉(zhuǎn)，無法處理正常的網(wǎng)絡(luò)訪問請求，從而使得用戶訪問廳局服務(wù)器丟包，政務(wù)網(wǎng)網(wǎng)管中心上檢測用戶交換機$3050丟包。
故障結(jié)論
用戶內(nèi)部電腦主機中毒所致。建議所有電腦主機更新殺毒。第二天電話反饋跟蹤用戶故障處理結(jié)果，反應(yīng)經(jīng)內(nèi)部殺毒后，網(wǎng)絡(luò)恢復(fù)正常。
由此可以得出：病毒引起的網(wǎng)絡(luò)故障，在現(xiàn)象上往往有以下共性：1 單獨一個局域網(wǎng)發(fā)作，不會跨局域網(wǎng)影響；2 造成整個局域網(wǎng)癱瘓，進而會轉(zhuǎn)移我們技術(shù)人員的注意力。通常來講，在沒有更改協(xié)議以及物理鏈路都工作正常的情況下，我們不妨多從病毒的角度去思考。
營造一個安全順暢的網(wǎng)絡(luò)環(huán)境，需要用戶端電腦及時打好操作系統(tǒng)補丁，更新殺毒軟件病毒庫；需要我們網(wǎng)管在交換機、路由器設(shè)備上及時做好針對各種病毒、木馬的ac1，過濾一些有害的端口，保障網(wǎng)絡(luò)的穩(wěn)定運行。
網(wǎng)絡(luò)故障的現(xiàn)象總是多種多樣，令人撲朔迷離。伹究其原因，大抵不外乎以下幾個層面的故障：一是物理層中物理設(shè)備相互連接失敗或者硬件及線路本身的問題：二是數(shù)據(jù)鏈路層的網(wǎng)絡(luò)設(shè)備的接口配置問題；三是網(wǎng)絡(luò)層網(wǎng)絡(luò)協(xié)議配置或操作錯誤；四是傳輸層的設(shè)備性能或通信擁塞問題；五是上三層或網(wǎng)絡(luò)應(yīng)用程序錯誤。而如今，隨著黑客集團的迅速崛起，網(wǎng)絡(luò)病毒日益猖獗，病毒的種類繁多且隱藏較深，由病毒引起的故障占據(jù)了網(wǎng)絡(luò)故障的80％以上。所以，想成為一名優(yōu)秀的網(wǎng)絡(luò)管理工程師，必須對時下的各種病毒特征有基本的了解，才能在遇到病毒引起的網(wǎng)絡(luò)故障時準(zhǔn)確定位排除。
下面，借助筆者的一次親歷，向大家講述網(wǎng)絡(luò)病毒引起故障時的典型解決過程。
故障現(xiàn)象
2009年8月11日下午上班后，接到某省廳局機關(guān)單位技術(shù)人員電話，反映該單位直屬分局網(wǎng)絡(luò)訪問不正常，故障現(xiàn)象為ping包丟包嚴重，延時較大，不能順利訪問該廳局機關(guān)服務(wù)器。筆者所在的中心技術(shù)人員立刻組織排查。發(fā)現(xiàn)網(wǎng)管中心機房到該分局之間線路正常，網(wǎng)絡(luò)延時也很小，不存在問題。但網(wǎng)管中心機房到直屬分局網(wǎng)絡(luò)較不穩(wěn)定，從網(wǎng)管中心核心路由器上ping直屬分局pc主機延時較大，存在丟包現(xiàn)象，且直屬分局用戶交換機存在時通時斷現(xiàn)象。
網(wǎng)絡(luò)拓撲圖如圖1所示：某廳局機關(guān)和直屬分局分別下掛網(wǎng)管中心網(wǎng)機房兩臺不同的交換機下面，然后匯聚到核心交換機B，上聯(lián)網(wǎng)管中心核心路由器A。
處理過程
1、經(jīng)查三層路由器核心路由器A到某廳局用戶二層交換機之間的設(shè)備配置，不存在問題，且該廳局用戶反映，政務(wù)網(wǎng)的網(wǎng)絡(luò)正常，業(yè)務(wù)也運行正常。
2、核心路由器A到網(wǎng)管中心S3628F線路正常，設(shè)備之間互ping延時較小，而網(wǎng)管中心S3628F到直屬分局S3050之間丟包嚴重，可以確定。網(wǎng)絡(luò)故障出現(xiàn)在從S3628F到用戶內(nèi)部之間。之后，我們把接到直屬分局的尾纖接到了網(wǎng)管中心S3026FS上，發(fā)現(xiàn)故障依舊，如圖2所示。
3、說明存在問題的地方為：網(wǎng)管中心到用戶之間的線路或用戶內(nèi)部，此時，中心外派技術(shù)人員到局直屬分局測試當(dāng)?shù)氐骄W(wǎng)管中心機房之間的光纜線路正常，經(jīng)與廳局技術(shù)人員溝通，排查線路，理清情況后，得知直屬分局內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。
4、運營商網(wǎng)絡(luò)光纜進用戶大樓后，經(jīng)過光電轉(zhuǎn)換器，雙絞線聯(lián)入到一臺天融信防火墻。防火墻下掛一臺華為S3050交換機；S3050交換機下聯(lián)二樓辦公室用戶PC主機，其中一個端口下掛一臺無網(wǎng)管功能的Dlink1024交換機；Dlink1024交換機下掛一部分用戶，其中也有一個端口通過光纜下聯(lián)到一樓辦證大廳。辦證大廳Dlink上聯(lián)機房Dlink1024。下聯(lián)辦證大廳PC主機。直屬分局局域網(wǎng)內(nèi)一共大概有約s。臺辦公主機。
5、網(wǎng)管中心技術(shù)人員對光纜進入用戶的光貓后面只掛了一臺PC主機，甩開用戶內(nèi)部局域網(wǎng)。經(jīng)測試，到政務(wù)網(wǎng)的piog包正常，到廳局服務(wù)器之間的plng包也正常，無丟包現(xiàn)象，延時為ims。由此可以判斷問題出現(xiàn)在直屬分局內(nèi)部局域網(wǎng)，
6、之后恢復(fù)用戶局域網(wǎng)。去掉光貓與$3050交換機之間的防火墻，光貓直接連接$3050交換機。用戶反饋網(wǎng)絡(luò)正常，由于此時己過下午s點半。直屬分局工作人員反映，一般情況下，網(wǎng)絡(luò)在下午s點半后，故障會自動消失。故建議第二天觀察后。有異常情況再來現(xiàn)場診斷問題，
7、第二天(s月12日)上午l。點左右，網(wǎng)管中心技術(shù)人員又接到直屬分局工作人員電話，反映網(wǎng)絡(luò)故障壩象重復(fù)出現(xiàn)，網(wǎng)管中心技術(shù)人員隨即趕赴現(xiàn)場，重復(fù)前一天的操作，p i n z包正常。到該省局服務(wù)器之間的plng包也正常，無丟包現(xiàn)象，延時為ims。網(wǎng)絡(luò)一切正常。恢復(fù)以前原狀后，網(wǎng)絡(luò)根本不通，后來在將$3050交換機上聯(lián)政務(wù)網(wǎng)的端口鏡像到接筆記本的端口，在筆記本上啟動抓包軟件，如圖4所示。
通過監(jiān)控抓包軟件發(fā)現(xiàn)。直屬分局用戶內(nèi)部局域網(wǎng)存在大量的ARP廣播報文，同時還存在目的端口為445的大量數(shù)據(jù)包。很明顯。這是震蕩波病毒在作怪，該病毒通過掃描網(wǎng)絡(luò)上具有漏洞的系統(tǒng)，試圖利用windows的LSASS中存在一個緩沖區(qū)溢出漏洞進行攻擊。通過拔掉用戶PC主機網(wǎng)線檢測，發(fā)現(xiàn)該局直屬分局局域網(wǎng)內(nèi)只有極少部分主機沒有感染病毒，另外，通過用戶電腦主機發(fā)現(xiàn)，幾乎所有的電腦沒有安裝殺毒軟件，安裝了殺毒軟件的電腦主機也沒有更新病毒庫。
通過拔掉所有的用戶電腦主機網(wǎng)線，在華為$3050交換機下面只掛一臺電腦主機，網(wǎng)絡(luò)訪問正常，ping包延時較小。且將防火墻加載上后，網(wǎng)絡(luò)訪問也正常(上午加載防火墻網(wǎng)絡(luò)訪問不通是由于該局技術(shù)人員誤接了防火墻的內(nèi)、外網(wǎng)口導(dǎo)致)。可以判斷出。由于直屬分局用戶內(nèi)部存在大量的病毒主機，在局域網(wǎng)內(nèi)發(fā)送大量的ARP異常請求，再加上震蕩波病毒作祟，造成用戶出政務(wù)網(wǎng)交換機S3050超負荷運轉(zhuǎn)，無法處理正常的網(wǎng)絡(luò)訪問請求，從而使得用戶訪問廳局服務(wù)器丟包，政務(wù)網(wǎng)網(wǎng)管中心上檢測用戶交換機$3050丟包。
故障結(jié)論
用戶內(nèi)部電腦主機中毒所致。建議所有電腦主機更新殺毒。第二天電話反饋跟蹤用戶故障處理結(jié)果，反應(yīng)經(jīng)內(nèi)部殺毒后，網(wǎng)絡(luò)恢復(fù)正常。
由此可以得出：病毒引起的網(wǎng)絡(luò)故障，在現(xiàn)象上往往有以下共性：1 單獨一個局域網(wǎng)發(fā)作，不會跨局域網(wǎng)影響；2 造成整個局域網(wǎng)癱瘓，進而會轉(zhuǎn)移我們技術(shù)人員的注意力。通常來講，在沒有更改協(xié)議以及物理鏈路都工作正常的情況下，我們不妨多從病毒的角度去思考。
營造一個安全順暢的網(wǎng)絡(luò)環(huán)境，需要用戶端電腦及時打好操作系統(tǒng)補丁，更新殺毒軟件病毒庫；需要我們網(wǎng)管在交換機、路由器設(shè)備上及時做好針對各種病毒、木馬的ac1，過濾一些有害的端口，保障網(wǎng)絡(luò)的穩(wěn)定運行。
