交換機系統Bug引故障

引言： 筆者單位因工作需要，購置了4臺服務器連接到網絡中。將4臺服務器裝好系統,連接好網絡的時候，發現整個服務器局域網網絡延時非常高，甚至經常有丟包現象，而且發生延時的服務器還在變化。經一步步測試排查，終于解決了問題。本文向大家介紹故障排查及解決的過程。

應用背景

公司近期采購了4臺服務器（聯 想X3850X6），用 作虛擬化服務器，安裝了VMware ESXi系統，每臺服務器均有4個RJ45千兆網口（以下簡稱電口），2個光適配器，每個光適配器有2個萬兆光纖口，總計4個萬兆光口（以下簡稱光口）。為了保證業務連續，每臺服務器管理網絡與應用網絡需要分開，并且管理網絡與應用網絡均需要做負載均衡。公司擁有兩臺HP5406企業級交換機，用作機房服務器匯聚。每臺HP5406匯聚交換機均擁有1個光模塊（HP J9538A），5 個電模塊 (HP J9534A)，如圖1所示。

圖1 模塊信息圖

每個光模塊擁有8個光插槽，最多可以8個萬兆光纖收發器；每個電模塊擁有24個千兆網口；兩臺交換機的A1-A4都已經用作上聯核心交換機，剩余A5-A8光口可以用，正好可以連4臺服務器，用作服務器的應用網絡（運行應用業務數據），交換機的電口F3-F6連4臺服務器的電口，用作管理網絡（管理ESXi機和用作VMotion）。連線情況如表1、表2所示。

簡單來說就是每臺主機都接了2根網線和2根光纖，2根網線分別上聯2臺交換機用作管理，2根光纖分別上聯2臺交換機用作跑應用，都用2根線則是為了負載均衡或防止單點故障。

故障現象

4臺服務器都裝好系統,連接好網絡的時候，發現整個服務器局域網網絡延時非常高（通過Ping命令測試），高達幾百毫秒，甚至經常有丟包現象，而且奇怪的是不是這四臺聯想服務器卡，是局域網內其他服務器延時（如域控、RTX、PDM、K3、CAD等），并且不是所有服務器一起延時，而是一會這臺服務器卡，一會另外一臺服務器卡，并且本人Ping CAD卡的時候，別人Ping CAD又正常，但是他可能Ping k3卡，而且延時的服務器還在變化，一會又變成另外一臺機器卡，現象非常神奇。

表1 與交換機1連線說明

表2 與交換機2連線說明

測試與解決方法

1.由于是新連接了服務器之后網絡才開始出現這種延時現象，所以首先把4臺服務器連接到交換機上的網線光纖全部拔掉，果然網絡延時現象立馬消失，由此可以判斷，是這4臺服務器引起的故障。

2.為了定位到底是哪臺機器引起的，采取逐步接入的方法找出故障點。先接入ESXi3的VNET04到huiju1的A5口，觀察發現網絡正常。再接入ESXi4的VNET04到huiju1的A6口，沒過幾分鐘，網絡延時現象出現，拔掉A6口光纖，延時現象立刻消失。難道是交換機承受不了同時2臺萬兆網卡服務器接入？細細想來不太可能，畢竟HP5406是企業級交換機，不應該在性能上承受不了。

繼續測試，在ESXi3連接A5，ESXi24不連A6的時候，再將ESXi25的VNET04口連接到huiju1的A7口，觀察后發現網絡也正常，之后A8口接入也正常。同樣的方法測試第二臺HP交換機，現象類似，也是再接入A6口之后，就網絡延時，只要不接A6端口，網絡就正常，唯一不同的是，二臺交換機的A5口接入之后，會有少量的延時，但是問題不大，只有幾十毫秒的延時。問題集中在A6端口，與此同時連接A6端口的都是第二臺聯想服務器ESXi4，懷疑它有問題。

3.此時分析，雖然接入兩臺交換機A6都有問題，且問題相似，應該是同一個問題，只要解決一個，另外一個也就好解決了。為了防止環路導致的情況影響測試，故采取只連一臺服務器的方式繼續尋找根源。根據線路走勢，懷疑對象分別為：服務器ESXi4、光纖、光纖收發器、HP交換機。

4.為了測試聯想服務器是否有問題，采取交差測試的方法，將ESXi4連到之前測試正常的端口A7，觀察一段時間，發現網絡正常，此時A5、A8端口也都連著設備，網絡依然正常，排除聯想主機問題、排除光纖問題（因為光纖用的是原來的光纖）。

5.此時只剩下光纖收發器和HP交換機需要測試，再交換測試光纖收發器，發現只要不連接A6端口，網絡就正常，不管哪個光纖收發器只要插到A6口，連上設備，網絡就發生故障，排除光纖收發器故障，問題集中到交換機上，并且兩臺交換機都在A6的地方有問題，可能是這款交換機有問題。

6.撥打800電話咨詢，客服建議報修交換機的光模塊板卡J9538A。再咨詢HP總代的HP工程師，建議對交換機的系統版本降低測試。一個從硬件角度一個從軟件角度懷疑，由于備件發貨需要時間，3天后才能到貨，故優先采取刷ROM系統版本的方法測試。

7.向總代工程師要來系統ROM文件，詳細的操作手冊以及相關工具，征求相關領導的同意，在下班之后，開始實施交換機版本降級。

圖2 系統版本圖

8.首先備份好兩臺交換機的配置文件，然后再開始正式實施。

在一臺PC機器上允許TFTP.exe程序，將相關ROM文件放入TFTP當前目錄，登錄匯聚交換機huiji1，運行copy flash tftp 命令即可，期間讓選擇更換的是primary image還 是secondary image，選擇 primary image。

提示要刪除primary image,按Y執行刪除操作，交換機開始重裝系統讀秒，剛重裝好系統的時候，Ping 交換機延時會比較高，CPU使用率也比較高，此時不要著急，慢慢會降下來，等一切都穩定下來之后，代表系統安裝結束，執行reboot命令重啟交換機即可。

運行show version,如圖2所示，已經順利刷新到我們想要的版本。

9.再將各服務器連入交換機測試，發現網絡一切正常，同樣的方法對第二臺交換機更換系統版本，再測試，網絡仍然一切正常，故障徹底解決。

故障解決過程回顧

1.故障發生，運維的第一個任務，把故障恢復到正常狀態，因為是做了變更導致，那么就恢復到變更之前。

2.開始尋找原因，逐步變更，為分析問題提供資料，爭取定位故障點。

3.分析故障，羅列可能發生故障的模塊。

4.交差測試與排除法減小懷疑對象范圍。

5.反復測試，再分析，直到找到最有可能故障的模塊。

6.電話咨詢800、與其他專家（故障處理求助）。

7.之前所述，故障處理一起都以對業務影響最小為前提，所以必須在下班以后操作，并且恢復系統本身也是一個變更操作，需要得到領導的同意方可。

8.因為經過電話求助，有詳細的操作說明，實施反而是最簡單的了，當然也如之前所述，備份工作是恢復網絡故障的關鍵，所以備份操作必不可少。

9.測試驗證問題是否還存在。后經詢問，這兩臺交換機在之前曾經有同事給交換機升級過系統版本。