更換磁盤陣列磁盤

故障現(xiàn)象

筆者單位在九十年代初期就建立了小型數(shù)據(jù)中心機(jī)房，從那時開始一直維護(hù)使用到現(xiàn)在。最初有幾臺服務(wù)器，發(fā)展至今已有三十余臺服務(wù)器。早期采購的服務(wù)器以SUN的服務(wù)器為主，也搭配一些其他服務(wù)器，SUN服務(wù)器的存儲采用SUN StorEdge351磁盤陣列。SUN StorEdge3510磁盤陣列與服務(wù)器采用DAS通過FC光纖直接連接，做的RAID5+Spare（9塊 146GB磁盤做RAID5，1塊146GB磁盤做全局熱備），從筆者承擔(dān)網(wǎng)管工作以來，設(shè)備運行一直很穩(wěn)定，極少發(fā)現(xiàn)問題。直到近期，筆者和同事在日常巡查機(jī)房時，發(fā)現(xiàn)某個機(jī)架傳出報警聲。

故障排查

嘀嘀嘀的報警聲，聽上去聲音不大也不刺耳，我們并沒有很快判斷出是機(jī)架上哪一臺設(shè)備報警，通過觀察設(shè)備指示燈和其他設(shè)備，大致確定是SUN StorEdge3510磁盤陣列報警。登錄服務(wù)器發(fā)現(xiàn)磁盤陣列可讀寫，不影響數(shù)據(jù)。

看看設(shè)備上貼的標(biāo)簽，標(biāo)簽上寫著10.0.14.14，這是磁盤陣列管理地址。找了一臺筆記本設(shè)置好相同網(wǎng)段的地址，通過超級終端telnet連上去，提示輸入密碼Password，想了想不確定密碼是什么，輸入幾次密碼都不對。這下有點兒不知所措，想到直接連COM口看看，但是又找不到COM串口線。

好在磁盤陣列是通過光纖直接連接服務(wù)器，登錄服務(wù)器以root身份運行pkginfo | grep sccli（操作系統(tǒng)是 Sun Solaris9），發(fā)現(xiàn)安裝Sun StorEdge 3000 Family CLI，可 以 使用磁盤陣列管理命令。在命令行下輸入 sccli，進(jìn) 入 sccli>，輸入show events，查看磁盤陣列日志信息，發(fā)現(xiàn)有警告顯示“ALERT: SCSI drive failure (CH2 ID11)、CH2 ID11:ALERT: redundant path failure detected、CH2 ID11:SCSI Target ALERT: unexpected select timeout”。懷疑11號磁盤有問題。

在sccli>下，輸入show disks，查看磁盤陣列中磁盤的信息，10號磁盤Status狀 態(tài) 顯 示USED，11號 盤Status狀態(tài)顯示FRMT。11號磁盤顯示的狀態(tài)很奇怪，磁盤有問題一般狀態(tài)顯示BAD。先替換11號磁盤看看，找出備用的磁盤陣列磁盤，按照磁盤陣列的ID號規(guī)則（如圖1），找出11號磁盤，替換11號盤。在sccli>下，輸 入show disks，查看磁盤陣列中磁盤的信息，10號磁盤Status狀態(tài)顯示USED，11號磁盤Status狀態(tài)顯示rebuild，但是報警聲一直未停。再查看一下磁盤陣列日志，發(fā) 現(xiàn)“CH2 ID10: ALERT:redundant path failure detected、CH2 ID10: SCSI Target ALERT: unexpected select timeout、ALERT:SCSI drive failure (CH2 ID10)”，我們很疑惑，難道10號磁盤也壞了？在磁盤陣列里10號磁盤是設(shè)置為備盤的，而且狀態(tài)顯示USED，不是 BAD。

至此，我們考慮可能11號磁盤和10號磁盤并沒有壞，干脆把換下的11號磁盤換掉10號磁盤看看會怎么樣。替換完磁盤，查看磁盤狀態(tài)信息，顯示FMRT，格式化，后來顯示STAND-BY，LD（邏輯驅(qū)動器）信息顯示GLOBAL（全局熱備），感覺磁盤故障解決了。

圖1 磁盤驅(qū)動器插槽ID號規(guī)則示意圖

但是報警聲沒有停，奇怪的是11號磁盤，怎么可以使用換掉10號磁盤？很懷疑10號磁盤沒有壞，可能只是10號磁盤從安裝到磁盤陣列前就已經(jīng)使用過，磁盤上有數(shù)據(jù)，裝到磁盤陣列上又沒有進(jìn)行配置（設(shè)置為 GLOBAL），導(dǎo) 致 11號 磁盤出現(xiàn)故障，10號磁盤熱備盤沒有啟用，磁盤陣列報警。但是換下的11號磁盤能換下疑似有故障的10號磁盤繼續(xù)使用，可能是11號磁盤最開始被格式使磁盤能繼續(xù)使用的緣故。

通過查看show logical-drives，磁盤陣列狀態(tài)顯示Good。通過mute命令清除了報警聲，磁盤陣列中的磁盤運行狀態(tài)正常。為了更好地保障業(yè)務(wù)，盡可能避免風(fēng)險，我們用新磁盤更換了磁盤陣列10號磁盤。

實際上，最終我們將磁盤陣列的10號和11號的磁盤全部更換為了新磁盤。這次故障處理經(jīng)歷，讓我們感覺很疑惑。雖然故障沒影響到單位業(yè)務(wù)，但卻暴露了我們網(wǎng)管工作的一些弱點。

經(jīng)驗總結(jié)

根據(jù)此次故障處理過程中遇到問題，筆者進(jìn)行了思考并做了總結(jié)。

1.網(wǎng)絡(luò)管理員一定要記好機(jī)房設(shè)備的維護(hù)管理的重要信息，例如，管理地址、管理的用戶名和密碼等。

2.網(wǎng)絡(luò)管理員要將設(shè)備管理的線纜存放好，便于排查故障時使用。

3.網(wǎng)絡(luò)管理員要注意磁盤陣列中磁盤排列順序，避免在維護(hù)時拔錯磁盤。如本文SUN StorEdge 3510磁盤陣列磁盤順序如圖1。

4.網(wǎng)絡(luò)管理員在日常巡查時，要及時查看磁盤陣列的日志情況，及時發(fā)現(xiàn)問題并解決。

5.對于老舊設(shè)備，網(wǎng)絡(luò)管理員要做好簡單、冗余和可熱插拔配件的儲備，以便維護(hù)更換，保障業(yè)務(wù)不間斷，例如，硬盤、風(fēng)扇、電源等。

6.對于老舊設(shè)備，網(wǎng)絡(luò)管理員要提高數(shù)據(jù)備份的頻率（周期）。

7.建立設(shè)備操作臺賬，避免留下故障疑惑點或隱患。