UPS隱蔽故障排查策略

鄭傳梁 楊雁英

（廈門大學 福建省廈門市 361000）

1 引言

信息技術高速發展的今天，服務器上承載著大量重要用戶數據，機房一旦發生意外停電，將可能會造成服務系統故障，應用服務訪問中斷，影響業務正常開展，嚴重情況下將會造成存儲硬件故障，用戶數據丟失。對數據中心來說，電的重要性就像空氣對人，水對魚兒一樣重要。一旦數據中心發生斷電情況，很多設備承載的業務就會發生中斷，給數據中心帶來嚴重損失。使用UPS（不間斷電源）建立一個不停電的供電系統是一種提高供電質量、預防機房斷電的技術措施

2 問題的提出

廈門大學課程中心平臺為全校本科課程提供線上輔助教學服務，為保證平臺服務器穩定運行，提高供電質量，其主機房配套安裝了UPS 電源系統，確保在意外停電狀態下仍能提供不間斷穩定電源。但是，在某次短暫停電后，該UPS 卻未能起到保護作用，造成主機房內所有服務器意外關閉，引發學校課程中心平臺數據庫不完整，部分課程訪問報錯，嚴重影響了教學的開展。

此次停電屬于計劃性停電，用戶預先收到通知，片區市電線路改造，需要線路切換操作，計劃在晚上12 時整點暫停供電。停電前，值班人員對UPS 系統進行檢查，顯示運轉正常。實際停電只持續3分鐘，市電恢復后，值班人員又對UPS 系統運行狀態進行了查看，控制主機無顯示故障報警燈，液晶屏上顯示運行正常，UPS 沒有處于旁路狀態，主機房服務器設備運轉正常，看似一切都正常運轉。但是，筆者在第二天上班時卻看到了凌晨收到的課程中心平臺服務器重啟的報警郵件，而后有部分教師發現，訪問平臺上的網絡課程時，出現報錯現象。

難道頭一天停電，服務器意外重啟了？UPS 電源沒有起到保護作用？

3 UPS原理概述

UPS 系統主要有兩個作用，一是為負載提供不間斷供電，二是隔離市電網波動對負載的影響。當市電輸入正常時，UPS 系統就是一臺穩壓器，將市電穩壓后供應給負載使用，同時它還向后備電池組充電；當市電中斷時，UPS 立即將電池組的電能，通過逆變轉換的方法向負載繼續供應220V 交流電，使負載維持正常工作，保護負載軟、硬件不受損壞。

以某品牌UPS 為例，UPS 系統由七部分組成：市電輸入，整流器（AC/DC），逆變器（DC/AC），靜態旁路開關,電池組,工作旁路，維修旁路。工作原理簡圖如圖1 所示。

（1）市電輸入，市電線路經UPS 主機繼電器后分為兩路，一路作為主路市電輸入，即UPS 主機面板上INPUT1，一路是作為工作旁路市電輸入，即UPS 主機面板上INPUT2。當市電正常時，主路市電經整流器（AC/DC）整流后變成直流電，給電池組充電，同時供逆變器（DC/AC）轉換為標準的220V 交流電輸出給負載。此時，工作旁路不工作。

（2）整流器（AC/DC），即一種將交流電（AC）轉化為直流電（DC）的裝置，通過該裝置，將主路輸入的交流市電轉換成直流電，供電給逆變器，同時給電池組充電。

（3）逆變器（DC/AC），即一種將直流電（DC）轉化為交流電（AC）的裝置，通過該裝置，將直流電轉換為標準的220V 交流電輸出給負載。

（4）靜態旁路開關，即UPS 主機面板上的OUTPUT 部分，控制切換電源輸出是主路輸出還是旁路輸出。

（5）BATTERY 即后備電池組，平時處于充電儲能狀態，市電中斷時可以為負載提供不間斷供電

（6）工作旁路，當UPS 主機主電路異常，無法開機或者無法正常工作時，如AC/DC、DC/AC 逆變器損壞、過載或過壓，UPS自動切換為旁路市電輸入直接供電給負載，此時無法為負載提供穩壓保護，必須馬上檢查維修。

（7）MAINTENANCE 即維修旁路，當需要檢修或更換UPS 時，通過手動切換至維修旁路，以實現市電直接供電給負載。維修旁路開關通常隱藏在UPS 主機箱里面，由維修人員操作，用戶不能隨意開啟，操作不當會引發UPS 電源炸機。

圖1：工作原理簡圖

4 故障的排查策略

為進一步確認主機房服務器在凌晨停電時是否發生意外關機，筆者首先遠程登錄課程中心平臺服務器，通過Linux 命令lastxreboot 查看服務器啟動時間，發現服務器啟動時間為凌晨12:03，與停電時間正好吻合。接著登錄其它windows 系統服務器查看日志，從EventLog 或Kernel-Power日志來源事件中，也確認了服務器在停電那個時間段發生過重啟，由此基本可以斷定停電期間UPS 沒有起到保護作用。

為了能對故障做個初步的診斷，筆者做了如下步驟的排查：

4.1 檢查UPS系統日志，查找異常記錄

市電恢復時，凌晨值班安保人員雖已現場確認UPS 控制主機面板運行狀態正常，然而第二天筆者查看UPS 系統日志后，發現在市電停電的那個時間段，有“旁路開通”、“旁路電壓正常”、“旁路關閉”三條日志，說明UPS 電源在那個時刻工作異常。

4.2 電池放電測試，排除電池本身問題

筆者使用UPS 主機自帶的軟件功能，對電池進行放電測試。操作UPS 主機面板按鈕，在“系統控制”菜單中，使用“電池手動測試”功能，對電池組進行人工放電，放電時會發出滴滴的報警聲音，電池能正常放電，而且從電池箱外的維修標簽記錄的時間，可以判斷電池組更換時間才7 個月，排除電池本身問題。

4.3 模擬市電停電，測試UPS主機運轉情況

聽從UPS 廠商建議，決定模擬一次停電，保險起見，選擇業務空閑時間進行操作，晚上學校下課后，將主機房服務器提前關閉。通過拉下UPS 主路市電輸入開關，模擬市電停電。打開UPS 主機拉門，拉下有“市電”標識的主路市電輸入開關時，UPS 主機液晶顯示面板上顯示“市電異常”信息，UPS 主機面板上的工作指示燈INPUT1、AC/DC 燈同時熄滅，UPS 系統開始進入電池供電狀態。檢查主機房，供電正常，設備正常持續運轉，說明此時UPS 電池組供電正常。合上UPS 主路市電輸入開關后，面板上的工作指示燈INPUT1、AC/DC 燈亮起，恢復市電供電。UPS 主機液晶顯示面板上顯示“正常”信息，再次查看UPS 主機系統日志，出現“整流器異常”、“市電掉電”、“市電電壓正常”三條日志記錄，說明市電斷電時，UPS 主機會產生“整流器異常”、“市電掉電”、兩條日志信息，市電恢復時，再產生一條“市電電壓正常”日志信息。

至此整個常規故障排查流程操作完畢，除了三條日志與故障當天產生的日志不同外，并沒有發現UPS 其他異常現象。從市電控制開關到UPS 主機，再到主機房服務器，這條線路工作正常，那么問題會出在哪里呢，UPS 系統日志的“旁路狀態”又會是哪個環節出的問題呢？筆者又重新梳理了故障點，擴大了排查范圍。

（1）理清UPS 的拓撲連接，檢查連接線路。根據UPS 工作原理，市電的輸入是先到樓層總開關，接著經UPS 主機繼電器后分為兩路，一路作為UPS 主路市電輸入，另一路作為旁路市電輸入。順著拓撲連接，檢查線路表皮完好，連接處牢靠后，確認線路正常。

（2）重新檢查電池組，發現外觀整潔，蓄電池并無鼓包、破損等異常現象，線路連接處牢靠，確認電池組完好，并無異常。

（3）查看UPS 系統日志，依據當時所記錄的“旁路開通”、“旁路電壓正常”、“旁路關閉”三條日志，重新分析推理尋找突破點。“旁路開通”日志信息告訴我們，UPS 工作于旁路，只有當UPS 主機主電路異常，無法開機或者無法正常工作時，才切換到工作旁路，確保持續供電給負載，而前面的模擬停電操作，證明了UPS 能正常切換為電池組供電，并沒有工作于旁路狀態。那么是否市電斷開時觸發了某個條件，使得UPS 工作異常？

大膽假設，如果UPS 維修人員將內部線路接錯，當市電完全斷開時，UPS 主機也沒電了，那么此時電池組是無法輸出供電給負載，UPS 主機系統也無法記錄日志，市電恢復時，UPS 主機自動啟動，此時UPS 主機系統應該會有系統啟動的相關日志。而第一次模擬停電只是簡單拉下UPS 主路市電輸入開關，這個操作的結果雖然使得主路市電沒有輸入，但實際上UPS的旁路市電仍正常輸入，現實中的停電應該是主路和旁路都沒有市電輸入，要模擬現實停電，應徹底切斷主路和旁路市電輸入。

（4）再次模擬停電。這次選擇市電輸入樓層總開關，當我們拉下總開關時，果然UPS 控制主機也跟著關機，合上市電輸入樓層總開關時，UPS 控制主機系統自動啟動，然后UPS 恢復正常供電，同時系統日志出現“旁路開通”、“旁路電壓正常”、“旁路關閉”“市電電壓正常”四條記錄，與故障當天的現象完全一致。

主機房服務器意外重啟的原因，原來是UPS 主機自身供電出現問題，造成無法工作，從而設備意外斷電。經咨詢UPS 廠家得知，UPS 主機的自身供電由旁路和電池組一起提供，旁路和電池組經電源板后輸出給UPS 主機，最終故障點鎖定在電源板上，更換電源板后，UPS 電源恢復正常工作，故障排除。

5 防范措施

此次UPS 故障非常隱蔽，使用常規測試檢查方法無法發現，而UPS 報警檢測系統并沒有針對此類故障點進行檢測，通過以下方法可將故障及時消滅在萌芽狀態，避免此種情況發生。

5.1 做好日常健康狀態檢查，確保UPS運行良好

安排值班人員每日查看UPS 控制主機面板是否顯示異常，查看日志系統是否有警告記錄，UPS 系統是否處于旁路狀態，電池組表面是否干凈，UPS 散熱系統是否正常運行，空調系統是否正常，環境溫度是否過高。

5.2 定期進行電池組放電，延長電池使用壽命

UPS 正常工作時，市電對電池組進行充電，待電池充滿電時，會處于浮充狀態，如果市電穩定的情況下，對于長期處于只充電不放電狀態的UPS，電池組沒有放電的機會，日久就會導致電池化學能與電能相互轉化的活性降低，加速老化而縮短使用壽命。因此，建議每隔2-3 個月人為的中斷市電一次，用以激活電池性能，延長電池使用壽命，放電時間可根據蓄電池的容量和負載大小確定，通常30-60 分鐘。放電后，UPS 要進行及時的、較長時間的連續充電，以避免由于蓄電池衰竭而引起故障。

5.3 定期安排UPS廠家維修人員深度檢修，發現問題及早排除

通常，用戶經過簡單培訓即可對UPS 進行日常維護，但是定期安排UPS 廠家維修人員進行深度檢修仍有必要，首先他們對自己的UPS 設備特性更了解，其次他們具有更豐富的故障排除經驗，再次他們擁有更專業的設備進行檢查。維修人員可以使用專業的設備進一步檢查電池組的健康情況，如各組電池電壓是否均衡，組中電池是否存在損壞，是否必須更換電池；可以進一步檢查UPS 內部組件情況，如電源板、主控板、接觸器、逆變驅動板、整流器、熔斷器等。通過維修人員深度檢修，可以及時將存在問題的設備組件進行更換，避免市電異常時意外停機。

6 總結

此次UPS 隱蔽的故障排除過程自我收獲頗多，很多人認為UPS 系統只有控制主機和電池組構成，不需要維護，恰恰相反。UPS 是許多機房的動力保障，保證了供電的連續性和穩定性，對于數據中心來說，在電力系統的運行過程中，盡管故障出現的幾率很小，持續的時間也不長，但產生的后果卻往往十分嚴重。UPS 系統應該需要專業的公司進行管理和維護，以確保機房電力系統長期穩定的不間斷運行。

參與文獻

[1]朱斌.通信用UPS 電源常見問題及解決方案[J].鐵道通信信號,2019,55(12):72-74.

[2]文小紅.淺析關于通信機房UPS 電源的管理與維護對策[J].電子世界,2019(04):156.