數據中心動環系統風險分析及應對策略

王侃毅

（中國移動通信集團上海有限公司網絡維護中心，上海200233）

?

數據中心動環系統風險分析及應對策略

王侃毅

（中國移動通信集團上海有限公司網絡維護中心，上海200233）

摘要：通過對數據中心動環系統組成和特點的總結，結合實際建設和運維工作的實踐經驗，系統研究了動環系統存在的安全運行存在的風險，并提出了相關應對策略，為打造安全的數據中心提供了完善的方案。

關鍵詞：數據中心； 動環系統； 風險； 應對策略

0　引言

伴隨著信息時代互聯網、云計算、大數據等技術的不斷發展，承載這些技術的數據中心也象雨后春筍一般拔地而起。由于運營商在帶寬資源的優勢和在移動互聯網時代信息業務增長的需要，因此在數據中心建設中投入巨大，也能夠吸引到許多高端客戶的入駐。

對數據中心客戶訴求來說，電子設備的安全可靠運行是他們的主要考量。一旦數據中心出現宕機，不僅給相關互聯網公司本身帶來巨大的經濟損失，可能造成用戶更大的損失，客戶在這些事件中造成的損失是不可挽回的。例如2013年谷歌數據中心宕機損失，每分鐘損失達到10.8萬美元，攜程網2015年宕機事件中直接損失超過1277萬美元。2015年6月21日，阿里云香港節點出現權限宕機，業務中斷超過12h，甚至出現部分用戶數據損毀。

在基礎設施安全方面最為重要的就是數據中心動環系統的安全。本文作者通過多年在數據中心運行維護管理的實踐經驗，分析數據中心動環安全的風險以及提出相應的解決策略，供廣大運維人員分享。

1　數據中心動環系統介紹和特點

1.1動環系統構成

數據中心動環系統由三大部分組成：電源系統、空調系統、監控系統

電源系統包括：市電引入部分：包含市電進線高壓柜、變壓器、二次側高壓柜，根據數據中心的規模和容量需求市電引入分22萬伏、11萬伏、3.5萬伏、1萬伏四個等級；低壓配電部分：包含變壓器、低壓進出線柜，電壓等級為380伏；電力配電部分：包含低壓分配柜、UPS設備、高壓直流設備以及蓄電池組。電壓等級交流220伏或直流240伏；數據機房配電部分：包括列頭柜；后備電源部分：高壓柴油機或低壓柴油機；電源干線部分；包含連接各系統的母線和電纜。

空調系統包括：中央空調部分：包含中央空調機組、冷凍水泵、冷卻水泵、淋水塔、末端空調；冷卻水系統：包含冷卻泵、淋水塔、末端空調；專用空調部分：專用空調又分為水冷專用空調系統和分冷專用空調系統，其中水冷專用空調包括：冷卻泵、淋水塔、末端空調，分冷系統：主要由專用空調主機和室外機組成；管路部分：包含連接各系統的空調管路以及控制閥門；后備冷源部分：蓄冷設備、板換。

監控系統包括：采集單元、總線、服務器、應用軟件等，提供實時的AI、DI、DO的數據狀態，對設備運行情況實時監測，具有設備實時告警、告警過濾、遠程控制、數據存儲和分析、故障派送等功能。

1.2動環系統發展特點

數據中心規模不斷擴大，從原先的一幢樓1萬平方，發展到一幢樓4~5萬m2，以致到目前呈現了園區規模。其次單機架的功耗不斷提升，由原來單機架2KW，過渡到3.5~5kW，進而發展到高功耗區單機架可達7~10kW。這些變化使動環系統的架構和設備發生了很大的變化。

對外電的需求從原先1萬伏雙路進行，每路3200kVA的容量，過渡到3.5萬伏進線，每路容量16000~20000kVA，如果是園區級的需要11萬伏或22萬伏進線，每路容量達到12萬~18萬kVA。

單機架功耗的增長和機房裝機密度提高，單機架功耗平均達到4kW以上，機房功率密度200W單位平方米，如果采用模塊化或倉儲式建設，單模塊的功率密度提高到300W單位平方米。對空調系統提出挑戰，末端空調制冷量從原先的45kW提高到100kW，機房空調引入了冷池、列間空調、門板送風、液管或冷凍水延伸至機房甚至直接接入機架。中央空調機組單機組制冷量也從500RT提高到1400RT。

出于對投資和節能的考慮，大型數據中心動環系統引入了中壓設備，包括高壓柴油機、高壓冷凍機組。中央空調出水溫度由原先的7℃，回水溫度12℃，提升到出水溫度14℃，回水溫度19℃。機房送風溫度控制也由最初的13~19℃，提升到18~27℃。另外，數據中心引入了自由冷卻系統，在冬季室外氣溫低于一定濕球溫度時，利用冷卻塔循環和熱交換，達到免費取冷的系統。

動環系統在上述演進中的電源、制冷系統中集成后體現了更加復雜，結構層級增加，設備安全等級提高，設備之間邏輯關系更復雜。

2　動環系統安全風險分析

2.1設備安全風險

2.1.1電源設備故障及影響

電源設備故障主要指在設備運行過程中發生的設備停止、損壞，造成其后級設備出現供電中斷。其中越靠近數據設備端的電源設備出現故障，其影響也越直接。如數據機房內列頭柜開關如果發生跳閘故障的話，將直接造成所承載某個或某列服務器設備斷電停止運行；UPS或高壓直流設備作為數據機房供電設備，如果出現設備故障，特別是輸出中斷的話，（輸出中斷最主要原因有逆變器停止工作、逆變器和市電轉換失敗、并聯冗余機組不同步，蓄電池低電壓、短路或開路運行故障），將會影響到所供機房的機柜，而且設備容量越大影響的機架數也越多，舉個簡單例子，如果是400kW的UPS，單機柜容量是4kW，那就將有100個機柜斷電無法工作，但如果是120kW的UPS，單機柜容量是4kW，那只影響30個機柜。低壓設備輸出故障，主要由于開關跳閘引起（主要原因有負載端過載、短路，也可能是開關本身機械或電器故障），如果是出線柜故障則影響下級輸出所帶的負載，如果是頭柜的話，將使所有該列輸出停止供電。

2.1.2空調設備故障及影響

空調設備正常運行主要是保證機房環境溫度和濕度能夠適合服務器設備的運行，服務器設備能夠接受的進風溫度根據GB2887—89計算機場地技術條件4.4.1.3條規定開機時機房內的溫度環境溫度、濕度標準：其中A級22±2℃，B級15~30℃，C級10~35℃，環境濕度為A級45~65℃，B級40~70℃，C級30~80℃。傳統服務器的耐溫標準5~35度，機房溫度的升高，服務器的功耗將大幅增加。服務器CPU，正常情況下45~65℃。高于75~80℃，要檢查散熱，部分CPU會自我保護，溫度過高會自動降頻（一般為標準頻率的一半）。硬盤溫度，一般情況在30~60℃。

機房側末端空調設備出現單個設備故障一般不會對機房溫度產生大的波動，只有出現多臺或全部機房空調出現停機的情況，才會使機房溫度在短期內失控。這樣的情況主要是由于三種原因導致的，一是設備同時停電；二是水冷末端空調冷源停止；三是水冷系統管路或閥門出現爆裂。

中央空調設備作為集中供冷的冷源設備在單機出現故障時，如果有備機的情況下，不會造成影響，但一旦出現全部停機的話，就會使整個數據中心失去冷源，造成重大影響。

2.2動環系統風險

動環系統風險是對整個數據中心供電或冷源造成系統安全的風險，一旦發生，將對整個數據中心的服務器運行帶來災難性的損失。

市電停電或外線故障時最重要的系統故障，其次就是市網斷水。當發生這樣的情況時，是真正考驗數據中心動環系統安全性的時候。

2.2.1市電停電風險

當數據中心外部電源失去時，不僅是供電設備不能工作，同時所有的冷源設備也同樣停止工作，服務器設備在短時能夠通過蓄電池放電延長供電時間，等待備用柴油機啟動后，切換入系統供電。某系統采用中央空調單冷源設備提供冷凍水，市網斷電后機房溫升情況見表1。

表1　機房負載與溫度對應關系

通過上表得到結論，1）溫度上升的速度和機房的負載呈正向關系，即機房負載越大，溫度上升的速度也越快。其中5-1機房在10min溫度就達到38℃；2）來電后空調自啟動在1min左右，冷卻水泵變頻器在35s啟動，溫度恢復原始溫度的時間要遠大于溫度上升時間。同樣是5-1機房恢復用了50min時間。

首先冷源機房中央空調來電自啟和應急啟動。

來電自啟：當發生進線斷電造成運行冷水機組停機后。BA系統會先進行判斷在控制范圍內的冷水機組、水泵、冷水塔狀態，然后給出開啟程序，共約1min。BA系統自動打開系統中的閥門、啟動循環水泵和冷水塔共約2~4min。BA系統監測冷水機組是否滿足開機條件（機組冷卻和冷凍水循環建立、潤滑油溫度達到機組設置點范圍），條件達到后開始啟動程序。機組開始控制系統自檢、潤滑油泵啟動、油壓差建立、預潤滑、導葉檢測等，該過程大概需要5~10min左右。BA系統開機過程約8~15min。應急啟動：停止BA系統控制啟動，采用人工啟動，手動打開系統中的閥門，約2min。手動開啟循環水泵和淋水塔風機，約2min。手動啟動冷水機組，判斷冷水機組是否滿足開機條件（機組冷卻和冷凍水循環建立、潤滑油溫度達到機組設置點范圍），條件達到后開始啟動機組。機組開始控制系統自檢、潤滑油泵啟動、油壓差建立、預潤滑、導葉檢測等，該過程大概需要5~10min左右。人工開機過程約9~14min。

由上面的中央空調來電自啟動流程和應急啟動實際流程和時間測試：無論是BA系統自動開機還是人工干預啟動，整個過程過程約在8~15min之間，而且是機組一切正常情況下，特別是冬季加熱器不能出現故障（有任何一個環節有問題，開機時間大大增強，且需人工干預）。

然而冷凍水能夠達到制冷效果的供回水溫度，即7℃的冷凍水出水溫度究竟需要多少時間。通過實際故障統計。在停電20min后，冷凍水溫度是呈上升趨勢，數據顯示15.5~23℃共用了5min，在開機后從23℃下降到7℃用了將近60min，因此整個系統恢復需要75min。因此得到的結論是如果數據中心采用的是單冷源的中央空調系統，在出現系統性停電風險時，是不可用的。（如果要設置蓄冷罐，那一般20min的儲備也不能達到實際要求）數據中心的冷源系統應該是雙冷源的設置。

2.2.2市網停水

市網停水的系統故障主要影響的是水系統的空調，包括中央空調系統和專用空調冷卻水系統。長時間的停水，會使中央空調系統和專用空調系統無法補水而停止工作。

3　應對策略

3.1電源系統和設備配置不存在單節點

單節點定義為某一個電源供電節點是唯一的通路，這個節點發生中斷，那在其后面的設備產生停電。這里的節點即指設備本身，也包括設備供電出線的路由。嚴格意義上的雙路由供電從市電進線側一直到機房內服務器機架側，全程都應該是物理上的雙回路。

3.2空調系統要雙備份

大型數據中心的空調系統如采用集中供冷模式，一定要采用雙備份。

1）中央空調系統和專用空調系統加末端的雙冷源的精密空調，這樣的系統，正常運行時以中央空調為主，精密空調以冷凍水供冷，專用空調系統作為備份，一旦中央空調設備或管路出現由于故障出現問題，冷凍水停止。專用空調系統運行，精密精密空調壓縮機制冷，保證機房供冷。同時當機房冷量不夠時，精密空調還可采用冷凍水和壓縮機同時制冷的策略，以保障機房的冷源需求。空調系統由于管路和閥門眾多，發生泄漏可能性很大，因此單系統風險很大。前一節也分析過在市電停電時，中央空調由于啟動時間過長，不能滿足機房應急時的供冷，但專用空調系統在市電恢復后，能夠在2s只能完成系統建立，并提供冷卻水供機房精密空調制冷，所以能夠應對市電停電的系統性風險，但此種模式的缺點在于冷源都倚靠水，如果碰到市網斷水的故障還是存在風險。解決的方法可以通過設置應急補水系統，達到延長搶修時間的目的。應急補水系統的容量可以根據冷卻水蒸發量進行計算，通常設置應滿足淋水塔補水量的8h以上。

2）采用中央空調系統和分冷系統加機房精密空調模式。正常時中央空調系統運行，一旦出現市電斷電的系統性風險時，精密空調會自動切換到分冷系統，也是壓縮機運行狀態。這樣的系統和第一種模式比較的優勢，在于冷源不全部倚靠水系統，能夠有效應對市電停電和市網斷水這二種情況的系統性風險。

3.3空調設備供電分擔配置原則

空調設備作為大型數據中心的重要保障設備，在設備供電必須分擔設置。以抵御由于單路供電系統或設備出現的故障。例如一個機房側精密空調設備組，需引入不同市電的配電，分別交叉供電，保障在某一路市電停電或上級開關跳閘故障時，機房精密空調至少還有一半在運行，延緩機房的溫升，贏得搶修的時間。同樣在中央空調和專用空調的系統和設備的供電，能夠進行合理的供電分配以分散風險。

3.4中壓柴油機市電全自動系統

數據中心最大的風險是市電停電造成數據中心所有的電源設備和空調設備停止運行。如上節中敘述的，數據中心后備不間斷電源可以支撐服務器設備供電在15~30min，但是機房空調的溫升可以在10min之內就失去控制，達到38℃，這時服務器可能已處在宕機的狀態了，因此空調電源恢復響應的時間需要更短。一個大型的數據中心其高壓設備和后備柴油機眾多，且分布在不同物理地點，如果靠人工操作柴油機啟動，然后在切換入高壓設備，再通過高壓設備操作完成供電，先不考慮切換復雜，人員技能和熟練度要達到非常高的水平，就是在不同物理點來回操作和確認，時間上也絕對達不到要求。故建立中壓柴油機市電全自動系統是防御市電停電風險的最佳策略。就如何實現此系統，在下文中將對已成功運用的實踐案例與運維人員分享。

圖1是某數據中心的高壓系統和柴油發電機系統，35kV接線方式為線路—變壓器組接線。每臺變壓器進線一回，進線電源采用35kV電纜引自新建開關站。每組線路裝設35kV斷路器，35kV計量用PT、CT及母線PT、氧化鋅避雷器各一組。10kV接線采用單母線分段接線，共兩段母線，設分段斷路器。油機房有9臺10kV容量2000kW柴油發電機并留有1臺擴建機位，所有發電機并接到同一段并機母線，然后通過兩路發電機出線分別送往35kV變電站的兩段10kV母線。

該系統引入了中壓電源切換控制系統（MV ATS）自動控制。正常運行時，兩臺主變分列運行，當一臺主變斷電時，其10kV側進線斷路器跳開，母線分段斷路器自動合閘，由另一臺主變同時向兩段母線供電。當兩回主變均失電時，中壓電源切換控制系統自動發信號啟動應急油機電源，油機電源可用后，中壓電源切換控制系統（MV ATS）自動控制10kV系統切換到由10kV油機電源向負荷供電。

柴油發電系統的工作方式為：接收到中壓電源切換控制系統發來的啟動信號后，油機控制系統立刻控制開通風窗，然后啟動全部機組，最先達到規定的電壓和頻率水平的油機（或者是預先選定的一臺油機達到規定的電壓和頻率水平后）合閘到并機母線，作為基準，其他機組經過同期檢查，逐個并列到并機母線。全部油機并機完成后，油機控制系統將油機出線開關1和油機出線開關2合閘，油機電源分別送至變電站的兩段10kV母線油機進線柜的下樁頭。變電站的負載投入后，油機的功率管理系統根據實際輸出功率，將超出需求的油機退出運行（留有相應余量），如果在運行過程中負載增加，再啟動相應數量的油機經并機投入運行，保證所需的供電容量。來自中壓電源切換控制系統的啟動信號撤銷后，油機控制系統控制所有油機經冷卻停機。

系統操作實際時間

（1）兩路市電停電，MA ATS和MB ATS分別檢測I段母線電壓與頻率和II段母線電壓與頻率，經過設定的延時時間（市電穩定延時5s）后異常條件仍然滿足，判定兩路市電均異常。

（2）油機控制系統根據預設程序啟動油機并完成并機后，合油機出線開關1和2（油機啟動并機合出線開關時間由油機系統決定90s）。

（3）MA ATS檢測油機進線1電源正常后（油機電源穩定延時5s），按照設定程序做如下動作：

跳母聯開關（1s）

跳本段全部出線開關（1s）

合本段油機進線開關（5s）

依次合本段優先級為2、3、4的出線開關，間隔2s （3s×9）

（4）MB ATS檢測油機進線2電源正常后（油機電源穩定延時5s），按照設定程序做如下動作：

跳母聯開關（1s）

跳本段全部出線開關（1s）

合本段油機進線開關（5s）

依次合本段優先級為2、3、4的出線開關，間隔2s （3s×9）

步驟（3）、（4）同時并列運行，從二路市電停電到供電由柴油機帶載完成總用時134s。

4　結語

通過上述對數據動環設備和系統的故障及其造成的影響范圍，基本可以得出這樣的結論：1）設備故障出現的概率較大，但對整個數據中心的影響相對較小，其影響面主要看該設備在動環系統中的層級和容量配置情況，2）系統性故障出現概率較小，但對整個數據中心的影響是致命的，如果數據機房在初期建設沒有考慮，系統配置和技術未達到能力要求，只要出現此情況，意味著整個數據中心可能全部停止運行。3）系統性故障出現時，系統響應的時間是最關鍵的。應當采用技術手段加以控制。

本文總結大型數據中心動環系統風險應對策略：電源系統和設備配置不存在單節點；空調系統要雙備份；空調設備供電分擔配置原則；中壓柴油機市電全自動系統。如果數據中心建設和運維符合這四項應對策略，那就能抵御各種動環風險，數據中心的動環運行始終處于安全的狀態下，使客戶可以放心的將設備運行在該機房內。

參考文獻：

[1]GB50174-2008，電子信息系統機房設計規范[S].

[2]GB 50052-2009，供配電系統設計規范[S].

[3]DL 476-1992（2005），電力系統實時數據通信應用層協議[S].

[4]YDT 1821-2008，通信中心機房環境條件要求[S].

[5]GB 50243-2002，通風與空調工程質量驗收規范[S].

修回日期：2016-03-16

DOI：10.3969/J.ISSN.2095-3429.2016.02.013

中圖分類號：TP308

文獻標識碼：B

文章編號：2095-3429（2016）02-0057-05

作者簡介：王侃毅（1972-），男，浙江鎮海人，MBA碩士，工程師，網絡維護中心副總經理。

收稿日期：2016-02-16

Risk Analysis and Countermeasures Strategies of Data Center Power Distribution and Environment Surveillance System

WANG Kan-yi

（Network Maintenance Center of China Mobile，Shanghai 200233，China）

Abstract：This paper summarizes the composition and characteristics of power and environmental system through the data center.With the actual construction and operation&maintenance practices，the paper examines the risk of the power and envirommental systems.And it puts forward relevant countermeasures to create safe data center and provid the perfect solution.

Key words：data center； power and environmental system； risk； countermeasures strategy