數據中心電氣設計概述

劉 劍（華東建筑設計研究院有限公司，上海 200002）

近幾年來，隨著電腦網絡的發展及銀行數據中心建設力度的加大，企業、學校、高新技術園區也在積極籌備各種目的與功能的數據中心。當看到越來越多的數據中心建成，我們不由得回過頭來審視：我們以前所做的數據中心設計是否完善？

1 供配電系統

數據中心的供配電系統設計是一個非常大的課題，其市電的系統具有以下特點：

1) 容量巨大

列舉一些實例，以供大家參考：2006～2007年設計的上海銀行張江數據中心，信息機房總面積4791m2，業主要求設計裝機容量4237kW, 功率密度為885W/m2，機房空調用電3211kW,功率密度670W/ m2，綜合起來用電為1.555kW/m2。2009 年設計杭州華為數據中心時，提出了云計算概念。600m2的機房,機房區面積為200 m2，用電設備裝機容量2788kW，平均用電2.32kW/m2。2011年，上海銀行正式實施的電氣系統，將數據中心的用電量提升至中心機房服務器容量2kW/m2，加上空調容量，預計容量將會達到3.5kW/m2。容量的增大會帶來很多設計上的難點：

(1) 進線容量遠遠超出我們平時設計的普通項目。由于可靠性要求高，單路負荷就必需能負擔起整個機房的服務器容量、機房照明、通訊用電等所組成的UPS（算UPS時要除上功率因數0.8），還要包括冷凍機、冷卻塔、冷卻水泵、冷凍水泵、精密空調等所組成的機房空調容量。兩路市電都必須滿足以上要求，僅此就需要申請2路16000kVA容量的35kV進線。以上論述的數據中心還是采用水冷的精密空調，如采用風冷的精密空調，則容量更大。

（2）電腦設備的發展速度遠遠快于建設速度。往往一個土建項目建設周期為3～5年，但計算機的運算速度卻可能在這幾年中已經翻了幾倍。往往數據中心的建設還沒完，就需要改造。所以在開始設計時，一定要多了解計算機，尤其是服務器行業的發展動向,預估出一定的設備發展空間。有時在項目建設初期由于想節約項目投資，就壓縮系統容量，而當市場上主流服務器負載發生變化后，卻因線路已達上限而無法改造，只能采用另建或加建的方式來處理,增加不必要的麻煩。故此設計之初雖沒有必要增加很多的備用容量，但必須留出足夠的空間以供發展。

2)可靠性要求高

數據中心的斷電，會帶來非常大的損失。為了滿足對數據中心高可靠性的要求，設計中一般都會配備多路進線、柴油發電機和UPS設備。但這么多的后備電源，就一定萬無一失了嗎？答案是否定的，一個不完善的配電系統，即使配備了眾多的后備電源，還是會有弱點。

木桶定律：一只木桶盛水的多少，并不取決于桶壁上最高的那塊木塊，而恰恰取決于桶壁上最短的那塊木塊。這就決定了數據中心供電系統的可靠性有如下三個特點：

(1) 只有供配電所有環節均采用一樣的級別的配置，才能說數據中心的配電達到這一級別。只要有一個部位標準略有降低，整個配電系統的標準就會隨之降低。

(2) 比最低配置環節所高出的所有環節均是沒有意義的，高出越多、浪費越多。

(3) 要想提高整個系統的可靠性，就應該設法找到最薄弱環節并加以提高。

我們對于一級中特別重要負荷的要求是兩路獨立電源，加上柴油發電機作為后備電源。（見圖1）

這個系統是國內數據中心設計中相當流行的雙母排結構的配電系統，即每路電源均可負擔100%的UPS負荷。當1#市電失電時，ATS2即使故障也可通過ATS3繼續供電，ATS3故障時也相同。系統中的柴油機、柴油機與市電切換點為單點故障點，即當1#市電失電，當2#市電也失電時，柴油發電機故障、ATS1故障會造成系統無可補救的失電。而柴油發電機、ATS設備均為平時不常使用的設備，設備故障率遠高于斷路器。故此，國家標準GB50174-2008中規定了柴油發電機必須有備用，柴油發電機與市電切換的開關必須帶手動旁路。從個人理解而言，我認為ATS1與ATS2、ATS3都需帶手動旁路開關。必須指出的是，手動旁路開關設備龐大而且貴。我們應該查好設備樣本，以避免配電房面積不夠，還要在擴初時提醒概算造價公司注意，一個4000A帶旁路的ATS開關造價可能高達70多萬。

TIA/EIA-942中推薦采用圖2的主接線方式，區別主要在柴油發電機。TIA推薦方案要求設置兩組柴油機，與兩路市電分別切換。其中柴油發電機容量G1=G2=G。這樣保證了任意一組柴油發電機組或切換設備或線路發生問題時，另一組還是能夠堅持工作，其可靠性最高，但造價也非常昂貴。尤其在大型數據中心項目中，數據中心用電容量非常大，需要多臺的柴油發電機并聯發電才能滿足其用電量。這樣2N形式的柴油機備用方式是我們現有財力難以負擔的。

經過長時間的研究探討發現，可以采用折中的方式來解決這個問題。即柴油機為圖1的N+1方式，但分兩路分別引至兩路市電進行切換，既解決了單ATS開關的故障點，也比圖2方案降低了造價，不失為可靠性高于現行規范，造價卻不高的一種選擇。

如有條件，在當地申請三路以上電源時，可以考慮3母線形式。即每路市電分別承擔總電量的1/3，每路的UPS負荷率為66.7%。柴油機負荷可以參照圖3的接線思路，只需把兩路改成三路，每路可帶100%負荷改成66.7%負荷。由于UPS的最佳負載率在66.7%，故此這個方案就電氣角度來說，是最節能的方案。

3） 無功補償

圖1 早期數據中心設計配電系統圖

圖2 TIA推薦采用配電系統圖

圖3 改進后實際采用的數據中心配電系統圖

由于UPS設備是整流設備，當正常運行時，UPS設備處于負載率小于50%的工作狀態下，UPS高頻機對于電網來說，系統功率因數非常高。而當采用工頻機時，由于系統中加入隔離變壓器，功率因數會低一些。但目前一些UPS設備樣本上會標注功率因數0.85，是加上了機器效率因素的。所以目前的大型UPS設備一般不需要功率因數補償。曾經有相當多的業主反映，帶UPS負載的變壓器主回路中的無功補償不能投入，一投入就會造成母排電壓升高。分析其原因就是過度補償造成功率因數超前。當供電部門要求30%的補償量時，一定要根據實際情況，向供電部門解釋清楚，不要造成不必要的浪費。當供電部門不能同意減少補償量時，就要確定好控制器，設定好補償步長，以免過補償情況的發生。

2 空調設備配電

在數據中心的設計中，隨著節能呼聲的提高，直接風冷的精密空調已經越來越少，本文討論水冷精密空調配電。水冷空調是利用水帶走機房內的熱量。和風冷系統不同，水循環系統給整個系統帶來不少變數。為了可靠，數據中心的精密空調可采用利用冷凍循環水的盤管和利用冷卻循環水的壓縮機相結合的形式。隨著空調技術的發展，很多的技術可以運用到數據中心的設計中，以增加可靠性并符合節能發展，如冰蓄冷，但這些只能增加提高可靠性的可能性。作為備用手段，但不能作為主要手段。這里讓我們分析一下空調主要設備的電氣特性，就會發現其供電有許多不同于服務器設備的地方。

2.1 冷凍機負載

冷凍機是壓縮機負載，在斷電后，會停機保護，其保護時間長達30min左右，而要讓冷凍機保持不斷電，其成本顯然過高，太不經濟。當冷凍機停機時，冷凍水還可以循環，直到溫度過高還有一段時間。一般數據中心用冷凍機需要設置備用以增加設備可靠性，例如：三用一備；那我們就采用交叉供電，即兩臺用市電A，另兩臺用市電B。這樣帶來一個好處，當一路市電失電的情況下，總有兩臺設備在使用。另一路由于設備保護，即使使用了ATS設備，也因為斷過了電，冷凍機還是停機了，在停機保護的時間內，還是來得及通過低壓聯絡開關供上電源。從這個角度來說，冷凍機電源不論采用還是不采用ATS設備，冷凍機的停機時間是相同的，不同的只是管理模式而已。

2.2 冷凍水泵

冷凍水泵負責冷凍水循環，在冷凍機不工作時，保持冷凍水循環還能保持盤管工作一段時間。故此，冷凍水泵要比冷凍機負荷的電源要求高。我們要盡量延長冷凍水泵工作時間，水泵負荷在發生電源閃斷時，勵磁需要一定的時間。換言之，就是當ATS切換以后，水泵還是需要一定的時間才能恢復正常運行，除非采用特殊的ATS產品。在冷凍水泵的供電上，盡管采用了ATS自動切換，還是要盡量將常用電源分在兩路市電上交叉供電，以避免冷凍水短時停止循環。

2.3 冷卻水泵及冷卻塔

冷卻水泵及冷卻塔是作為備用的最后一道防線，重要性就顯得尤其突出。整個冷卻系統的供電應該是同一級別的，尤其是容易忽視的冷卻水補水裝置。其供電重要性等同于精密空調的供電，應采用柴油機作為市電的后備電源。根據水管路由的不同，為供電設備分組。供電方式同冷凍水泵的供電方式，分由兩路市電交叉供電，再取另一路電源作為備用電源，在設備機房內作ATS切換，以保證設備電源可靠。

3柴 油機設置

A級機房的UPS設備和空調設備都必須有柴油機作為備用，而且按照規范規定，還必須有設備冗余，柴油發電機的容量往往達到上萬kW。因此，當設計到大型數據機房時，由于400V配電柜的水平母排最大做到8000A，低壓框架開關最大6300A，遠遠無法解決匯流問題，只能采用設備分組的方式解決。而規范要求柴油機按組設置冗余，這樣如采用400V柴油發電機組，雖單臺設備價錢便宜，但系統成本昂貴，壓降和可靠性也不同（10kV柴油發電機組可實行并機后匯流,可靠性高），所以應盡量考慮采用高壓柴油機組。但采用10kV機組后，應注意以下幾個問題：

1) 短路電流：當采用10kV系統后，由于線路非常短，系統阻抗小，故此短路電流不小。采用高壓配電設備提高短路耐受電流的方式不是根本上解決問題的好方式。應該要求柴油機生產廠商按照配電系統短路電流配置發電機輸出阻抗或短路電流實測數據后，校驗一下配電設備的短路耐受性能。

2) 考慮假負載的測試位置和路由：銀聯對銀行數據中心管理有測試演練要求，提到采用帶負載切換，但實際使用中均不會真正地采用UPS負荷和精密空調負荷來做切換演練。那么就會采用假負載。所以我們設計中，即使沒有假負載，也要預留負載切換演練的配電柜和假負載設備電纜出線的路由，以備將來使用。

3) 柴油機設備的供電：由于柴油發電機是整個數據中心的電源后備，故此電源設計不能掉以輕心。建議采用以上冷卻水系統的配電方式，控制系統和機房照明的供電應盡量采用UPS供電，以確保市電失電的瞬間，整個系統失電時，控制系統不能斷電，能夠確保柴油機可靠啟動。直接風冷的冷卻系統由柴油機直接帶動，而遠置式風冷的二次循環、冷卻系統不是由柴油機直接帶動的，低壓發電機時，可用柴油機發出的電力帶動。但當使用多臺10kV發電機組的時候，必需采用變壓器或從400V系統中取電。情況比較復雜，但一定要保障在一次水循環溫度超出工作溫度前供上冷卻系統電源，一般不應該超過30s。

4 接地

我們以前的設計中，接地一直不太受重視。以為只要做好公用接地，就萬無一失了。其實這個想法非常錯誤，很可能會引起很大的損失。因為接地干線大多隨建筑預埋，如果沒有預留好足夠的接地裝置，很可能就會造成數據中心不能正常工作。提幾點需要注意的地方：

1) UPS設備需要接地，其接地最好要和放置于數據機房內的PDU箱共用接地。雖然規范要求零地電壓小于2V，但是很多業主都要求小于1V，請在設計中一定要和業主充分交流，確定并控制好零地電壓。我們一直關注的諧波控制就是控制零地電壓的關鍵技術要點。盡量采用諧波控制和波形控制好的UPS對系統的穩定也是至關重要的。

2) 在機房內設置兩個以上的等電位接地箱。機房內所有設備的金屬外殼，金屬管道，金屬線槽建筑物金屬結構等必須進行等電位聯結并接地。等電位聯結網格應采用截面不小于25mm2的銅帶或裸銅線，在防靜電地板下構成邊長為0.6～3m的矩形網格。

5 結語

以上是多年數據中心設計的一點體會，數據中心的設計正隨著電腦網絡的發展有著日新月異的變化，隨時注意新的動向，不斷地學習、完善，才能使我們的設計跟得上建設的發展。