高密度數(shù)據(jù)中心制冷空調(diào)系統(tǒng)設計

王麗欣，常琳

（1-施耐德電氣信息技術（中國）有限公司，北京 100102；2-中國制冷學會，北京 100142）

高密度數(shù)據(jù)中心制冷空調(diào)系統(tǒng)設計

王麗欣*1，常琳2

（1-施耐德電氣信息技術（中國）有限公司，北京 100102；2-中國制冷學會，北京 100142）

結合北京某數(shù)據(jù)中心的工程實例，介紹了高密度數(shù)據(jù)中心制冷空調(diào)系統(tǒng)設計的思路和方法，對高密度數(shù)據(jù)中心的空調(diào)水平送風、節(jié)能、自然冷卻和連續(xù)制冷等問題進行了探討。研究結果表明：對于高密度數(shù)據(jù)中心，建議采用緊靠熱源的水平送風制冷形式、輔助冷熱通道布置、采用水泵接不間斷電源（UPS）和設置蓄冷罐等方式來保障數(shù)據(jù)中心全年不間斷制冷。

空調(diào)系統(tǒng)；制冷；數(shù)據(jù)中心；高密度

0 引言

近年來，隨著IT技術的高速發(fā)展，對數(shù)據(jù)的處理速度和處理能力要求越來越高。大量體積小、處理能力快、功能強的高密度機架服務器和存儲服務器應運而生。單個機柜的功率由1 kW、3 kW提高至5 kW以上，刀片式服務器甚至單機柜功率可達30 kW。隨著機柜功率密度的提高，數(shù)據(jù)中心對制冷的可靠性和可用性的要求也越來越高。傳統(tǒng)的低功率密度的數(shù)據(jù)中心可采用集中制冷的形式對服務器進行冷卻，但是當機柜的功率超過5 kW時，采用傳統(tǒng)的集中式制冷會出現(xiàn)很多弊端，例如在實際運行時機柜頂部存在局部熱點和地板下送風不足等問題，這些都將導致設備過熱保護引發(fā)宕機。因此合理設計高密度數(shù)據(jù)中心的制冷系統(tǒng)尤為重要。本文以北京某新建的數(shù)據(jù)中心為例，介紹高密度數(shù)據(jù)中心的制冷空調(diào)系統(tǒng)的設計思路及方法。

1 數(shù)據(jù)中心概況

該項目地址位于北京市朝陽區(qū)，是將現(xiàn)有辦公樓的一部分改造成數(shù)據(jù)中心。改造前的辦公樓總建筑面積約為12,000 m2，建筑高度24 m，地上五層、地下兩層，主要包括高密度數(shù)據(jù)中心、輔助用房和辦公室。其中本文研究的高密度數(shù)據(jù)中心位于該大樓二層北側，主機房建筑面積280 m2，層高4 m。服務器機柜110臺，網(wǎng)絡機柜6臺，單臺服務器機柜功率8.8 kW，機房內(nèi)設置防靜電高架地板。主要工程內(nèi)容包括數(shù)據(jù)中心制冷空調(diào)系統(tǒng)、新風系統(tǒng)和排風系統(tǒng)的設計。

2 制冷空調(diào)及通風系統(tǒng)設計

2.1 設計參數(shù)

2.1.1 室外氣象參數(shù)

根據(jù)《實用供熱空調(diào)設計手冊》[1]，參照北京地區(qū)的氣象參數(shù)選取室外氣象參數(shù)，結果見表1。

表1 室外氣象參數(shù)

2.1.2 室內(nèi)氣象參數(shù)

《數(shù)據(jù)處理環(huán)境熱工指南》列出了數(shù)據(jù)中心1～4級所對應的環(huán)境要求。我國按照使用性質、管理要求及重要數(shù)據(jù)丟失或網(wǎng)絡中斷造成的損失或影響程度，將數(shù)據(jù)機房分為A、B和C三級[2]。數(shù)據(jù)中心機房的設計與建設以保證所有IT設備的不間斷運行為首要任務。同時，針對本項目制冷系統(tǒng)解決方案的設計，需要達到GB 50174-2008[3]的A級設計標準。因此，本文中的數(shù)據(jù)中心屬于A級機房，機房內(nèi)的溫度(23±1) ℃，相對濕度40%～55%，每小時溫度變化率小于5 ℃/h，且室內(nèi)不得結露。

2.1.3 通風換氣次數(shù)

為保證機房內(nèi)的正壓及人員新風量的要求，機房內(nèi)新風量按照每人40 m3/h選取，同時要維持機房與相鄰房間5 Pa的正壓，與外界房間10 Pa的正壓要求，二者取最大值。該項目中數(shù)據(jù)中心的通風換氣次數(shù)參見表2。

表2 換氣次數(shù)

2.2 負荷計算

機房的熱負荷主要來自以下兩個方面：

a) 機房內(nèi)——計算機設備、照明燈具、輔助設施及工作人員所產(chǎn)生的熱；

b) 機房外——外部進入的熱（如：從墻壁、屋頂、隔斷和地面?zhèn)魅霗C房的熱；透過玻璃窗射入的太陽輻射熱；從窗戶及門的縫隙滲入的風而侵入的熱；新風機補充新風帶進來的熱等）。

其中機房內(nèi)的計算機設備的發(fā)熱量占的比重最大[4]，約占機房總發(fā)熱量的60%～70%。總散熱中數(shù)據(jù)中心內(nèi)各項負荷所占的百分比如圖1所示。

圖1 數(shù)據(jù)中心各項負荷占總熱負荷的百分比

為了確定在該機房內(nèi)主要設備所需恒溫、恒濕環(huán)境下的機房空調(diào)設備的總負荷，本文根據(jù)計算機房系統(tǒng)內(nèi)設備特點和環(huán)境情況，采用精確計算法來確定各區(qū)域熱容量。經(jīng)過計算，確定機房總制冷負荷為1,020 kW。數(shù)據(jù)中心單位面積能耗可由機房總能耗除以機房面積得到[5]。

2.3 制冷系統(tǒng)的確定

該數(shù)據(jù)中心單臺機柜功率密度為8.8 kW，屬于高密度數(shù)據(jù)中心，制冷空調(diào)通風系統(tǒng)的設計原則為：在滿足設備溫濕度要求的基礎上，采用節(jié)能的手段確保數(shù)據(jù)中心制冷系統(tǒng)的穩(wěn)定性和連續(xù)性，實現(xiàn)不間斷制冷。

另外由于風冷和水冷的制冷效率很相近，選擇哪種形式主要考慮使用地區(qū)的現(xiàn)場條件。該項目在北京地區(qū)使用，現(xiàn)場水資源不多，而且北京地區(qū)晝夜溫差大，適合采用風冷的冷水機組。如果采用水冷冷水機組的話，還需要在設計過程中

單獨增加一套冷卻水的循環(huán)系統(tǒng)，包括冷卻水泵、冷卻塔和電子水處理儀等設備，這樣會增加項目初期的設備投資成本，因此基于以上設計原則，確定該數(shù)據(jù)中心采用風冷冷凍水型機房空調(diào)系統(tǒng)。選用風冷冷凍水機組，干冷器（干式冷卻器，主要用于乙二醇溶液散熱，由換熱盤管和風扇組成；乙二醇溶液在管內(nèi)流動，通過風扇強化乙二醇與外界環(huán)境的散熱，達到冷卻的目的）和一級泵變流量系統(tǒng)。該系統(tǒng)夏季通過冷凍水機組制取7 ℃的冷凍水，送到室內(nèi)的冷凍水型精密空調(diào)內(nèi)，從而給房間的IT設備制冷；冷凍水回水溫度為12 ℃，經(jīng)循環(huán)水泵返回冷凍水機組。冬季充分利用室外的低溫空氣冷卻循環(huán)冷凍水，可以實現(xiàn)壓縮機停機制冷，大大減少耗電量。過渡季節(jié)主要采用自然冷卻，冷量不足的部分由壓縮機制冷補充。當數(shù)據(jù)中心的空調(diào)系統(tǒng)斷電后，由ATS（轉換開關）主電路切換到另一路備用市政供電，冷凍水機組從通電后到正常運行需要10 min，為了保證系統(tǒng)的連續(xù)制冷，設計了蓄冷罐，儲存的冷水能滿足數(shù)據(jù)中心空調(diào)系統(tǒng)斷電后至機組重新啟動10 min間隔的制冷需要。

2.3.1 空調(diào)系統(tǒng)冷源設計

數(shù)據(jù)中心是耗能大戶，空調(diào)系統(tǒng)在能夠保證IT設備正常運轉的條件下，將在冷源的選擇上盡量選擇節(jié)能的方式。本項目充分利用北方氣候的特點，在冬季使用自然冷卻技術，降低系統(tǒng)的電源使用效率（Power usage effectiveness，PUE）值。PUE目前已經(jīng)成為國際上比較通行的數(shù)據(jù)中心電力使用效率的衡量指標，是數(shù)據(jù)中心消耗的所有能源與IT負載使用的能源之比。PUE值越小，說明數(shù)據(jù)中心用于通信設備以外的能耗越小、系統(tǒng)越節(jié)能。全球數(shù)據(jù)中心的平均PUE是2.0[6]，發(fā)達國家數(shù)據(jù)中心的PUE約為1.8，日本部分數(shù)據(jù)中心的PUE為1.5，Google的數(shù)據(jù)中心PUE低至1.2[7]。

為了實現(xiàn)數(shù)據(jù)中心的節(jié)能運行，獲得更少的PUE（PUE=數(shù)據(jù)中心的總能耗/IT設備能耗），因此應該充分利用免費的自然冷源。在春秋季節(jié)的晚上或者在冬季，充分利用室外的低溫空氣來對系統(tǒng)中的冷媒水進行自然冷卻，這樣可以大大減少壓縮機的功耗，從而降低系統(tǒng)的PUE值。

根據(jù)北京地區(qū)全年室外氣溫的分布（見圖2）可以計算出，全年可實現(xiàn)全部自然冷卻的時間占全年總運行時間的24%，部分自然冷卻的時間約占全年運行總時間的27%，全部機械制冷的時間約占全年總運行時間的49%。計算依據(jù)是北京市全年的室外氣象溫度。對配有自然冷卻的機組，當室外溫度低于10 ℃時，可以啟動部分自然冷卻；當室外溫度低于5 ℃時，可以啟動全部自然冷卻。百分比根據(jù)室外溫度所保持的時間占全年的運行時間之比計算所得。

圖2 北京全年不同室外溫度所占時間曲線圖

因此該系統(tǒng)采用3臺風冷螺桿式冷凍水機組（2用1備），每臺冷水機組制冷量為520 kW。2臺制冷量為500 kW的干冷器，冷凍水進口、出口溫度12 ℃～7 ℃。冷水機組和干冷器布置在1層室外平臺。每臺螺桿式冷凍水機組可以根據(jù)負荷實現(xiàn)25%～100%的調(diào)節(jié)。空調(diào)制冷系統(tǒng)原理圖見圖3。

為了實現(xiàn)節(jié)能和充分利用冬季的自然冷卻，采用干冷器與冷凍水機組串聯(lián)的形式，這樣可以實現(xiàn)以下三種工作模式。

1) 夏季，風冷冷凍水機組開啟，高溫的乙二醇溶液經(jīng)過冷凍水機組的蒸發(fā)器釋放熱量。

2) 冬季，充分利用室外低溫的空氣冷卻干冷器中的乙二醇溶液，冷凍水機組停機，實現(xiàn)無壓縮機運行制冷的自然冷卻模式。

3) 過渡季節(jié)，當外界環(huán)境溫度比冷凍水的回水溫度低3 ℃時，可以開啟干冷器進行自然冷卻，不足的冷量通過風冷冷水機組補充；當外界環(huán)境溫度比冷凍水回水溫度低10 ℃時，可以完全實現(xiàn)自然冷卻，冷凍水機組停機。

2.3.2 冷凍水系統(tǒng)設計

圖3為空調(diào)制冷系統(tǒng)原理圖。空調(diào)系統(tǒng)采用7 ℃的冷凍水供水，12 ℃冷凍水回水的冷凍水循環(huán)系統(tǒng)。系統(tǒng)中采用1次泵變流量設計，可以滿足隨著數(shù)據(jù)中心中IT負載的變化而自動調(diào)節(jié)流量。每個空調(diào)的支管上設置平衡閥，方便調(diào)試時調(diào)節(jié)系統(tǒng)管路上的水壓平衡。

為了實現(xiàn)數(shù)據(jù)中心的安全和連續(xù)制冷，在數(shù)據(jù)中心中，IT設備都有不間斷電源（UPS）來保證供電，UPS將在市政用電斷電后為IT設備供電直到發(fā)電機啟動。但是空調(diào)系統(tǒng)的部件往往都不接UPS，甚至不接備用發(fā)電機。而高密度機房設備發(fā)熱量巨大，當斷電時，機房溫度會在(30～120) s內(nèi)迅速上升至使數(shù)據(jù)設備停機的溫度，導致數(shù)據(jù)設備停機或損壞。

為了保證系統(tǒng)的穩(wěn)定性，避免系統(tǒng)電源故障停電后至冷凍水機組啟動前的過熱現(xiàn)象，系統(tǒng)中必須設有安全裝置。結合本項目，水系統(tǒng)的水泵連接了UPS可以保證冷媒水持續(xù)循環(huán)，當市政用電斷電后，冷水機組通電重啟需要10 min，因此系統(tǒng)設計了能提供10 min時間內(nèi)數(shù)據(jù)中心所需冷量的蓄冷水罐。蓄冷罐的容積為32 m3，蓄冷罐與整個水系統(tǒng)串聯(lián)連接。蓄冷罐在系統(tǒng)正常運行時將7 ℃的冷水儲存在罐體中，當系統(tǒng)斷電，冷水機組停止運行時，蓄冷罐的進水閥關閉，旁通閥門打開，將原存儲的低溫冷水注入到行級空調(diào)中，保證制冷溫度。

圖3 空調(diào)制冷系統(tǒng)原理圖

2.3.3 室內(nèi)精密空調(diào)的設計

目前室內(nèi)的冷凍水型精密空調(diào)主要有兩種形式，一種是傳統(tǒng)的地板下送風的房間級空調(diào)，另外一種是水平送風的行級制冷空調(diào)。空調(diào)對溫度和濕度的測量和控制比較精密。空調(diào)器在正常使用條件下，通過空調(diào)控制邏輯檢測回風溫度，調(diào)節(jié)冷凍水調(diào)節(jié)閥，控制送風溫度。溫度波動超限將發(fā)出遠程報警信號。當溫度設定在15 ℃～30 ℃范圍時，機組溫度控制精度為±1 ℃；溫度變化率應小于5 ℃/h。濕度的控制有兩種形式；當濕度低于設定值時，啟動機組自帶的電極式加濕罐進行加濕；當濕度達到設定值時，加濕罐停止工作。如果檢測濕度大于設定值，則采用制冷除濕，或者電加熱補償除濕。

房間級空調(diào)具有市場占有率高，公眾認知度高等優(yōu)點。但是房間級空調(diào)地板下送風的風量受到限制，一臺1 kW的IT負載機柜所需的送風量計算如下：

式中：

Q ——制冷量，kW；

ρ ——空氣密度，1.2 kg/m3；

cp——1.01 kJ/( kg·k)；

G ——風量，m3/h；

t2——服務器出口溫度，℃；

t1——服務器進口溫度，℃。

經(jīng)過計算，當服務器的進出口溫差為11 ℃時，

Design of Refrigeration and Air Conditioning System for High Density Data Center

WANG Li-xin*1, CHANG Lin2
(1-Schneider Electric IT (China) Co., LTD, Beijing 100102, China; 2-Chinese Association of Refrigeration, Beijing 100142, China)

Based on a data center project in Beijing, the design idea and method of high density data center were introduced, and the problems on the horizontal air supply, energy saving, natural cooling and continuous cooling for the air conditioning system in high density data center were discussed. The results show that, the methods by using the cooling form with horizontal air supply close to the heat source assisted cooling and hot channel layout, water pump connecting with uninterruptible power supply (UPS) and cold storage tank were suggested to ensure the annual uninterrupted refrigeration for the high density data center.

Air conditioning system; Refrigeration; Data center; High density

3 結論

10.3969/j.issn.2095-4468.2015.01.202

*王麗欣（1980-）女，工程師，碩士。研究方向：機房精密空調(diào)系統(tǒng)，船舶空調(diào)通風系統(tǒng)。聯(lián)系地址：北京市朝陽區(qū)望京東路6號施耐德電氣大廈，郵編：100102。聯(lián)系電話：010-84346699。E-mail：wanglixin04@126.com。