大型數據中心空調系統后評估

楊 玲，桂智彪

（1.中通服咨詢設計研究院有限公司，江蘇 南京 210019；2.中國移動通信集團 貴州有限公司，貴州 貴陽 550004）

0 引 言

為了不斷優化數據中心空調系統方案，節省數據中心能耗，本文對已竣工的某大型數據中心空調系統進行后評估，對比設計方案與現場實際得出此數據中心空調系統的后評估結論，并提出改進措施。

1 基本概況

該數據中心位于貴安新區馬場鎮川心村，包括數據中心機樓、制冷機房、倉儲用房以及營銷維護支撐用房4個單體。其中，數據中心機樓為兩層建筑，建筑面積為24 500 m2，主要包括數據機房及其配套用房；制冷機房為單層建筑，建筑面積為2 214 m2，主要包括水冷機組機房及制冷專用高壓配電室。

2 建設內容

2.1 方案設計

2.1.1 裝機率和運行負載設計

該數據中心共32個數據機房，每個數據機房有110個機架，共計3 520個機架。其中，自有業務機架1 660個，外租IDC機架1 860個。設計IT用電負荷17 248 kW，單機架平均功耗4.9 kW。

2.1.2 空調冷源設計

該數據中心設計空調總制冷所需冷負荷為19 414 kW，共需配置4臺2 000 RT離心式冷水機組，單臺機組額定制冷量為7 032 kW，機組按照N+1的原則配置。配置流量1 440 m3/h且功率為60 kW的冷卻塔4臺。設計配置換熱量為7 000 kW的板式換熱器4臺，一次側8.5/14.5 ℃，二次側10/16 ℃。為充分利用冬季或過渡季節的室外冷源，在室外低溫時段（8.5 ℃以下），全部或部分冷水機組停止工作，利用自然冷源由水-水板式換熱器替代其進行制冷，熱量通過冷卻塔散出[1]。為滿足15 min應急蓄冷需求，設計應急蓄冷水量570 m3，采用高位開式蓄冷罐。為保證12 h冷卻塔補水需求，設計蓄水量600 m3。此外，保證水處理裝置的防垢率≥95%，抑制菌藻率≥90%。設計4臺冷凍水泵，單臺參數為流量1 400 m3/h，揚程40 m，功率200 kW。同時設計4臺冷卻水泵，單臺參數為流量1 500 m3/h，揚程30 m，功率185 kW。

2.1.3 空調末端與管路設計

根據不同機房業務及客戶需求，該數據中心空調末端配置制冷量90 kW冷凍水型空調160臺（下送風112臺，上送風48臺）、制冷量30 kW冷凍水列間空調180臺以及制冷量6.5 kW熱管背板空調614臺。其中，冷凍水型機房專用空調主要用于自有業務，相比于風冷空調，采用水作為散熱介質，提高了能源使用效率，能更好地滿足機柜的冷量需求。冷凍水列間空調主要用于IDC業務客戶，其具有單機柜功耗高且送風溫度/濕度精確的特點，能夠滿足高密度高功耗機柜冷量需求。而熱管背板空調也主要用于IDC業務客戶，其具有占地面積小和高效節能的優點，同樣能夠滿足高密度高功耗機柜冷量需求?？紤]到機房的安全要求，空調管路采用兩套管路系統，管路的冷凍水系統均采用閉式循環系統，由立管和水平管組成，均采用同程式供回水方式。兩套獨立的冷卻水系統采用開式循環系統，冷卻塔與冷卻水管并聯，兩路補水分別接入市政給水管網和冷卻水蓄水池[2-5]。

2.1.4 空調群控與配電設計

采用中央空調管理系統及軟件，通過模糊控制柜下達指令，由現場冷凍水循環泵智能控制柜、冷卻水循環泵智能控制柜、冷卻塔風機智能控制柜、閥門智能控制柜、溫度傳感器、流量傳感器以及電力監測儀等實現空調系統的智能控制、一鍵啟停及技術參數監測等。對于高壓冷凍機組采用10 kV供電，對于水泵房和空調水泵及冷卻塔等設備采用低壓供電[6]。

2.1.5 PUE值設計

機房總用電負荷24 524 kW，其中IT負荷17 248 kW，空調設備（主機、水泵以及末端等）負荷約6 176kW，其他負荷1 100 kW。PUE=24 524 kW/17 248 kW≈1.42，故設計PUE值為1.42。

2.2 實際建成效果

2.2.1 裝機率和運行負載

該數據中心實際已裝機架2 172個，其中自有業務機架1 096個，外租IDC機架1 076個。IT實際用電負荷為5 552 kW，自有業務實際運行單機架平均功耗2.58 kW，外租IDC實際運行單機架平均功耗2.85 kW。

2.2.2 空調冷源

實際安裝4臺頓漢布什7 032 kW制冷量離心式高壓冷水機組，目前運行2臺，單臺機組年平均用電量為1 250 kW（不含冬季板換運行），機組按照N+1原則配置。同時安裝4臺流量1 400 m3/h的馬利冷卻塔和4臺艾克森板式換熱器，換熱器單臺換熱量為7 000 kW，一次側10.5/15.5 ℃，二次側12/17 ℃。為充分利用冬季以及過渡季節室外冷源，在室外低溫時段（10.5 ℃以下），全部或部分冷水機組停止工作，利用自然冷源由水-水板式換熱器替代其進行制冷，熱量通過冷卻塔散出。此外，實際安裝1臺體積573 m3的北京英灃特蓄冷罐、4臺凈元廣譜電子水處理器、1套沛德全自動水處理器、4臺格蘭富冷凍水泵以及4臺格蘭富冷卻水泵。其中，冷凍水泵流量1 400 m3/h、轉速1 488 r/min且揚程為40 m，冷卻水泵流量1 550 m3/h、轉速1 488 r/min且揚程為30 m。

2.2.3 空調末端與管路

數據機房實際安裝了制冷量90 kW的冷凍水型機房專用空調160臺（下送風112臺，上送風48臺）、制冷量30 kW的冷凍水列間空調180臺以及制冷量6.5 kW的熱管背板空調614臺，如圖1所示。空調管路嚴格按照《通風與空調工程施工質量驗收規范》（GB 50243—2016）進行施工。

圖1 空調末端現場圖

2.2.4 空調群控與配電

實際采用匯通華城BKS2008中央空調管理系統及軟件，通過BKS2008模糊控制柜下達指令，由現場冷凍水循環泵智能控制柜、冷卻水循環泵智能控制柜、冷卻塔風機智能控制柜、閥門智能控制柜、溫度傳感器、流量傳感器以及電力監測儀等實現空調系統的智能控制、一鍵啟停及水溫或流量等技術參數得監測等。水泵房、空調水泵及冷卻塔等設備采用2臺1 250 kVA的變壓器供電（1+1系統）。冷凍水泵需要UPS保障，由UPS輸出屏通過母線給冷凍水泵供電，冷卻水泵和屋頂冷卻塔風機采用市電保障?？照{系統現場效果如圖2所示。

圖2 空調系統現場效果圖

2.2.5 PUE實際值

根據數據中心監控，實際運行總負荷8 560 kW（不含充電），其中IT負荷5 552kW，PUE=8560 kW/5 552 kW≈1.5，即實際運行PUE值約為1.5。

3 效果評估

3.1 裝機率和運行負載評估

目前業務部門機柜布局分散，機柜內服務器安裝數量少，導致機房負載率較低，機柜功耗未達到設計的滿配值。

3.2 空調冷源評估

現網運行兩臺水冷主機，單臺主機負載率約55%，提供制冷量2 000 RT。經過計算，目前運行的兩臺空調機組已滿足數據中心使用需求，故輪流運行2臺機組可進一步降低PUE值。

3.2.1 冷水機組評估

抽檢1#冷水機組，根據調研計算出空調系統正常運行狀態下冷水機組的輸入功率、輸出冷量以及冷水機組的能效比，具體見表1。

表1 機組單獨運行時性能測量數據表

目前冷機的額定能效比為6，由上表可知，50%負荷下的冷機能效比實測數據為11.06，屬于正常運行范圍，未出現喘振。

3.2.2 冷卻水泵和冷凍水泵評估

測試1#冷卻水泵和1#冷凍水泵的流量、揚程以及輸入功率，具體結果見表2。

表2 測試工況下水泵工作參數表

由表2可知，冷凍水泵和冷卻水泵的實測運行效率分別為41%和42%。一般水泵最佳節能運行效率為70%～80%，目前水泵運行效率低于70%，是造成PUE值偏高的原因之一。

3.2.3 冷卻塔與蓄冷罐評估

冷卻塔安裝和調試都按照設計進行，冷卻塔在冬季（11月中旬至次年2月中旬）使用自然冷源，沒有除冰問題。蓄冷罐安裝和調試都按照設計進行，初期采用冷水機組與蓄冷罐交替運行模式，使冷凍水溫波動維持在一定范圍（8～17 ℃)，蓄冷罐平時帶載時未發現問題，模擬停電測試，已知最長測試時間為45 min，機房空調制冷無異常。

3.2.4 板式換熱器

板式換熱器一次側及二次側進水溫度比設計值提高2℃，回水溫度比設計值提高1℃。

3.2.5 水處理裝置

未使用水冷機組加藥裝置，在線清洗裝置使用效果一般，主機冷凝器有一定量水垢，定壓補水裝置效果良好。

3.2.6 其他

分集水器冷源配套設備運行良好。

3.2.7 空調管路

管路系統的安全性高。

3.3 空調末端與管路評估

針對不同的業務和單機架功耗需求，該數據中心機房采用了冷凍水型機房專用空調（地板下送風）、冷凍水列間空調以及熱管背板空調，3種空調末端機房占比如圖3所示，PUE能效因子及投資對比如圖4所示。

圖3 3種空調末端機房占比

圖4 3種空調末端PUE能效因子及投資對比

這3種空調末端中，熱管背板空調初期投資最高但節能效果最好，冷凍水列間空調效果與熱管背板接近，冷凍水型機房專用空調初期投資最低但節能效果最差，此外空調群控運行良好。而空調管路冷卻塔閥門過多，維護量較大，兩臺并聯塔之間缺少平衡閥，冷卻塔水位不易調節。

3.4 PUE評估

空調冷源采用高壓水冷離心機組、板換、變頻控制以及群控等節能技術，空調末端根據不同業務類型采取合適的節能技術，大樓空調系統運行效果良好，實際PUE值為1.5，接近設計值1.42。

4 改進措施及建議

4.1 機電方案研發設計階段

方案規劃階段，合理規劃機柜的安裝，機房可分批并分區域啟用，根據不同送風方式等將不同功率密度的機柜分區域規劃，分區域供冷，提高冷量利用率，從而增加機柜的可裝機率。

該數據中心采用的水冷冷凍水系統高效節能且穩定性高，但需要設置室內制冷站，耗水量大。與傳統水冷冷凍水系統相比，蒸發冷卻冷凍水系統無需冷卻水泵及冷卻塔，系統配置簡單，可節省室內制冷站面積，增加機架數量，且利用自然冷源的時間更長，節水效果較好。除此之外，其在低溫季節可以充分利用室外低溫空氣對空調冷凍水進行自然冷卻，減少壓縮機機械制冷的運行時間，節能的同時提高運行可靠性，延長設備壽命，因此建議后期將其作為數據中心空調冷源系統的優化方案。根據工藝方案規劃、建設規模和進度計劃，合理分期建設空調冷水系統。針對分期建設的空調系統，可采用冷源設備分批建設+冷水主管路系統一次性建設+預留空調設備接管閥門的方式。空調管路應采用1+1冗余備份，確保高可用性?？照{配電應考慮后續擴容，預留接口。合理部署服務器，減少物理服務器，減少存儲設備和相關基礎設施。提高UPS及變壓器的負載率，使其工作在最佳負載率狀態，機房冷熱通道分離，根據實際熱負荷調節空調數量，提高空調送風溫度。

針對高熱密度機柜則充分利用自然冷源，采用高效制冷設備和新型空調末端解決高熱密度等大型服務器散熱問題，同時提高機房利用率，降低空調系統的運行能耗，進一步提升空調冷水循環水溫至15/21 ℃。此外，建議在后期項目建設和運行中選用高效經濟的空調系統設備，提高能源利用率。

4.2 施工階段

考慮分期建設情況，為了利于后期擴容，將支路管路和最遠末端管路短接或旁通。對管路水流方向有明顯標識，閥門建設時應有明確編號標識。對于空調群控，建議分期分區域建設群控系統，不同期或區域的群控系統之間應具備互相通信和讀取數據的功能。

4.3 運行維護階段

盡可能提高空調冷源溫度，延長自然冷卻時間，并提高制冷機的COP值。末端空調維護量大，熱管背板空調風扇故障率高，沒有過濾網，進水閥建議改為根據供回水溫度自動調節。此外，需定期檢查管路密封性和保溫性能，定期校驗采集數據的準確性，保障控制系統的穩定運行，對于缺少的測點要盡快補全。按照配電設備維護規程，定期檢查空調配電設備并進行高壓預防性試驗。根據實際熱負荷調節空調數量，提高空調送風溫度，機柜和服務器合理擺放，調節送風速度與地板出風速度，同時規劃好回風路徑，防止熱風回流，冬季根據天氣情況及時將冷源切換至板換工作。除此之外，還應系統且全面對維護人員進行培訓，使其掌握設備的日常操作、常見維護處置方法以及應急處理等技能或知識。

5 結 論

本系統空調冷源采用10 kV高壓水冷離心機組，冷卻水系統配置水-水節能板換，冬季或過渡季節利用冷卻塔免費制冷，減少了空調運行功耗，延長了制冷主機的使用壽命，降低噪聲。冷卻塔風機、水泵以及末端精密空調的EC風機采用變頻技術，實現部分負荷時的高效運行。配置冷源系統群控，可實時讀取當前機樓冷源設備運行工況，能夠實現主機系統加減機運行策略。自然冷卻或機械制冷等不同制冷模式的切換運行，使整個系統在任何負荷情況下能達到優化效果，保證各設備協調可靠運行。系統建設效果良好，與設計相符，能滿足業務發展需求，值得在后期項目中繼續借鑒。