淺談大型數(shù)據(jù)中心制冷節(jié)能與控制

邱京昊

QIU Jing-hao

（中經(jīng)云數(shù)據(jù)存儲科技（北京）有限公司）

(Zhong Jing Cloud Data Storage Technology (Beijing) Co., Ltd.)

1 引言

隨著經(jīng)濟形勢的迅猛發(fā)展，大數(shù)據(jù)、云計算的興起，以及“互聯(lián)網(wǎng)+”、智慧城市、5G以及人工智能時代的到來，將進一步促發(fā)海量數(shù)據(jù)的生產(chǎn)、存儲和運營。由于需求龐大且與日俱增，數(shù)據(jù)中心正在發(fā)展成為一個具有戰(zhàn)略重要性的產(chǎn)業(yè)，成為新一代信息產(chǎn)業(yè)的重要組成部分。數(shù)據(jù)中心建設(shè)呈現(xiàn)集中化、大型化的趨勢，越來越多的數(shù)據(jù)中心開始向能源集中的地方匯聚，越來越多的超大型數(shù)據(jù)中心園區(qū)不斷建成，對于能源的利用是一項極大的挑戰(zhàn)。

2 數(shù)據(jù)中心的能源消耗

關(guān)于數(shù)據(jù)中心能效，現(xiàn)階段比較有影響的是綠色網(wǎng)格組織（Green Grid）提出的能效指標(biāo)：電能利用效率PUE（Power Usage Effectiveness）。目前PUE已經(jīng)成為衡量數(shù)據(jù)中心能耗的最重要的指標(biāo)：PUE=所有設(shè)備的電耗/IT設(shè)備的功率。在保證數(shù)據(jù)中心穩(wěn)定、安全運行的同時，如何提高能源利用率，降低PUE，已成為眾多大型數(shù)據(jù)中心的目標(biāo)之一。

一個典型的數(shù)據(jù)中心的能耗分布大概如下：IT設(shè)備占總能耗的52%；空調(diào)系統(tǒng)占38%；UPS及配電系統(tǒng)的損耗大概占9%；其余的電力照明系統(tǒng)約為1%。

對于大型數(shù)據(jù)中心而言，采用集中式水冷冷水系統(tǒng)進行制冷更節(jié)能、更經(jīng)濟、也更利于集中管理，是大型數(shù)據(jù)中心中主流的制冷方式。水冷冷水空調(diào)系統(tǒng)的能耗比例大約為：壓縮機的能耗占到了54%，水泵占18%，冷卻塔占9%，精密空調(diào)占19%。

3 數(shù)據(jù)中心制冷節(jié)能技術(shù)

3.1 水側(cè)自然冷卻技術(shù)

在我國北方地區(qū)，由于冬季和過渡季室外溫度較低，可以利用室外冷源對機房進行降溫。水側(cè)自然冷卻技術(shù)是通過冷卻塔在冬季對冷卻水進行降溫后，再通過板式換熱器與冷凍水進行冷量交換后，接入機房專用精密空調(diào)，進行制冷。水側(cè)自然冷卻是目前大型數(shù)據(jù)中心中最常使用的節(jié)能技術(shù)。

3.1.1 提高冷凍水供水溫度

在許多大型數(shù)據(jù)中心的設(shè)計中，基本都會采用冷熱通道封閉的節(jié)能措施，冷通道設(shè)計溫度通常為18℃±2℃，以保證服務(wù)器的工作環(huán)境。但是在新國標(biāo)：《電子信息機房設(shè)計規(guī)范》GB50174-2017中規(guī)定，冷通道或機柜進風(fēng)區(qū)域的溫度為18℃～27℃；在美國國家標(biāo)準(zhǔn)學(xué)會頒布的《數(shù)據(jù)中心電信基礎(chǔ)設(shè)施標(biāo)準(zhǔn)》TIA942-2010中規(guī)定計算機房環(huán)境溫度要求為18℃～27℃。服務(wù)器完全可以工作在比18℃更高的環(huán)境溫度中，所以提高冷凍道的設(shè)計溫度是最直接的節(jié)能手段。

為保證冷通道18℃±2℃的設(shè)計，冷凍水的供水溫度需保證不高于12℃，建議將冷凍道的溫度提高至23℃，這樣冷凍水的供水溫度可提升至16℃。提升冷凍水的供水溫度，可以大幅提高冷凍機的運行效率。某品牌廠家1000RT（制冷量為3516kW）的冷凍機在冷卻水溫度為32℃/37℃，冷凍水出水溫度為12℃的工況數(shù)據(jù)，在此狀態(tài)下冷凍機的滿載COP 為 6.574。 同 樣 1000RT（3516kW）的冷凍機在冷卻水溫度為32℃/37℃，冷凍水出水溫度為16℃時的工況數(shù)據(jù)，滿載COP為7.754。由于冷凍水溫度的提高，在同樣的冷卻水溫度下，冷凍機的效率在滿負載的狀態(tài)下，運行效率可以提高17%。

以一個10000組機架，3kW/Rack功率密度的大型數(shù)據(jù)中心而言，滿載情況下大約需要1000RT的冷凍機9-10臺進行整個數(shù)據(jù)中心的制冷。根據(jù)某冷機廠家提供的數(shù)據(jù)，在冷凍水供水溫度為12℃時，冷凍機輸入功率為535kW，在冷凍水供水溫度為16℃時，冷凍機的輸入功率為453kW，1h即可節(jié)約電量10*（535-453）=820kW ·h。

在上文中提到，數(shù)據(jù)中心最常用的節(jié)能技術(shù)為自然冷卻技術(shù)，提高冷凍水溫度后，可以大幅提高自然冷卻時間。有研究表明[1]，在北京地區(qū)冷凍水供水溫度由12℃上升到15℃，可用完全自然冷卻時間增加了706h，仍然以上述數(shù)據(jù)中心為例，全年可節(jié)省電量約三百多萬千瓦時的電能。

3.1.2 細化控制參數(shù)，充分利用預(yù)冷狀態(tài)

以北京地區(qū)為例，除了完全自然冷卻，在過渡季，部分自然冷卻時間為1287小時[1]，部分自然冷卻需要冷機和自然冷卻同時運行。首先同樣的冷凍水供水溫度下，冷卻水溫度越低，冷凍機的效率也會越高。根據(jù)上面廠家提供的數(shù)據(jù)，同樣冷凍水供水溫度為7℃時，冷卻水進水溫度由19℃降低到12.8℃時，會使冷機效率大幅提高，COP由8.12漲至9.96。但是過低的冷卻水溫度可能會導(dǎo)致冷凍機無法啟動，大部分的冷凍機冷卻水進水溫度不能小于18℃；另外，大型離心式冷水機組，在負載過低的情況下會生喘震，無法正常運行。所以如何能在最大限度下利用自然冷源，又可以使冷凍機正常運行，就需要細化控制參數(shù)，來解決這兩個突出的問題。

圖1 冷卻水系統(tǒng)簡圖

一個典型的數(shù)據(jù)中心冷凍機冷卻水系統(tǒng)簡圖如圖1所示，以冷凍水運行工況16℃/21℃為例。當(dāng)系統(tǒng)進入部分自然冷卻制冷模式時，冷卻水側(cè)的電動閥門CV4、A2開啟，CV3、B2關(guān)閉。冷凍水側(cè)的閥門切換后，使冷凍水全流量通過板式換熱器后進入冷凍機。將板換冷凍水側(cè)的出水溫度設(shè)定為17.8℃，此參數(shù)優(yōu)先通過冷卻塔風(fēng)機的變頻控制，這樣既可以保證冷凍機的負載維持在35%以上，解決了因負載過低導(dǎo)致停機的問題，同時也保證了一個比較低的冷卻水溫度，提高冷機的運行效率。

根據(jù)冷機最小冷凝器壓力(由冷機自帶的控制器提供該信號點)，控制電動調(diào)節(jié)閥CV3、CV4的開度，調(diào)節(jié)進入冷凝器的冷卻水量，保證壓縮機正常工作所需的最小壓差，以便使冷水機組正常運行。

3.2 就近制冷、提高送風(fēng)效率

常規(guī)數(shù)據(jù)中心的機房氣流組織采用架空地板下送風(fēng)的設(shè)計，精密空調(diào)布置在機房的一側(cè)或兩側(cè)（送風(fēng)距離超過15m），大部分具有單獨的空調(diào)間，對機房進行降溫。這樣的設(shè)計送風(fēng)距離較遠，雙側(cè)送風(fēng)會超過7.5m，單側(cè)最遠會達到13m～14m。

3.2.1 列間空調(diào)

采用列間空調(diào)制冷，制冷模式由集中制冷到分布式制冷，實現(xiàn)針對高密度機柜的就近制冷和精確制冷。列間空調(diào)制冷改變了常規(guī)的數(shù)據(jù)中心下送、上回的形式，而是采用了水平送、回風(fēng)，減小了傳輸距離，冷風(fēng)就近送到需要的IT設(shè)備位置，從而減小風(fēng)阻，降低風(fēng)機功耗。

列間空調(diào)內(nèi)部同樣配置了變頻風(fēng)機和水量調(diào)節(jié)閥，可動態(tài)地跟蹤服務(wù)器的功耗變化，調(diào)節(jié)制冷的輸出量，提高末端空調(diào)的制冷效率，減少列間空調(diào)無效冷量及電力輸入，最大限度做到精確化供冷。

3.2.2 背板冷卻技術(shù)

背板冷卻技術(shù)可以有效解決機房高密度以及機柜局部過熱的問題[2-3]，背板空調(diào)主要指的是安裝在機架背面的冷卻盤管，根據(jù)其使用的載冷劑不同，可以分為水冷背板與熱管背板等不同類型的背板等。

采用背板冷卻技術(shù)，在節(jié)能方面存在一定的優(yōu)勢：①背板為無風(fēng)扇運行，靠服務(wù)器機柜風(fēng)扇進行氣流換熱，無耗能部件；②更貼近IT服務(wù)器機柜，制冷效率更高；③節(jié)約空間，在同等面積的情況下，采用背板冷卻，可布置更多的機柜。

3.3 風(fēng)側(cè)自然冷卻

為了降低PUE，各種新技術(shù)也在不斷地被應(yīng)用在數(shù)據(jù)中心中。如何更多的應(yīng)用自然冷源成為的主要的技術(shù)方向。風(fēng)側(cè)自然冷卻技術(shù)相對于前文提到的水側(cè)自然冷卻技術(shù)，減少了能量轉(zhuǎn)換和傳遞的環(huán)節(jié)，節(jié)能效果更佳直接和顯著。雅虎公司在美國的“雞舍”數(shù)據(jù)中心，采用了風(fēng)側(cè)自然冷卻技術(shù)，開放的風(fēng)墻可以使空氣進入機房中，對服務(wù)器進行冷卻，一年中百分之九十的時間利用室外空氣冷卻，全年綜合PUE可以低至1.08。

3.3.1 直接風(fēng)側(cè)

水側(cè)自然冷卻系統(tǒng)通常需要室外濕球溫度低于6℃，才能保證冷卻塔的出水溫度滿足自然冷卻的水溫要求。而直接風(fēng)側(cè)自然冷卻，只要室外天氣參數(shù)滿足機房需求的18℃～27℃，相對濕度滿足30%～80%即可直接采用室外自然風(fēng)對機房進行降溫冷卻。直接風(fēng)側(cè)自然冷卻的氣流組織圖大致如圖2所示：

圖2為100%新風(fēng)自然冷卻運行工況的原理圖，當(dāng)室外溫度過低時，還可以通過風(fēng)閥的調(diào)節(jié)，進入混風(fēng)模式，機房的熱回風(fēng)與新風(fēng)混合后，滿足機房的需求后送入機房區(qū)內(nèi)；當(dāng)室外溫度過高或者空氣質(zhì)量無法滿足條件時，可關(guān)閉新風(fēng)閥門，開啟冷凍機制冷模式，來滿足機房需求。

雖然風(fēng)側(cè)自然冷卻的方式會大大降低PUE，但是室外空氣的質(zhì)量也大大影響使用的效果與應(yīng)用的可行性。在我國，雖然北方地區(qū)的氣溫比較適合這種方式，但空氣質(zhì)量無法滿足數(shù)據(jù)中心的使用需求。

國際自動化學(xué)會 (ISA) 標(biāo)準(zhǔn)71.04將環(huán)境危害等級分為：G1，G2，G3及GX級，為評估環(huán)境中潛在的氣體腐蝕程度提供了依據(jù)。G1級是良好而GX 級是最嚴(yán)重。空氣中的水，還有硫離子、氯離子、氮氧離子以及氧氣，都會對服務(wù)器上的金屬元件產(chǎn)生不同程度的腐蝕，以及加速老化的作用。另外、數(shù)據(jù)中心建設(shè)在沿海地區(qū)，附近包括燃煤工廠、化工廠均會惡化數(shù)據(jù)中心附近的環(huán)境。圖3是北京的空氣質(zhì)量對應(yīng)的等級，根據(jù)多個腐蝕性測試結(jié)果表明[7]，大量的新風(fēng)進入機房內(nèi)，會威脅IT設(shè)備的穩(wěn)定運行。

在應(yīng)對IT設(shè)備的腐蝕上，大致有三個措施：①使用空氣過慮技術(shù)；②優(yōu)化PCB板的設(shè)計；③使用防腐涂層。絕大多數(shù)的用戶不會選擇定制的服務(wù)器，所以使用空氣過慮技術(shù)成為了大多數(shù)采用全新風(fēng)自然冷卻數(shù)據(jù)中心的首選技術(shù)[8]，但是采用化學(xué)過濾器會大大增加數(shù)據(jù)中心的運維成本，所以解決有害氣體腐蝕威脅的另一種思路，是應(yīng)用間接風(fēng)側(cè)自然冷卻空調(diào)系統(tǒng)。

3.3.2 間接風(fēng)側(cè)

間接風(fēng)側(cè)自然冷卻技術(shù)是近幾年宣傳推廣比較多的節(jié)能技術(shù)之一，間接蒸發(fā)冷卻技術(shù)，是利用一側(cè)空氣和水直接接觸蒸發(fā)冷卻產(chǎn)生的冷量對另一側(cè)空氣進行等濕降溫。經(jīng)過間接蒸發(fā)冷卻后,空氣的溫度降低, 但濕度保持不變,送風(fēng)溫度可以更低[9]，并且避免了大量新風(fēng)進入機房，減少了服務(wù)器的腐蝕問題。

間接蒸發(fā)冷卻技術(shù)與傳統(tǒng)的數(shù)據(jù)中心相比較，在PUE和水耗量（WUE）上都有比較大的優(yōu)勢，只不過設(shè)備體積龐大，受到場地限制，目前沒有大規(guī)模的應(yīng)用。

圖2 直接風(fēng)側(cè)冷卻原理圖

圖3 北京的空氣質(zhì)量等級

4 結(jié)束語

隨著電子產(chǎn)業(yè)的發(fā)展，IT設(shè)備對運行環(huán)境的適應(yīng)性越來越強，高溫服務(wù)器的應(yīng)用將推動數(shù)據(jù)中心冷卻系統(tǒng)更加節(jié)能。目前經(jīng)過定制的高溫服務(wù)器已經(jīng)能在35℃進風(fēng)條件下持續(xù)穩(wěn)定運行，這意味著廣大的北方地區(qū)大部分時間無需機械制冷。隨著高溫服務(wù)器的進一步發(fā)展，進風(fēng)溫度40℃條件下穩(wěn)定運行的服務(wù)器也許不久將成為現(xiàn)實，屆時，數(shù)據(jù)中心制冷系統(tǒng)將實現(xiàn)全年100%自然冷卻。

［1］張素麗. 數(shù)據(jù)中心冷水系統(tǒng)自然冷卻節(jié)能分析［J］.暖通空調(diào),2016,46(5):80-83.

［2］劉書浩 張海濤 黃良趙等. 數(shù)據(jù)中心熱管背板空調(diào)應(yīng)用實測研究——機房空氣流場分析［J］.制冷與空調(diào),2015,15(2):51-56

［3］劉書浩 張海濤 郭佳哲等. 數(shù)據(jù)中心熱管背板空調(diào)應(yīng)用實測研究——系統(tǒng)不平衡運行分析［J］.制冷與空調(diào),2015,15(3):22-25