侯曉雯,李程貴
(中國移動通信集團內蒙古有限公司,內蒙古 呼和浩特 010010)
大數據、云計算以及物聯網等高新技術產業正在推動著全球網絡流量飛速增長。信息化催生行業發展新需求,引領著大規模數據中心的建設。目前,全世界99%的網絡流量與數據中心有關[1]。近10年,順應云計算的發展趨勢,數據中心進入快速發展階段。然而,數據中心的能耗問題引起了各界的廣泛關注。PUE(Power Usage Effectiveness,電源使用效率)作為數據中心電力使用效率的衡量指標,是指數據中心總能耗與IT負載總能耗之比[2]。據權威機構統計,數據中心運營成本中,電費成本占比約64%,PUE值每降低0.1,電費平均下降約7%。大型數據中心能耗高,需要行之有效的節能管理。
數據中心的能耗結構中,空調系統成為除IT設備功耗之外的第二大能耗系統。因此,降低空調系統能耗成為最有效的節能方案[3]。因此,將針對目前各大數據中心空調系統中存在的能耗浪費問題,提出充分利用自然冷源、提升制冷設備自身能效以及優化空調氣流組織等方法降低系統能耗,實現真正意義上的綠色節能數據中心。
能耗管理對于數據中心而言,猶如一條呈正態分布的長尾曲線。曲線的頭部由IT設備能耗、空調能耗、電源能耗、建筑、消防及智能化能耗等“大指標”組成,曲線的尾部則是由機柜位置部署、氣流組織分布、機柜距離以及系統維護管理等無數“小指標”組成。數據中心能耗管理長尾曲線,如圖1所示。

圖1 數據中心能耗管理長尾曲線
數據中心既要滿足高度集中的需求,又要承擔綠色環保的義務。因此,如何提升能源使用效率,打造高效節能的數據中心,成為數據中心維護者的最終目標。
PUE作為數據中心能源使用效率的重要指標,計算公式如下:

PUE是一個趨向于1的值,越接近1,說明數據中心總電力能源幾乎全部為IT設備提供電能,此時數據中心基礎設施電能消耗最小[4]。由式(4)可知,要降低數據中心的PUE,可以通過降低電源能效因子、空調能效因子及其他系統能耗因子實現。
目前,數據中心的基礎設施為一次性建設,而IT設備則依據客戶規劃實行分期部署,造成機架裝機率低、負載率變化大。實際運用中,客戶IT設備能耗由客戶業務承載情況確定,不受基礎設施維護管理。綜上,要降低數據中心PUE,需要采取有效的節能措施降低基礎設施的能耗。
數據中心空調系統主要由制冷系統、排熱系統和降溫輔助系統3部分組成[5]。
(1)制冷系統:冷水機組,利用與蒸發器中的冷媒熱交換產生的冷凍水,吸收IT設備的熱量,是空調系統的核心組成。
(2)排熱系統:風機盤管、循環水泵,利用冷凍水將熱量從機房運輸到制冷系統,主要通過控制水流量來吸收IT設備的熱量。
(3)降溫輔助系統:冷卻塔、濕式噴淋器,利用水的汽化相變將熱量排散至大氣,提高換熱效率,使系統熱量更快散失。
大型數據中心主要采用集中式水冷降溫系統為數據中心提供制冷資源,由冷水機組+板式換熱器+冷卻塔+末端空調組成,分為內、外循環完成制冷。其中,內循環為冷凍水系統,即冷水機組(夏)/板式換熱器(冬)制出12 ℃的冷凍水進入機房內的末端空調,末端空調吸收服務器的熱量后升溫至17 ℃,并返回冷水機組(夏)/板式換熱器(冬);外循環為冷卻水系統,即冷水機組(夏)/板式換熱器(冬)運行產生37 ℃的冷卻水,送入室外冷卻塔利用外界空氣進行散熱,冷卻至32 ℃后返回冷水機組(夏)/板式換熱器(冬),如此循環。空調系統結構,如圖2所示。

圖2 水冷型制冷系統架構圖
目前,大型數據中心多采用集中式水冷空調系統,設備體量大,影響因素多,在運行過程中往往會出現節能效果差的情況。
(1)數據中心初期運行過程中,機房裝機率和負載率較低,而空調系統卻大功率提供制冷,直接影響設備的能源轉化效率,在提供相應保障時需耗費大量電力,致使PUE值居高不下。
(2)大多數據中心空調系統往往存在先冷機房環境再冷IT設備、冷熱混風損失大等問題,造成制冷能效低,且存在嚴重的能耗浪費。
(3)部分數據中心空調設計存在氣流組織不合理問題,造成制冷風量的利用率低,使得系統能耗浪費嚴重。
為實現數據中心降耗增效,關鍵要從空調系統能耗影響因素分析入手,從根源上解決空調系統存在的能耗浪費問題,在保證數據中心安全運行的前提下,最大程度地減少空調系統能耗,降低PUE。
通常,空調設備能耗比例為:冷水機組占55%~70%,循環水泵占15%~20%,冷卻塔5%~10%,末端空調等動力設備占15%~25%。圖3是典型數據中心設備能耗結構,以某數據中心為例,制冷系統能耗是數據中心的第二大能耗,約為24%,其次是電源系統,約為數據中心總能耗的10%,照明及智能化等能耗占比小于1%。可見,降低數據中心PUE最有效的方法是提高數據中心空調系統的能效。
數據中心制冷能效因子CLF(Cooling Load Factor)是在單位IT負載上消耗的制冷所用電能,計算公式如下:

圖3 典型數據中心設備能耗結構

式中:Q冷機為冷水機組耗電,Q水泵為水泵耗電,Q冷塔為冷卻塔耗電,Q末端為機房內空調設備末端耗電,Q新風為新風機組耗電,Q補水為補水設備耗電。
綜上,影響空調系統能耗的因素包括冷水機組、循環水泵、冷卻塔、末端空調、新風機組及補水泵等動力設備。其中,冷水機組能耗占比最高,是空調系統的能耗核心;其次是末端空調能耗,具有很大節能潛力。以下結合制冷系統的能效因子,提出多種優化方案提升空調設備的能效,降低數據中心PUE。
數據中心空調系統的規劃中,應選擇高能效的系統結構,充分利用外界自然冷源,結合最優的節能措施,實現降耗增效。
北方數據中心多采用開式板式換熱器+冷卻塔間接利用自然冷源的方式,在冬季和過渡季室外溫度較低的時間段不開啟冷水機組,利用板式換熱器、冷卻塔與室外冷空氣換熱獲得冷量。
數據中心空調系統的制冷運行模式分為3種:
(1)當t>10 ℃時,空調系統采用水冷機組制冷模式;
(2)當6 ℃<t<10 ℃時,空調系統采用水冷機組+板式換熱器制冷模式;
(3)當t<6 ℃時,空調系統采用自然冷卻模式。
綜上,有:

式中:ΣQt>10℃為制冷系統各設備總耗電量;Q制冷設備為冷機模式耗電量;h%(t>10℃)為冷機模式運行時間百分比;ΣQt<6℃為自然冷源模式耗電量;h%(t<6℃)為自然冷源模式運行時間百分比;ΣQ6℃<t<10℃為過渡模式耗電量;h%(6℃<t<10℃)為過渡模式運行時間百分比;Kt>10℃為冷機模式制冷能效因子;Kt<6℃為自然冷源模式制冷能效因子;K(6℃<t<10℃)為過渡模式制冷能效因子
由表1可知,呼和浩特地區的數據中心全年有46%的時間采用自然冷源模式,11%使用過渡模式,43%開啟冷機模式。根據表2空調系統各部分能耗占比及能效因子,可知額定工況下制冷能效因子為:CLF=0.436×46%+0.297×11%+0.158×43%=0.301。

表1 呼和浩特地區2018年氣溫統計表
由此可知,充分利用自然冷源模式相比于冷機全年運行模式,空調系統節省能耗達27.3%。
如圖4所示,在數據中心空調系統中,冷水機組冷凍水的設計供水溫度為10~12 ℃。即使在數據中心負載量較低(30%~40%)的情況下,冷機的實際運行電流百分比達到50%~72%,此時冷機制冷能效比EER(Energy Efficiency Ratio)非常低,不僅能耗嚴重浪費,還造成了設備損耗。因此,冷水機組的功耗是節能的關鍵。

表2 空調系統各部分能耗占比及能效因子

圖4 冷水機組制冷效率隨供水溫度變化
理論分析可知,冷機供水溫度由冷機蒸發器中冷媒的蒸發溫度和壓力決定,兩者成正比關系。冷機壓縮機是冷機的耗能主體,蒸力與冷凝壓力的差值決定著它做功的多少。蒸發壓力提升發壓,冷凝壓力不變,兩者的差值變小,壓縮機做功也會減少。因此,提高冷機冷凍水出水溫度,能有效降低冷機的工作能耗。
騰訊數據中心冷水機組實驗研究表明:在冷機能耗相同的情況下,冷凍水供水溫度每提高1 ℃,冷水機組產冷量增加3%[6]。同理,當制冷量一樣時,冷凍水供水溫度每提高1 ℃,冷機自身能耗將減少3%。呼和浩特地區冷機運行時間為5—9月,當制冷負荷為50%時,將冷凍水溫度從12 ℃提升至15 ℃,以此比較對應溫度下的耗電量。經測算,可得全年可節省電量約22%。可見,供水溫度的提升,對冷機系統節能意義重大。
數據中心通常將機房環境控制在20 ℃,不僅會出現過度冷卻產生冷凝水,而且造成能源浪費,因此合理設定機房空調的溫度尤其重要。理論研究表明:末端空調的蒸發溫度相應提高,制冷系數提高,機房回風溫度每提高1 ℃,機房空調的耗電量能節約2%~5%[7]。
隨著服務器功能的提升,IDC機房環境溫度可以提升至28 ℃[8]。為驗證該理論,中國移動(呼和浩特)數據中心自2018年2月起,以20 ℃為基準,每月將環境溫度提升1 ℃,直至溫度達到28 ℃,以此測試每月的耗電量變化趨勢,如圖5所示。分析耗電量數據可知:通過提高末端空調出風溫度,將機房環境溫度由20 ℃提升至28 ℃,能耗可降低21%。可見,提高末端空調送風溫度可以有提升空調能效。

圖5 空調耗電量隨設定溫度變化趨勢
數據中心機房專用空調通常配置EC風機,可根據需要調節轉速。節能型EC(變速)風機特性為:空調風量Q與風速V成正比,風機功耗W與風速V的立方成正比。

式中:n為風機臺數,K1、K2為系數,Q為空調風量,W為風機功耗,V為風速,V0為風機額定轉速,η%為風機轉速百分比。
由式(12)可知,當風機轉速降低到50%,功耗將降低為滿頻的1/8。為了達到原有的風量,只需加開2~3臺風機,每臺轉速為50%,此時4臺空調總功耗僅而原來1臺滿頻運行的1/2。
為了驗證該特性,中國移動(呼和浩特)數據中心對同一房間內的列間空調進行運行模式調整測試,啟用不同的主備運行模式,實驗測試數據見表3。
實驗數據表明:n用0備的運行模式對于EC風機來說更節能;按照6+2冗余備份的空調配置,采用“冷備”轉“熱備”模式運行,風機的能耗下降了44%。可見,加開更多的備用空調,不僅不會帶來能耗的增加,反而將促進末端空調能耗的降低。
針對數據中心存在局部熱點、氣流組織混亂等現象,中國移動(呼和浩特)數據中心數據中心引入3種新型空調末端:熱管背板、水冷前門和列間空調,如圖6所示。新型空調末端為IT設備提供機架級、列間級的就近制冷,冷源貼近熱源,沒有冷量散失,可適當提高冷凍水溫度,提高冷機能效,降低冷源能耗,在寒冷地區還可以延長自然冷源利用時間[9]。使用新型空調末端比下送風機房專用空調降低能耗達63%。
針對數據中心的傳統空調,采取封閉冷通道并加裝盲板,實現冷熱通道物理隔離,減少冷熱混風損失,消除局部熱點,達到提高制冷效率的目的。圖7即采用CFD仿真對機房氣流組織特性進行數值分析和模型實驗時,對比分析機房內氣體流向及溫度的變化。

圖6 熱管背板、水冷前門、列間空調新型末端

表3 不同的主備運行模式耗能對比表

圖7 5 kW機柜封閉冷通道前后氣流對比圖
如圖7所示,單機柜功耗為5 kW時,采用封閉冷通道的機房內氣流組織穩定有序,各機架內通風狀況良好,冷通道封閉后冷空氣流量比封閉前明顯增多,說明冷通道封閉可以更有效地利用冷空氣和冷量,減少通道上部的冷量散失,從而提高末端空調的制冷效果,同時降低末端空調能耗達18.7%。
經能效計算可知,通過利用自然冷源、提升空調系統設定溫度以及氣流組織優化等方法,全年可實現空調系統節能約42%,如表4所示。按照典型數據中心能耗分布,空調系統能耗占比24%,則數據中心總能耗降低10.08%,此時PUE下降0.1。

表4 空調系統節能優化能效統計表
近年來隨著云計算技術的大發展,數據中心越來越多呈現出高度集成、高耗能的特點,需要行之有效的能耗管理。因此,將PUE作為數據中心的能耗標尺,通過分析數據中心空調系統能耗結構,研究數據中心制冷能效因子,并針對空調系統存在的能耗問題,提出了一系列優化措施,在保證空調系統高可用性的同時,提高了末端空調運行維護效率,對最終實現數據中心的節能運行具有重要的現實意義。