數據中心主機房的能效評價方法及提升路徑

何曉燕

上海市建筑科學研究院有限公司

0 引言

2022年上海市政府工作報告中明確指出，將聚力推進城市數字化轉型，加快建設具有世界影響力的國際數字之都。上海高度重視數字產業發展，由此對信息基礎設施具有強烈需求和較高要求。根據上海市經信委2021 年12 月印發的《上海市新一代信息基礎設施發展“十四五”規劃》（滬經信基[2021］1197 號），互聯網數據中心標準機架可用規模將從2020 年的11 萬架擴展至2025 年的28 萬架，增量達150%，意味著上海將大力建設數據中心的產業發展導向。數據中心建設的快速發展，能源需求也將持續攀升。上海市經信委提供的統計數據顯示，上海2019 年投運的IDC 共計107 個，總用電量為33.8 億kWh，折合97.34 萬tce，占全市全年用電總量的2.1%，數據中心已成為影響上海完成“碳達峰”“碳中和”工作的重要環節。如何全面響應國家“雙碳”戰略，增強全社會可持續發展能力，需要從數據中心的碳足跡出發，探索低碳數據中心的長遠發展路徑，逐步實現數據中心碳中和的目標。

PUE(Power Usage Effectiveness，電源使用效率)是指數據中心總能耗與IT 負載能耗之比,PUE值的大小最能準確反映數據中心綜合能效。根據上海市相關要求，新建數據中心PUE 不應高于1.3，既有數據中心PUE 不應高于1.4。數據中心節能是涉及多專業的系統工程，涉及建筑與熱工、IT 設備、電氣系統、空調系統、給排水系統和運營管理等方面，本文結合筆者的測評工作經驗，重點闡述數據中心核心區域即主機房的節能策略，主要包括機房氣流組織優化及UPS 系統效率提升兩部分。因為氣流組織形式是主機房設計過程中極為重要的一個環節，好的氣流組織形式能夠保證冷量快速高效地送至IT 設備處，并及時帶走熱量，高效節能；反之即使配置了高效的空調設備，也可能會產生局部熱點，空調系統整體能效低。此外，由于一般銀行或金融類數據中心的UPS 單機負載率都長時間保持在20%～40%，因此相比較于UPS 滿負荷時的整機效率，研究UPS 在低負載率情況下的整機效率和提升路徑將更有價值。

1 數據中心機房測試數據分析

1.1 項目概況

被測數據中心機房位于上海市，設計溫度為20～26 ℃，相對濕度50%RH±10%RH，露點溫度12 ℃。機房內共擺放機柜94 個，測試當日IT 設備運行總功率約為142 kW，單臺機柜平均功率為1.51 kW。配置精密空調8 臺，單臺額定制冷量為1 235 kW。送風采用下送上回方式,氣流組織為靜壓地板下送上回+封閉冷通道形式，架空地板高800 mm，采用不同開孔率的地板。

1.2 機房氣流組織測試

該項目采用自主研發的溫度場自動測試儀進行測試，測量元件為PT100 溫度傳感器，精度±0.1 ℃，本次選取了B-C 列機柜間的冷通道進行測試，測點位置為每個機柜正前方中軸處，測試高度分別為0.25、0.80、1.35 和1.90 m，并繪制不同高度的溫度場熱力圖，如1.9 m高度熱力圖如圖1所示。

圖1 冷通道1.9 m高度熱力圖

圖1 溫度最高點為C24 機柜進風口，為33.98 ℃；溫度最低點為C16 機柜進風口，為23.89 ℃，可見該通道進風口溫差較大。

測試及分析結論如下：

1）機柜入口溫度分析。總計測點96個，被測冷通道最低20.34 ℃，最高34.88 ℃，平均溫度24.27 ℃，部分區域溫度不滿足ASHRAE TC9.9《數據中心環境散熱指南》和國家標準《數據中心設計規范》（GB 50174-2017），兩個標準均要求IT 設備的入口溫度保持在18～27 ℃。溫度分布如圖2所示。

圖2 冷通道溫度分布直方圖

2）溫度場分布規律分析。從圖3 可以看出，測點溫度總體上隨著高度的增加逐漸升高，但由于機柜功率的分布情況等因素，個別機柜前測點溫度分布不具有一般規律。

圖3 不同高度的冷通道溫度分布圖

3）熱點分布分析。如C22 機柜前最高測點與最低測點的溫差高達12.2 ℃，C24相差9.8 ℃，C17相差6.59 ℃，如圖4 所示。采用紅外成像儀測得C22 最熱點溫度高達42.8 ℃（如圖5 所示）該問題是由于服務器反裝導致，機柜散熱排入冷通道，造成機房氣流組織紊亂，溫度場分布出現異常。此外，機柜內空閑U 位未安裝盲板,導致機柜內微環境氣流紊亂,IT 設備排出的熱氣流,經空閑U 位回流至設備進風口,致使設備入口溫度大于機柜進風溫度,使設備進風溫度升高。

圖4 不同高度的冷通道溫度分布圖

圖5 C22機柜前方溫度熱成像

4）送風風速分析。該機房采用下送風，氣流從空調機的底部送出，地板以下形成靜壓箱，通過地板出風口疏散到機房各個角落，回風是從機房上送回到空調機組。一般采用活動地板作為靜壓箱時，出風口風速不應大于3 m/s，測試期間冷通道地板風速為1.18 m/s～4.43 m/s，基本屬于合理范圍。

1.3 UPS測試

該被測機房所在樓層設有2個主機房，UPS配置形式為2N系統，每個系統采用3臺5 000 020 kVA以并機互投方式為主機房設備提供不間斷電源，總計6 臺。測試期間每臺UPS 負載率約為15%。采用電能質量分析儀對該UPS 系統進線側進行測試，測試及分析結論如下：

1）電能質量分析。由表1 檢測結果分析得知，被測UPS上游存在少量諧波，但UPS注入電網的諧波等參數不能采用常規電氣性能指標評價。根據通信用交流不間斷電源(UPS)YD/T 1095-2018（表1所采用標準），輸入電流諧波成分在30%非線性負載時，三類指標要求最大不超過25%，因此，注入電網的諧波符合標準要求。

表1 UPS 電源輸入側電能質量數據匯總

2)UPS效率分析。UPS電源效率η的定義是輸出有功功率P 與輸入有功功率P'之比的百分數，即η=（P/P'）%。UPS 電源效率并不是一個固定的數值，而是負載率的一個函數。該項目UPS 在負載率15% 工況下，三臺UPS 的損耗分別為9.65%、11.69%和10.41%，效率分別為90.3%、88.3%和89.6%。廠商資料顯示，該高頻UPS 系統效率可達94.5%，因此，在低負載情況下，UPS 的實際運行效率低于廠家指標。

1.4 pPUE測試

數據中心局部PUE 即pPUE 是PUE 概念的延伸，由于部分設備共用，因此計算pPUE時需要做仔細的拆分。測試工況下共開啟了4臺精密空調機組，合計35.5 kW，機房IT設備總功率為142 kW，因受計量器具配備不足限制，暫無法拆分冷源和UPS 損耗等共用設備能耗；則在不考慮上述分攤的情況下，計算pPUE為1.43。當然，由于部分能耗未進行分攤，因此單獨評價該pPUE無實際意義。但如果各機房模塊均采用此pPUE計算方法，則在同等條件下計算結果可以橫向比較氣流組織對精密空調綜合能效的影響，也不失為一種簡易可行的評價方法。

2 數據中心機房能效提升路徑

2.1 氣流組織優化

氣流組織形式選用的原則是：有利于電子信息設備的散熱，建筑條件能夠滿足設備安裝要求。主機房空調系統的氣流組織形式，應根據電子信息設備本身的冷卻方式、設備布置方式、設備散熱量、室內風速、防塵和建筑條件綜合確定，并宜采用計算流體動力學對主機房氣流組織進行模擬和驗證。當電子信息設備對氣流組織形式未提出要求時，主機房氣流組織形式、風口及送回風溫差可按表2選用。

表2 主機房氣流組織形式、風口及送回風溫差

數據機房常采用房間級空調、行間空調和機柜級空調三種方式末端形式。單機柜平均功率小于6 kW 時，宜采用房間級精密空調，地板下送風+冷（或熱）通道封閉或彌漫送風+熱通道封閉的氣流組織形式；單機柜平均功率6～15 kW 時，宜采用行間空調+冷（或熱）通道封閉的氣流組織形式；單機柜平均功率15～25 kW 時，宜采用水冷背板、熱管背板等機柜級空調；單機柜平均功率大于25 kW時，宜采用封閉式機柜；單機柜平均功率超過30 kW，應考慮散熱效率更高的芯片級或浸入式液冷技術。

2.2 提高UPS效率

UPS 系統的損耗是數據中心能耗的主要組成部分，大約占到數據中心能耗的6%～15%，數據中心要達到低PUE，必須選擇運行效率更高的UPS。UPS 的效率直接決定了整個UPS 系統的能耗。按UPS 的電路工作頻率來劃分，UPS 可分為工頻機和高頻機。影響UPS 效率的因素較多，比如前置變壓器、濾波器、整流器、逆變器、輸出變壓器以及負載的功率因數和負載百分比。在同樣指標下，比如要求輸入功率因數為0.95以上時，工頻機UPS就必須外加諧波濾波器或改為12脈沖整流，就是說前面要增加一個設備，再加上輸出變壓器，就比高頻機UPS 多了兩個環節，由于此二者的影響，使得工頻機UPS 的效率比高頻機UPS 約低5%。一般情況下，UPS 的效率會隨著負載率的提高而提高，并且會在負載率達到70%時達到效率最高點。考慮到UPS 的初期投資，可以選用模塊化UPS 達成這一目的。模塊化的一大優勢在于可按需擴容，不必過于超前規劃UPS 系統的容量，而是可以在適合的范圍內接近負載容量，從而達到最好的效率點。根據工信部聯合五部委共同出臺的《關于數據中心建設布局的指導意見》(工信部聯通[2013］13 號)，不同類型UPS 對PUE 貢獻差異可達0.1 以上。不同類型UPS對PUE貢獻差異見圖6。

高頻機UPS取代工頻機UPS是必然的，在國家提倡環保節能的今天，綠色節能型模塊化UPS 備受關注，輸入功率因數達0.999以上，模塊化UPS采用N+X 的并聯方式，用戶可以根據自己的負載以及為體現安全性所需要的功率冗余來決定UPS模塊數。

3 結語

加強數據中心機房節能工作的重要性不言而喻，針對現在已建成的PUE 大于1.4 的數據中心，可通過數據中心評測，提出節能技改、運行管理優化等方面措施建議，從而優化機房氣流組織、提高UPS 電源的使用效率和電源質量等，在保證機房安全穩定運行的同時，促進綠色數據中心建設。