數據中心供電制冷等關鍵設施技術淺析

安 真， 周德文， 錢 斌

(華為技術有限公司，北京 100001)

0 引言

2020年03月04日，中央政治局常委會提出“要加大公共衛生服務、應急物資保障領域投入，加快5G網絡、數據中心等新型基礎設施建設進度”。數據中心作為新基建的核心內容，成為整個行業的關注焦點。

數據中心發展進入新的時期，其發展也面臨各方面的趨勢和挑戰。這些挑戰需要新的技術和方案來應對和解決，比較顯著的有以下幾個方面。

首先是高密化。來自數據中心通用計算的電子信息系統發展帶來數據中心發展新需求。眾所周知，隨著芯片工藝快速發展，當前的芯片加工工藝水平已經逼近可加工的理論極限，芯片級的摩爾定律逐漸失去作用，但是各行業數字化的發展速度并沒減慢，系統或產品的性能提升，需要更多物理芯片的堆積，這就帶來了服務器功耗隨算力的線性提升。另外，AI(人工智能)計算的興起，會導致數據中心單機柜功率密度的快速提升，據華為云與計算部預測，到2025年，數據中心80%的負載運行AI計算。而運行AI計算的GPU芯片功耗大于通用計算的CPU若干倍。

高密度和大型化帶來數據中心的高能耗問題。2018年我國數據中心用電總量為1 609億kWh，占全社會總用電量的2.35%。2020年用電總量將達2 023億kWh，占全社會用電總量的2.7%；2030年將突破4 000億kWh，占全社會用電總量的3.7%。

其次是系統更大型化和復雜化，數據中心規模集中效應可以有效降低建設和運營成本，云數據中心體量越來越大，萬柜級多地多中心成為云計算企業的主流需求，市電引入從10kV專線提升到110kV專用變電站，能耗倍增、管理復雜度倍增。

數據中心最關鍵的系統是支持IT設施運行的供配電系統和空調系統，前者在很大程度上決定了數據中心運行水平的可靠性，后者還對數據中心的節能發揮了至關重要的作用。本文試圖對此二系統的關鍵創新技術進行概述和辨析。

1 供配電系統架構及新技術辨析

按照功能組成,供配電系統主要由10kV配電、柴油發電機組、變壓器、低壓配電、UPS電源及其配電、電池、列頭柜等部分組成，其基本原理如圖1所示。

從供配電系統架構可以看出，2N系統因其運維簡單、可靠性高，被行業廣泛采用，是數據中心供配電主流解決方案。美國、英國、荷蘭、新加坡、迪拜等國家或地區的個別企業也會采用RR、DR等容錯架構?？煽啃詿o法滿足容錯功能的架構在大型數據中心的應用并不多見。

圖1 數據中心供配電系統原理示意圖

過去十年，供配電系統創新的焦點是電源形式，除UPS(交流不間斷電源)之外，互聯網還出現了HVDC(高壓直流)、OCP(開源服務器)電源等多種電源并存的形式，其中UPS又分為工頻塔式、高頻塔式、高頻模塊化等形式。

(1)UPS各種形式的優劣分析和發展趨勢分析

UPS本身的技術發展路徑相對清晰，高頻技術全面取代工頻技術已成為定局，高頻在效率、成本、占地、諧波等各方面均具備領先一代的優勢。主要指標分析如表1。

主流廠商UPS主要指標分析 表1

在高頻技術下，模塊化和塔式兩種形式競爭激烈，業界通常的認知是，模塊化UPS在用戶側的自主運維難度降低，在安裝維護、后期擴容方面具備塔式UPS無法替代的優勢，這也是模塊化UPS被IDC、運營商行業用戶廣泛應用的原因。當然，行業內也有少量用戶認為多個模塊并機可能會有風險。其實，就可靠性而言，兩者基本持平，某些維度模塊化UPS還會略優，可靠性的詳細對比分析如表2所示。

近年來，絕大多數新上市的塔式UPS也采用了模塊化架構，可見，模塊化UPS是交流UPS的發展方向。

除了交流UPS，高壓直流系統(HVDC)在數據中心領域也有一定的應用。HVDC并不是一個新生事物，其發展已經超過20年歷史，美國、日本、歐洲、中國均有長時間的研究。目前，美國、日本、歐洲僅限于局部實驗，因為沒有明顯優勢，未能擴大到主流數據中心領域。在中國，“一路HVDC+一路市電直供”的架構在節能和成本上的優勢，吸引了一些頭部互聯網和運營商在自用機房應用。

塔式UPS與模塊化UPS的可靠性對比 表2

但“HVDC+路市電直供”不屬于容錯架構，在HVDC檢修時，市電閃斷導致服務宕機事件已經多次發生，鑒此，部分用戶已經放棄此種架構，重新回到2N的容錯系統。隨著主流UPS廠商對研發的不斷投入，UPS的效率在不斷提升，價格不斷下降，HVDC已經不再具備效率、成本優勢，加之部分服務器并不兼容HVDC電源制式，HVDC在行業的應用正在收縮。

UPS、HVDC等電源的創新都只是部件層面的，對供電鏈路影響有限，未來一定是供電鏈路端到端的創新，隨著第三代半導體技術的成熟，10kV級的電力電子電源將成為可能，銅質變壓器被電力電子變壓器取代，其新鏈路如圖2所示。

圖2 下一代供配電系統原理示意圖

(2)儲能的發展趨勢

電池是數據中心供配電系統的重要組成。其中鉛酸電池在數據中心行業長期占據主導地位，但鉛酸電池循環壽命短、占地大、對機房承重要求高，且容易造成鉛鉻重金屬環境污染，這些問題一直是數據中心建設和運維的痛點。鋰電池具有能量密度高、占地小、循環壽命長等優勢，幾乎可以彌補鉛酸電池的所有缺點，但因其價格高昂，在以往的數據中心并沒有太多的應用。

隨著鋰電池在汽車、5G等行業更為廣泛的應用，成本降幅持續增大，國外一些大型數據中心已經開始大規模使用鋰電。相信隨著鋰電應用規模的擴大，其成本還會進一步下降，未來鋰電池必將取代鉛酸電池，占據數據中心儲能主導市場。

2 數據中心制冷系統架構及新技術辨析

過去十年，大型數據中心空調基本上從DX(直接膨脹式)定頻空調走向了冷凍水系統。近年來，隨著變頻技術在空調行業的普遍應用，DX空調能耗高且無法解決連續制冷的缺陷已經成為歷史，制冷系統正處于多種形式并存的百花齊放局面。

數據中心能耗巨大，節能正在成為數據中心建設的普遍訴求。節能創新主要聚焦在制冷系統的創新。而制冷系統的創新，主要聚焦在自然冷源的有效利用方面。此外，AI等新技術的加持也發揮出了新的價值。

(1)直流變頻DX技術

DX空調是傳統的制冷方式，隨著直流變頻技術向數據中心機房精密空調的引入，機房精密空調的效率大幅提升，成為了新型、廣普適用的節能技術。采用直流變頻技術的DX空調，除能效大幅提高外，還具有室內占地面積小、控制簡單、氣候適宜范圍廣、無須依賴水資源等優點。

鑒于冷媒管不能過長，高差不能過大，建筑設計時，需要提前留出室外機的部署空間。此外，夏天最高溫時，峰值PUE也會較差。當前，中等規模的數據中心大多都是采用了這種技術路線。

(2)空-空換熱技術/間接蒸發冷卻

換熱采用空氣-空氣換熱器，換熱器由若干板片構成完全隔離的通道，室外空氣經蒸發冷卻后和機房空氣在各自通道內通過膜片進行換熱。升溫后的室外空氣再送回室外，降溫后的機房空氣重新送回機房。該方案具有的優點主要包括：1)自然冷源利用率高，容易獲得較低的PUE；2)室外空氣質量對機房環境沒有影響；3)設備控制和維護也相對簡單，對運維團隊的專業要求較低；4)采用間接蒸發冷卻機組，即使發生故障，也只會影響到局部機房，故障影響面不會太大；5)工程因素對項目影響小，分期建設更容易。

目前，長江以北地區的新建數據中心已經有了規模應用，華南地區也有一些案例。但是，該方案的建筑適應性相對較差，需要在建筑結構設計時匹配機組的安裝和風道。此外，夏天最高溫時，需要啟動壓縮機進行補冷，峰值PUE可能會高于冷凍水系統。

隨著服務器耐熱能力的提升，間接蒸發冷卻的應用范圍會更加寬泛，未來將成為數據中心冷卻的首選方案。

(3)冷水機組水側自然冷

在水冷冷凍水系統中，可以利用冷卻塔+板換或干冷器，通過在常規空調系統基礎上增設部分管路和設備，實現自然冷卻，達到節能的目的。風冷冷水機組也可以增加內置或外置的干冷器實現自然冷卻。冷凍水系統屬于集中冷源，應用范圍寬、建筑適應能力強、制冷效率較高，具有一定水平的節電降耗價值，在各行各業都有普遍應用。在中、大型數據中心里，是最常見的制冷方式。

但是，冷凍水系統對設計和運維的專業性要求較高，控制相對復雜，很多項目由于缺乏相關的專業指導和運維管理經驗，各種模式切換存在風險，導致實際節能效果參差不齊，特別是前期低負荷運行期間。此外，由于多種事故都有可能導致集中式冷凍水系統出現制冷中斷，行業內因為冷凍水系統導致整個數據中心出現宕機的案例也有發生。

以上海某項目為例，幾種方案對比如表3所示。

方案對比詳表 表3

(4)直接新風冷卻

除了DX空調、冷凍水和間接蒸發冷卻機組之外，行業內還有少量客戶已經或正在嘗試直接新風冷卻。直接新風冷卻即直通風方式，利用低溫自然冷空氣或與部分回風熱空氣混合，經過濾、凈化處理后，直接送入機房實現冷卻。該方案沒有中間換熱過程，自然冷源利用熱效率高，如果輔之以蒸發冷卻裝置，可以更長時間利用自然冷源。

但直接新風冷卻方案存在以下問題。

1)換熱的同時伴隨著物質的交換。任何一個環境，空氣質量都是難以保持穩定的，有時甚至會受到周邊事故的影響?？諝馕廴据^重時，必須對冷空氣進行過濾處理，維護成本高，特別是需要采用化學過濾器時，成本支出較大。

2)室內外空氣不隔離，導致濕度處理復雜，存在頻繁的加濕除濕過程，耗水、耗電量巨大。

3)室外溫度過低時，冷空氣需進行再加熱和加濕或與排風充分混合，否則容易導致凝露。這種溫濕度的控制通常很難做到絕對可靠。

4)需要提前和建筑設計配合，避免送排風短路，避免送風距離過長引起的風機功耗較大。實際項目中，為了實現該目標，設計和安裝都有難度。

正是因為直接新風方案室外空氣處理流程復雜，且存在眾多的不確定性，在行業內應用不多，難以成為未來的發展方向。

除了制冷系統自身的特點之外，隨著AI技術在各行各業的應用普及，空調輔以AI調優在數據中心行業也嶄露頭角，并取得了相對較為理想的效果。相信未來，對專業要求低、運維簡單的DX空調或間接蒸發冷卻機組，輔以AI技術，將成為數據中心制冷方向的主流解決方案。

3 結束語