高效節能新技術在超大型云計算數據中心的研究及其應用

鄭 鋒, 連 懌, 韓 穎, 朱 健, 盛偉偉

(1.上海信業智能科技股份有限公司, 上海 201203;2.上海信得天達云計算科技有限公司, 上海 201800)

0 引 言

我國力爭2030年前實現碳達峰,2060年前實現碳中和。數據中心能源消耗量巨大且能源利用效率低,節能降耗成為數據中心產業發展中的熱點問題。上海市政府提出IDC建設指導意見,新建IDC限制PUE<1.3。本文主要介紹末端空調形式的節能技術、主機側冷機節能技術、自然冷卻節能技術、集成冷凍站節能技術、AI群控系統節能技術在上海市嘉定區外岡物聯網數據智能產業園建造的超大型云計算數據中心的應用[1-3]。

1 項目概況

上海市嘉定區外岡鎮外岡物聯網數據智能產業園內由1#機房、2#機房及過街樓組成,兩棟機房樓皆為地上3層(局部4層),無地下室,總建筑面積47 589.8 m2。兩棟機房樓層高相同,1F高10 m,2F高7 m,3F高6 m,總建筑高度23.950 m(室外地坪至女兒墻高度)。

項目園區2棟機房樓可提供裝機容量6 kW機架6 000個,將對嘉定區云計算、邊緣計算、物聯網產業、車聯網產業、移動端視頻服務業務、數字經濟、通信行業的可持續發展及滿足社會各類對數據通信的需求有著積極和重要的意義。

上海嘉定外岡物聯網數據智能產業園效果如圖1所示。

圖1 上海嘉定外岡物聯網數據智能產業園效果

嘉定區地處北亞熱帶北緣,為東南季風盛行地區,四季分明,氣候溫和,雨量充沛,光溫適中,日照充足。年均溫15.7 ℃,1月均溫2.5 ℃,7月均溫28 ℃;年均降雨量1 077.6 mm,雨日130.2 d;年均日照2 114.8 h,年均太陽輻射總量

114.5 千卡/cm2;年均無霜日數223 d。

2 末端空調節能技術

機房空調的任務是在一定的傳熱驅動溫差下,將IT設備散熱量從室內送到室外。早期機房中的IT設備散熱量不高,采用冷機供冷即可滿足散熱要求,隨著近年來高熱密度數據中心的出現和冷機能耗的增加,利用自然冷源為機房供冷的自然冷卻技術開始出現并逐漸發展成熟,因此,逐漸發展出了兩種不同的機房冷卻方式:機械制冷和自然冷卻。

大多數數據中心的機械制冷采用冷機集中供冷方式,包括室內末端換熱和主機側換熱兩個環節。機房機械制冷換熱流程圖如圖2所示。

圖2 機房機械制冷換熱流程圖

很大一部分空調制冷量都由于氣流組織的不合理而被浪費掉了,機房中普遍存在局部過熱及冷熱氣流相混合的問題,這兩種現象都極大地降低了制冷效率,此兩種現象在房間級制冷尤為突顯,依靠房間級制冷已不能有效地對信得天達云計算數據中心6 K負荷機柜起作用。

行間級制冷:在云計算和大數據應用背景的促進下,數據中心迎來了一個新的建設高潮,傳統數據中心部署緩慢、密度小、很難擴展,且“牽一發而動全身”,人們逐漸認識到集中制冷的弊端和按需制冷的必要性,此階段典型的制冷節能技術就是行間級制冷空調應用。在行間級制冷架構中,其氣流通路比房間級制冷架構短,且制冷對象更為明確。此外,其氣流可預測性較好,機房空調的全部額定制冷量均可得到利用,并可以實現更高密度的布局,行間空調通過內部風機將封閉通道中的熱空氣輸送至表冷盤管,實現冷卻降溫,IT設備根據自身需求將低溫的冷通道空氣引入,通過服務器風扇排至封閉的熱通道中,實現水平方向的空氣循環。行間級空調系統因靠近負荷中心,輸送冷空氣至負荷中心的距離減小,設備維持制冷循環所需的能耗比傳統方式少。

機柜級制冷:機柜的氣流組織遵循冷熱通道原則且為等風程設計,低溫冷空氣經DHU風機加壓,由地板送出對服務器散熱冷卻,溫度升高后,高溫空氣從服務器排出由封閉熱通道回到DHU表冷器,進行冷卻降溫,依此循環。

服務器機架為特殊定制機柜——定向冷卻機柜(DCC),DCC正面為敞開式,采用地板下送風(由下向上),整個機房作為冷池,DCC背面為封閉式熱通道。每臺DCC對應一臺分布式空氣處理單元(DHU)。DHU氣流組織原理圖如圖3所示。

圖3 DHU氣流組織原理圖

2.1 末端空調(機柜級)制冷工作原理及氣流組織

(1) 由于末端空調直接在機柜底下,送回風程最短,風阻最小,送風過程冷損失小,風機功耗低。

(2) 根據單柜負載設計表冷器,風-水換熱溫差降低至2～3 ℃(正常精密空調或列間空調風水換熱溫差6～8 ℃),在相同送風的情況下,相比可提高供水溫度4 ℃,有利于自然冷源利用時間增加。

(3) 同程風道設計,機柜底部至頂部的送回風阻一致,機柜上下送風溫差低于1 ℃,無熱島效應。

(4) 熱通道封閉,通過每個機柜底下的風機精確控制回風溫度,控制顆粒度做到柜級控制,無負載或低負載機柜,風機功率消耗越低,整體精確控制,挖掘更大節能空間。

2.2 末端空調20%裕量設計

與機柜一對一配置,每臺空調按20%裕量設計,整個主機房作為冷池,熱通道通過機柜后門封閉,當機柜對應的風機故障時,控制系統控制機柜后窗彈開并報警,與之相鄰的空調輸出冷量增加用以補充故障風機冷量。末端空調20%裕量設計原理圖如圖4所示。

圖4 末端空調20%裕量設計原理圖

每臺空調配置無源能量平衡閥,根據單柜IT負荷調節水量。

2.3 房間級制冷、行間級制冷、機柜級制冷三種方式的性能對比

與房間級或行間級制冷架構相比,機柜級制冷的氣流路徑更短且定義更為準確,使得氣流完全不受任何設施變動或機房約束條件的影響,機房全部額定制冷量均可得到充分利用,并可實現最高的負載密度。

嘉定外岡超大型云計算數據中心是按A級機房標準設計,冷通道和機柜送風溫度為18～27 ℃,在滿足此溫度情況下,盡可能提高冷凍水溫度,有利于自然冷源時間的增加,從而減少機械制冷時間。通常情況下的機房專用空調設計換熱溫差為6 ℃,如果能將換熱溫差減少一半,控制在3 ℃以內,那冷凍水溫度可以相應的提高至21 ℃。DHU換熱原理圖如圖5所示。

圖5 DHU換熱原理圖

末端空調制冷性能比較如圖6所示。

圖6 末端空調制冷性能比較

通過以上三種末端空調形式性能對比,本案末端選型為機柜級冷卻方式。 每臺空調配置無源能量平衡閥,根據單柜IT負荷調節水量。

3 自然冷源節能技術

數據中心冷源系統的任務是提供一定的傳熱溫差,將IT設備散發的熱量從室內搬運到室外。

數據中心冷源系統按照其冷凝方式可分為風冷系統、水冷系統和蒸發冷卻系統。從冷源來源上可分為機械制冷系統和自然冷源系統,一般,水冷系統COP大于風冷系統COP,自然冷源系統的能耗低于機械制冷系統的能耗,本項目地點在上海嘉定,根據氣候條件,本案冷源系統采用集中式的機械制冷和自然冷源制冷的水冷系統,又稱雙冷源系統。

3.1 自然冷源工作原理及組成

自然冷源在數據中心主機側的應用指的是在冬季和春秋過度季節時,采用冷卻塔加板換的水側自然冷卻方式,通過板換讓冷卻水直接給冷凍水降溫,制冷機組不開壓縮機,利用室外的免費自然冷源制冷,來冷卻水循環系統中的冷凍水,從而大大節約了壓縮機的功耗,達到了降低PUE的效果。冷卻塔加板換的水側自然冷源工作原理圖如圖7所示。

圖7 冷卻塔加板換的水側自然冷源工作原理圖

采用高溫冷凍水設計,可顯著提升自然冷卻應用時間,也能降低冷機制冷功耗。

根據本次暖通設計工藝,充分利用自然冷源,在滿足數據機房18～27 ℃送風溫度前提下,盡可能提高空調冷凍水溫度,設計工況為18/24 ℃供回水,22 ℃送風,實際運行過程,根據IT負載情況以及機房送風溫度情況調整供水溫度。比如調整送風溫度為25 ℃時,冷凍水溫度可調整為21 ℃。

設計工況:滿足18 ℃冷凍供水溫度,室外環境濕球溫度低于13 ℃時,可直接采用板式換熱器與冷卻塔自然散熱;運行工況:當滿足21 ℃冷凍供水溫度,室外環境濕球溫度低于16 ℃時,即可直接采用板式換熱器與冷卻塔自然散熱。冷卻塔+板換+DHU換熱原理圖如圖8所示。

圖8 冷卻塔+板換+DHU換熱原理圖

3.2 延長自然冷源時間的相關因素

要降低數據中心PUE,應最大化采用自然冷源的時間。 自然冷卻切換濕球溫度等于冷凍水供水溫度與板換換熱溫差和冷卻塔冷幅高之差。因此,若想提升自然冷卻時間,在選型階段上要考慮以下三個因素。

(1) 提升冷凍水設計溫度,可顯著提升自然冷卻時間,也能降低冷機制冷功耗。

(2) 選擇低冷幅高冷卻塔,降低冷卻水出水溫度與濕球溫度的溫差,但低冷幅高的選型也會增大冷卻塔的體積和投資。

(3) 降低板換換熱溫差,板換換熱溫差由2 ℃降低至1 ℃,投資將增加1倍。

上海全年外環境濕球溫度如圖9所示。

圖9 上海全年外環境濕球溫度

為此全年自然冷卻時間可達約166 d(4 000 h),為降低PUE做出很重要的貢獻。

根據圖9可知,上海全年外環境濕球溫度低于13 ℃總時長為4 025 h,低于16 ℃總時長為4 793 h。

由此,可以看出采用以上自然冷源的工藝,完全可以達標上海規定的新建IDC使用的自然冷源時間大于3 000 h標準。

4 冷源節能技術

4.1 冷源配置

研究對象為2#機房樓,共布置3 000個機架,平均單機架6 kW,同時使用系數0.8,機房設備發熱量約為16 200 kW,考慮圍護結構冷負荷及電力電池室、變配電室并結果系統損失等冷負荷因素,2#機房樓空調冷負荷如下:機柜3 000個,單機柜功耗6 kW,IT設備發熱量14 411 kW,機房設備發熱1 800 kW,圍護結構冷負荷1 620 kW,其他負荷1 620 kW,空調總冷負荷19 420 kW。

根據本案需求,選用磁懸浮變頻離心式冷水機制冷量1 400RT(4 900 kW),功率587 kW,冷凍水溫18 ℃供水,24 ℃回水,冷卻水溫32～38 ℃。磁懸浮變頻離心式冷水機如圖10所示。

圖10 磁懸浮變頻離心式冷水機

4.2 數據中心冷水機組選型設計考慮以下幾個因素

(1) 磁懸浮離心機在提供制冷效率上是數據中心制冷的首選,其壓縮機采用先進的磁懸浮和直流變頻技術,減小了摩擦阻力,克服了傳統離心式水冷機組的喘振缺點,同時采用磁懸浮可變壓縮比的特性,使得主機在低壓比工作時大大提高了機組的性能。

(2) 采用水冷機組高溫冷凍水供水的設計,降低冷機制冷功耗。

(3) 工作在冷凍水溫18 ℃供水,24 ℃回水,冷卻水溫32～38 ℃,磁懸浮變頻式水冷機組COP(能效比)是8.3;傳統離心式水冷機組COP是6.5左右;傳統風冷機房專用空調機組COP是3左右;磁懸浮變頻式水冷機組其COP值明顯高于其他冷水機組,節能效應顯著。

(4) 選擇集成式冷凍站設計(集成式冷凍站：是將中央空調的機房設備,包括冷水機組、冷凍水泵、冷卻水泵、冷卻塔、定壓補水系統、水處理系統、管道閥門及控制系統等設備系統化、智能化、集成化,在工廠預制生產從而形成一個完整的產品),可提高冷凍站制冷效率,達到冷源使用高效節能目標。

5 集成冷凍站節能技術

項目擬建空調工藝制冷機房,采用集裝箱形式于2#樓東北側室外。

5.1 冷凍站配置

依據計算結果,結合冷源的冗余備份遵循N+X(N≤10)的備份原則,每座冷站配置6臺(4主2備)的磁懸浮變頻離心式冷水機組。集裝箱形式冷凍站布置如圖11所示。

圖11 集裝箱形式冷凍站布置

冷源部分主要設備配置如表1所示。

表1 冷源部分主要設備配置

5.2 傳統IDC冷凍站存在的問題

IDC暖通空調系統中的冷凍站由一個多設備構成,需要聯合協調運行而體現綜合性能的有機整體,本質上是一個系統工程。目前,國內IDC冷凍站存在問題:冷站占用IDC建筑物內面積,無法提高單位面積收益率;冷凍機房內設備獨立招標,獨立施工,整體協調性差;建造周期長,管道處理無法完全保證水質。

5.3 集中式冷凍機房優點

采購對象從一個個單體產品到單一集成產品;從工程項目到系統產品;從現場施工到工廠預制生產;從項目單設備控制到系統集成優化控制。集中式冷凍機房優點如下。

(1) 效率高,機房制冷效率提升20%左右。

(2) 安裝成本低,安裝成本節約30%以上。

(3) 可靠性強,全部組件(水機/水泵)出廠前測試。

(4) 節約空間。

(5) 降低安裝風險,減少現場安裝工程量。

(6) 可移動性及可再利用性好。

(7) 一站式服務,單一供貨商。

(8) 自動化控制。

5.4 集成冷凍站的效率

集中式冷凍機房是以高效節能為核心,對各相關設備進行參數優化,通過工廠預制,模塊運輸,現場拼裝的機電一體化系統解決方案。

5.5 集成冷凍站BIM設計步驟

(1) 從建模到管綜優化,到出施工深化指導圖,找到最優化的箱體尺寸、設備管道布置。

(2) 計算并優化管道局部阻力、沿程阻力。確認箱體內水系統阻力。

(3) 管綜優化:通過初期的模型建立,對管道合理的空間布局進行優化,具體包括(所有管道共管共架,使支架的安裝最經濟性,考慮管道間的間距、檢修空間,達到最大凈高,所有設備需要建族,跟原型一模一樣,并且參數化)。最后標注、定位、出施工深化指導圖。

集成冷凍站BIM設計效果圖如圖12所示。

圖12 集成冷凍站BIM設計效果圖

6 數據中心AI群控系統節能技術

6.1 AI群控系統智慧運行功能

AI的核心是機器學習技術,其是使計算機具有智能的根本途徑,是專門研究計算機怎樣模擬或實現人類的學習行為,以獲取新的知識或技能,重新組織已有的知識結構使之不斷改善自身的性能。在制冷模式切換前,是否滿足切換條件需要進行多參數判斷,而判斷的依據便是各設備性能參數知識表。

通過機器學習,將采集的冷卻塔、板式換熱器等相關傳感器數據進行云端存儲、數據清洗、處理,形成精準的知識表數據,記錄主機在不同負荷率、不同兩器溫差下的COP數據,當數據累計越多,數據的精度越高,對空調群控系統的控制提供了更有利的依據,同時對空調運維管理人員帶來的管理幫助越大。

6.2 AI群控系統架構設計

系統設計采用兩層網絡結構、三層設備結構的方式實現集中管理、分散控制的設備監控理念。

系統網絡結構采用現場控制級和集中監控級(二層結構,采用C/S結構)。

集中監控級為一級網絡,主要是實現管理層和控制層之間進行數據交換,通過六類四對UTP電纜實現物理連接,網絡通信速率不低于100 Mbps,采用TCP/IP標準通信協議。現場控制級為二級網絡,主要是實現控制層和現場設備之間進行數據交換,通過總線實現連接,采用Modbus RTU標準通信協議。同時,中央空調群控系統能夠向大樓動環系統開放通信接口,其通信速率不低于100 Mbps,能支持Modbus RTU、Modbus TCP等多種標準通信協議。

6臺AI裝置通電后即刻自動組群,根據項目實際需要,6臺AI裝置將會組成一個獨立的制冷群。群內每個AI都是對等的個體,通過以太網形成一個無中心對等網絡結構,群內的AI裝置通過群會話語言來協同工作,包括分享自身數據、建立共同控制目標、協商決策完成指令、協商決策完成失效代償。無中心網絡大幅度提高了系統的可靠性和供冷保障率,是空調機房全天候無人值守的技術核心。(每個AI獨立控制1個制冷單元模組,每個制冷單元模組具備完整的獨立啟停、聯動、供冷單元。各個供冷單元之間供冷沒有耦合性,均獨立自主。每個供冷單元模組控制1臺制冷主機、1臺冷凍水泵、1臺冷卻水泵、1組冷卻塔,采集其控制設備的自身傳感器。從數據采集到控制獨立且完整。)

6.3 AI群控系統架構

群控系統架構如圖13所示。

圖13 群控系統架構

7 結 語

根據實踐經驗和理論分析,從規劃設計上對水冷數據中心節能手段進行了設備選型,為水冷超大型數據中心的節能降耗提供了新的技術路線,機柜級(DHU)制冷節能技術方案,在上海已獲批的18個項目之一得以實施應用,PUE設計值為1.281,預計今年底交付使用。