綠色模塊化數據中心構建之道

陽必飛，周德文

（華為技術有限公司，廣東 深圳518129）

0 引 言

隨著虛擬化、云計算、大數據時代的來臨，數據中心的職能正在悄然發生變化，正在由業務支撐系統變成企業的核心競爭力，甚至成為企業“生產中心”的重要組成部分。如何解決傳統機房存在的問題，引領數據中心的發展趨勢，構建新一代節能環保、柔性升級的模塊化數據中心成為業內人士探討的熱門話題和追求目標。

1 傳統機房存在的問題

傳統機房存在如下幾方面問題：

（1）冷熱混合，效率低下，圖1（a）；設備部署不均，局部熱點（圖1（b）。

圖1 傳統機房的散熱問題

（2）多維受限（圖2）、無法擴容

圖2 傳統機房的多維限制

2 “云計算”帶來的新挑戰

云計算帶來的新挑戰：

（1）密度提升、熱點出現：CPU利用率提升以及刀片服務器的使用，單機柜功率密度提升，服務器出現熱點，影響服務器的正常運行和數據中心可靠性；

（2）熱點飄移、散熱困難：云計算、虛擬化使業務在服務器之間“飛來飛去”，熱點和溫度也隨業務“飄忽不定”，散熱困難。

3 數據中心的發展趨勢

3.1 密封通道、行級制冷的發展

密封通道實現了冷熱隔離，制冷利用率更高，比傳統機房更節能，可以支持更高的功率密度，避免局部熱點，具有更高的可靠性，對比見表1。

表1 傳統機房與密封通道對比

行級空調實現近端制冷，沒有傳輸路徑的損失、沒有機柜溫度梯度的缺陷，具備更高的效率，可以支持30 kW／R的功率密度，對比見表2。

表2 房間級制冷與行級制冷對比

行級空調可部署更多的機柜數量，功率密度5 kW／R以上優勢更加明顯，對比見表3、表4、圖3。

以國內某大型冷凍水數據中心的1個603 m2的機房分區為例做實例分析。

表3 機柜數量對比

表4 IT功率每kW的投資對比（主機房內設備，不含油機、冷凍水機組、UPS、電池等）

圖3 行級空調投資造價與機柜數量走勢圖

3.2 高回風

根據GB 50174－2008對A／B級機房的要求（圖5），服務器進風溫度為23±1℃，普通機房1 kW制冷風量按照270.5 m3／h＠△T＝11℃ 計算，空調回風溫度達34±2℃，典型的高回風（圖5）。

圖4 GB50174規定的A／B級主機房溫度即服務器進風溫度

圖5 A／B級普通機房氣流組織溫度示意圖

圖6 △T＝6℃時，A／B級傳統機房氣流組織溫度示意圖，符合GB50174－2008規定

A／B級普通機房地板下送風設計中，習慣性將空調的回風溫度設定在29±1℃（傳統房間級空調自身能力決定的）。也就是說，要么服務器進出風溫度差△T＝6℃，如圖6所示。1kW制冷風量從270.5 m3／h提升到495.9 m3／h，風量增加83.3%即空調增加83.3%；要么違背GB50174－2008之規定將主機房溫度即服務器進風溫度從23±1℃降低至18±1℃，也就是直接將機房的建設等級從A／B級降至C級，保證服務器進出風溫度差△T＝11℃，如圖8所示。

圖7 △T＝11℃時，A／B級傳統機房氣流組織溫度示意圖，違背GB50174－2008規定

不管是從節能或減少空調投資還是從GB50174－2008的規定出發，高回風設計都將是必然的趨勢。

3.3 低載高效，全功率段低PUE發展

數據中心規劃一般要考慮未來5～10年的業務發展，對于大型數據中心，根據業務發展按照模塊分步部署，小型數據中心服務器設備分期部署，初期業務的負載率都很低，部分機房初期負載率甚至低于10%，對國內57個數據中心，容量40 kVA及以上、數量超300臺在線運行的UPS調研，負載率小于30%的占比超過40%。

如果數據中心的PUE目標值按照全負載去規劃，實際運行PUE會大大高于目標值，達不到節能的目的，這就要求數據中心在低載下，全負荷功率段低PUE的要求，如某運營商湖北基地項目標書明確要求實際負載25%、50%、75%、100%下 PUE均＜1.7；同時在負載較低、濕度較大場景，空調運行時間短，在通道外表面有凝露風險，對空調的運行范圍提出了挑戰和要求。

4 如何構筑綠色模塊化數據中心

4.1 全模塊化設計

圖8，圖9所示為從部件到IT模塊、機樓甚至園區的全模塊化設計。

圖8 全模塊化設計圖示

圖9 部件模塊化圖示

4.2 高效電源

高效電源包括兩個概念，一是效率高，減少有功損耗；二是負載率高，減少容量損失。高頻技術比工頻具備更高的效率，不管是模塊熱插拔的模塊化UPS、HVDC，還是模塊固定的高頻塔式UPS，均是高頻產品，同時也基于模塊化的設計理念。

大部分IT設備電源模塊采用過補償設計，功率因數均在0.99～1之間，實際運行普遍達到0.95及以上，要想提升負載率，電源功率因數必須與其匹配（見表5）。工頻UPS功率因數0.8顯然是不合適的，即使高頻塔式UPS的功率因數0.9也算不上高效利用的電源。

表5 通用電源產品效率與功率因數參數表

同樣是模塊化高效電源產品，HVDC在運維上擁有直流電的天然優勢，不受頻率、相位制約，但當前HVDC采用IT供電架構，需考慮GB 50174－2008所默認的TN－S供電架構要求。

4.3 高效制冷

（1）大型機房高回風設計

當前行級空調的回風設計溫度一般為37℃左右，實現了高回風。空調回風溫度從32℃度提升到37℃，其制冷量提升28%；冷水機組出水溫度從7℃度提升到10℃，其能效比提升10%。表6為某司行級空調的參數表。表7為某司冷凍水機組的參數表。

表6 某司行級空調的參數表

目前房間級空調大部分廠家設計回風溫度不高于32℃，需要提升回風溫度。

（2）小型機房全直流變頻水平送風一體化、模塊化設計

表7 某司冷凍水機組的參數表

如圖10所示，集成ATS、配電、UPS、機柜、密封通道、電池及管理系統，實現模塊化機房的一體化和產品化，能夠最大限度的減少現場工程，快速部署；智能管理系統具有支持遠程管理，APP移動運維等特點。

圖10 一體化模塊化產品示意圖

全直流行級變頻水平送風設計，直流變頻空調根據IT負載大小自動調節運行頻率，節能25%以上，如圖11所示。直流變頻空調可實現低載高效，全負荷段低PUE；兼有低載除濕功能，防止凝露及服務器工作在允許的濕度范圍內，如圖12。

圖11 定變頻空調與熱負載的動態曲線圖

圖12 某司定變頻空調效率曲線圖

4.4 智能管理

如圖13所示，DCIM實現數據中心自動化管理，也能實現上下級數據中心集中統一管理、運維、資源調配，減少管理人力，高效運營。

圖14 某企業數據中心管理邏輯圖

5 總 結

影響綠色模塊化數據中心構建的因素很多，包括數據中心選址、自然冷源采用、建設等級等都是必須要考慮的因素，本文從總體全模塊化設計、高效制冷、高效電源及智能管理幾個方面進行了闡述，更多的是從設備本身進行挖潛如何實現綠色高效。隨著數據中心對綠色節能要求越來越高，供電、制冷設備的高效設計變的更加重要。