現(xiàn)代綠色數(shù)據(jù)中心機(jī)房冷通道封閉的應(yīng)用及優(yōu)化設(shè)計(jì)

鄭亮，陳以樂

(澳門科技大學(xué))

1 概述

根據(jù)前瞻產(chǎn)業(yè)研究院的統(tǒng)計(jì)，我國數(shù)據(jù)中心運(yùn)營成本中，網(wǎng)費(fèi)及電費(fèi)分別占了29%與28%，是數(shù)據(jù)中心的運(yùn)營成本大頭[1]。同時(shí)，隨著我國城市中的數(shù)據(jù)中心規(guī)模不斷擴(kuò)大，較高的耗能也加劇了城市的供電壓力。近年來，我國各部門不斷出臺(tái)數(shù)據(jù)中心節(jié)能方面的政策要求，如《工業(yè)和信息化部國家機(jī)關(guān)事務(wù)管理局國家能源局關(guān)于加強(qiáng)綠色數(shù)據(jù)中心建設(shè)的指導(dǎo)意見》（工信部聯(lián)節(jié)〔2019〕24 號(hào)），對綠色數(shù)據(jù)中心的評價(jià)指標(biāo)和管理都作出明確的要求。降低數(shù)據(jù)中心的能源成本一直是國家部門及業(yè)界關(guān)注的焦點(diǎn)。

目前常見的數(shù)據(jù)中心節(jié)能方案有：水冷式數(shù)據(jù)中心、芯片冷卻管道式數(shù)據(jù)中心、自然新風(fēng)式數(shù)據(jù)中心、傳統(tǒng)風(fēng)冷式數(shù)據(jù)中心、冷通道封閉式數(shù)據(jù)中心等。其中，前兩者為水冷式數(shù)據(jù)中心，建造門檻較高，存在漏液的風(fēng)險(xiǎn)，需要配備專業(yè)人員維護(hù)；自然風(fēng)冷式數(shù)據(jù)中心對數(shù)據(jù)中心的場地氣溫有一定的要求，適宜在溫度較低的地區(qū)采用；后兩者為風(fēng)冷式數(shù)據(jù)中心，建造難度和成本都相對較低，其中冷通道封閉式數(shù)據(jù)中心需要裝配專用的風(fēng)管，對機(jī)房的整體布局有一定的要求，但制冷效率相比傳統(tǒng)式有顯著的提升[2]。

以下以廣州某數(shù)據(jù)中心為例，深入探討數(shù)據(jù)中心機(jī)房冷通道封閉的應(yīng)用及優(yōu)化設(shè)計(jì)。

2 數(shù)據(jù)中心優(yōu)化設(shè)計(jì)

2.1 空氣調(diào)節(jié)系統(tǒng)優(yōu)化

針對廣州數(shù)據(jù)中心項(xiàng)目原有年均耗能偏高的問題，在基于原有機(jī)柜上進(jìn)行升級改造。主要是在原有機(jī)柜的基礎(chǔ)上（見圖1）加入了冷熱通道氣流遏制裝置（見圖2），使得冷空氣向機(jī)柜集中散熱，提高了制冷效率。并且通過現(xiàn)場調(diào)研和軟件模擬，發(fā)現(xiàn)該方案具有一定的可行性。不論是上送風(fēng)或下送風(fēng)方式的空調(diào)，均可考慮將整體機(jī)房級冷卻問題轉(zhuǎn)向機(jī)柜級冷卻思路來實(shí)現(xiàn)，從而克服以往需要對整個(gè)機(jī)房的墻壁做保溫隔熱的方式來解決機(jī)房制冷問題和難題[3]。

項(xiàng)目實(shí)施了改造升級后，年平均EEUE 目前降低至1.537，達(dá)到 “二級較節(jié)能機(jī)房”的設(shè)計(jì)目標(biāo)，并顯著的低于原有數(shù)據(jù)中心的耗能數(shù)值。驗(yàn)證了在保障數(shù)據(jù)中心運(yùn)作不受干擾的前提下，原有運(yùn)行的機(jī)房不停機(jī)，并平穩(wěn)升級的目標(biāo)。

通過有效的進(jìn)行通道氣流遏制和冷通道封閉，可實(shí)現(xiàn)將精密空調(diào)原設(shè)置22℃提升至26.2℃的條件，減少了精密空調(diào)的能耗。在有利于機(jī)房設(shè)備的安全穩(wěn)定運(yùn)行的同時(shí)滿足設(shè)備冷卻的需要。減少氣流短路和滿足遠(yuǎn)端設(shè)備冷卻被迫降低機(jī)房整體溫度的難題。傳統(tǒng)式數(shù)據(jù)中心改造成冷通道封閉式數(shù)據(jù)中心過程如圖3 所示。

圖1 改造前氣流組織

圖2 改造后氣流組織

圖3 數(shù)據(jù)中心冷通道封閉改造過程

2.2 模組化UPS 設(shè)計(jì)

原有機(jī)房資源有限，宜適當(dāng)規(guī)劃設(shè)計(jì)機(jī)房主要設(shè)備的功率，避免電源設(shè)備和機(jī)房空調(diào)設(shè)備過度設(shè)計(jì)，減少超輕載空耗運(yùn)行，運(yùn)行時(shí)需要嚴(yán)格控制設(shè)備的負(fù)載率。要求運(yùn)行的單臺(tái)模組化不斷電供應(yīng)系統(tǒng)負(fù)載運(yùn)行應(yīng)大于70%～80%，當(dāng)模組化UPS 的功率模組數(shù)量較多時(shí)，應(yīng)下電休眠，過多的功率模組休眠也是一種浪費(fèi)。

通過使用模組化UPS，積極采用D.E.D 功能的模組化UPS，依據(jù)負(fù)載量控制運(yùn)行的UPS 模組臺(tái)數(shù)，UPS 運(yùn)行模組以輪流均等的狀態(tài)交替運(yùn)行，可以預(yù)防潛在故障發(fā)生。依設(shè)置可維持N+1 狀態(tài)運(yùn)行，高效節(jié)能模式運(yùn)行條件下，逆變器維持待機(jī)狀態(tài)，最高可達(dá)到98%的高效能運(yùn)行，當(dāng)市電發(fā)生異常時(shí)，可以高速偵測及高速切換負(fù)載到逆變器供電，如圖4 所示。

圖4 模塊化UPS 工作原理圖

2.3 水冷技術(shù)的應(yīng)用

項(xiàng)目所在地位于亞熱帶氣候地區(qū)，夏季較長，平均氣溫30°以上，冬季平均氣溫18°左右，并且空氣濕度較高，不利于機(jī)房空調(diào)散熱。但該地區(qū)卻不缺水資源，并且經(jīng)過統(tǒng)計(jì)年均溫度在25℃以下時(shí)間也有2500h，可以充分利用以上優(yōu)勢進(jìn)行數(shù)據(jù)中心的設(shè)計(jì)改造。

改造思路是，利用冷凝器的水霧蒸發(fā)技術(shù)，將機(jī)房制冷效率提高到30%以上。尤其是在夏季廣東氣溫高達(dá)40℃環(huán)境溫度時(shí)，普通的機(jī)房空調(diào)冷凝器容易效率下降50%以上，整機(jī)將處于高耗能和低制冷效能環(huán)境。在采用蒸發(fā)冷技術(shù)后，夏季制冷環(huán)境可以得到明顯的改善。另外，在當(dāng)室外溫度低于25℃時(shí)，蒸發(fā)冷將自動(dòng)停止運(yùn)行，節(jié)省能耗。在冬季蒸發(fā)冷停止運(yùn)作時(shí)，采取間接自然冷卻的技術(shù)，提高機(jī)房自然冷卻的效能，其設(shè)計(jì)原理如圖5 所示。夏季時(shí)利用水源和換熱管道進(jìn)行熱量轉(zhuǎn)化，形成冷水導(dǎo)入負(fù)載設(shè)備進(jìn)行降溫。降溫完成后的熱水重新進(jìn)入冷凝器。在這個(gè)過程中產(chǎn)生的熱能利用風(fēng)機(jī)排出。

2.4 空間重新規(guī)劃

本項(xiàng)目的數(shù)據(jù)中心建立在居民社區(qū)周邊。在建設(shè)時(shí)，設(shè)計(jì)院未做現(xiàn)場考察，導(dǎo)致安裝投產(chǎn)的機(jī)房很多緊鄰住戶的房間。機(jī)房內(nèi)部設(shè)備并沒有做降噪處理，空調(diào)室外機(jī)同樣沒有考慮附近住戶的噪音影響。另外，部分機(jī)房使用機(jī)房空調(diào)的噪音一直得不到很好的解決，在用戶多次投訴或直接干預(yù)下，機(jī)房運(yùn)維部門只能重新購買相對安靜的家用空調(diào)運(yùn)行。這種飲鳩止渴的做法導(dǎo)致數(shù)據(jù)中心的精密空調(diào)長期閑置，讓機(jī)房耗能年均值不斷攀升，得不到根本上的解決。

通過技術(shù)改造后，對原有數(shù)據(jù)中心機(jī)柜的前后門進(jìn)行更換，直接實(shí)現(xiàn)降噪功能。既保證原有機(jī)房設(shè)備平穩(wěn)運(yùn)行，又有效降低機(jī)房設(shè)備噪音對住戶的影響。對于機(jī)房空調(diào)室外機(jī)噪音偏大的場合，將數(shù)據(jù)中心空調(diào)室外機(jī)替換為低噪音型的室外機(jī)，實(shí)現(xiàn)降噪運(yùn)行。另外，在空調(diào)外機(jī)上安置了降噪箱器，保障夜間居民區(qū)使用空調(diào)噪音降低至45 分貝以下。不僅避免擾民，同時(shí)獲得整體機(jī)房空調(diào)節(jié)能運(yùn)行目的。在保障原機(jī)房空調(diào)重新投入運(yùn)行之余，還減少設(shè)備閑置造成的浪費(fèi)現(xiàn)象，實(shí)現(xiàn)了機(jī)房耗能指數(shù)下降的目的。

圖5 機(jī)房空調(diào)室外機(jī)帶蒸發(fā)冷卻節(jié)能系統(tǒng)原理圖

2.5 高密度部署

如何提升現(xiàn)有機(jī)柜的高密度運(yùn)算環(huán)境，一直來都是數(shù)據(jù)中心行業(yè)的討論熱點(diǎn)。目前廣東某前端中心數(shù)據(jù)中心機(jī)柜平均負(fù)載率在4kW 左右，也是地板的最大允許通風(fēng)率和風(fēng)量極限。但實(shí)際機(jī)柜的使用并沒有達(dá)到42U 的充分利用，往往僅安裝了12 臺(tái)～18 臺(tái)設(shè)備后，就沒有繼續(xù)安裝設(shè)備，富余的機(jī)柜空間造成浪費(fèi)。按照國際上最佳的機(jī)柜空間利用率是85%以上，而本項(xiàng)目的機(jī)柜利用率僅僅在50%左右，還有很大的提升空間。

實(shí)際上，機(jī)柜沒有完全利用有其現(xiàn)實(shí)原因，并且機(jī)柜沒有投入運(yùn)營而空置的情況在數(shù)據(jù)中心行業(yè)中也比較普遍。其根本原因是現(xiàn)有機(jī)房環(huán)境的散熱能力不足。單個(gè)機(jī)柜通風(fēng)風(fēng)量在500m3/h，并且當(dāng)單個(gè)機(jī)柜的設(shè)備功率密度超過4kW時(shí)，極容易形成熱點(diǎn)故障，導(dǎo)致機(jī)房機(jī)柜某些區(qū)域形成局部熱點(diǎn)。

解決的方案有很多，主要從兩方面考慮。其一是在本項(xiàng)目機(jī)柜的基礎(chǔ)上進(jìn)行軟件升級，但需要一定的技術(shù)能力才能獲得較好的收益。根據(jù)現(xiàn)場機(jī)柜配置情況看，機(jī)柜內(nèi)主備PDU 均設(shè)計(jì)為32A/220V，允許安全和使用7.5kW 的設(shè)備負(fù)載。有這樣的負(fù)載能力可以基本滿足未來增添的GPU 設(shè)備和5G 設(shè)備的基本運(yùn)行環(huán)境。另外，個(gè)別更高密度的設(shè)備可用通過擴(kuò)容來實(shí)現(xiàn)。

第二是通過設(shè)計(jì)實(shí)踐技術(shù)進(jìn)行升級改造。可以在原有機(jī)柜的后部增加熱風(fēng)管理裝置，從而解決局部熱點(diǎn)難題。通過智慧風(fēng)機(jī)系統(tǒng)，將機(jī)柜通風(fēng)量增加至原有系統(tǒng)的2 倍單個(gè)模組1000 m3/h。同時(shí)采取冗余1+1 模式，保證機(jī)柜散熱的安全需要。從原有機(jī)柜的3kW ～4kW的密度提升至8kW 的密度，并且將機(jī)柜后較熱的空氣直接排出機(jī)房外。最終可以起到較好的散熱效果。經(jīng)過此項(xiàng)技術(shù)改善，可以提升現(xiàn)有機(jī)柜的計(jì)算能力2倍以上，真正做到將現(xiàn)有機(jī)房的機(jī)柜資源增效提高1倍目標(biāo)。其原理如圖6所示。

另外，采用新型的熱管自然冷卻技術(shù)的空調(diào)，對機(jī)柜級機(jī)房的制冷精確運(yùn)用。同時(shí)采用全自然風(fēng)冷卻的自然冷卻的技術(shù)，不僅可以解決散熱能力不足的問題，還可以同時(shí)解決通風(fēng)和噪音的問題。顯著的提升了機(jī)房的節(jié)能效率，并延長了現(xiàn)有機(jī)房的建筑使用年限和滿足了未來業(yè)務(wù)增長的需要，實(shí)現(xiàn)固定資產(chǎn)保值增值目的。

此外，可以采用風(fēng)墻技術(shù)的原理，提高功率密度，降低樓宇因需要地板的高度限制需求，方便利用外界自然冷卻，同時(shí)克服小功率行間級空調(diào)的制約性，滿足中大型數(shù)據(jù)中心的新型空調(diào)冷卻需要。是傳統(tǒng)數(shù)據(jù)中心升級改造的一種技術(shù)解決方式。

圖6 機(jī)柜增效改善原理圖

2.6 運(yùn)用動(dòng)力鋰電池

本項(xiàng)目原本采用的UPS 后備電池為鉛酸電池，需要三年更換一次。使用鉛酸電池不僅費(fèi)用較高，對環(huán)境污染大還占用了寶貴的數(shù)據(jù)中心建筑面積。反觀鋰電池近年來受電動(dòng)汽車行業(yè)發(fā)展的影響，大容量的動(dòng)力鋰電池大規(guī)模生產(chǎn)和制造，具備了成熟的應(yīng)用技術(shù)，可以考慮在數(shù)據(jù)中心中運(yùn)用。表1 為鉛酸電池與鋰電池的對照表，可以看出鋰電池在尺寸、重量和壽命上都有明顯的優(yōu)勢。此外，雖然鋰電池價(jià)格昂貴，但利用其尺寸較小，并且可以定制的特點(diǎn)，可以顯著的節(jié)省數(shù)據(jù)中心空間。從而為未來業(yè)務(wù)拓展所需增建中心機(jī)房做空間上的準(zhǔn)備。

綜合考慮鋰電池建設(shè)的成本因素和按照廣東某前端中心企業(yè)的運(yùn)行特點(diǎn)，為了降低改造工程的總造價(jià)，可以減少電池的數(shù)量，將后備時(shí)間從4h ～8h 縮短為30min，從而降低電池采購成本。此外，為了預(yù)防各種事故發(fā)生的可能，項(xiàng)目還配置全自動(dòng)發(fā)電機(jī)。在部署方面，按照網(wǎng)格管理模式設(shè)置多個(gè)運(yùn)維中心進(jìn)行及時(shí)回應(yīng)，避免沿用以往只設(shè)置一個(gè)應(yīng)急發(fā)電中心而產(chǎn)生的隱患。項(xiàng)目改造前配置了4h ～8h 后備UPS 電池組，為了達(dá)到長時(shí)間的后備巡航，需要備置大量的電池組。但鉛酸免維護(hù)電池在短時(shí)率放電效能低下，并且需要三年一次替換周期，造成的浪費(fèi)顯而易見。與此同時(shí)，改造后還降低因電池自然散熱而消耗的空調(diào)制冷電力支出費(fèi)用。

目前在數(shù)據(jù)中心行業(yè)中，南方電網(wǎng)通信調(diào)度機(jī)房和多個(gè)類似業(yè)務(wù)機(jī)房使用的鋰電池組獲得了較好的回報(bào)。隨著鋰電池廣泛應(yīng)用，合理推測未來2a ～3a，鋰電池購買成本將進(jìn)一步降低。而在項(xiàng)目中的運(yùn)用，將減少因電池組技術(shù)落后導(dǎo)致的數(shù)據(jù)中心電能的浪費(fèi)。例如在南方電網(wǎng)廣東電網(wǎng)公司電力科學(xué)研究院機(jī)房使用動(dòng)力鋰電池運(yùn)用，其能耗達(dá)到了節(jié)能的目的，UPS 可以平穩(wěn)運(yùn)行。

表1 鉛酸電池與鋰電池對照表

2.7 改善照明系統(tǒng)

機(jī)房照明系統(tǒng)節(jié)能改善是機(jī)房節(jié)能系統(tǒng)中最容易實(shí)現(xiàn)的一種技術(shù)手段，很多從業(yè)者或?qū)W者首先考慮的是智慧照明系統(tǒng)。但智慧照明系統(tǒng)除了照明本身，還需要配置智能軟件和硬件。此外，智能照明系統(tǒng)在非照明期間也需要電能來保持感應(yīng)設(shè)備的運(yùn)行，在某些不需要照明的時(shí)候也會(huì)因?yàn)橄到y(tǒng)的感應(yīng)而照明，無形中造成了電能的浪費(fèi)。更重要的是其投資成本較高，日常維護(hù)相對復(fù)雜。

在實(shí)際應(yīng)用中，觀察到數(shù)據(jù)中心的部分空間是不需要智能照明系統(tǒng)覆蓋的。例如在機(jī)柜前端，只有需要工程師進(jìn)行調(diào)試和維護(hù)的時(shí)候才需要照明，因此可以改成原始的手工的照明系統(tǒng)。其原理是在機(jī)柜前的LED 照明燈具旁安裝拉線開關(guān)。當(dāng)需要操作者使用機(jī)柜時(shí)，可以隨手拉動(dòng)開關(guān)，開啟照明。離開時(shí)，將拉線開關(guān)關(guān)閉。從根本上做到需要照明時(shí)，才主動(dòng)開啟機(jī)房局部照明。并且僅公共通道使用紅外自動(dòng)照明燈系統(tǒng)。

利用手工和智能混合使用的照明系統(tǒng)，大幅度的降低了照明的改造成本，并且收效顯著。經(jīng)過測試，相較于改造前的照明系統(tǒng)耗電量，改造后數(shù)據(jù)中心的照明系統(tǒng)節(jié)省了60%以上的電量。

3 結(jié)語

通過對本項(xiàng)目數(shù)據(jù)中心進(jìn)行的一系列優(yōu)化設(shè)計(jì)與技術(shù)措施，總結(jié)出數(shù)據(jù)中心機(jī)房冷通道封閉優(yōu)化設(shè)計(jì)的一些改進(jìn)措施。尤其是在原有機(jī)房不間斷運(yùn)行的環(huán)境下，針對持續(xù)運(yùn)營10a 以上的傳統(tǒng)舊式數(shù)據(jù)中心進(jìn)行的升級改造效益顯著。在不進(jìn)行大規(guī)模拆除和替換機(jī)柜設(shè)備，并且不改變總體平面布局的前提條件下，通過實(shí)施多個(gè)節(jié)能技術(shù)措施，取得了明顯的節(jié)能效果。

近年來，眾多的機(jī)房將年均耗能值持續(xù)降低到二級節(jié)能機(jī)房水準(zhǔn)。在宣揚(yáng)智慧城市發(fā)展目標(biāo)的背景下，將“綠色”的概念也貫徹到數(shù)據(jù)中心的規(guī)劃設(shè)計(jì)、設(shè)備采購、機(jī)房建設(shè)和日常運(yùn)行維護(hù)的各個(gè)關(guān)鍵環(huán)節(jié)，不僅能考核運(yùn)維部門實(shí)現(xiàn)耗能指數(shù)持續(xù)降低，還能保證充分重視數(shù)據(jù)中心設(shè)計(jì)與建造的每個(gè)環(huán)節(jié)。通過數(shù)據(jù)中心設(shè)計(jì)細(xì)節(jié)的不斷深挖和完善，最終實(shí)現(xiàn)綠色數(shù)據(jù)中心的理念。持續(xù)降低數(shù)據(jù)中心的能耗，甚至能從根本上降低數(shù)據(jù)本身的運(yùn)維成本，從而降低信息技術(shù)的經(jīng)濟(jì)成本，加快智慧城市的建設(shè)與普及。

合理的規(guī)劃可以防止過度規(guī)劃出現(xiàn)的浪費(fèi)，從而為后期運(yùn)維階段實(shí)現(xiàn)節(jié)能增效打下良好的基礎(chǔ)。企業(yè)實(shí)現(xiàn)年均耗能指標(biāo)的考核意義深遠(yuǎn)，不僅僅是節(jié)省一些電費(fèi)，更是未來面向5G 業(yè)務(wù)和政企業(yè)務(wù)支撐平臺(tái)的需要，同時(shí)也是一項(xiàng)持續(xù)改進(jìn)增強(qiáng)企業(yè)競爭力的戰(zhàn)略決策。