新基建環境下模塊化數據中心設計

文/從明 李琳駿 史艷博 劉帥（中電萊斯信息系統有限公司）

一、引言

2020年3月，中共中央政治局常務委員會議上提出，加速以5G基站、工業互聯網、人工智能、數據中心等代表的七項新型基礎設施的建設進度。“新基建”概念的再次提出，能夠為經濟社會的創新、協調、綠色、開放、共享發展提供具有乘數效應的底層支撐[1]。

作為信息交換、計算、存儲的能力基座，數據中心是“新基建”政策高速推行和高質落實的經濟基礎，也是行業數字化轉型的必然要求。依托虛擬化、大數據、人工智能的先進成熟技術，數據中心服務逐步實現云化部署，構建網絡、計算、存儲資源池，提高資源利用率，增強系統可用性，實現彈性擴容和負載均衡等[2]。目前，我國數字經濟建設進入大規模實施階段，數據中心數量減體量增，中大型數據中心占比逐年增長[3]。在國家“新基建”政策的加持下，我國數據中心建設必將迎來一輪新高潮，對工程建設周期和質量均提出了新的要求。尤其是對數據中心基礎環境，既要縮短數據中心建設交付周期，保障IT設備安全可靠運行，延長設備使用壽命，又要為運維人員提供舒適的操作環境，能夠對溫度、濕度、安全防護、電源配電和防雷接地等進行一體設計[4]。模塊化數據中心的出現表明了建設模式的發展趨勢，現已成為數據中心設施新建和升級改造的研究熱點。

二、必要性分析

針對現有的老舊數據中心，常存在建設周期長、系統擴展性差、能源利用率低、機柜尺寸規格不一致、布線和外觀不協調等問題，已不能滿足未來業務發展需要。相較于傳統建設模式，模塊化數據中心的能力優勢主要表現在：（1）一次規劃，分期投資。實現土建和信息系統建設的有效解耦，建筑主體及基礎水電一次性建設完成。微模塊采用標準化組件并預留接口，可快速生產發貨、高效現場組裝，提高投資回報率，資本性支出降低10%以上。（2）快速部署，靈活擴展。數據中心從統籌統建變為分期擴容，微模塊的快速部署能力極大縮短工程交付周期。由于IT設備生命周期一般為3-5年，數據中心使用年限大多為10-15年，當服務器升級改造或集中換新，微模塊能夠靈活調整內部供配電方式和制冷參數，大大提高微模塊的高可用性。（3）綠色節能，空間高效。微模塊采用密封通道設計理念，實現冷熱氣流隔離，行間空調近距離制冷，消除局部熱點，顯著提高制冷效率，年均PUE可優化至1.5。同時，IT設備安裝密度增大，空間利用率顯著提升，單機柜功率密度可提升至10kW以上。（4）智能管理，安全可靠。依托監控平臺軟件，提供數據可視化、管理一體化、排障智能化等功能，支持各類傳感器按需接入，實現數據中心動力監控、環境監控、安防監控等。通過對運維數據的聚合和分析，最大程度提高數據中心的運維效率與運行可靠性[5]。

三、模塊化數據中心設計

針對機柜、供配電、制冷和動環監控等系統，模塊化數據中心采用一體化集成設計思路，實現高度模塊化，高可靠性和高可用性，具備快速靈活部署，節能高效使用，智能運維監控等優點。

（一）設計原則

加強機房一體化設計，提升數據中心對上層業務支撐能力及自身運維能力，在系統經濟性、安全性、智能化、可視化等方面取得突破。

（1）設計一體、體制一統。堅持一體化設計，統籌資源、集約部署，確保整體性能最優、收益最大；采用統一的技術體制，確保系統兼容性、擴容性，支撐上層業務互通。（2）安全可控、開放創新。采用冗余備份、受控引接等方式，實現系統運行穩定可靠；運用虛擬化、大數據、人工智能等先進成熟技術，支撐數據共享、經濟綠色、平滑擴容等，體現科技感[6]。（3）智能運維、簡化操作。構建安全可靠、規范高效的管控平臺，實現運維可視化、自動化、智能化，簡化操作流程，支撐遠程值守、自動告警等應用需求。

（二）結構設計

數據中心微模塊主要由功能模塊、空調模塊和動力模塊組成。其中，功能模塊集成部署服務器、磁盤陣列、交換機、路由器等IT設備，可根據業務擴展需求靈活調整設備安裝位置及綜合布線；空調模塊集成制冷單元及溫度傳感器，可根據IT設備功率密度靈活配置空調數量和功率；動力模塊集成UPS、電池及配電單元，可根據設備總功耗靈活選擇電池數量及供電方式。數據中心典型的微模塊結構如圖1所示。

圖1 數據中心典型的微模塊結構圖

（三）功能設計

微模塊采取標準機柜，以內循環制冷方式為IT設備冷卻散熱，可有效解決IT設備高密部署的制冷瓶頸，降低PUE值。采用冷熱雙通道封閉設計，能夠大幅降低對數據中心現有基礎環境的依賴。同時，部署各類傳感器和監控管理模塊，實現基礎設施的智能化控制管理。

1.機柜系統

采用42U標準機柜，強度高、重量輕，滿足IT設備高熱密度的散熱需求。每個機柜配置定制化PDU，為機柜內設備提供可靠供電保障。機柜頂部和底部預留走線通道，前部和背板采用網孔面板。微模塊內機柜的環境整齊美觀，電源維護安全可靠。

2.供配電系統

包括IT設備供電（UPS）系統和輔助設備供電系統，由不同回路供電，為電子信息系統的可擴展性預留容量。采用機柜式電池箱、機架式UPS、機架式配電模塊配合使用模式，由市電經UPS供電給服務器、磁盤陣列、網絡等IT設備，提供指定容量的后備能源貯存，節約UPS及電池組的安裝空間。同時，市電負荷主要為精密空調、新風、照明、暖通、UPS設備等。

3.制冷系統

采用機柜排封閉和行間就近制冷結合方式，達到最佳制冷效果。IT設備機柜間按需間隔部署行間空調，通過前部出風，后部回風方式，在機柜排前部形成冷氣流通道，后部形成熱氣流通道，實現冷、熱氣流通道分離，氣流在柜內流經IT設備完成循環換熱，實現“冰箱式”制冷。保證IT設備機柜不同高度進風溫度的均衡性，避免局部熱點，提高設備運行安全性，延長設備使用壽命。

4.動環監控系統

包括前端傳感器和監控平臺軟件，可實現遠程無人值守。前端傳感器包括攝像機、門禁、水浸、溫度、濕度、煙感等各類傳感器，支持微模塊內圖像實時采集和環境參數收集；監控平臺軟件支持對環境、電源、空調等進行集中管控，對各類實時信號和歷史信息（含設備信息、配置數據、報警信息等），提供實時畫面預覽和歷史圖像回放功能。通過對監控數據的分析、存儲、顯示和導出等，實現運維日志保存、報警信息處理、報警事件記錄。通過客戶端顯示、手機App、電子郵件等途徑，及時將報警內容發送給運維人員。

四、投資收益分析

以300個機柜規模的傳統數據中心和模塊化數據中心為例，分析兩者的投資收益。投資成本主要包括機柜系統、制冷系統、UPS電源系統（不含前端供電配電）、建筑投入（含土建、新風、裝修等）。運營成本主要包括水電成本（按全年8760小時75%的IT載荷計算）和運營費用（含維保經費、人工工資等）。兩類數據中心投資收益分析如圖2所示。

圖2 傳統和模塊化數據中心投資收益對比圖

由總利潤計算出，傳統數據中心投資回收期約為5.9年，模塊化數據中心投資回收期約為4.1年。模塊化數據中心投資回收期明顯小于傳統數據中心。隨著數據中心規模增大，模塊化數據中心優勢將更加明顯。

五、結論與展望

面對上層業務對數據中心基礎設施標準化、模塊化、節能性、智能性及建設周期的新要求，本文闡述模塊化數據中心設計原則、功能設計、投資收益等，指出數據中心采用微模塊部署的優勢。通過優化設計機柜、供配電、制冷、動環監控等系統，能夠有效解決IT設備高密部署（單機柜功耗較大）時產生的散熱、配電、監控、布線等實際問題。微模塊建設模式具備高可靠性、高可用性、節能高效、智能管控等特點，在中大型數據中心建設具有廣泛應用前景。