（2020年江蘇省通信學會“華蘇杯”論文征集三等獎）新型電冷量彈性應用的數據中心建設方案的研究與實踐

李坤明 張 江 范晨靜 游 海 陳語霄 黎春鵬

1.中國電信股份有限公司蘇州分公司；2.中通服節能技術服務有限公司

0 引言

近年來，國家陸續出臺了多項政策，加快推動以數據中心為代表的新型基礎設施建設，各行業數字化轉型升級帶來的數據中心需求也在持續增長，數據中心正發揮其“一行帶百業”的特有作用。2022年3月，國家層面啟動“東數西算”工程，建設8個國家算力樞紐節點，規劃10個國家數據中心集群。2021年，中國電信明確了天翼云業務“2+4+31+X”云網融合資源布局，建設集團、區域、省級數據中心園區。集群化建設數據中心，有利于實現算力集約化發展，有利于持續優化數據中心能源使用效率，已成為業內共識。

數據中心的發展已有20余年的歷史，1996年，美國Exodus公司最早提出IDC的理念和服務，同年度，中國電信開始提供最初的服務器托管業務。2004年以后，國內基礎電信運營商相繼加大IDC的投入，利用機樓面積、電力、冷量等設備環境資源，建設單機柜功耗3KW的中小型數據中心，國內數據中心發展進入快車道。在需求側的激勵下，單機柜電功率持續增長。持續增長的算力需求、更低的PUE、越發緊張的機房面積資源等因素，共同推動數據中心單機柜電功耗從3-6kW，普遍增長到6kW以上，數據中心建設逐漸走向高密度、客戶定制化、綠色化。

數據中心屬于重資產。數據中心投資密度大、定制化設計、建設周期較長，導致當下的建設需求和長期的經濟效益之間匹配的風險越來越高。本文著力于降低數據中心建設運營過程中，現狀與未來不確定性之間的矛盾，兼顧雙碳時代綠色節能的需求，提出了一種新型電冷量彈性應用的數據中心建設方案，并結合實踐案例，為數據中心建設提供參考和依據。

1 數據中心建設方案的現狀

安全、節能，已成為數據中心全生命周期內關注的核心要點，在基礎設施層面，關鍵在于供配電、制冷方案的選擇應用。近年來，數據中心電、冷技術不斷迭代，包括240V直流供電技術、水冷機組、列間空調（含氟泵）等試點推廣應用。數據中心整體機房建設方案也在推陳出新，目前業內廣泛使用的方案包括：運營商DC化的微模塊（DC艙）、騰訊的T-block、百度的蜂巢系統、機柜級制冷方案、其他第三方數據中心的建設方案。

方案之間存在共同點。供配電部分采用傳統的“電源列柜+電纜布放+PDU”模式，單機柜電功率設計與當前需求精確匹配；制冷部分采用“列間空調+冷熱通道封閉”或者“背板空調”、“機柜級空調”模式，核心思路均是縮短空調送回風距離，提高空調工作能效，降低PUE值。當前單機柜電功率需求對應的數據中心機房建設方案，詳見表1。

表1 當前數據機房建設方案

為提高資金使用效率，建設方在數據中心機房內部建設時，基于當前單機柜電功率需求，綜合考慮已有電力、空調資源，進行機房的供配電、制冷方案的定制化規劃設計并實施，為保證節能效果，后期運營時的單機柜功耗，需盡量貼近設計負荷，“需求-設計-運營”之間是點對點的強耦合關系。

2 數據中心建設方案遇到的問題

隨著運營商、第三方數據中心等服務商IDC租賃業務的發展，經過對多個數據中心實地走訪及調研，當前問題可總結為以下3個方面。

2.1 單機柜電功率難以根據需求動態調整

業內數據中心的建設，分為可行性研究、設計、招標、施工、調測5個階段，按照業內平均建設速度，機電立項到投產需9個月，土建立項到投產需24個月，構成詳見圖1。一般情況下，大客戶定制IDC租期6年，普通客戶租期2年，行業內對于數據中心的靜態投資回收期的測算，一般不超過5年。

圖1 數據中心建設工期構成

隨著5G、人工智能、云計算等技術的發展，我國各行各業都在加速數字化轉型，對于算力的需求逐漸變高，回顧2016、2017年，業內還在試點建設4-5kW/柜的數據中心，現已迭代為建設7KW/柜的數據中心。展望6-7年后，客戶對于單機柜電功率的需求更高，存量數據中心難以直接匹配客戶的需求，業主需在機房閑置或者投資改造之間做出選擇。

2.2 設備環境電冷量資源池較淺

參考中國電信〔2017〕319號文件《關于印發中國電信通信機房基礎設施DC化重構指導意見的通知》，變配電系統、不間斷電源系統容量測算時，網絡/IT設備負荷計算考慮0.80-0.95的綜合系數（同時系數和需要系數），制冷系統也逐漸開展冷凍（卻）水型空調系統的應用。為保證數據中心的安全性，在規劃設計階段會留有一定的冗余或者擴容空間，就數據機樓級而言，已經形成初步電源池、冷量池，能高效響應新建機房類需求。

而對于存量機房層面，未建立機房級的電源池、冷量池。目前的電、冷設計方案，單機柜電功率在設計功率下運營，PUE貼近設計值，低于設計功率使用，會出現PUE高于建設預期、資源浪費；高于設計功率使用，需要綜合考慮電冷系統擴容安裝條件、工程實施風險、功能讓步接受等因素，重新評估、設計改造方案。一般情況下，工程實施耗時耗力、經濟性不佳。

2.3 機房運營時的技術問題

包括機房局部熱點，單機柜內部溫度分層明顯，電冷量冗余配置在經濟性、安全性之間的平衡等。

3 電冷量彈性應用的數據中心建設方案的研究及實踐

3.1 方案思路

實現DC基礎設施靈活匹配需求，關鍵在于電、冷資源配套靈活、可靠響應。本方案創新性地提出彈性DC整體機房建設方案，構建機房級保障電源池、冷量池，實現單機柜電功率按需“彈性”分配。設定邊界范圍內，不損失當前節能效果的前提下，根據負載需求，單機柜電、冷資源的實時調整。有效地減少了當下的建設需求和長期的經濟效益之間匹配的風險。

方案設計了電力負荷彈性分配系統、冷量彈性分配系統，兩者整體承載于金屬框架結構件上，綜合考慮機房層高、綜合布線、管路走向等，進行整體機房工藝結構設計，構建“兩池”，電和冷是數據中心設備環境的核心要素，建設方案將顆粒度細化到每一列機柜，實現了電冷最末端池化的構思（見圖2）。簡述如下：

圖2 彈性DC機房方案示意圖

電力負荷彈性分配系統，應用列間配電母線技術，代替傳統的電源列柜、電力電纜布放的實施方式。列間配電母線由始端箱、直線段、插接箱構成，詳見圖3列間配電母線示意圖。機柜電源從插接箱內引出，單個插接箱的負載取決于插接箱和直線段之間的導電材料接觸面積、插接箱內的空氣斷路器和連接電纜的額定電流，對這兩個關鍵點合理設計冗余，極少的造價成本，可以實現電功率的動態實時調整。

圖3 列間配電母線示意圖

冷量彈性分配系統，應用熱管背板+風墻技術，以列為單位，構建冷量池。在每列機柜的背后，用金屬框架結構件構建混風墻，一側是機柜，一側是熱管背板，實現靜壓箱的效果，機柜無需購置后門。基于重力型熱管背板的工作原理，工質的蒸發量取決于服務器產生的熱量，即使同一列機柜之間電功率有差異，仍能精確制冷，實現冷量的按需實時調整，具有良好的節能效果。采用這樣的設計，一方面，每臺機柜可以獲得均勻的靜壓出風，消除柜內不同高度局部熱點效果良好；另一方面，實現物理上的柜間冷源備份。

機房的消防、動環、安防、能耗、設備監控等系統的設置，仍采用原有建設思路即可。

以某運營商的數據中心整體機房建設項目為例，涉及機房空調末端、機房配電、機柜配套工程，對比彈性DC方案與微模塊方案指標，同等面積的機房建設方案指標對比如表2所示。

彈性DC方案與微模塊方案相比，彈性DC方案采用背板空調替代微模塊的列間空調，且在背板空調與機柜之間，利用金屬框架構建300mm混合風墻，實現背板空調之間互為備用；另外，彈性DC方案用列間配電母線取消了電源列柜。從機房工藝角度分析，空調方案的變化，導致彈性DC單機柜深度高于微模塊，可能導致機柜列數量變少，同時，微模塊列間空調位置可用于部署機柜；電源方案的變化，列柜占用的空間從平面變成了立面，微模塊電源列柜位置可用于部署機柜。

綜上所述，由表2的實際案例分析可知，同等機房面積資源下，彈性DC方案可建設標準服務器機柜數量更多、單機柜電功率更高、單位功率造價更低、單位功率/單機柜面積占比更低。方案有著更優的節能性、維護性和實用性。

表2 同等面積的機房建設方案指標對比

3.2 方案的邊界點

建立機房級的電源池、冷量池，在邊界范圍內提供一定的使用彈性，可顯著降低工程運營風險。方案邊界范圍的確定，仍從電、冷系統的上下限著手。考慮數據中心末端2N冗余設計，單機柜電功率最大值受限于以下兩個因素：（1）配電母線插接箱內的微型斷路器、接插件的截面積，單機柜額定電流最大值為62.5A（AC220V測算）；（2）背板空調的制冷量最大值12KW；最小值據相關模型分析，5KW以下并不具備技術、造價競爭力。綜上，彈性DC整體機房建設方案單機柜電功率的邊界區間，為5-12KW。

3.3 實踐情況

該項目位于某運營商數據園區中，規劃單機柜電功率7KW，共1024臺標準服務器機柜，綜合評估單機柜功耗需求，構建保障電源池、保障冷量池。效果圖如圖4、圖5所示。

圖4 整體建設效果圖

圖5 單列機柜頂部管線圖

經測算，彈性DC方案將單機柜基礎功耗設定為7KW，最高可支持9kW，實際使用功耗向下兼容，實測PUE值1.13，低于國家工業和信息化部、國家機關事務管理局、國家能源局關于加強綠色數據中心建設的指導意見中，新建大型數據中心PUE 要達到1.4以下的要求。同比同一園區內的微模塊數據中心，水冷空調模式，實測PUE值1.42；同一地區其他園區微模塊數據中心，風冷空調模式，實測PUE值1.62，彈性DC方案有著顯著的優勢。

在工程實踐中，踐行了模塊化、工程產品化的思路，取得了良好的效果。經過整合設計，工廠預制結構件；優化現有工序，部分關鍵線路上的工作由串聯改為并聯，金屬框架結構件7天內進場定位快速搭建，預制并先于設備到貨安排空調管路、綜合布線等分項工程進場。本項目一期工程754臺機柜位，從簽訂合同到工程竣工，共用時40天，優于行業平均水平。

4 結束語

數據中心建設的“多快好省”是從業者不斷追求的過程，也是一個不斷迭代的過程。筆者通過調研分析當前數據中心建設過程中的痛點，綜合評估彈性使用、優化工序、節約投資等方面，提出一種實用可行的彈性DC建設方案，分析對比目前主流方案并闡述實踐結果，功能、投資、工期、節能均滿足并優于項目預期和行業平均水平，為行業內數據中心基礎設施的建設提供參考和依據。