超級計算數據中心電氣設計例析

王 昀

(中國建筑設計研究院有限公司，北京 100044)

0 引言

當今世界，人工智能與大數據成為經濟發展的新動力。高性能計算為人工智能應用提供了強勁的計算力，大數據則為人工智能提供數據資源，反之，人工智能與大數據也在推動高性能計算機發展出各種新的形態。一個國家的超級計算機研制和應用的水平，既是國家科研實力的體現，也是綜合國力的重要標志。

超級計算數據中心通常指業務既包含高性能計算，又涵蓋了對電子信息進行處理以及配套存儲、傳輸、交換、管理等功能和服務的物理空間，廣義上集合了高速數據計算、網絡、存儲而形成的集成應用環境。

未來科技創新的規模和復雜性將急劇增長，對數據采集、存儲、傳輸、處理，以及計算能力的需求將達到前所未有的高度。這也迫使科研信息化基礎設施性能和服務能力加速向更高量級和水平發展，加速微觀和宏觀雙向的科學發現與創新。

本文以某超級計算數據中心的規劃建設為例，對超級計算數據中心的電氣設計進行探討。該項目包含超算硬件資源建設、超算軟件環境建設和數據中心綜合樓建設。終期建設目標計算能力100Pflops，數據存儲能力不低于20PB，并通過高速網絡實現與國內、國際各類信息化資源的互聯互通。

1 主要用電設備

超級計算數據中心包含多種類電子信息設備及基礎設施設備，除常規數據中心所包含的主要IT設備外，該項目的超級計算設備具有某些特殊性，對用電設備進行梳理，以便進行用電負荷等級劃分及電氣系統搭建。

1.1 電子信息設備

超級計算資源系統(圖1)主要包括先進計算分系統、數據存儲分系統、網絡交換分系統、支撐管理分系統等部分。

圖1 超級計算資源系統架構

計算分系統：包含高性能計算浸沒液冷單元、人工智能計算浸沒液冷節點等，支持科學和工程計算、人工智能、大數據等應用場景。

數據存儲分系統：分布式并行存儲系統。

網絡交換分系統：包含液冷IB交換機、風冷計算存儲交換機、風冷萬兆核心交換機等。

支撐管理分系統：包含數據控制器、索引控制器等，提供系統登錄、管理、服務專用節點。

1.2 動力設備

本次高性能計算項目采用業界先進的液冷技術，結合冷凍水行間空調、精密空調，為所有計算設備、高速網絡設備、存儲管理設備等制冷。與傳統的風冷技術相比，液體熱傳導的效率更高，換熱能力更強。采用液冷技術后，計算子系統的PUE將不高于1.05，達到業界領先水平。

計算分系統超算計算單元，采用全浸沒蒸發相變液冷冷卻，每兩臺計算機柜配置一臺浸沒液冷機柜。單臺液冷換熱柜制冷量為320kW，可滿足2臺計算機柜液冷散熱需求。液冷交換機柜采用冷板式液冷技術。

網絡分系統，部分高速網絡設備采用冷板式液冷技術，通過冷板式液冷與高溫冷源進行換熱；其余監控設備熱負荷及高速網絡設備風冷部分負荷采用冷凍水行間空調進行散熱。

存儲分系統、管理分系統采用模塊化風冷。

2 電氣系統

本項目主要的電氣系統包含10kV配電系統、備用柴油發電機系統、10/0.4kV變配電系統、高壓直流配電系統、不間斷電源系統及低壓配電系統。本項目中的主要設備用電需求包括10kV供電(高壓冷機)、高壓直流380V供電、交流三相380V供電和交流單相220V供電。

(1)10kV配電系統

項目包含一級負荷中特別重要負荷，需雙重電源供電，由上級變電站引入相互獨立的10kV電源作為本項目的市電電源。

(2)備用柴油發電機系統

超級計算數據中心的所有一、二級負荷，除高性能浸沒液冷服務器外的IT設備，交換機柜、存儲機柜、管理機柜、網絡安全機柜、液冷換熱柜、冷凍水行間空調，及配套冷源、冷卻塔、循環水泵、水冷自控系統等，包含IT負荷及為IT負荷提供制冷的負荷及消防負荷、事故風機、災后清空風機等，均需備用柴油發電機系統保障。

采用10kV快速自啟動柴油發電機組按N+1配置，雙母線輸出，保障負荷的可靠供電。

高性能浸沒液冷服務器采用高壓直流供電，單路380V市電接入高性能液冷服務器機柜單元的高壓直流柜，其設備功率較大，且服務器計算數據可短時間間隔自動保存，故無需設置柴油發電機保障供電。

(3)10/0.4kV變配電系統

交換機柜、存儲機柜、管理機柜、網絡安全機柜、液冷換熱柜、冷凍水行間空調、配套冷源、冷卻塔、循環水泵、水冷自控系統等IT設備和動力設備變壓器采用2N配置。

高性能浸沒液冷服務器設備功率較大，設置專用變壓器，末端采用高壓直流供電，單路380V市電接入高性能液冷服務器機柜單元的高壓直流柜，其供電變壓器采用單N配置。

(4)高壓直流配電系統

采用380V單路市電，接入高性能液冷服務器機柜單元的高壓直流柜，供高性能浸沒液冷服務器。

高性能液冷服務器單元及存儲交換機每兩臺為一組，需配置一臺高壓直流配電柜。高壓直流電源轉換損耗約為4.5%，直流配電線損約為1.5%。

(5)不間斷電源系統

存儲機柜、管理機柜、網絡安全機柜、網絡交換機及輔助設施設置按2N配置的UPS不間斷電源，蓄電池后備時間單機滿載15min。

冷源控制系統、液冷換熱柜、冷卻水循環泵、行間空調、精密空調等按N+1配置UPS不間斷電源，電池后備時間單機滿載15min。

(6)低壓配電系統

本項目除高性能浸沒液冷服務器外，其余IT設備及制冷設備均需雙電源供電，并按要求配置不間斷電源系統。事故風機、災后清空風機及消防負荷等均需雙電源供電，普通照明、普通動力等采用單電源供電。

3 系統架構

3.1 超算計算單元供電系統架構

超算計算單元采用高壓直流供電，每臺高壓直流柜輸出兩路DC 380V直流電源，可為2臺計算機柜提供電源。高壓直流配電柜采用單路AC 380V市電輸入，采用專設變壓器供電。系統架構見圖2。

圖2 超算計算單元供電系統架構圖

3.2 存儲及網絡單元供電系統架構

存儲及網絡單元配電系統采用容錯系統架構，變壓器及UPS均按2N配置，為配合建設方的分期建設需求，將UPS分期并機，以減少不必要的初期建設投資及設備損耗。其系統架構見圖3。

圖3 超算存儲及網絡單元供電系統架構圖。

3.3 動力設備系統架構

為IT設備提供持續制冷設備采用不間斷電源供電按照N+1配置，普通動力、照明設備采用單路電源供電，其他動力和消防設備采用雙路市電電源供電。其系統架構圖見圖4。

圖4 動力設備供配電架構圖

4 分期建設

本著靈活性和擴展性原則，本超級計算數據處理中心機房建筑平面和空間的布局應當具有相當的靈活性，各樓層的機房進行了合理的面積分割，按業務發展程度分步投入使用，機房精密空調的數量也根據需要分步配置。機房內的隔斷墻結構設計便于拆裝，既能相對獨立分割使用，又能適應擴容組合和面積擴充，各子系統也適應這種變化，符合自身和客戶的要求。在電氣系統的設計上，也與設備及平面的分期建設相協調。

4.1 市電容量的分期報裝

因超算計算單元設備集成度高，用電功率較大，再包含網絡和存儲設備及動力設備，總的用電負荷達到約2萬kW，需申請四路市政10kV電源,同組兩路互為備用。

為配合分期建設需求，電氣系統設計過程中將超算計算單元、超算網絡及存儲設備、數據機房部分常規IT設備、動力及樓宇設備四大類用電設備的供電變壓器分開設置，同時，將用電設備按一期投入、二期投入進行劃分。

電氣系統分期建設需綜合考量：(1)總建設投資；(2)初期建設投資；(3)合理的變壓器容量選擇；(4)減少機房支持區的空間占用。

4.2 不間斷電源設備的分期投入

參照項目的終期建設目標一次性配置不間斷電源系統存在著諸多弊端，為減少項目建設初期不必要的投資，且縮減不必要設備投入帶來的設備和能源損耗，需合理規劃不間斷電源系統的配置。該項目采用的主要措施包含以下內容。

(1)合理規劃UPS設備的分組并機

計算初期、中期、終期建設需不間斷電源系統保障供電的具體負荷容量，規劃選擇UPS容量及并機形式時結合變壓器的容量選擇，尋求分期投資、機房面積指標、系統架構合理性、可靠性、運維便捷性等幾大因素結合的最優解。

(2)針對場景選擇設備

電子信息設備采用高頻塔式UPS，并合理配置UPS并機方案，兼顧分期需求及可靠性原則。

持續制冷設備的UPS電源方案則推薦采用模塊化UPS，一方面避免設備建設初期因較小的用電設備容量選配小容量UPS，導致在后期建設過程中進行大的系統改造帶來的擴建周期長、需停電停運等問題。

另一方面避免過多的小容量UPS分組并機造成的總投資增加。

模塊化UPS的優勢主要體現在部署更為靈活，以及后期更為簡易的運維。

5 結束語