企業構建仿真高性能計算集群的探索與實踐

汪宣晟 何小紅

[摘? ? 要] 信息化時代，面向海量信息或數據，信息的處理能力或數據的計算速率顯得尤為重要。為提高信息處理能力或數據計算速率，高性能計算應運而生，目前，高性能計算集群已被廣泛應用于各應用領域當中。本文主要以企業研發產品仿真計算領域為例，探索企業如何構建仿真高性能計算集群，并應用于結構、流體、電磁等多物理領域，從而提高企業仿真分析計算能力，提升企業核心競爭力。

[關鍵詞] 高性能計算;集群;仿真

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2020. 01. 041

[中圖分類號] F270.7? ? [文獻標識碼]? A? ? ? [文章編號]? 1673 - 0194（2020）01- 0098- 02

0? ? ? 引? ? 言

高性能計算（High Performance Computing，HPC），是指利用聚集起來的計算能力來處理標準工作站無法完成的數據密集型計算任務，包括仿真、建模和渲染等。目前，在信息技術飛速發展的時代，處理信息的能力尤為重要。而在未應用HPC之前，人們在處理各種計算問題時常常遇到這樣的情況：由于需要大量的運算，一臺通用的計算機無法在合理的時間內完成工作，或者由于所需的數據量過大而可用的資源有限，導致根本無法執行計算。HPC通過使用專門或高端的硬件，或是將多個單元的計算能力進行整合，能夠有效地克服這些限制。因此，HPC被廣泛應用于各行各業。

聚焦公司產品研發領域仿真計算，當前，公司研發人員在做仿真計算時，基本上使用自己本地電腦做仿真計算，條件稍好的研發部門會使用離散分布的服務器做仿真計算，由于單個計算機或離散服務器的硬件資源相對有限，導致在做一些規模大且任務重的計算時，往往會出現計算資源不夠、計算時間過長、影響自己其他日常辦公的情況，且無法對仿真數據資源進行集中統一管理。

上述問題或不足，對于研發仿真分析人員而言，尤其是經常需要做大規模計算或仿真任務中的人員，是極為不便的。

1? ? ? 仿真高性能計算集群建設目標及原則

根據公司所處行業特點及產品研發人員實際需求，在探索并構建仿真高性能計算集群時，主要有以下四個方面的建設目標：一是，建成可擴展、穩定可靠、高效節能的高性能計算集群系統;二是，實現仿真計算資源的統一管理;三是，實現仿真計算作業及結果文件的統一管理;最后，保障仿真數據的安全。

同時，根據企業構建仿真高性能集群的實際情況，通常在構建仿真高性能計算集群時，主要遵循以下原則：第一，先進性原則，即選擇代表先進水平和全球主流趨勢的軟硬件平臺產品;第二，高管理性原則，即對所有計算機系統資源進行統一監控與管理;第三，開放性原則，即采用開放標準，開放結構，開放系統組件和用戶接口;第四，高能效原則，即采用綠色節能設備和技術，使系統整體耗能較低。

2? ? ? 仿真高性能計算集群總體架構設計

仿真高性能計算集群，主要是由硬件和軟件兩部分構成，其中，硬件主要包含管理節點、計算節點、存儲系統及網絡等;軟件主要包含集群管理系統、作業調度系統、WEB門戶、文件系統等。要具備可靠性、可用性、可擴展性和安全性等通用要求。集群總體架構圖如圖1所示。

2.1? ?仿真高性能計算集群硬件

高性能仿真計算集群硬件主要由管理節點、存儲節點、刀片計算節點構成，其中：管理節點有2個（主要用于做集群系統的管理、用戶訪問接口等管理功能），其中1個為備份冗余;存儲節點有4臺（總共54TB，用于向服務器提供數據存取訪問服務）;計算節點有4個刀片，共144核，主要用于仿真計算，包含CAE仿真計算類應用軟件（如Ansys，Fluent等）的仿真計算;網絡系統（連接存儲系統、計算節點和管理節點，主要用于通用計算模塊作業進程間通信和其他分系統的數據訪問）。具體硬件架構如圖2所示。

2.2? ?仿真高性能計算集群軟件

高性能仿真計算集群軟件基于B/S架構，主要由集群管理系統、作業調度系統、WEB門戶、文件系統、可視化工具等構成，其中：

（1）WEB門戶。主要用于用戶訪問集群，提交作業至計算節點，管理應用程序、用戶、資源和數據，并集成Ansys、Fluent等CAE軟件。

（2）集群管理系統。主要實現集群部署和配置、集群管理、系統監控、集群預警、系統管理、統計分析等功能。

（3）作業調度系統。主要用于CPU、內存等計算資源的調度，支持自定義并行計算作業的分布運行方式（如指定節點、跨節點），且支持多種調度算法（如優先級）。

（4）文件系統。主要用于在集群中的多個節點間實現對共享文件系統中文件的快速存取操作。

（5）可視化工具。通過VNC或XManager等圖形界面對仿真計算軟件進行模型參數設置、提交作業并查看作業運行結果，并支持用戶模型數據文件的上傳和下載。

仿真高性能計算集群的軟件架構如圖3所示。

3? ? ? 仿真高性能計算集群建設效果

3.1? ?支持多物理領域仿真

根據上述總體架構搭建的仿真高性能計算集群平臺，主要支持結構（Ansys）、流體（Fluent）、電磁（Maxwell）等物理領域的仿真計算，且支持其他物理仿真領域的橫向靈活擴展，如ABAQUS、HFSS（高頻結構仿真）等。

3.2? ?多種仿真作業提交方式

（1）WEB提交。仿真人員可通過WEB界面的作業調度平臺，提交仿真作業，即通過WEB頁面先將仿真計算前處理文件上傳至文件系統，然后選擇相應的軟件，在界面中輸入前處理文件，并設置好節點數、計算核數、計算時長、隊列、工作目錄等參數，提交至仿真高性能計算集群上進行計算，并能查看作業的狀態，且計算完成后，可以下載結果文件進行驗證。此外，還可以借助可視化工具查看計算過程。

（2）PBS腳本提交。除了通過WEB頁面提交仿真作業，還支持PBS腳本的方式提交計算作業，即通過編寫作業腳本，將其提交至服務器，服務器根據各節點狀態進行調度，并在服務器端執行。此外，用戶也可以通過命令查詢作業狀態及結果。

3.3? ?集群使用效果

（1）集群注冊用戶。自仿真高新能計算集群搭建完成并投入使用以來，已注冊用戶數量達130，主要涉及永磁電機、牽引電機、技術研究等研發業務。

（2）仿真計算作業。自仿真高新能計算集群搭建完成并投入使用以來，已通過集群提交的仿真計算任務數量達3 000，涉及結構、流體和電磁三類物理仿真，作業主要包含作業ID、作業名、所有者、所屬隊列、入隊時間、結束時間以及運行節點等信息。

3.4? ?集群性能數據

為集中反映仿真高性能計算集群的性能，特選取集群計算峰值能力、CPU利用率、內存利用率、計算核數使用率和共享存儲利用率等指標，用以反映集群的性能，實際運行數據如下：

（1）集群計算峰值：9.06TFLOPS（每秒萬億次的浮點運算）;

（2）CPU利用率：55%（平均值）;

（3）內存利用率：58%（平均值）;

（4）計算核數使用率：100%（高峰值）、75%（低峰值）;

（5）共享存儲利用率：42%。

4? ? ? 結? ? 語

后續隨著公司研發人員對仿真計算能力需求的日益增長，企業也將基于構建的可靈活擴展的高性能計算集群，橫向擴展計算節點、存儲節點、管理節點以及其他物理領域的仿真計算軟件，以保障仿真高性能計算集群所提供的軟硬件資源能滿足研發人員的需求，從而提高公司仿真分析計算能力。

主要參考文獻

[1]張云泉.2018年中國高性能計算機發展現狀分析與展望[J].計算機科學，2019，46（1）：1-5.

[2]袁國興，張云泉，袁良.2018年中國高性能計算機發展現狀分析[J].計算機工程與科學，2018，40（12）：2097-2102.

[3]聶含伊，楊希，張文喆.面向多領域的高性能計算機應用綜述[J].計算機工程與科學，2018，40（z1）：145-153.

[4]陳紅梅，郭偉，賴重遠.小型通用高性能計算平臺的設計與實現[J].計算機技術與發展，2019（10）：1-6.