蘭州大學容器技術讓HPC應用更高效

文／張洋 陳文波 胡廣超

目前高性能計算應用場景眾多，每種應用需要不同的配套軟件環境和大量的系統依賴，如不同版本的操作系統、庫、編譯器等。如何在同一個平臺滿足各種不同的應用，而且應用之間互不干擾，是有效管理高性能計算平臺，提高計算資源利用效率面臨的一個重要挑戰。傳統的虛擬化技術可以解決部署和維護的問題，但是由于在計算上增加了額外的虛擬化負載，無法最大化利用機器的物理資源使其有效計算，所以不適合HPC應用。

容器技術簡介

容器是一種能夠在隔離環境執行應用程序的軟件組件，它建立在宿主機操作系統之上并利用了宿主機的內核，通過命名空間和 Cgroup 進行資源的隔離和控制，是一種輕量級的虛擬機[1]。容器具有可移植性、可重復性、靈活性并快速啟動，相對于其他虛擬化技術，物理性能損耗低，在資源隔離、彈性調度、額外的虛擬化負載等方面具有明顯技術優勢。容器通過將運行目標軟件所需的計算環境的關鍵元素打包到輕量級虛擬框架中降低復雜性，同時不改變運行所需的資源，讓軟件更容易使用，結果更容易復制[2]。利用容器技術可以讓HPC不同應用進行有效的隔離，解決傳統HPC應用程序安裝、升級以及安裝包之間的依賴性等問題，讓系統的部署和運維變得更加有效。不僅如此，容器還保存了計算環境、數據和代碼，提高了實驗的重復性。因此它可以在高性能計算場景廣泛使用和推廣。

Docker是一種較為成熟的容器技術，它提供了一種分層的應用鏡像管理機制，將復雜的軟件環境打包，易于維護和管理，廣泛應用在很多云計算領域。但是由于HPC應用需要“裸金屬”物理機性能，快速的網絡連接，可控制的資源調度和作業管理，可擴展的并行文件系統，集中化的軟件棧；而Docker存在一些缺陷，如調度管理器的資源限制無法施加到容器中，非root用戶使用授權問題，MPI的應用程序在Docker上性能不高，網絡棧對Docker私有導致對Infiniband不支持，這些都使得它在HPC領域應用有諸多不便[3]。

Singularity是美國勞倫斯伯克利實驗開發的容器技術。它彌補了Docker容器的缺點如非root用戶使用權限、可以掛載本地的文件系統、OPA、Infiniband和OpenMPI的友好支持以及方便的鏡像文件遷移，而且用戶在容器外和容器內的權限都是一樣[4]。由于出現的時間較短，它的社區以及鏡像市場沒有Docker成熟和豐富，目前Singularity在國外計算中心使用較多，如德克薩斯計算中心、弗羅里達大學、圣地亞哥超級計算中心、勞倫伯克利實驗室、普渡大學、麻省理工、斯坦福、亞利桑那大學、佐治亞州大學、德國亥姆霍茲中心等。

CRCT輕量級虛擬化是聯科公司專為高性能計算環境設計和開發的容器技術，融合業界前沿的容器概念、前端展示技術、高性能計算技術。可兼容高性能計算環境中常見的各種專用硬件設備，如Infiniband/OPA等，全面兼容Docker所采用的鏡像格式，可以在完全不改變用戶使用習慣的情況下，支持超大規模的并行計算。它通過init為入口運行完整的操作系統，支持多節點分布式集群的創建，容器內虛擬集群的作業調度。不僅為科研計算用戶提供傳統計算中心提供的強大計算力，還提供根據實際應用程序所需的、用戶可自定義的、動態切換的計算環境，以及從算例、算法到數據的全方位服務。

應用及測試

我們選取CRCT容器方案，并在華為公有云上部署由一臺登錄節點和五臺計算節點組成的高性能計算集群上進行五組應用的測試。每個節點提供2顆Intel Xeon Gold SkyLake 6100系列 CPU，每顆CPU提供3.0GHz主頻，18Core的高性能CPU，192GB DDR4 2666MHz內存，1顆1.6TB NVMe SSD硬盤，計算網絡采用100Gb/s的EDR網絡接口。

五種應用分別是高性能計算領域常用的Matlab、VASP、WRVF、PISM和COMOSOL。我們分別在CRCT容器環境和“裸金屬”物理環境部署上述五種軟件，通過具體算例的運行時間（秒）來觀察兩種環境下五種并行軟件的計算性能及容器的性能損耗。其中WRF、VASP和PISM三種軟件可以實現多節點并行計算，Matlab、Comosol實現單節點多核并行。

1. Matlab

Matlab是一款商業數學軟件，用于算法開發、數據可視化、數據分析以及數值計算的高級技術計算語言和交互式環境。本次計算Kuromoto-Sivashinsky方程的李指數及其對應的李雅普諾夫熵，測試結果見表1。

表1

2. WRF應用

WRF全 稱Weather Research and Forecasting Model, 是一個天氣研究與預報模型，以作為全球模式進行天氣預報，也可以作為區域模式進行天氣現象的數值模擬。本次測試采WRF- Chem模式測試2010年8月1日到30日發生在青藏高原地區的一次深對流過程，通過對臭氧、水汽、CO等物質的傳輸特征進行分析，研究亞洲夏季風期UTLS區域的STE特征，測試結果見表2。

表2

3. PISM

PISM為冰川計算模型，本次測試模擬格林蘭島過去和現在的冰蓋演化情況，根據氣候記錄給出合適的約束條件( 底部狀況、 表面溫度、積累率等約束參數) 可以得到冰蓋演化過程中一系列動態參數(冰內各處溫度、冰流速度、壓力、等時冰層深度變化、觸地線進退等變化信息)。測試結果見表3。

表3

4. VASP分子動力學模擬軟件包

VASP是維也納大學Hafner小組開發的進行電子結構計算和量子力學-分子動力學模擬軟件包。它是目前材料模擬和計算物質科學研究中最流行的商用軟件之一，本次采用用VASP軟件計算C28 3D-C材料的彈性系數，方法采用GGA-PBE函數高精度模擬，從而對得到的彈性模量、楊氏模量、泊松比等進行計算分析，研究該材料的機械性質。測試結果見表4。

表4

5. COMSOL Multiphysics軟件

COMSOL Multiphysics是一款功能強大的多物理場仿真軟件，用于仿真模擬工程、制造和科研等各個領域的設計、設備及過程。本次測試超導線圈的失超傳播問題是一個強非線性的熱傳導-電場耦合問題。該問題的COMSOL模型所用網格總數為184860個，每一時間步長需要求解的溫度場、電場自由度總數為1684507個，每一時間步采用循環迭代的方式求解熱傳導-電場耦合方程，根據收斂精度，自動的、動態調整時間步長，其最大允許時間步長為0.01sec，初始時間步長為1×10-4sec，總計求解的時間長度為1.0 sec。測試結果見表5。

表5

基于上述測試結果，我們可以看出五種軟件在基于容器的集群和物理機集群上的運算時間相差無幾，容器的物理性能損耗在1%以內。另外容器內部環境優化后系統開銷較少，所以出現容器集群的運行時間還略低于物理集群。同時，用戶的空間在容器內和容器外一致，只需要不同的地址就可以在物理機和容器間進行切換，利用了容器技術的優勢，良好地解決了傳統HPC應用程序升級和管理問題，給高性能計算應用提供了更有效的容器解決方案。

高性能計算已經歷了兩次“可移植性”革命：統一使用Unix和MPI的引入。容器技術將引領高性能計算“可移植性”的第三次革命，它已經徹底改變了大規模云計算，也將掀起HPC的新世界。