高性能計算平臺在高校中的應用與建議

李小菲 鐘建軍 張彬 秦帥行 宋溫溫

摘? 要：高性能計算在科研領域具有廣泛的應用和重要的地位，高校高性能計算平臺為學校學科建設的長遠發展提供了強有力的支撐條件，提升了學校的科研實力與水平，有利于未來綜合競爭力的提升。文章以河北大學高性能計算平臺為例，介紹了高性能計算機平臺的建設和在科研中的應用，并對高性能計算平臺的使用情況進行了分析研究和建議。

關鍵詞：超級計算機;高性能計算平臺;計算能力

Abstracts：High performance computing （HPC） is widely used and important in scientific research，the high performance computing platform provides a strong support for the long-term development of the universitys discipline construction. It has improved the scientific research strength and level of the school，it is conducive to the promotion of comprehensive competitiveness in the future. Take the high performance computing platform of Hebei University as an example，this paper introduces the construction of high performance computer platform and its application in scientific research，the usage of High Performance Computing Platform is analyzed and suggested.

Keywords：super computer;high performance computing platform;computing power

0? 引? 言

隨著科技的發展，計算機與我們的日常工作和學習生活之間的關系變得更加密切。在大數據的背景下，高性能計算（High performance computing，HPC），又稱為超級計算，是計算機科學重要的前沿性分支，也大量地投入到對大數據的應用當中[1]。超算即超級計算機，是指由數千甚至更多處理器組成、能計算普通計算機和服務器不能完成的大型復雜課題的計算機，超級計算機是計算機中功能最強、運算速度最快、存儲容量最大的一類計算機，被譽為“計算機中的珠穆朗瑪峰”，已成為世界各國爭奪的一個戰略制高點[2]。超級計算機多用于國家高科技領域和尖端技術研究，是國家科技發展水平和創新能力的重要標志。

超級計算機被稱為“國家重器”，屬于國家戰略高技術領域，是世界各國競相角逐的科技最高點。超級計算機應用場合很多，大多都是高精端領域，比如天氣預測、核爆炸模擬、飛機飛行計算、彈道計算、各種場合的3D建模等等。隨著信息時代的來臨，目前最流行的大數據概念，再結合云計算，超級計算機的應用將越來越廣，甚至深入商業領域[3]。超級計算機作為一個國家科技實力的體現和科技發展的基礎支撐環境，受到全球超級大國的重視，各國都在全力發展本國的超級計算機。

我國《國家重點專項規劃之——“十三五”國家科技創新規劃》中明確提出“發展先進計算技術，重點加強E級（百億億次級）計算、云計算、量子計算、人本計算、異構計算、智能計算、機器學習等技術研發及應用”。[1]

截止到2019年11月世界超級計算機排名上，中國的神威·太湖之光（Sunway TaihuLight）全球排名第三，其最大算力為9.301 459 388億億次每秒，峰值算力為12.543 590 4億億次每秒;中國的天河-2A（Tianhe-2A）排名第四，其最大算力為6.144 450 0億億次每秒，峰值算力為10.067 866 4億億次每秒，如表1所示。

當前，高性能計算已經成為解決國家發展面臨的重大挑戰性問題和科技創新的必備工具。計算科學領域高度依賴于高性能計算與科學大數據、深度學習之間的深度融合。近年來，人工智能的突破正是建立在超級計算機計算能力突飛猛進的發展和深度學習算法的成功結合上。發展以超級計算機為支撐平臺的先進計算系統，將進一步推動高性能計算、智能計算和大數據的深度融合與創新發展。

1? 高校高性能計算建設現狀

近年來，國家對高性能計算的重視程度不斷提升，高性能計算在我國很多領域都取得了巨大發展，高校作為科技創新的重要基地，對高性能計算的關注日益提高，眾多高校都投入建設了校級高性能計算平臺，強大的計算能力極大地提升了學校科研工作的能力和水平，促進了相關教學、科研工作的開展，高性能計算已成為高校教學、科研創新的一個基本手段。[4]

1.1? 本校高性能計算平臺介紹

河北大學高性能計算平臺于2014年9月投入使用，總投資1 200余萬元。系統包括計算刀片節點110片、胖節點18臺、管理節點2臺、可視化節點2臺、GPU節點4臺、MIC節點1臺、并行存儲3臺、CPU核數大于4 000個。計算能力可達119.7萬億次/秒（TFLOPS）。存儲裸容量182.88 TB，聚合帶寬2.4 GB/s，全系統采用56 Gbps FDR InfiniBand線速互連，如圖1所示。

作為服務于全校性的大型共享平臺，高性能計算中心規模大，獲得了學校和曙光廠商的重點支持。此外，高性能計算中心有專職管理人員負責，集群的運行狀態比較穩定。

1.2? 高性能計算平臺的設備配置

高性能計算系統內部互連帶寬56 Gbps，芯片傳輸延遲100 ns;全系統內存容量8.7 TB，在線共享存儲磁盤容量183 TB;最大運行功耗為90 kW;機柜數量16個，如表2所示。

1.3? 高性能計算平臺網絡拓撲圖

集群采用全新的Gridview 3.2管理調度系統，集群拓撲結構如圖2所示。

1.4? 高性能計算平臺安裝的隊列

到目前為止，平臺上總共安裝有15個隊列，分別是blade_s1、blade_s2、balde_s3、blade_x、flat_amd、flat_intel、flat_ls、matlab、msi_blade、msi_flat、queue_gpu、queue_mic、temporary_blade、test_blade、test_flat，隊列上的作業運行良好。

1.5? 高性能計算機平臺上安裝的軟件

目前，集群現已安裝并能正常使用的軟件包含Guessian、VASP、WIEN 2k、Cestep、RAxML、Intel Fortran、Material Studio、Trinity、NAMD、Siesta、MATLAB、TensorFlow、GROMACS、ANSYS、BLAST、VSim、Beagle、BioStack、MrBayesMatlab等，這些軟件已經可以滿足平臺用戶的需求。

2? 高性能計算平臺運行情況

到目前為止，集群共運行3萬多個作業，累計使用機時為2 783.375 3萬小時，作業使用核數總計為498萬，輸出數據均在良好范圍內，運行狀態正常。

2.1? 高性能計算平臺的申請使用情況

現平臺使用單位中包括電子信息工程學院、生命科學學院、物理科學與技術學院、化學與環境科學學院、質量技術監督學院、藥學院、計算機教學部、建筑工程學院、網絡空間安全與計算機學院和藥物化學與分子診斷教育部重點實驗室。

截止到2019年底，全校共有43個課題組申請使用高性能計算平臺，覆蓋63個科研項目，其中國家級科研項目38個，省級科研項目22個，完結12個科研項目。

2.2? 高性能計算平臺運行維護情況

2.2.1? 集群總覽

以下對2016年度至2019年度平臺的運行情況進行了分析，其中：2016年度共完成21個用戶的26 222個作業，累計使用機時為554.704 3萬小時;2017年度共完成27個用戶的64 688個作業，累計使用機時為580.454 3萬小時，平均作業機時為89.73小時。2018年度共完成39個用戶的84 078個作業，累計使用機時為754.047 2萬小時，平均作業機時為89.68小時，如表3所示。

2017相比2016年機時增長4.64%，作業數增長146.69%;2018相比2017年機時增長29.91%，作業數增長29.97%，2019年度共完成49個用戶的73 415個作業，累計使用機時為894.169 5萬小時，平均作業機時為121.80小時。2019相比2018年機時增長18.58%，作業數減少12.68%，如圖3、圖4所示。

2.2.2? 隊列統計情況

以2019年度為例，作業隊列統計如下：

（1）隊列blade_s1共完成了8 509個作業，占作業總數的11.59%，使用機時為60.703 4萬小時，占總機時的6.79%;

（2）隊列blade_s2共完成了6 858個作業，占作業總數的9.34%，使用機時為112.690 2萬小時，占總機時的12.60%;

（3）隊列blade_s3共完成了3 152個作業，占作業總數的4.29%，使用機時為58.248 2萬小時，占總機時的6.51%;

（4）隊列blade_x共完成了26 546個作業，占作業總數的36.16%，使用機時為131.996 9萬小時，占總機時的14.76%;

（5）隊列flat_amd共完成了12 730個作業，占作業總數的17.34%，使用機時為320.708 0萬小時，占總機時 的35.87%;

（6）隊列matlab共完成了58個作業，占作業總數的0.08%，使用機時為0.000 5萬小時，占總機時的0.00%;

（7）隊列msi_blade共完成了1 268個作業，占作業總數的1.73%，使用機時為40.627 6萬小時，占總機時的4.54%;

（8）隊列msi_flat共完成了179個作業，占作業總數的0.24%，使用機時為4.414 3萬小時，占總機時的0.49%;

（9）隊列queue_gpu共完成了6個作業，占作業總數的0.01%，使用機時為0.000 2萬小時，占總機時的0.00%;

（10）隊列temporary_blade共完成了9 070個作業，占作業總數的12.35%，使用機時為139.892 9萬小時，占總機時的15.65%;

（11）隊列test_blade共完成了3 811個作業，占作業總數的5.19%，使用機時為16.075 0萬小時，占總機時的1.80%;

（12）隊列test_flat共完成了1 228個作業，占作業總數的1.67%，使用機時為8.812 4萬小時，占總機時的0.99%;如圖5、圖6所示。

2.2.3? 高性能計算平臺維護情況

2016年度將Gridview升級為全新的Gridview 3.2集群管理調度系統，完成了Gridview相關Portal安裝。新增MATLAB，TensorFlow等軟件的安裝工作。并且根據高性能計算平臺運行情況，結合使用者的反映情況和意見，對高性能計算平臺進行了資源管理調配和清理維護工作，對原空閑模式期間的隊列以及任務配額進行了調整，合理分配了用戶的作業數、使用核數以及可用隊列。

2017年度，本中心與曙光公司簽訂合同，在超算集群上安裝針對高性能計算機的專業化監控運維平臺EasyOP，實現了7×24小時全生命周期SAAS服務。立體化IT資產監控，從設備、系統、應用等多個方面思考、深入分析，精心制定的監控指標與運維流程，可以全面反映超算集群運行指數和健康狀態，并能夠使用大數據平臺在線分析集群性能，探測隱患。

2.3? 取得的科研成果

我校高性能計算平臺自2014年投入使用以來，整體運行穩定，截止到2019年底，共有32位教師基于高性能計算平臺的支持取得了研究成果，其中發表學術論文SCI有122篇，核心19篇，取得發明專利15個，其他期刊9篇，省部級獎3項。

高性能計算平臺為我校科研及教學人員免費提供計算服務以及平臺的使用，合理、高效地利用資源為我校的教學科研和學科建設服務提供了支持，保障我校承擔的國家級重大科研項目的計算需求。

3? 高性能計算平臺在管理和運行中的建議

（1）建立專業的管理和運行團隊。專業技術隊伍是設備使用和維護的核心力量，是平臺日常運行的樞紐和保障。高性能計算平臺，不管是在軟件的應用開發，硬件的運行、維護，軟件與應用的擴展、開發，資源的管理、調度，計算模型、方法的優化等，都需要一個專業的團隊。部分平臺用戶不了解高性能計算相關的技術操作，而負責平臺運行的技術人員對學科的了解不夠深入，極大地阻礙了高性能計算的應用。

（2）加大推廣力度，提高平臺使用效率。我們應當將當前領域內的重大熱點引入校園，定期組織有關的學術報告，對于E級計算、云計算、量子計算、人本計算、異構計算、智能計算、機器學習這些新興的熱點和技術，既做到讓學生對新技術有所了解，又推廣了高性計算平臺的使用。

應當組織學校師生積極參加高性能計算大賽，在參與比賽中學習、提高，提升創新實踐能力，推動人才培養，豐富校園學術氛圍。

平臺中的部分用戶為非計算機專業人員，對高性能計算和軟件的使用不熟悉，在使用過程中遇到了很大的障礙。基于這種情況，我們應當有計劃、有針對性地開展培訓和講座，幫助用戶掌握高性能計算所需的專業知識。既節約了高性能計算平臺管理人員的時間，又能達到很好的培訓效果。

（3）與廠商協調安排管理人員到其他兄弟單位學習，借鑒其他學校的管理模式及成功案例，并完善高性能計算平臺的準入準出規范，全面開展高性能計算平臺的管理工作。

（4）高性能計算平臺中部分軟件安裝使用的參數仍需優化調整，應避免個別使用者的操作不規范影響系統總體健康狀態，減少額外的系統開銷和資源浪費。

4? 結? 論

高校作為國家科技創新的重要基地，紛紛建立各自的高性能計算平臺，以提升學校的科研實力與水平。本文介紹了河北大學高性能計算平臺的建設情況，并對高性能計算平臺的使用情況進行了分析研究，總結了高性能計算平臺在使用過程中存在的問題，并提出了相應的合理化建議，以提高平臺建設的有效性和使用效益。

參考文獻：

[1] 歷軍.中國超算產業發展現狀分析 [J].中國科學院院刊，2019，34（6）：617-624.

[2] 張楠.圖解全球超算500強：中國占44%！包攬制造商前三 [EB/OL].（2019-06-21）.https：//baijiahao.baidu.com/s？id=1636910254149176482&wfr=spider&for=pc.

[3] 失落代號.全球最新超級計算機排名，中國痛失冠軍，第一名是美國的“頂點” [EB/OL].（2020-01-21）.https：//baijiahao.baidu.com/s？id=1656255536276795466&wfr=spider&for=pc.

[4] 荊明偉，周勇義，雷奕安.校級高性能計算公共服務平臺的建設困局及思考建議 [J].華東師范大學學報（自然科學版），2015（S1）：304-308.

作者簡介：李小菲（1979.12—），女，漢族，河北保定人，工程師，碩士，研究方向：網絡安全，高性能計算。