HSWAP：適用于高性能計算環境的數值模擬工作流管理平臺

趙士操 肖永浩 段博文 李于鋒

摘 要：針對高性能計算（HPC）環境中的“建模、計算、分析、優化”一體化應用構建的問題，設計了支持數值模擬軟件封裝和數值模擬工作流交互設計的數值模擬工作流管理平臺——HSWAP。首先，基于對數值模擬活動的運行特征共性建模構建組件模型;然后，利用工作流表達數值模擬活動間的控制、數據依賴關系，建立形式化的數值模擬工作流模型，所形成的工作流模型可在平臺中自動解析并適配高性能計算資源，從而實現批量關聯數值模擬任務的自動生成與調度，為領域用戶屏蔽高性能計算資源的使用細節。平臺提供Web Portal服務，支持圖形數值模擬程序的交互界面推送。目前該平臺已在超算中心實際生產環境得到部署應用，可在2人月內完成包含10個以下數值模擬軟件、20個以內計算任務節點的數值模擬工作流的集成。

關鍵詞：科學工作流;數值模擬;軟件集成;高性能計算;Web服務

中圖分類號： TP391.9（計算機仿真）

文獻標志碼：A

Abstract： Concerning the construction of integrated application of “modeling， computation， analysis， optimization” workflow under High Performance Computing （HPC） environment， HPC Simulation Workflow Application Platform （HSWAP） supporting numerical simulation software encapsulation and numerical simulation workflow interaction design was developed. Firstly， based on the modeling of runtime characteristics of numerical simulation activities， the component model was built. Then， the control and data dependency relationships between simulation activities were represented by the workflow， creating a formal numerical simulation workflow model. The formed workflow model was able to be automatically parsed in the platform to adapt to HPC resources. Therefore， HSWAP platform could be used for automatic generation and scheduling of a batch of related numerical simulation tasks， screening technical details of HPC resources from domain users. The platform provided Web Portal services， which supports the push of interactive interfaces of graphical numerical simulation programs. The platform is already deployed and applied at Supercomputing Center and with this platform， the integration of numerical simulation workflows with up to 10 numerical simulation softwares and 20 computing task nodes can be completed in 2 person-month.

Key words： scientific workflow; numerical simulation; software integration; High Performance Computing （HPC）; Web service

0 引言

在科學研究和工程實際中，數值模擬發揮著越來越重要的作用，并且數值模擬的地位正在由單純的驗證走向“設計優化制造運維”的全生命周期管理，對于模擬的精度要求也越來越趨向于部件級的精確。在這一趨勢下，高性能計算機的用戶正在由具有專業知識的計算團隊普及到一般工業用戶，對高性能計算（High Performance Computing， HPC）的需求正在由解決關鍵瓶頸計算問題走向從建模到分析的各階段日常模擬，對高性能計算機的應用模式正在由單一問題的大規模并行計算走向由不同領域計算任務協作集成形成一體化應用，比如復雜產品研發的“建模、計算、分析、優化”過程，需要集成使用不同領域的相關軟件，由具有數據關聯的系列計算任務協作完成。

為了適應這些新的變化，業界從不同的角度給出了一些解決方案。首先針對用戶群體普及化這一問題，高性能計算服務化方面的研究極大地簡化了高性能計算資源使用的成本，許多高性能計算資源運營方提供了基于Web的應用服務封裝（Web Portal）[1]，用戶可以通過在線提交表單的方式便捷實現對高性能計算資源的利用，而無需了解系統本身的知識;而如XSEDE（eXtreme Science and Engineering Discovery Environment）[2]、超級計算環境（Super Computing Environment， SCE）[3]這樣的高性能計算環境和中間件的建立則進一步屏蔽了異構計算資源的使用差異，為用戶提供了統一的資源入口，應該說在軟硬件資源的封裝和服務化方面，目前已經具有了很好的應用示范。其次在計算任務集成協作方面，一方面各大數值模擬軟件供應商都正在發展自身的集成業務平臺，試圖整合自身所擁有的軟件資源，提供流程化的軟件集成功能，比如ANSYS Workbench、COMSOL、BIOVIA Pipeline Pilot、安世亞太PARA等;另一方面在材料、生物、醫學、高能物理等領域，國外學術界流行的科學工作流（Scientific Workflow）管理系統[4]，提供了可將復雜科研過程中的數據收集、處理、分析和可視化等步驟進行按需組合，形成可在分布式異構資源環境下按照自定義邏輯關系順序進行自動執行的流程的能力，在實際的應用中科學工作流這種模式也取得了比較好的應用效果，比如Pegasus系統[5]在激光干涉引力波天文臺（Laser Interferometer Gravitational-Wave Observatory， LIGO）項目中輔助引力波探測分析，取得了很好的應用效果。

從當前業界的相關工作和產品中可以看出，簡化高性能計算資源的使用接口、屏蔽計算資源的異構特征能夠有效地降低高性能計算資源的使用瓶頸;流程化集成計算任務是解決全生命周期、多階段、多領域復雜科學工程模擬的有效手段。但這兩者的有機結合，即實現高性能計算資源上流程化集成計算任務的高效執行在目前的解決方案中都存在著一些缺陷。高性能計算資源運營方充分了解硬件資源的特點和軟件資源的資源需求特征，所提供的Web Portal和高性能計算環境中間件能夠有效地利用高性能計算資源，但所形成的應用服務僅能滿足單一軟件的在線應用，缺乏流程化的計算任務集成能力，從而無法通過簡單的方式組織全生命周期復雜科學工程模擬。數值模擬軟件供應商發展的集成業務平臺，打通了數值模擬程序間的數據接口，具有良好的流程化集成能力，能夠形成包含多階段計算過程的一體化集成應用，但受限于商業壁壘，這些集成業務平臺往往基于自身已有的產品鏈進行設計，缺乏開放的擴充能力，其形成的計算流程也只是調用高性能計算資源而不是在高性能計算資源上執行;同高性能計算資源的接口也只是簡單地封裝了作業投遞接口，高性能計算資源無從知曉計算流程的全貌，從而無法在調度上根據流程特征進行優化，并且其強交互桌面程序的產品形態并不適于逐漸走向服務化的高性能計算資源?？茖W工作流管理系統具有成功的應用范例，能夠實現計算流程的柔性組裝，并且能夠在網格計算資源進行流程優化調度，但科學工作流主要面向科學數據處理進行設計，任務粒度一般為數據處理算子，難以實現基于數理方程求解的計算任務的流程組裝。

為了能夠有機地結合高性能計算服務化和計算任務流程化集成，使高性能計算資源運營方能夠提供流程化集成各類型數值模擬計算任務的服務，本文研發了適用于超算環境下數值模擬計算任務流程化集成的連貫計算平臺——HSWAP（HPC Simulation Workflow Application Platform）。相比于其他解決方案，HSWAP主要針對高性能計算資源上求解數值模擬工作流中面對的兩個關鍵性問題進行設計：1）各類計算任務基于不同的物理模型，求解過程相對獨立，但不同的計算任務在尺度上、生命周期上具有自然的參數依賴關系，各個計算任務需要明晰自身在整體問題求解過程中的語義，以確定輸入輸出映射關系及物理意義。2）物理模型不同、數值算法不同的各類計算任務對于計算資源的需求特征具有極大差異。該平臺目前已在超算中心實際生產環境部署應用，支持了材料、光學、力學等領域的若干應用。

1 相關技術介紹與技術路線

HSWAP平臺是為了解決科學與工程計算中，在超算資源上使用系列建模/模擬/分析軟件工具解決復雜應用問題時，由于軟件應用領域差異或計算方法差異導致各個環節脫節，需要人工干預，造成整體工作流程不連貫，導致整體求解效率低下的問題。為了解決以上問題，HSWAP平臺需要針對以下問題進行設計：

1）適用于多領域數值模擬軟件的普適封裝技術;

2）面向數值模擬計算任務集成的靈活流程定制;

3）無縫對接異構超算環境，屏蔽資源使用細節;

4）提供適用于超算服務模式的易用交互界面。

圍繞以上技術特征，高性能計算服務化、科學工作流、集成業務平臺等都從不同的側面為HSWAP平臺提供了技術解決的途徑，以下先討論相關技術的發展情況，再介紹HSWAP平臺的技術路線。

1.1 高性能計算服務化

高性能計算服務化包含多方面的研究內容，這里主要關注兩方面：1）管理異構計算資源的服務中間件;2）推送數值模擬應用到用戶瀏覽器的Web Portal。第1）個方面從2004年開始，在美國Tera-Grid科學網關[6]規劃項目資助下產生了如Globus工具箱[7]等許多中間件工具，我國的中國科學院計算機網絡信息中心也為國家網格的建設開發了SCE中間件[3]。從以上工作可以看出，管理異構計算資源的重點在于提供統一的訪問代理實現對用戶透明的資源調度和數據訪問。第2）個方面則著重于應用程序的封裝，比如基于Portlet的相關技術，如中國科學院計算機網絡信息中心提出的高性能計算應用集成組件（High-Performance Computing Applications Integration Toolkits， HPC-AIT）技術[1]，完成了面向領域應用的基于Web表單的任務投遞，簡化了用戶交互接口。

1.2 集成業務平臺

集成業務平臺是數值模擬軟件提供商通過流程化定制模式解決復雜問題、提升軟件應用效率的解決方案。索為公司IDE歸納分析過程中的規則并將其封裝為模板，用戶可通過模板進行設計和分析工作，實現知識驅動的模塊化設計;并在模板間建立數據流以及控制流，使設計方案中的各種模板有機地關聯耦合在一起;ANSYS Workbench實現基于其產品線的計算機輔助設計（Computer Aided Design， CAD）到計算機輔助工程（Computer Aided Engineering， CAE）參數的雙向傳遞，實現CAD-CAE之間設計與仿真協同，并為進一步執行參數化設計、仿真及優化奠定了很好的基礎。同時，Workbench發展了Workbench SDK開發包技術，可以非常便捷地實現諸如專用程序開發、流程自動化和簡化、專家經驗的保存和固化、分析規范的保存和固化、自由程序的包裝、其他程序的集成等眾多的用戶化開發功能;安世亞太PARA實現了工作流管理、仿真流程管理、工具組件定義和研發過程數據管理，將任務、數據、知識等設計師工作相關的內容有機地結合起來，為設計師提供集成的工作環境。支撐平臺模式強調知識/數據管理，通過組件化、業務流程化更靈活、方便地支撐工程應用人員進行軟件的高效應用。

1.3 科學工作流

科學工作流的概念起源于業務工作流，相對于BWF（Business WorkFlow），其特征在于數據驅動，在不同的場合科學工作流（Scientific Workflow）又被稱為數據驅動工作流（Data-driven Workflow）或數據密集工作流（Data-intensive Workflow），科學工作流的重點在于對數據流的有效管理，其面向的問題領域是管理分析大科學工程中產生的海量數據而產生的復雜科研流程。在十幾年的發展歷史中，雖然科學工作流并沒有權威的定義，但人們對于科學工作流的描述重點，以及科學工作流管理系統的業務范圍都非常清楚[8]。

科學工作流從建模、引擎、調度、界面等方面有眾多研究，并面向生物、天文、材料等領域發展出Kepler、Pegasus、Taverna、Triana等科學工作流管理系統[9-11]。

1.4 HSWAP平臺技術路線

以上相關工作為解決在超算資源上使用系列建模/模擬/分析軟件工具解決復雜應用問題這一需求提供了很好的基礎，但并沒有完整地解決所有的問題。表1總結了各項技術的技術特征。面對HSWAP平臺設計時所針對的4大問題，高性能計算服務化技術中“服務中間件”實現了資源的屏蔽，Portlet技術實現了數值模擬軟件的封裝并提供了易用的交互界面，然而封裝后形成的服務并不能進一步進行流程化集成;集成業務平臺技術能夠很好地實現數值模擬軟件的封裝，并利用封裝后形成的組件進行計算任務的流程化集成，然而由數值模擬軟件供應商開發的集成業務平臺并不能實現異構計算資源的屏蔽，并且傳統強交互客戶端的應用模式并不適用于超算服務;科學工作流技術在實踐中在資源層往往是基于網格中間件開發，所以能夠實現異構高性能計算資源的屏蔽，并且具備流程化能力，部分科學工作流管理系統也提供基于Web的交互界面，但科學工作流管理系統（如Pegasus）主要針對大規?？茖W數據處理問題進行設計，任務粒度一般為數據處理算子，所以并不適用于集成系列數值模擬軟件快速形成數值模擬工作流解決復雜科學工程中的復雜數值模擬問題。

HSWAP設計時綜合了以上相關技術的特征，解決了表1所示的所有4個問題。根據表1可知，在架構層面基于網格中間件實現的科學工作流管理系統已經提供了良好的范例，對于HSWAP平臺而言，需要重點考慮如下幾個問題：

1）HSWAP平臺一般應用于高性能計算環境，但考慮到使用系列模擬軟件解決復雜應用問題這一需求的廣泛性，同時兼容工作站環境。為此在異構資源屏蔽方面，HSWAP的資源代理中間件對工作站和超算的訪問進行了統一，同時集成了對商業軟件許可證資源的管理。

2）數值模擬軟件的交互模式多樣，比如建模和可視化分析軟件需要圖形化的交互，求解器則更適用于使用Web表單提交作業，所以對數值模擬軟件的服務封裝需要支持Web表單、命令行界面（Command-Line Interface， CLI）、圖形用戶界面（Graphical User Interface， GUI）多種交互模式在Web Portal上的實現。

3）實現適用于高性能計算環境的數值模擬工作流引擎。相比于面向數據分析的科學工作流，數值模擬的求解過程面臨兩個挑戰性問題：①各類計算任務基于不同的物理模型，求解過程相對獨立，但不同的計算任務在尺度上、生命周期上具有自然的數據依賴關系，各個計算任務需要明晰自身在整體科學工程問題求解過程中的語義，以確定輸入輸出映射關系及物理意義;②物理模型不同、數值算法不同的各類計算任務對于計算資源的需求特征具有極大差異，高效地執行數值模擬工作流需要基于資源需求特征實現批量關聯任務的高效調度。

圖1展示了HSWAP平臺的技術路線。HSWAP的技術實現可分為組件封裝、數值模擬工作流創建、數值模擬工作流執行、計算任務執行四大部分，其中：組件封裝含義為使用軟件運行特征建模的方式形成流程中可復用的組件;流程創建為使用復用組件構建工作流;流程執行則解析數值模擬工作流并形成批量關聯計算任務隊列，形成的計算任務被提交，并根據具體的資源需求特征執行并將交互信息推送至Web Portal。

2 數值模擬工作流模型

HSWAP的數值模擬工作流模型包括流程模型、組件模型和數據鏈接模型，如圖2所示。其中：組件模型用于描述以數值模擬軟件為核心的計算任務的執行過程;數據鏈接模型用于描述兩個關聯計算任務之間的數據依賴關系;而流程模型則是在整體上定義系列關聯計算任務間的依賴拓撲關系。以下分別對流程模型、組件模型和數據鏈接模型進行介紹。

2.1 流程模型

如圖3所示，HSWAP中的數值模擬工作流使用有向圖G（A，D）來抽象使用系列軟件求解復雜模擬問題過程。其中：A為模擬活動（Activity），表示一個基于數值模擬軟件進行的計算任務，包括輸入端口和輸出端口，代表模擬活動的輸入輸出，以ID標記。模擬活動具體由組件模型描述，其端口繼承于組件模型的輸入輸出端口。D為依賴關系（Dependency），以ID標記，包括數據依賴和控制依賴;數據依賴由數據端口間的匹配關系表示（虛線），具體由數據鏈接模型描述;控制依賴邊（實線）上定義了控制依賴函數C（A1，A2），在執行期通過控制依賴邊兩端的模擬活動屬性計算控制依賴邊的激活狀態，只有當控制依賴邊為激活狀態時，由數據依賴邊表示的數據鏈接過程才會在執行期被執行，從而靈活地支持了數值模擬流程中條件分支、循環等控制邏輯的表達。

2.2 組件模型

HSWAP中的組件模型用于描述以數值模擬軟件為核心的模擬活動的執行過程，封裝數值模擬應用軟件、程序和工具并形成業務組件，業務組件可在工作流在滿足輸入輸出條件下任意嵌入。其設計思想為以軟件運行特征建模為基礎構建集成接口，使用組件模型描述軟件的調用流程，包含“輸入執行輸出”的全周期。以此為框架，可以構建出如圖4所示的組件模型，其中：描述層供交互工具使用，主要提供組件的功能與使用方法簡介;工具層描述軟件模塊的資源需求、交互模式等運行特征，為數值模擬工作流中計算任務的自動執行提供基礎;定制層描述該軟件模塊在特定數值模擬工作流中的應用模式，用以提供組件在整體數值模擬工作流中的語義信息;狀態層描述軟件模塊的執行狀態;輸入輸出端口定義該軟件模塊在流程中的輸入和輸出，在數據鏈接模型中進行進一步定義。

在上述模型層次中，工具層為數值模擬軟件封裝的核心部分，封裝了數值模擬軟件的通用運行特征，在組件模型中具有最強的可復用性。為了實現支持不同特征模擬軟件在不同結構高性能計算資源上的流程化集成，工具層可進一步細化，從交互模式、資源需求、執行方式等多方面進行數值模擬軟件運行特征的刻畫，以支持多層次的柔性可配置。圖4右下部分展示了工具層子模型的分層結構，使用（R，E，I）描述工具執行信息，其中：R為資源需求，E描述執行環境，I定義工具的交互方式。進一步的計算資源模型除了包含資源的訪問接口定義外，還包含其系統（操作系統、軟件環境）的定義模型，而系統又被拆分為存儲模型和作業投遞模型，這種樹型耦合結構增強了組件的柔性可配置能力。

2.3 數據鏈接模型

HSWAP中的數據鏈接模型面向模擬活動間數據自動傳遞的需求進行設計，如圖5所示，實現了基于文件的自動松耦合過程。數據鏈接模型可由三元組（D，O，L）表達，描述從一個模擬活動的輸出到另一個模擬活動的輸入的數據轉換與傳輸。其中：D（Data）為數值模擬數據文件的元數據，用（A_id，Path，Port）三元組表示，分別表示數據文件的活動編號、文件存儲路徑和數據端口，數據端口用于將模擬活動的多個輸入輸出文件以格式特征標識劃分為多個文件集合，用（ID，Format，Files）表示，分別表示端口ID、格式描述和對應文件名;O（Operater）為實現數據傳輸所需的數據操作，包括格式轉換、數據遷移等;L（DataLink）表示數據傳輸的源和目的，用（S_id，SP_id，T_id，TP_id），分別表示源活動的ID，源輸出端口ID，目的活動ID和目的輸入端口ID。

3 數值模擬工作流的自動執行過程

HSWAP通過基于軟件運行特征建模的數值模擬軟件封裝、基于文件松耦合的數據鏈接封裝實現了數值模擬工作流模型，完成了使用系列軟件求解復雜模擬問題的過程定義。本章將繼續介紹HSWAP平臺的工作流執行引擎，并重點介紹數值模擬工作流的自動高效執行的相關技術。

3.1 數值模擬工作流的解析

工作流執行引擎負責工作流的解析和執行，包括：1）解析數值模擬工作流，決定模擬活動的執行順序;2）根據模擬活動的組件模型生成、投遞計算任務;3）當計算任務正確完成時，根據數據鏈接模型進行數據文件的轉換和傳遞，完成后續計算任務的準備工作。

圖6顯示了工作流執行引擎的運行架構，在工作流解析階段，最基本的策略是將數值模擬工作流中的模擬活動按照依賴關系進行拓撲排序。為了充分利用數值模擬工作流中模擬活動的依賴關系信息，HSWAP中引入了資源預約機制，根據計算任務執行時間預測，提前獲取后續計算任務所需的計算資源，從而有效地減少了數值模擬工作流執行過程中計算任務的調度等待時間，提高了數值模擬工作流的整體執行效率[12]。

3.2 計算任務執行過程

工作流執行引擎通過對數值模擬工作流的解析獲得了模擬活動的執行順序，下一步需要利用基于組件模型表達的模擬活動生成目標計算資源上的計算任務。為了能夠柔性適應包括SLURM、PBS、LSF等常見調度系統，以及Linux、Windows工作站等不同計算環境，HSWAP中提供了資源代理用于封裝計算環境應用接口，如圖7所示，實現工作流運行與具體執行環境的解耦。在可配置的計算環境中為工作流的執行提供資源層的描述和資源管理，對接實際的高性能計算資源環境。資源代理在封裝的過程中配置了資源的架構特征（CPU/GPU、I/O性能等）、投遞方法等基礎信息，在此基礎上，提供了如下的接口：

1）資源選擇接口?；诋斍百Y源的負載、資源的架構特征匹配模擬活動組件模型中的資源需求特征，選擇合適的計算資源。

2）任務投遞接口。根據模擬活動組件模型以及所提供計算資源的任務投遞模板（所封裝調度系統的投遞腳本模板，或者所封裝工作站的操作系統執行腳本模板）生成可實際執行的計算任務，并在目標計算資源上執行。

解析、生成計算任務，并通過資源代理發送到實際的作業管理系統中執行的投遞過程完全對用戶透明，并且能夠實時監控作業的狀態向客戶端反饋。

3.3 計算任務外的模擬活動執行過程

如圖8所示，模擬活動組件模型的解析執行過程除了形成計算任務外，還根據模型的定義層次進行了其他工作。首先HSWAP平臺中模擬活動組件在定制層中定義了計算任務前后的定制腳本，這類腳本在科學工作流領域中一般被稱為shim[13]，用于映射前后兩個流程組件間的異構輸入輸出。在HSWAP中，數據鏈接提供了大部分shim的功能，包括不同格式數據文件間的轉換、常用數值模擬格式的解析與參數映射等。組件模型的定制層主要為用戶提供更靈活的定制方法，用戶可在其中嵌入非標準、自制格式的解析與參數提取功能，實現自制軟件同商業、開源軟件的流程集成，也可以在后置定制腳本中定義領域相關的數據容錯方法，通過對計算數據的解析判斷判別計算任務成功與否，從而為流程集成提供了更高的靈活性。

其次HSWAP平臺提供了基于HTML5的Web Portal，以支持交互式流程編輯、任務監控，數值模擬軟件的界面推送等功能。為了使計算任務能夠同Web Portal相配合，在計算任務開始執行的同時，HSWAP平臺便通知Web Portal根據所封裝數值模擬軟件的交互特征進行準備，如為Windows、Linux圖形程序以及命令行交互程序提供不同的界面推送容器并接收應用推送結果。

3.4 數據鏈接執行過程

HSWAP平臺使用流程化的方式集成數值模擬活動，在計算任務執行過程中需要依賴于模擬活動的數據與控制依賴關系，自動進行工作區準備、輸入文件傳遞、輸出文件拾取等工作，在HSWAP中這一過程可通過對數據鏈接模型的解析自動實現。

在數據鏈接的解析過程中可自然地得到圖5所示的數據匹配算法，在這一過程中關鍵的數據操作為CONV數據轉換和TRANSFER數據遷移，如圖9所示。在HSWAP平臺中，TRANSFER數據操作被用于封裝計算任務工作區間的數據遷移過程，目前在HSWAP平臺中對數據文件的遷移考慮了三種情況：

1）源、目標工作目錄在同一文件系統;

2）源、目標工作目錄在不同文件系統，但計算服務器間可直接連接;

3）源、目標工作目錄在不同文件系統，且服務器間不可直接連接。

CONV數據操作則用于解決計算任務間數據格式存在不匹配的問題，在前述的數據鏈接模型的輸入輸出端口中包含計算數據的格式說明，CONV數據操作通過輸入輸出間的模型匹配選擇數據格式轉換工具，進行具體的轉換工作。CONV數據操作可以有效地復用既有的數據轉換工具，使其可以適應HSWAP平臺中的數值模擬工作流自動執行過程。

4 平臺應用情況介紹

第3章介紹了HSWAP平臺中數值模擬工作流的建模與自動執行過程，HSWAP平臺的其他組成部分均圍繞這些核心概念和核心模塊構建，本章節簡介HSWAP平臺的整體架構、功能以及示范應用情況。

4.1 整體架構與功能簡介

HSWAP平臺架構整體上可分為如圖10所示的三個層次：其核心是數值模擬工作流管理，提供了基于上述數值模擬工作流模型的建模與執行功能;而在資源層面上，資源代理和組件模型從軟硬件兩個方面提供了對高性能計算資源的封裝，為數值模擬工作流的柔性可配置提供了基礎;在高性能應用服務方面Web Portal實現了拖拽式的流程編輯器以及應用程序推送容器，為用戶提供了便捷使用高性能計算資源和數值模擬工作流的功能。

圖11是HSWAP平臺實地部署的架構，其中，Backend為數值模擬工作流管理服務器，Application Gateway用于處理應用程序界面推送，Front-end Server用于對外提供滿足RESTful規范的應用程序接口（Application Program Interface， API）。圖12展示了HSWAP平臺的Web Portal界面。

4.2 HSWAP平臺應用示范

HSWAP平臺目前在材料、結構等數值模擬領域得到了實際應用。圖13所示為含能材料分子的篩選流程，該流程需要集成分子生成、結構計算、性能預測、分子結構可視化等數值模擬軟件，用于預測遍歷生成的批量分子結構的性能參數，并從中篩選獲得滿足預定設計條件的材料分子結構。

表2中展示了該篩選流程中所集成的數值模擬軟件。從表2中可以看出，該系統所集成軟件涵蓋了自研、商業、開源等不同來源的軟件工具，并且各軟件的交互模式各異，執行時的并發特征也各異。但利用HSWAP平臺，在2人月內就可以完成整個數值模擬流程的集成與調試，所獲得的流程可以自動連貫執行，生成數百至上千批量并發作業，并自動在高性能計算資源上執行監控，從而支持用戶高產出地獲取數值模擬結果。

同時，從圖13中可以看出，在分子篩選流程中需要進行高通量[14]的并發計算，也就是實現大量批量作業的并發生成、投遞、狀態監視、管理與結果收集。為了測試HSWAP平臺的任務調度開銷，使用了文獻[15]中介紹的“no-op”測試方法，即并發執行空作業，記錄完成時間，計算作業平均用時。

表3中比較了利用HSWAP平臺批量生成、投遞、監視、收集空作業的總用時，以及直接將批量空作業投遞至測試計算資源所用調度系統的計算總用時。由于HSWAP生成的計算任務最終會使用計算資源調度系統進行投遞，所以兩者的比較可以很好地獲得HSWAP平臺生成、管理計算任務所產生的額外開銷，其中用于對比的調度系統為OpenLava。

從測試結果中可以看出，HSWAP平臺所產生的作業管理額外開銷時間在并發作業數50以上時保證了平均單作業小于0.1s，并且在并發作業數達到500～1000時取得了最優效率，單作業平均額外開銷時間小于0.05s。對于計算時間一般為數分鐘、數小時甚至數天的數值模擬計算任務而言，HSWAP的自動計算流程管理沒有帶來可感知的額外開銷，可以充分發揮調度系統的并發調度能力。

在數值模擬工作流的基礎上，進一步可以通過HSWAP平臺所提供的定制界面開發工具實現領域用戶使用習慣的專用定制界面，從而形成含能材料分子高通量篩選的專用平臺，如圖14所示。目前該平臺已經應用于含能分子篩選高通量計算，一鍵獲得分子結構及對應爆轟性能，面向單質炸藥設計，為變化分子骨架或基團與分子骨架連接方式后的大批量分子進行高通量的性能評估提供了有力支撐。

5 結語

HSWAP平臺面向不同來源、不同交互模式、不同使用習慣、不同數據結構的系列數值模擬軟件的快速集成，總結了數值模擬活動的共性特征，構建了統一組件模型，并在基于任務兼文件松耦合的前提下實現可自動執行的數值模擬工作流，實現流程的交互定義與在高性能計算資源上的自動執行。經過應用實踐可知，HSWAP平臺可在2人月內完成包含10個以下數值模擬軟件、20個以內計算任務節點的數值模擬工作流的集成，形成領域專用的模擬應用系統，單任務平均管理額外開銷小于0.1s，從而很好地解決了在高性能計算資源上快速構建“建模、計算、分析、優化”一體化應用的問題，為開發高性能領域專用計算服務提供了良好的基礎。但HSWAP平臺仍然存在以下問題：1）目前HSWAP平臺仍只支持基于文件的松耦合流程，對其他數據耦合方式尚未進行分析總結，無法集成原位分析等應用模式;2）在高性能計算資源的適配上，由于自身應用環境的限制，目前尚沒有針對網格計算環境開展適配性研究;3）批量用戶并發壓力測試不足，平臺的可擴展性尚需驗證。這些問題均需要進一步的研究以完善平臺的應用基礎。

參考文獻 （References）

[1] 曹榮強，王小寧，盧莎莎，等.基于Portlet的高性能計算應用集成組件[J].科研信息化技術與應用，2017，8（2）：18-30.（CAO R Q， WANG X N， LU S S， et al. High performance computing application integration toolkits based on Portlet [J]. e-Science Technology & Application， 2017， 8（2）： 18-30.）

[2] TOWNS J， COCKERILL T， DAHAN M， et al. XSEDE： accelerating scientific discovery [J]. Computing in Science & Engineering， 2014， 16（5）： 62-74.

[3] 遲學斌，肖海力，王小寧，等.國家重點研發計劃助力國家高性能計算環境服務化建設邁上新臺階[J].科研信息化技術與應用，2016，7（4）：84-88.（CHI X B， XIAO H L， WANG X N， et al. A further promoting toward building China national grid supported by the national key research and development program of China [J]. e-Science Technology & Application， 2016， 7（4）： 84-88.）

[4] TAYLOR I J， DEELMAN E， GANNON D B， et al. Workflows for e-Science： Scientific Workflows for Grids [M]. Berlin： Springer， 2007： 9-16.

[5] DEELMAN E， SINGH G， SU M， et al. Pegasus： a framework for mapping complex scientific workflows onto distributed systems [J]. Scientific Programming， 2005， 13（3）： 219-237.

[6] BERMAN F. From TeraGrid to knowledge grid [J]. Communications of the ACM， 2001， 44（11）： 27-28.

[7] FOSTER I， KESSELMAN C. Globus： a metacomputing infrastructure toolkit [J]. The International Journal of Supercomputer Applications and High Performance Computing， 1997， 11（2）： 115-128.

[8] 吳響，鄧筍根，陸忠華.國內外科學工作流綜述研究[J].科研信息化技術與應用，2014，5（5）：86-95.（WU X， DENG S G， LU Z H. A review of the study on the scientific workflow [J]. e-Science Technology & Application， 2014， 5（5）： 86-95.）

[9] ATKINSON M， GESING S， MONTAGNAT J， et al. Scientific workflows： past， present and future [J]. Future Generation Computer Systems， 2017， 75： 216-227.

[10] YU J， BUYYA R. A taxonomy of scientific workflow systems for grid computing[J]. ACM SIGMOD Record， 2005， 34（3）： 44-49.

[11] DEELMAN E， PETERKA T， ALTINTAS I， et al. The future of scientific workflows [J]. The International Journal of High Performance Computing Applications， 2018， 32（1）： 159-175.

[12] 李于鋒，莫則堯，肖永浩，等.超算環境科學工作流應用平臺的引擎設計和資源調度[J].計算機應用研究，2019，36（7）：1-7.（LI Y F， MO Z Y， XIAO Y H，et al. Engine design and resource scheduling of scientific workflow application platform in supercomputing[J]. Application Research of Computers， 2019， 36（7）： 1-7.）

[13] LU S， PAI D， HUA J， et al. A task abstraction and mapping approach to the shimming problem in scientific workflows [C]// Proceedings of the 2009 IEEE International Conference on Services Computing. Piscataway， NJ： IEEE， 2009： 284-291.

[14] HUERTA E A， HAAS R， JHA S， et al. Supporting high-performance and high-throughput computing for experimental science [J]. Computing and Software for Big Science， 2019， 3（1）： 5.

[15] JAIN A， ONG S P， CHEN W， et al. FireWorks： a dynamic workflow system designed for high-throughput applications [J]. Concurrency and Computation： Practice and Experience， 2015， 27（17）： 5037-5059.