國產電磁高性能數值軟件在工業云平臺的實現

趙英燕，曹振南，蔣尋涯

(1. 南京航空航天大學電子信息工程學院，江蘇 南京 211106；2. 曙光信息產業股份有限公司，北京 100193 ；3. 上海東峻信息科技有限公司，上海 200000)

1 引言

隨著科學技術的快速進步，數值仿真軟件在生物領域中的藥物篩選[1]、大氣科學領域的大氣環境模擬[2]、材料科學領域的新型石墨烯納米材料結構模擬[3]、航空航天領域的電大尺寸的電磁仿真[4]等多個領域的研究中起到越來越重要的作用，依托于高性能計算的數值模擬應用軟件研制已經成為高性能計算(High Performance Computing，HPC)應用領域的研究熱點[5，6]。另外，在電磁仿真計算中，數值仿真已經成為研究和設計電磁器件和系統的主流方法。數值實驗的基礎就是采用先進的電磁仿真軟件系統。同時，隨著新一代信息技術的飛速發展，工業軟件化進程已步入快車道。當前，我國工業軟件市場長期被國外企業占據，雖然國內已形成了一定數量的自主工業軟件研發企業，但在工業設計、仿真軟件等研發方面基礎相對薄弱、研發力量和成果分散、工業仿真設計一體化云平臺短缺，無法形成工業軟件產業聚集和應用示范效應，嚴重制約了國家基礎設施和科學創新步伐。通過匯聚相關領域的優勢企業，開展工業云平臺建設及應用，推動工業云平臺應用與推廣示范，實現高端裝備關鍵領域的創新、研發、驗證及應用的全生命周期業務可持續發展，營造工業云應用的良好生態，持續洞察工業領域的產業發展趨勢和行業發展趨勢。

目前，國內通用的高性能電磁仿真軟件主要有來自于國外的基于時域有限差分法(FDTD)的CST軟件、基于有限元算法的Ansys HFSS 軟件和基于矩量法的FEKO軟件[7]。本文通過基于FDTD和高頻算法的國產電磁高性能數值軟件EastWave在工業云平臺的實現，進行軟件的功能和系統架構調試，選取某客機案例，仿真計算機載的VHF天線方向圖、內部場強以及內部線纜的感應電壓，從而測試國產電磁高性能數值軟件在工業云平臺上的兼容性測試。此外，結合高性能數值軟件研發過程中的實際需求，通過設計實現了高性能計算資源與高性能數值軟件之間的工業云平臺(Industrial Cloud Platform，ICP)，整合全國多個計算中心形成互聯互通，實現了應用軟件開發、集成、服務等范式創新的新模式[8，9]。ICP的實現為國產工業軟件聚焦專注領域產品功能豐富、性能提升和用戶解決高端裝備制造典型工況場景問題等方面均提供有力的平臺支撐。

2 ICP的架構介紹

2.1 ICP介紹

ICP采用云計算的方式整合不同時期、不同地域建設的多套高性能超算中心資源，面向高校、科研院所、制造企業等超算工業領域用戶提出的超算算力需求，搭建統一計算服務平臺，支持跨區域、多中心的計算資源、算例數據、應用軟件等資源協同，實現資源一體化高效協同調度，以云應用的模式提供服務，建立安全可信的仿真云安全體系，保障數據、應用、業務安全，從傳輸、數據等多維度設置安全機制確保數據安全，并可根據用戶實際需求定制化服務。ICP 主要解決了在異構平臺下多 HPC 機群間的作業調度問題，用戶可以通過計算服務平臺提供的統一界面訪問和使用不同平臺、不同地域的高性能超算中心資源，提供高性能計算資源的工業云計算服務，有效整合異構高性能計算資源，提高高性能計算資源的利用率。

2.2 ICP系統架構

ICP系統架構包括資源層(IaaS)、平臺層(PaaS)和用戶層(SaaS)。IaaS包含集群軟硬件計算環境；PaaS包含平臺基礎功能、工業應用軟件、集群調度和運維軟件等；SaaS指用戶端工業制造領域應用場景。

技術層面上ICP采用B/S架構設計，使用Java語言開發，支持前后端分離。Tomcat作為Web容器，Mysql作為系統核心數據庫，基于SSO進行用戶統一認證，基于nginx技術實現負載均衡和高可用。支持Eshell命令行和Efile文件傳輸功能，同時集成了快傳功能[10]。

平臺訪問層面可以通過常見主流瀏覽器訪問，如Firefox、Chrome、Safari等，支持Windows、Mac操作系統訪問，亦支持客戶端形式訪問。平臺底層支持X86等多種異構[11]硬件資源調度，提供工業計算服務。

ICP系統總體架構圖如圖1 所示。

圖1 ICP系統架構圖

2.3 ICP主要功能

ICP具備調用多個異構高性能計算資源的功能，對計算資源軟硬件環境進行統一管理、監控管理、運維管理和運營管理；基于Web界面在線為電磁仿真用戶提供計算、數據和監控服務等；為確保電磁仿真用戶使用過程中的數據安全性，具備用戶權限分級管理功能等，主要功能如下：

1)概覽頁基礎功能

概覽頁主要提供賬戶的統計信息與作業的統計信息，賬戶統計信息包含了賬戶余額、快速查看賬戶可用資源、可訪問隊列、存儲資源的使用狀態，以及平臺提供的多樣化服務。作業統計信息包括當前作業狀態及歷史作業的機時統計。

2)作業查看功能

作業查看功能包括當前作業和歷史作業查看。當前作業查看包括作業ID、作業名、應用名、隊列名、狀態、開始時間、運行時長等；歷史作業查看包括作業ID、作業名、應用名、隊列名、狀態、節點數、入隊時間和結束時間、運行時長等。

3) 文件傳輸功能

包括E-file和跨中心文件上傳和下載，其中E-file支持文件快傳，用戶跨中心支持兩個或兩個以上計算中心傳輸文件，點擊傳輸列表可以管理傳輸任務，當前傳輸任務可以暫停/繼續/取消，歷史傳輸任務記錄可以清除。

4)用戶組管理功能

用戶組管理員對應一個用戶組賬戶，用來管理族賬戶、組成員等相關信息。其中包含修改用戶基本信息、為用戶組“添加新用戶”、為用戶組“添加已有用戶”、修改用戶組名額、用戶組管理員為組成員分配存儲和調整授權功能。

5)費用查詢功能

顯示用戶及關聯賬戶在對應的計算中心的費用，賬單查詢，消費明細查詢，充值、退費和調整記錄查詢功能。

3 國產電磁軟件性能的測試環境

國產電磁高性能數值軟件之一的EastWave主要包含功能為支持模型導入、模型建模、激勵源和邊界條件設置、網格劃分等前處理功能，求解器計算功能和后處理功能。同時，EastWave支持Windows/Linux平臺下的單機多線程、多機分布式多進程并行求解計算和CPU的矢量化指令集加速關鍵技術等。將EastWave Windows版和Linux版分別部署在ICP上，具體集群軟硬件測試環境如下：

1) 集群硬件測試環境

硬件測試環境采用國產處理器，包含通用計算節點(單節點配置為32核，128G內存和240GB SSD)、圖形節點、管理節點、登錄節點、分布式并行存儲(可用容量超40TB)、200Gb/s IB交換機等。

2) 集群軟件測試環境

操作系統為Linux Centos7.5 64位企業版；編譯器為Intel Parallel Studio、Intel編譯器，支持C/C++/Fortran、GNU編譯器，支持C/C++/Fortran；MPI為OpenMP、OpenMPI、MPICH2、MVPAICH2并行環境；GPU開發環境為CUDA驅動、編譯器、調試器、工具包、SDK等；CUDA FFT、CUDA BLAS等；數學庫為MKL、ACML、BLAS、LAPACK、ScaLAPACK等。

4 典型工程算例

算例測試的主要目的是完成EastWave部署在ICP上的系統測試，驗證EastWave在ICP上的穩定性和兼容性。具體采用EastWave對空客A380進行機載VHF天線方向圖、內部場強以及內部線纜的感應電壓的仿真計算。

4.1 計算模型

圖2為空客A380民航飛機縮比模型和VHF刀型(切面)天線安裝位置。尺寸為7.3m×8m×2.7m，天線的工作頻率是從100 MHz到200 MHz。圖3為A380飛機內部的線纜分布圖，其中線纜的最小半徑為0.16mm。

圖2 空客A380的三維縮比模型和VHF天線

圖3 空客A380內部線纜分布圖

4.2 測試結果

使用EastWave前處理功能，選擇時域有限差分求解器，導入A380全金屬飛機模型，創建刀型天線，設置天線的激勵源，采用集總端口，其中窗口是FR4材料，計算刀型天線安裝在飛機腹部后的200MHz方向圖與內部線纜的瞬態感應電壓。在ICP上EastWave使用8個計算節點，共計256核，仿真計算運行消耗時間見表1。

表1 計算節點和運行時間

圖4是機載天線與自由天線的反射系數S11，可見飛機對回波損耗的影響較小。

圖4 機載天線與自由天線S11結果

圖5 機載天線與自由空間天線的水平面方向圖對比

圖6 機載天線與自由空間天線的豎直面方向圖對比

從圖5可以看出，天線輻射方向圖幾乎在所有方位的電平都大于-5dB。在60°-80°與280°-325°間電平嚴重降低，原因在于天線安裝在飛機的腹部和機翼的后面，機翼遮擋影響天線的輻射。

從圖6的機載天線與自由空間天線的豎直面方向圖對比可以看出，由于機身的遮擋效應，安裝后的天線的0°到80°的方向性系數整體變差，平均下降了8dB。相比自由天線，80°-180°間的方向性系數影響較小，能夠盡可能的減小飛機與地面的通信。

圖7 機載天線的三維方向圖

圖7為天線安裝在飛機底部時的三維方向圖。由于該天線是向四周輻射(頂部與底部是-15dB以下)，四周輻射的強度從-5dB到5dB。

圖8 客機A380電場分布圖

圖8是當天線工作時整個空間的電場分布。可以看出，由于天線置于飛機腹部能夠向下輻射電磁波，其便于飛機與地面塔臺間的通信。

圖9 線纜的感應電壓

圖9是當天線正常工作時，飛機內部線纜的瞬態感應電壓，其峰值電壓是4.2×10-5V (設輸入信號峰值電壓是1V)。在良好的電纜鋪設下，內部線纜的瞬態感應電壓是不會對飛機內部其它設備造成影響。

5 結論

本文設計并實現了一種基于Web的部署高性能數值軟件的ICP，并通過選用國產電磁數值軟件EastWave在ICP進行空客A380縮比模型性能驗證。整個計算過程穩定，計算效率高，驗證了該平臺的穩定性和可靠性。同時，該平臺還具有相關的便捷的VNC終端、命令行終端和Web頁面方便快捷地訪問和不同類型的工業軟件可以為計算機編程的數值軟件研發和工程應用方面的人員使用，為國產數值軟件在超算中心上高效使用提供了有力工具。