大規模工程電磁場的億自由度可擴展并行計算方法

金 亮 李育增 楊慶新 張 闖 閆 帥

大規模工程電磁場的億自由度可擴展并行計算方法

金 亮1,2李育增1,2楊慶新1,2張 闖1,2閆 帥3

（1. 省部共建電工裝備可靠性與智能化國家重點實驗室（河北工業大學） 天津 300130 2. 河北省電磁場與電器可靠性重點實驗室（河北工業大學） 天津 300130 3. 中國科學院電工研究所 北京 100081）

精確和快速的電磁場計算，是電工裝備精細模擬和優化設計的基礎。該文在高性能云平臺的高速互聯彈性集群上開展可擴展并行計算研究，使用OpenMpi作為消息傳遞庫，選取的區域分解算法為對偶原始有限元撕裂內聯（FETI-DP）法，通過改進主從/對等的并行程序框架實現電導率不變時渦流場磁矢勢的并行計算，在降低編程復雜度的同時提高了并行計算效率。使用C語言編寫程序，用國際TEAMProblem7基準問題驗證可擴展并行計算方法。該文將主從/對等并行程序框架和對偶原始有限元撕裂內聯（FETI-DP）法引入電磁計算領域，提高了并行計算效率和可擴展性，為大規模工程電磁場計算提供了一種新的實踐和理論方法。

并行計算 電磁場數值計算 有限元法 對偶原始有限元撕裂內聯法

0 引言

現代電工裝備是支撐智能電網和國家重點重大項目的關鍵裝備。在向高技術參數的發展過程中，現代電工裝備的設計需考慮性能優化、制造工藝約束、服役特性和極限工作條件，因而計算電磁學對于精細模擬的作用日益凸顯[1-2]。

對于計算電磁學而言，有限元法（Finite Element Method, FEM）是一種強大的電磁場數值計算方法，它具有模擬復雜介質和精細幾何的能力。由于普通計算機的計算能力無法滿足電工裝備精細模擬的計算需求，導致以下幾個問題：一是常使用簡化數值模型降低計算量，其計算結果的可信度降低。如大型電力變壓器垂直漏磁場導致的渦流和磁滯損耗計算問題，一般采用將多層硅鋼片進行整體等效的方法，導致局部熱點計算難以反映實際情況[3]。二是對于含縫隙或小氣隙的多尺度（空間）問題，網格精度滿足不了實際要求。如存在mm級縫隙的m級裝備——特大型電機、近零磁場環境裝置等，由于尺寸差距過大導致設計指標與實際性能具有巨大差別[4]。三是受計算速度限制，一些精細模擬難以完成，產品級精細模型的計算面臨計算時間過長的問題[5]。如特高壓變壓器的仿真計算需要多組工況的計算，而一次計算需要幾天甚至幾十天的時間。

面對大型而復雜的計算問題，并行計算是提高計算效率的有效方法之一。在電工領域中，并行計算方法已經被廣泛應用以提高計算效率。如文獻[6]提出了利用圖數據庫對電力系統進行建模、并在圖內存數據庫上進行圖并行計算的方法，相比于傳統串行計算的能量管理系統，在線潮流和靜態安全分析的速度上有顯著的提高。文獻[7]提出了一種基于CPU-GPU異構的靜態電壓穩定域邊界并行計算方法，避免了直接法計算量大、計算復雜度高的缺陷，提高了靜態電壓穩定域的搜索效率。文獻[8]提出了一種基于多核并行計算的有限集模型預測算法（Finite Control Set Model Predictive Control, FCS-MPC），有效降低了傳統FCS-MPC算法的執行時間。針對計算精度高的大規模工程有限元法在電磁場計算方面耗時長的問題，并行計算是有效的解決方法之一[9]。為了有效解決大規模計算問題，在高頻大尺寸領域一般采用將整個計算域劃分為更小子域的有限元區域分解法[10-12]。如，采用魯棒的區域分解方法——對偶原始有限元撕裂內聯法（Dual-PrimalFinite Element Tearing and Interconnecting, FETI-DP）解決多尺度有限元建模問題[13]；使用區域分解法，在子域之間采用不連續的Galerkin方法提高不連續結構的電磁計算收斂性[14]。針對工頻或低頻電工裝備，計算效率較高的單元接單元（Element by Element, EBE）并行有限元法在渦流場計算領域得到了初步應用和原理性驗證[15]。大型電工裝備的硅鋼片，由于每片厚度僅為0.1～0.5mm，三維有限元建模和渦流計算困難，采用基于信息傳遞接口（Massage Passing Interface, MPI）和非結構化四面體網格的并行有限元程序可高效完成百萬自由度的計算[16]。為了推廣并行計算的使用范圍和收斂性，LU重組方法可使近似奇異的有限元矩陣得到正則化，適用于大型渦流、開關磁阻電機和隨鉆測井問題[17]。目前，有限元并行計算方法在國內外工程領域的現實需求使其得到了快速的發展[18-20]。并行計算的應用從結構動力分析、地球物理發展到高頻電磁場、工頻和低頻電磁場，甚至是電力系統以及靜態電磁場等方面[21-28]。在電氣領域，由于大型電機、變壓器等電工設備或應用電磁原理大型裝備的容量和規模越來越大，對于精細模擬的要求越來越高、計算規模的需求也日趨龐大。為滿足電磁精細模擬對于計算規模、易用性的需求，高性能公有云、私有云和混合云成為高性能計算的一種有效解決方法[29-31]。

在巖土工程數值模擬領域，并行計算技術已經發展到百萬、千萬乃至億自由度的計算規模[32-34]。目前，三維工程電磁場的有限元計算及其并行方法的計算規模多為數百萬自由度的線性和非線性問題。計算規模、計算時間方面尚不能滿足特大型電機、變壓器等電工設備或應用電磁原理大型裝備的工程和科學計算需求。

因而本文在百萬自由度的電磁并行計算方法研究基礎上[35-36]，提出一種基于OpenMpi的億自由度高效可擴展并行計算方法。首先搭建云計算彈性集群，改進主從/對等模型，并建立并行程序框架，推導電導率不變時的渦流場磁矢勢法，推導并論述FETI-DP區域分解算法的收斂性和魯棒性，最后使用國際TEAM Problem 7案例驗證了億自由度可擴展并行計算方法。

1 計算集群

云計算主要使用虛擬化、分布式存儲技術將計算機集群的計算資源、存儲資源、網絡及相關服務組成資源池。對于用戶，云計算即為三個層次服務：Infras-tructure as a Service（IaaS），Platform as a Service（PaaS）和Software as a Service（SaaS）。基于云計算的有限元仿真系統如圖1所示。圖中，SSL為安全套接字協議（Secure Sockets Layer），JSCH為安全外殼協議（Secure Shell, SSH）的純Java實現，KVM為基于內核的虛擬機（Kernel-based Virtual Machine, KVM）。從IaaS 到SaaS（從硬件到軟件或服務），用戶可按照自己的計算需求從資源池中獲得動態易擴展、可管理的資源及服務。

圖1 基于云計算的有限元仿真系統

對于高性能計算，云計算一般采用管理節點虛擬化和計算節點非虛擬化的混合架構。計算機集群由21臺雙路28核心、128GB內存的服務器組成。1臺作為管理節點（Master），負責計算任務的分發和調度，其余20臺作為計算節點（Slaver）實現計算與存儲。集群之間通過Infiband協議實現30Gbit/s光纖互聯。存儲系統采用Hadoop 分布式文件系統（Hadoop Distributed File System, HDFS）。

2 有限元可擴展并行算法

可擴展并行計算是指并行算法能有效利用可擴展處理器核心數的能力。并行程序計算性能的下降主要是由于數值計算過程中迭代計算需要在不同處理器核心及不同節點之間將OpenMpi通信用于交換邊界數據。在主從模式，由于所有的數據通信均需通過管理節點實現，因此通信時間隨核心數和計算規模的增加急劇增加導致，其計算效能在大規模計算中下降嚴重。本文主要通過子進程間直接進行點對點的通信且子進程間完全對等的方法改進傳統的主從模式，建立基于主從/對等模型的并行程序框架，在實現進程間的高效交換邊界數據的同時，兼顧主從模式程序清晰易調試的優點。具體為：任務分配采用主從模式，分區取得子任務進入有限元計算后，子進程與子進程間直接進行點對點的通信，且子進程間完全對等。

2.1 并行程序框架

并行程序框架如圖2所示。圖中主程序、主進程、從進程、前處理數據讀取模塊為并行、串行相一致的程序或模塊；剖分與數據分割模塊、剖分模塊、數據分發模塊、數據接收模塊、求解器同步模塊為并行計算模塊；求解器、結果輸出模塊、子程序通信模塊為并行獨有模塊。首先采用前處理數據讀取Gidpre模塊讀入有限元前處理數據，通過剖分與數據分割Mpartition模塊對全局的有限元數據進行任務分割，并結合有限元剖分Mgetpart模塊將對應各子分區的數據和細剖分指令發送到對應子進程。子進程的數據接收Spart、自由度處理和解初始化Spre、剛度矩陣Sgetpart等模塊完成從主進程接收分配的區域任務數據，并進一步細化網格和組裝剛度矩陣。然后各子進程使用求解器Starta、子進程通信testa、求解器Ssolv等模塊完成有限元求解流程和數據通信。各子進程間的點對點通信完成數據交換是在求解器Ssolv模塊求解過程中每一次迭代計算子程序完畢后進行，通過通信模塊Scom完成。

圖2 并行程序框架

2.2 基于OpenMpi的并行程序通信

OpenMpi的工作機制如圖3所示。MPI作為消息傳遞接口是一個并行計算的應用程序接口，能協調多臺主機間的并行計算，且并行規模上的可伸縮性很強。基于組件架構MPI實現的OpenMpi，可通過組合不同組件來實現不同的功能，具有靈活、高效、適用性高等特點，適用于分布式內存之間的信息通信。主從/對等模型使得并行計算框架具有高度并行化的特點。為實現億自由度的并行計算規模，并行計算框架運行在由多個計算節點組成的集群系統中，是典型的分布式內存系統，本文采用OpenMpi實現對本地指令和數據的直接訪問以及管理節點和計算節點之間的消息傳遞。由MPI層、點對點傳輸層（PML）、字節傳輸層（BTL）、BTL管理層四部分組成的節點間通信架構，如圖4所示。MPI層的作用是為MPI程序提供程序接口；在PML中，BTL組件管理所有的消息傳遞，實現了點對點通信原語，MPI層點對點語義通過PML運行，消息調度與進程策略嵌于協議中；由于多種功能組件需要BTL組件，BTL管理層（BML）給BTL的初始化與通過BTL進行資源恢復提供工具，在BTL初始化完成后，BML層對于BTL的內聯功能被有效略過；BTL層架構包含了一組RDMA的通信單元，通過發送/接收端與基于RDMA端之間的內部數據連接實現數據轉換的統一方法，以上四部分實現了節點間消息傳遞功能。基于進程調度的OpenMpi，并行擴展能力強，可滿足成千上萬計算節點的并行需求，且計算效率最高，但將串行程序并行化需要大量修改原有的串行代碼和架構，導致編程工作量大、調試難度很大。本文的程序采用C語言編寫，并在架構上考慮了并行的需要，因而采用OpenMpi實現并行指令和數據的通信和管理，達到提高并行計算效率的目的。同時采用了檢查點設置/回卷恢復功能，建立進程、節點失效恢復的容錯系統。

圖3 OpenMpi工作機制

圖4 節點間通信架構

2.3 電導率不變時的渦流場磁矢勢A法

在渦流區內，在忽略位移電流的情況下，Maxwell方程可寫作[37]

當源電流隨時間按正弦變化，矢量可用復數計算。于是式（6）成為復矢量方程的三維渦流場矢量磁位微分方程及其邊值問題，即

式（7）可通過伽遼金方法，可以得到一個線性方程的有限元系統

式中

最后，電場強度表達式為

2.4 區域分解和并行算法

為了處理規模較大的模型，本文采用多層劃分框架Metis。Metis是一組串行程序，用于對圖進行分區、對有限元網格進行分區以及為稀疏矩陣生成填充順序。Metis中的算法是基于多級遞歸對分、多級路和多約束分區方案。

區域分解方法（Domain Decomposition Method, DDM）將原來的大規模問題分解成更小的子域問題，并使用并行計算方法對其進行獨立處理，從而使總計算時間顯著縮短。并行算法采用一種魯棒的區域分解方法——對偶原始有限元撕裂內聯法（FETI-DP）提高有限元計算效率和擴展能力[22]。

圖5 FETI-DP 算法網格剖分及節點分類

在每個子域界面上，應滿足場量的連續性，即

式中，、為兩個相鄰子域的編號。

則有限元的子域剛度方程可定義為

子域分界面上的連續性方程可表示為

通過矩陣運算，由式（15）、式（16）與式（17）消去分界面的自由度，可以將原問題轉變為求解關于界面拉格朗日乘子的一個對稱正定對偶問題，即

其中

通過求解式（18）得到，然后將代入式（15）求得子域的，進而得到全局。由于原問題轉變為求解關于界面拉格朗日乘子的一個對稱正定對偶問題，FETI-DP方法具有良好的擴展性和收斂性。

3 計算案例

并行算法的實現是基于FELAC計算平臺，具體實現過程，如圖2所示。OpenMpi采用基于intel 14.0.2編譯器編譯的mpi。操作系統為Red Hat 6.5，內核版本為2.6.32-431.TH.x86_64。單機串行程序在Felac開發平臺上開發完成，并行程序在上述的軟硬件環境下開發、運行和測試。

π的并行計算程序在計算集群多節點上的并行程序測試，如圖6所示。

圖6 多節點并行程序測試

國際TEAM（Testing Electormagnetic Analysis Methods）基準問題是為了測試和驗證電磁工程問題的電磁場數值計算方法正確性而建立的一系列標準模型和案例。TEAM Problem 7是檢驗三維渦流場數值計算精度的標準模型，由矩形載流線圈和導體板組成，線圈通以正弦電流，如圖7a所示。矩形載流線圈一般由絕緣漆包銅線繞制，導體板一般為鋁板。可用于模擬電工設備中金屬構件的交變漏磁場引起的損耗。

可由式（12）計算電場強度，鋁板中感應渦流密度e的求解公式為

磁通密度計算公式為

采用多層劃分框架Metis對含空氣域的整體進行分區后的情況，如圖7b所示。由于矩形載流線圈和導體板均為非導磁性材料，磁場和電場分布在一個比較大的空間內并考慮到幾何結構為方形，因此包含矩形載流線圈和導體板的空氣域為方形結構。采用多層劃分框架Metis對線圈和導體板進行分區后的情況，如圖7a所示。從圖7a和圖7b可知多層劃分框架Metis可對求解域進行區域分解，且分區較為規則和均勻。

圖7 TEAM Problem 7基準問題計算案例

200Hz時導體板上表面電流分量分布如圖8所示。電流虛部和實部的分布情況和電磁感應定律是一致的，電流在矩形載流線圈正下方的導體板開孔邊界處最大、在遠離矩形載流線圈的導體板外邊緣處最小。

圖8 200Hz時導體板上表面電流Y分量分布

200Hz時空氣中A3-B3直線上磁場分量的計算值和測量值，如圖9所示。其中，直線A3-B3是指Team Problem7文獻中給出的測量線[39]。A3-B3是緊鄰導體板上表面的一條位于空中的直線，A3坐標值為（0mm, 72mm, 34mm），B3坐標值為（288mm, 72mm, 34mm）。圖9中的Felac Calculated是指可擴展并行計算方法得到的計算值；Comsol Calculated是指電磁場數值計算軟件Comsol計算得到的計算值；Compumag. org是指Team Problem7文獻中給出的測量值[39]，結果證明本文并行計算方法的計算結果是正確的。

1）小規模測試

有限元的測試規模為節點330萬、自由度2 643萬、單元數2 091萬，為評價并行計算的效率，分別采用100核、200核、300核和400核進行測試。加速比為單個CPU計算運行時間s與個CPU計算運行時間p()之間的比值p()=s/p()。個CPU的并行計算效率為p()=p()/，并行效率可以理解為每個CPU的平均利用率。以100核作為基準的并行性能見表1。

表1 小規模測試的并行性能

Tab.1 Performance for small-scale testing

2）大規模測試

有限元的測試規模為節點數1 256萬、自由度數10 049萬、單元數7 436萬。為評價并行計算的效率，分別采用100核、200核、300核、400核進行測試，以100核作為基準的并行性能見表2。

節點數、自由度數、單元數的數量將會影響計算規模的大小。隨著計算規模的增加將會使并行計算過程的迭代計算時間和并行計算總時間明顯增加。對比兩個測試結果，采用100核、200核、300核、400核時，大規模測試的計算效率相比小規模測試變化不大。實驗結果證明本文提出的大規模工程電磁場億自由度可擴展并行計算方法具有很好的并行計算效率和魯棒性。

表2 大規模測試的并行性能

Tab.2 Performance for big-scale testing

4 結論

本文研究并改進傳統的主從并行程序框架，建立了主從/對等并行程序框架，基于電導率不變時渦流場磁矢勢法和對偶原始有限元撕裂內聯（FETI-DP）法建立了可擴展并行計算方法，調用400個計算核心實現了渦流場的高效并行計算，成功地將數值計算規模提高到1億自由度。數值計算的加速比結果表明可擴展并行計算方法具有很好的可擴展性能和很高的并行計算效能，同時點對點的對等模型為更大規模的并行數值計算奠定了基礎。研究成果為大型復雜電工裝備產品級模型的高效和高精度數值模擬提供了有效的理論和實踐方法。

在后續研究中，將進一步提高并行計算規模和加速比，基于A-phi方法實現TEAM Problem21案例的實現億節點并行計算。

[1] Cheng Zhiguang, Norio Takahashi, Yang Sumei, et al. Loss spectrum and electromagnetic behavior of Problem 21 family[J]. IEEE Transactions on Magnetics, 2006, 42(4): 1467-1470.

[2] 謝德馨, 程志光, 楊仕友, 等. 對當前計算電磁學發展的觀察與思考——參加COMPUMAG2011會議有感[J]. 電工技術學報, 2013, 28(1): 136-141.

Xie Dexin, Cheng Zhiguang, Yang Shiyou, et al. Observation and consideration on the current development of computational electromagnetics—in perspective of COMPUMAG2011[J]. Transactions of China Electrotechnical Society, 2013, 28(1): 136-141.

[3] Hihat Nabil, Napieralska-Juszczak Ewa, Lecointe Jean-Philippe, et al. Equivalent permeability of step-lap joints of transformer cores: computational and experimental considerations[J]. IEEE Transactions on Magnetics, 2011, 47(1): 244-251.

[4] 李立毅, 孫芝茵, 潘東華, 等. 近零磁環境裝置現狀綜述[J]. 電工技術學報, 2015, 30(15): 136-140.

Li Liyi, Sun Zhiyin, Pan Donghua, et al. Status reviews for nearly zero magnetic field environment facility[J]. Transactions of China Electrotechnical Society, 2015, 30(15): 136-140.

[5] 程志光, 劉濤, 范亞娜, 等. 基于TEAM P21三維雜散場問題建模仿真與驗證[J]. 電工技術學報, 2014, 29(9): 194-203.

Cheng Zhiguang, Liu Tao, Fan Yana, et al. TEAM P21-based validation of 3-D stray-field modeling and simulation[J]. Transactions of China Electrotechnical Society, 2014, 29(9): 194-203.

[6] 劉廣一, 戴仁昶, 路軼, 等. 基于圖計算的能量管理系統實時網絡分析應用研發[J]. 電工技術學報, 2020, 35(11): 2339-2348.

Liu Guangyi, Dai Renchang, Lu Yi, et al. Graph computing based power network analysis applications[J]. Transactions of China Electrotechnical Society, 2020, 35(11): 2339-2348.

[7] 李雪, 張琳瑋, 姜濤, 等. 基于CPU-GPU異構的電力系統靜態電壓穩定域邊界并行計算方法[J]. 電工技術學報, 2021, 36(19): 4070-4084.

Li Xue, Zhang Linwei, Jiang Tao, et al. CPU-GPU heterogeneous computing for static voltage stability region boundary in bulk power systems[J]. Transactions of China Electrotechnical Society, 2021, 36(19): 4070-4084.

[8] 劉濤, 習金玉, 宋戰鋒, 等. 基于多核并行計算的永磁同步電機有限集模型預測控制策略[J]. 電工技術學報, 2021, 36(1): 107-119.

Liu Tao, Xi Jinyu, Song Zhanfeng, et al. Finite control set model predictive control of permanent magnet synchronous motor based on multi-core parallel computing[J]. Transactions of China Electrotechnical Society, 2021, 36(1): 107-119.

[9] 管建和. 電磁場有限元法解釋分布式并行計算的研究[D]. 北京: 中國地質大學（北京）, 2006.

[10] Li Yujia, Jin Jianming. A new dual-primal domain decomposition approach for finite element simulation of 3-D large-scale electromagnetic problems[J]. IEEE Transactions on Antennas and Propagation, 2007, 55(10): 2803-2810.

[11] Zhen Peng, Lee JinFa. Non-conformal domain decomposition method with mixed true second order transmission condition for solving large finite antenna arrays[J]. IEEE Transactions on Antennas and Propagation, 2011, 59(5): 1638-1651.

[12] Xue Mingfeng, Jin Jianming. A hybrid conformal/ nonconformal domain decomposition method for multi-region electromagnetic modeling[J]. IEEE Transactions on Antennas and Propagation, 2014, 62(4): 2009-2021.

[13] Xue Mingfeng, Jin Jianming. Nonconformal FETI-DP methods for large-scale electromagnetic simulation[J]. IEEE Transactions on Antennas and Propagation, 2012, 60(9): 4291-4305.

[14] Mario A Echeverri Bautista, Francesca Vipiana, Matteo Alessandro Francavilla, et al. A nonconformal domain decomposition scheme for the analysis of multiscale structures[J]. IEEE Transactions on Antennas and Propagation, 2015, 63(8): 3548-3560.

[15] 唐任遠, 吳東陽, 謝德馨. 單元級別并行有限元法求解工程渦流場的關鍵問題研究[J]. 電工技術學報, 2014, 29(5): 1-8.

Tang Renyuan, Wu Dongyang, Xie Dexin. Research on the key problem of element by element parallel FEM applied to engineering eddy current analysis[J]. Transactions of China Electrotechnical Society, 2014, 29(5): 1-8.

[16] Zheng Weiying, Cheng Zhiguang. An inner-constrained separation technique for 3D finite element modeling of GO silicon steel laminations[J]. IEEE Transactions on Magnetics, 2012, 48(8): 2277-2283.

[17] Wang Yao, Jin Jianming, Philip TKrein. Application of the LU recombination method to the FETI-DP method for solving low-frequency multiscale electromagnetic problems[J]. IEEE Transactions on Magnetics, 2013, 49(10): 5346-5355.

[18] Van Emden Henson, Ulrike Meier Yang. BoomerAMG: a parallel algebraic multigrid solver and preconditioner[J]. Applied Numerical Mathematics, 2002, 41(1): 155-177.

[19] Ralf Hiptmair, Xu Jinchao. Auxiliary space preconditioning for edge elements[J]. IEEE Transactions on Magnetics, 2008, 44(6): 938-941.

[20] Zhang Linbo. A parallel algorithm for adaptive local refinement of tetrahedral meshes using bisection[J]. Numerical Mathematics a Journal of Chinese Universities English Series, 2009, 2(1): 65-89.

[21] George Karypis, Vipin Kumar. Multilevel k-way partitioning scheme for irregular graphs[J]. Journal of Parallel and Distributed Computing, 1998, 48(1): 96-129.

[22] Charbel Farhat, Michel Lesoinne, Patrick LeTallec, et al. FETI-DP: a dual–primal unified FETI method—Part I: a faster alternative to the two-level FETI method[J]. International Journal for Numerical Methods in Engineering, 2001, 50(7):1523-1544.

[23] Xue Mingfeng, Jin Jianming. A preconditioned dual-primal finite element tearing and interconnecting method for solving three-dimensional time-harmonic Maxwell's equations[J]. Journal of Computational Physics, 2014, 274: 920-935.

[24] James Ahrens, Kristi Brislawn, Ken Martin, et al. Large-scale data visualization using parallel data streaming[J]. IEEE Computer Graphics and Applications, 2001, 21: 34-41.

[25] 史燕琨, 熊華強. 基于偽并行遺傳算法的配電網電容器優化配置[J]. 電力系統保護與控制, 2009, 37(20): 57-60.

Shi Yankun, Xiong Huaqiang. Optimal capacitor arrangement based on pseudo parallel genetic algorithm[J]. Power System Protection and Control, 2009, 37(20): 57-60.

[26] 黃靖, 張曉鋒, 葉志浩. 大型船舶電力系統分布式并行潮流計算方法[J]. 電力系統保護與控制, 2011, 39(7): 50-55.

Huang Jing, Zhang Xiaofeng, Ye Zhihao. A distributed parallel load flow calculation method for large ship power system[J]. Power System Protection and Control, 2011, 39(7): 50-55.

[27] 簡金寶, 楊林峰, 全然. 基于改進多中心校正解耦內點法的動態最優潮流并行算法[J]. 電工技術學報, 2012, 27(6): 232-241.

Jian Jinbao, Yang Linfeng, Quan Ran. Parallel algorithm of dynamic optimal power flow based on improved multiple centrality corrections decoupling interior point method[J]. Transactions of China Electrotechnical Society, 2012, 27(6): 232-241.

[28] David MFernández, Maryam Mehri Dehnavi, Warren JGross, et al. Alternate parallel processing approach for FEM[J]. IEEE Transactions on Magnetics, 2012, 48(2): 399-402.

[29] Gabriel Mateescu, Wolfgang Gentzsch, Calvin JRibbens. Hybrid computing—where HPC meets grid and cloud computing[J]. Future Generation Computer Systems, 2011, 27(5): 440-453.

[30] Ismail Ari, Nitel Muhtaroglu. Design and implementation of a cloud computing service for finite element analysis[J]. Advances in Engineering Software, 2013, 60-61: 122-135.

[31] 符偉. 云計算環境下的線性有限元方法研究[D]. 武漢: 華中科技大學, 2013.

[32] Zhang Y, Gallipoli D, Augarde C E. Simulation- based calibration of geotechnical parameters using parallel hybrid moving boundary particle swarm optimization[J]. Computers and Geotechnics, 2009, 36(4): 604-615.

[33] 張友良, 馮夏庭, 茹忠亮. 基于區域分解算法的巖土大規模高性能并行有限元系統研究[J]. 巖石力學與工程學報, 2004, 23 (21): 3636-3641.

Zhang Youliang,Feng Xiating, Ru Zhongliang. Large-scale high performance parallel finite element system based on domain decompositioin method in geomechanics[J]. Chinese Journal of Rock Mechanics and Engineering , 2004, 23(21): 3636-3641.

[34] Zhang Youliang, Domenico Gallipoli. Development of an object-oriented parallel finite element code for unsaturated soils[M]. Berlin Heidelberg: Springer, 2007.

[35] 金亮, 汪東梅, 邱運濤, 等. 基于彈性云計算集群的國際TEAM Problem 7基準問題計算方法[J]. 電工技術學報, 2017, 32(8): 144-150.

Jin Liang, Wang Dongmei, Qiu Yuntao, et al. A calculation method for the international benchmark Problem of TEAM 7 based on elastic cluster in cloud computing[J]. Transactions of China Electrotechnical Society, 2017, 32(8): 144-150.

[36] 金亮, 邱運濤, 楊慶新, 等. 基于云計算的電磁問題并行計算方法[J]. 電工技術學報, 2016, 31(22): 5-11.

Jin Liang, Qiu Yuntao,Yang Qingxin, et al. A parallel computing method to electromagnetic problems based on cloud computing[J]. Transactions of China Electrotechnical Society, 2016, 31(22): 5-11.

[37] 顏威利, 楊慶新, 汪友華, 等. 電氣工程電磁場數值分析[M]. 北京：機械工業出版社, 2006.

[38] 張友良, 譚飛, 張禮仁, 等. 巖土工程億級單元有限元模型可擴展并行計算[J]. 巖土力學, 2016, 37(11): 3309-3316.

Zhang Youliang, Tan Fei, Zhang Liren, et al. Scalable parallel computation for finite element model with hundreds of millions of elements in geotechnical engineering[J]. Rock and Soil Mechanics, 2016, 37(11): 3309-3316.

[39] Problem 7 asymmetrical conductor with a hole[DB/OL].https://www.compumag.org/wp/wp-content/uploads/2018/ 06/problem7.pdf.

Extensible Parallel Computing Method with Hundreds of Millions of Freedoms for Large-Scale Engineering Electromagnetic Field

Jin Liang1,2Li Yuzeng1,2YangQingxin1,2Zhang Chuang1,2Yan Shuai3

（1. State Key Laboratory of Reliability and Intelligence of Electrical Equipment Hebei University of Technology Tianjin 300130 China 2. Key Hebei Key Laboratory of Electromagnetic Field and Electrical Apparatus Reliability Hebei University of Technology Tianjin 300130 China 3. Institute of Electrical Engineering Chinese Academy of Sciences Beijing 100081 China）

Accurate and rapid electromagnetic field calculation is the basis of fine simulation and optimization design of electrical equipment. In this paper, the scalable parallel computing research is carried out on the elastic cluster of high-speed interconnected high-performance cloud platform. OpenMpi is used as the message passing library, and the dual-primal finite element tearing and interconnecting (FETI-DP) method is selected as the domain decomposition algorithm. The parallel computing of eddy current magnetic vector potentialwith constant conductivity is achieved by improving the master-slave/peer parallel program framework, which can reduce the complexity of programming and improve the efficiency of parallel computing. The program is written in C language and the scalable parallel computing method is verified by the benchmark problem of international TEAM Problem 7. In this paper, the master-slave/peer-to-peer parallel program framework and the dual-primal finite element tearing and interconnecting FETI-DP method are introduced into the field of electromagnetic computing, which improves the efficiency and scalability of parallel computing, and provides a new practical and theoretical method for large-scale engineering electromagnetic field calculation.

Parallel computing, numerical calculation of electromagnetic fields, finite element method, dual-primal finite element tearing and interconnecting(FETI-DP)

10.19595/j.cnki.1000-6753.tces.211050

TM153

國家自然科學基金面上項目（51977148）和國家自然科學基金重大研究計劃項目（92066206）資助。

2021-07-09

2021-11-01

金 亮 男，1982年生，博士，教授，研究方向為工程電磁場與磁技術、電磁場云計算和電磁無損檢測等。E-mail：jinliang@tju.edu.cn（通信作者）

李育增 男，1996年生，碩士研究生，研究方向為工程電磁場。E-mail：lyz18330774321@163.com

（編輯 郭麗軍）