淺談高保真飛發一體化仿真軟件Kestrel

■ 項洋 / 中國航發研究院

美國近期發布了數字主線(Digital Thread)和數字工程等一系列數字化戰略，其中基于物理的高保真建模仿真軟件——計算研究和工程采辦工具環境（CREATE）被認為是數字化戰略的關鍵支撐工具。CREATE中的高保真飛發一體化仿真軟件Kestrel在多個裝備型號上得到成功應用，具有代表性。

近年來，隨著高性能計算技術的發展，為進一步擴展建模仿真技術在裝備采辦中的應用，支撐裝備型號的全生命周期數字模型構建，基于物理的裝備型號高保真建模仿真技術越來越受到重視。計算研究和工程采辦工具環境（CREATE）屬于美國國防部定義的大型計算科學工程軟件（CSE）項目，在高性能計算現代化計劃（HPCMP）的支持下開展，旨在開發和部署基于物理特性的高性能計算軟件產品，通過高保真數字模型的構建和改進，支撐各軍種武器裝備的設計和實現。CREATE包含5大模塊，每個模塊下有若干軟件產品，如圖1所示。作為CREATE中唯一的固定翼飛行器飛發一體化建模仿真軟件——Kestrel，體現了CREATE的總體發展戰略，并已在美國空軍多個武器裝備的采辦項目中得到了應用，非常具有代表性。

Kestrel的設計理念

Kestrel的設計理念主要由以下因素推動：第一，裝備采辦中，與成本和性能相關的大多數問題可以歸因為多學科物理現象的建模仿真能力不完整或不充分；第二，對仿真軟件中新功能、新算法、新技術的需求是持續變化的。

根據上述推動因素，研發人員確立了以下的設計開發理念：一是具備針對下一代超算架構的并行可擴展性，從而持續滿足高保真仿真對計算資源的需求；二是采用“遺產轉換到原生”（legacy to native）的軟件開發方法，在軟件的全生命周期內，先將遺產代碼集成到框架內確保其功能，然后逐步重寫或重構為原生代碼；三是軟件架構高度模塊化，從而在實現多學科能力的同時提高代碼的可維護性和可支持性；四是遵循專業的軟件開發流程，包括配置管理、用戶支持以及自動化的單元、集成和系統測試。

圖1 CREATE的總體發展戰略、組成和應用

Kestrel在12年中總共發布了10個版本，其軟件能力逐年提升，實現了開發與工程應用的良性迭代，也證明了其開發理念和架構設計的生命力。

Kestrel的架構和組成

總體架構

Kestrel的總體架構充分體現了其設計理念。Kestrel從架構上分為通用可擴展基礎架構（CSI）、仿真組件（CFD、FEA、運動學和動力學、推進系統等）和交互界面等3大部分，如圖2所示。CSI是Kestrel總體架構的核心，由Python語言編寫，負責處理仿真過程中組件之間的執行流程和通用操作，并管理統一的數據倉庫。仿真組件則通過統一的Python接口與CSI連接，將事件或數據發布到CSI上，或者訂閱CSI上的事件或數據。以流場求解組件KCFD為例，其訂閱事件為亞迭代步，即將流場解從當前時間步推進到下一個時間步；其訂閱和發布的數據為網格量、流場變量等。這種稱為“事件驅動”的架構實現了Kestrel各組件之間的解耦，從而使得開發團隊能夠在不修改已有架構和組件的情況下快速開發原生組件，或者也可以通過開發工具包（SDK）將自研軟件和商業軟件以插件形式快速集成到Kestrel中。

并行管理

Kestrel通過CSI、數據倉庫（Data Warehouse）和并行庫統一管理組件的并行，采用了兩種顆粒度的并行策略。第一種是傳統的細顆粒度并行策略，網格被直接分區到所有核心上，通過信息傳遞接口（MPI）共享信息，通信開銷較大。第二種是新引入的粗顆粒度混合并行策略，網格以粗顆粒度的形式分區到節點，每個節點內部共享內存，在細顆粒度級別進行計算，MPI僅用于節點之間的通信。這種混合方法允許節點內進行負載平衡、所需內存更小、并行隱式性更高，并且比細顆粒度并行方案的輸入/輸出（I/O）性能更高。由于高性能計算CPU架構正向每個計算節點的物理核心更多、每個核心的內存更少的方向發展，粗顆粒度混合并行策略能更充分利用新架構的計算資源，Kestrel目前正逐漸由細顆粒度策略向粗顆粒度混合策略轉移。

圖2 Kestrel架構

典型組件

Kestrel的組件包含了流體、結構、運動學、動力學、控制系統和推進系統等多個學科和專業方向。在流體仿真方面，Kestrel采用的是生成重疊網格，并在背景網格和貼體網格上分別求解的方案。背景網格為笛卡爾網格，采用的求解器為SAMCart；貼體網格為非結構網格，采用的求解器為KCFD 或 COFFE。其中，KCFD是主要的貼體網格流場求解器，采用有限體積離散，時空均為二階精度，支持定常或非定常的RANS、DES求解，可適用于不可壓、可壓、高超聲速、內外流、化學反應、燃燒等多種工況。COFFE是新引入的貼體網格流場高階求解器，采用流線迎風/ Petrov-Galerkin（SU/PG）有限元離散，最終目標是實現極高分辨率下的大渦模擬（LES），目前已實現了4階精度的延遲分離渦模擬（DDES）。在結構仿真方面，Kestrel通過Sierra/SD求解器來求解線性和非線性結構動力學問題和振動特征值問題。該求解器具備在數千核上求解1 億自由度問題的能力，支持低階和高階的一維梁桿、二維板殼、三維六面體和四面體單元。Kestrel通過流固耦合組件（FSI）來實現上述求解器的耦合仿真。

圖3 KUI和Jobview

Kestrel的推進系統組件為Firebolt。該組件的設計目的是替代當前飛發設計流程中僅將推進系統視為飛行器仿真邊界條件的傳統方法，提供高保真、全物理的發動機及進排氣系統的仿真。在采辦初期就把推進系統納入到固定翼和旋翼飛行器的設計分析中，從而避免在采辦后期才曝露出飛發耦合設計缺陷。Firebolt的1.0版本實現了零維發動機與飛行器外流的耦合仿真，2.0版本是一個全三維非結構求解器，通過在KCFD基礎上添加出入口邊界條件、旋轉參考系、滑移面、摻混面等適用于葉輪機的數值方法，實現了三維全環的葉輪機仿真，并通過Rotor35/37/67等標準模型驗證了其保真度。

交互界面

Kestrel的交互界面設計原則包括“一站式”用戶輸入、提供便捷的單位和坐標系轉換功能和盡可能驗證用戶輸入，其交互界面包含了用戶界面（KUI）、設置可視化工具Jobview和命令行交互工具Capenter，如圖3所示。KUI的主要功能是設置仿真輸入參數，并將描述輸入參數的XML文件傳給CSI，同時還具有輸入參數驗證、單位和坐標系轉換功能。此外，KUI可以對仿真結果數據開展本地后處理。Jobview工具用于在三維視圖中對復雜工程進行可視化的檢查驗證、實體裝配、邊界條件設定等操作。Capenter用于在超算等非圖形環境下進行仿真參數設置和提交。

軟件測試

Kestrel建立了4個層級的持續測試，通過把軟件缺陷盡可能早地暴露給開發人員和質量保證測試團隊，確保了快速迭代開發過程中的軟件產品質量。持續測試的第一級是單元測試，測試組件或庫中的低層級代碼，聚焦代碼正確性；第二級是集成測試，從基礎架構的角度測試單個組件，聚焦多語言之間的通信和事件排序；第三級是基于小網格、短時間的完整仿真過程的系統測試，聚焦組件之間的通信；第四級是大型仿真的驗收測試，與文獻、地面試驗和試飛的預期結果進行比較。

Kestrel的測試能力逐年提高。2020年，Kestrel的每日測試包括了26000個單元測試、近1800個集成測試和 48個系統測試，覆蓋了所有組件。驗收測試通過部署在超算上的自動驗收測試系統（ATS）實現，根據敏捷開發的時間間隔，每兩周開展1次。該測試目前包含了127個單獨的作業，涵蓋了當前所有Kestrel用例的復雜性和流程機制，運行一次大約需要 15300h的CPU時間。

Kestrel應用實例

基于零維發動機模型的飛發一體化仿真

2014年，Kestrel具備了零維穩態和瞬態發動機模型（在Firebolt 1.0版本中實現）與飛行器高保真CFD模型的耦合仿真能力，從而可以在飛行器設計的初期就通過飛發一體化仿真研究發動機進出口邊界條件給定、油門變化對飛行器性能影響等工程問題。研究人員使用Kestrel對3組飛發綜合構型進行了研究（見表1），結果表明，零維發動機模型能夠與外流求解器KCFD耦合，開展較為快速的飛發一體化仿真，并在定常和非定常工況下預測流場和飛行器響應。上述3組算例證明，與傳統的僅給定發動機進出口邊界條件的飛發聯合仿真相比，零維發動機的耦合方案能更好地對發動機入口和進氣道流場的恢復和畸變特性進行仿真。

表1 Kestrel 基于零維發動機模型的飛發一體化仿真算例

基于“全環三維風扇+零維核心機模型”的飛發一體化仿真

2015年，Kestrel的推進系統模塊Firebolt升級到2.0版本，具備了“飛行器+全環三維風扇+零維核心機”的飛發一體化耦合仿真能力，從而可以以更高的保真度研究進口總壓恢復和畸變等工程問題。研究者對A-10攻擊機和TF34發動機的綜合構型在高迎角下機翼內側前緣縫翼和失速條造成的氣流分離對發動機進氣邊界的影響進行了零維和全環兩種方法的建模和仿真，如圖4所示。全環的建模重點主要針對TF34發動機的單級風扇，首先生成靜子和轉子的單通道網格（各約100萬單元），然后利用葉片通道的周期性生成全環網格（約7500萬單元）。加上A-10外流網格（約3500萬單元），最終生成的“飛行器+全環三維風扇+零維核心機”一體化網格約1.05億單元。由于相對零維模型網格尺度變小，全環模型的時間步長也從1×10-4s減小到5×10-6s，從而增加了計算量。

研發人員將仿真結果與零維發動機仿真及試驗結果進行了對比，如圖5所示。結果表明，在總壓恢復系數預測方面，相比零維仿真，全環仿真的總壓恢復系數與試驗結果符合得更好，最大誤差從1.4%下降為0.4%；在畸變系數的預測方面，全環同樣符合得更好，尤其是在大迎角時，畸變系數預測誤差為0.01，比零維更低。總體而言，全環模型比零維模型能更好地預測高迎角下飛機外流場對進氣平面的總壓恢復系數和畸變系數的影響。

三維高性能風扇仿真

2018年，Kestrel的核心求解器KCFD增加了摻混面功能，降低了壓氣機和風扇CFD仿真的計算成本，從而能夠研究壓氣機的特性線等問題。研究者使用Kestrel對美國空軍研究實驗室（AFRL）設計的高性能風扇Rotor4進行了仿真，其幾何模型和網格模型如圖6所示。

圖4 A-10的飛行器+全環三維風扇+零維核心機的飛發一體化建模仿真

圖5 全環三維風扇飛發一體化仿真結果與零維發動機飛發一體化仿真結果和試驗結果的對比

圖6 Rotor4的幾何模型和網格模型

仿真的邊界條件為入口給定總壓、總溫和流量，出口邊界馬赫數上限為1.0。仿真的時間步為0.001s，湍流模型為k-ω SST，時空精度分別為一階和二階，分別計算了100%、95%和90%設計速度下的特性線，并與試驗結果和商業軟件STAR-CCM+的仿真結果進行對比。結果表明，在100%設計速度下，KCFD的特性線仿真精度比商業軟件更高，更接近于試驗值。在這3個速度下，KCFD預測的失速和堵塞流量比試驗值略高，效率值比試驗值低3%～4%，壓比峰值預測較為精確，遠離堵塞點時的壓比預測值與試驗值符合得很好。該項研究驗證了Kestrel的摻混面模型，研究人員認為，盡管在近堵點預測精度下降，但Kestrel完全能夠預測單級的壓比。由于摻混面模型可顯著降低對計算資源的需求，在未來幾年都將是發動機開發人員的重要工具，因此有必要在Kestrel中繼續發展該模型，從而為進一步提高飛發一體化仿真的保真度提供支持。

結束語

隨著數字孿生、數字主線、數字工程等數字化戰略的發展，基于物理的型號全生命周期仿真已成為發展趨勢，而發展具備多學科、多物理、多保真度、整機乃至飛發一體化仿真能力的航空發動機仿真軟件，是航空發動機工業部門及未來軍用采辦的重要方向。航空發動機仿真軟件具備學科與功能復雜、開發周期漫長和用戶需求持續變化等特點，通過分析美軍高保真飛發一體化仿真軟件的開發思路，得到一些降低軟件開發難度與風險的啟示：一是在架構設計上應采用松耦合、 高靈活性的架構 ；二是采用 “敏捷開發”的思路，用“小步快跑” 的方式漸進發展軟件，在確保原有功能的同時逐步添加新功能，推動軟件的持續健康發展；三是引入配置管理、持續集成、持續測試等軟件工程方法，特別是搭建基于超算的自動化測試系統確保軟件質量和可信度。