胡海洋 王方 鄭赟 李高翔 信忠仁

1.北京航空航天大學能源與動力工程學院；2.北京艾博永勝科技發展有限責任公司

利用有限的經費，完成了數字教室巨屏互動顯示系統、高性能計算節點及其無線訪問與控制設備的搭建；并對教學團隊自研的一系列航空發動機CAE軟件進行了源代碼級硬件適配與性能優化。在此基礎上，完成了航空發動機虛擬仿真綜合實驗課的設計，通過精心挑選的認知、演示、設計三類虛擬仿真實驗，使學生了解虛擬仿真技術及其應用，了解自主研發的部分虛擬仿真軟件的功能與使用方法，并初步掌握虛擬仿真軟件的核心編程方法與技巧。課程的試講效果良好，數字教室各系統運轉流暢，為學生之后的畢業設計與研究生階段的虛擬仿真工作打下了良好的基礎。

虛擬仿真實驗教學是教育部《關于一流本科課程建設的實施意見》中的重要組成部分[1]，其核心是利用現代計算機與信息技術，有效解決真實實驗項目條件不具備或實際運行困難，涉及高危或極端環境，高成本、高消耗、不可逆操作，以及大型綜合訓練等部分實體試驗課程的問題[2,3]。截至2021年9月，教育部已認定728門國家虛擬仿真實驗教學一流課程[4]，但其中絕大部分是生產與試驗流程的3D動畫仿真[5]。

為響應“突出優勢學科，完善專業布局”，及時將學術研究、科技發展前沿成果引入課程，增加研究性、創新性、綜合性內容的最新虛擬仿真實驗教學要求[1,6]，北京航空航天大學能源與動力工程學院設立了航空發動機虛擬仿真綜合實驗課。其目的是瞄準國內航空發動機領域的設計研發高度依賴國外商用CAE（Computer Aided Engineering）軟件尤其是數值模擬類軟件，“卡脖子”風險大；近年雖然大力開展自主替代產品的研發，但面臨技術欠賬過多，年輕一代開發人才欠缺等需要迫切解決的問題[7,8]，使學生了解、掌握，并在科學研究中使用、改進自主開發的航空發動機CAE軟件。

由于CAE軟件尤其是數值模擬類軟件與上述3D動畫仿真軟件的使用、開發方法與運行環境要求完全不同，因此需要完全不同的虛擬仿真實驗課程設計思路與數字教室軟硬件環境的搭建方法。

1 低成本數字教室軟硬件系統的搭建

選擇自行搭建數字教室互動教學系統的原因有以下幾點：

（1）北京航空航天大學能源與動力工程學院決定建設該系統時，配套經費不足。而包含大尺寸LED屏的整套數字教室互動教學系統的市場報價超過200萬元。

（2）不同于國內絕大多數數字教室，該數字教室的首要建設目的是使學生掌握各種航空發動機領域的數值模擬軟件的使用與開發方法。其運行需要消耗巨大的計算資源，本已不足的建設經費還要有至少一半用于高性能計算服務器的購買；市場上提供的整套數字教室互動教學系統也不包含高性能計算設備。

（3）在搭建該數字教室前進行的調研表明，學生出于課后練習與討論的便利性，更傾向于使用自帶筆記本電腦而不是教室的一體機進行相關軟件的學習操作。為方便外部電腦連接，該數字教室采用無線互聯方案，而市場上提供的整套數字教室互動教學系統幾乎都是基于教室內固定電腦的有線連接方案。

不同于實際工程領域動輒數小時乃至數天完成一個復雜流體機械部件的相關數值模擬計算，課堂教學挑選的數值模擬算例需要盡可能降低計算規模，以便在數分鐘內完成計算。考慮到計算規模越小的算例，計算節點間數據交換的速度越容易成為計算效率瓶頸，上述高性能計算服務器為單節點的計算性能優化，采用無線互聯方案，適合多個學生（或小組）同時進行各自的算例計算的教學場景。

使用的航空發動機部件特性數值模擬軟件全部是教學團隊的自研產品。由于上述高性能計算服務器是NUMA(Non Uniform Memory Access)構架，部分軟件進行了源代碼優化以在上述計算設備上達到最優計算效率。

1.1 基于無線網絡的互動教學系統

如圖1所示：使用筆記本電腦或一體機的學生采用EV屏幕共享軟件向講臺上的PC發送屏幕共享請求；講臺上的教師用一套鍵鼠、顯示器通過KVM（Keyboard Video Mouse）切換控制三臺PC，并在每臺PC端的EV屏幕共享軟件中選擇接收的屏幕圖像信號來源；通過專用平板電腦控制拼接屏控制器，即可將老師與學生電腦上的內容以分割、合成、畫中畫等形式顯示在LED屏上，實現師生互動；三臺PC與學生的筆記本、一體機又可以直接對計算服務器進行控制，派發數值計算任務。

1.2 共享內存式并行計算程序在NUMA架構服務器上的適配

非一致內存訪問（NUMA，Non Uniform Memory Access）是當前高性能服務器的硬件架構發展趨勢。每個NUMA架構的CPU包含多個NUMA節點（NUMA Node），每個都有自己的直連內存控制器（MC）和獨立的本地內存（RAM）。每個NUMA節點包含多個CPU核心，其必須借助NUMA節點間的數據中轉才能訪問其他NUMA節點的內存單元，如圖2所示。共享內存式并行計算程序默認將數組開辟在執行線程的CPU直連的內存單元中。常規的動態數組開辟方式（如圖3上半部分所示）將其開辟到CPU 1直連的內存單元RAM1中，此時其余NUMA節點的CPU如果同時訪問RAM1就會造成其內存控制器的擁堵（其他NUMA節點的內存控制器則完全閑置），計算效率大幅下降。程序優化的核心思想是使用不同NUMA節點的CPU線程，將動態數組分開開辟在不同的內存控制器控制的內存單元中，即可在程序訪問該動態數組時發揮所有內存控制器的作用，避免擁堵，使計算效率恢復正常。如圖3下半部分所示，對于本項目采購的雙路服務器，每臺包含8個NUMA節點（NUMA_node=8），每個NUMA節點的CPU線程數為32（threads_per_NUMA=32）。

優 化 后 的CFD（Computational Fluid Dynamics）程序，在上述單臺服務器上僅需11.5min即可完成吸氣高超飛行器內外粘性流場（計算網格數175萬）的數值計算，計算速度是優化前的6倍（如圖4所示），滿足教學演示實驗的運行時間要求。

整個數字教室的建設費用為130萬元，如表1所示。考慮到國內Linux的普及程度，服務器與各類終端的操作系統選用Windows10。整套系統無盜版軟件。學生如使用自帶筆記本，僅需要安裝免費版的EV屏幕共享軟件，即可連接使用教室的各種軟硬件資源，并與老師和其他同學進行多媒體交流互動。

表1 數字教室設備明細Tab.1 Details of digital classroom equipment

2 航空發動機虛擬仿真綜合實驗課程的設計

試講課程共16學時，分為認知、演示、設計三部分。認知部分以教師講解軟件的功能和用途、操作過程、計算結果為主；演示部分在教師完成軟件的功能與使用方法講解后，學生遠程控制數字教室的計算節點，對比分析不同計算參數對軟件運行結果的影響；設計部分則要求學生走完整個CAE軟件的使用流程，包括分析對象幾何建模、計算網格劃分、運行軟件、分析計算結果，并掌握CAE軟件的核心編程技巧。教學大綱如下。

2.1 虛擬仿真技術概述及演示實驗

（1）試驗內容：1）發動機葉片鳥撞及機匣包容仿真模擬；2）基于高保真高性能數值仿真軟件HGAE的渦輪葉片流場與固體結構溫度場耦合計算。

（2）教學要求：使學生了解什么是虛擬仿真，虛擬仿真技術在航空發動機設計領域有哪些應用；介紹學院的虛擬仿真工作與虛擬仿真軟件開發情況，使學生理解虛擬仿真的實現方法、什么是計算網格。

（3）重點和難點：虛擬仿真領域中數值模擬與仿真的區別；結構與非結構計算網格拓撲結構的區別；主流數值模擬結果后處理軟件的基本使用方法。

2.2 認知實驗

（1）試驗內容：1）二維槽道湍流流動的大渦模擬；2）直升機整體式粒子分離器稀疏氣固兩相流場數值模擬；3）吸氣高超飛行器內外流場數值模擬。

（2）教學要求：使學生了解如何通過虛擬仿真技術獲得近壁面湍流流場的瞬態流動特性與統計特性，加深學生對湍流基本現象與規律的認識，高超聲速流場激波系的認識。體會高性能服務器與家用電腦計算性能的差別。了解主流商用CFD軟件的計算功能缺陷與二次開發，粒子在流場中的受力與傳熱特性及其控制方程，基于拉格朗日坐標系的粒子軌跡追蹤算法。

（3）重點和難點：湍流統計特性參數及其沿固壁法向的變化規律；不同尺寸粒子在粒子分離器中的運動規律差異；入口條件對直升機整體式粒子分離器砂礫分離效率的影響。

2.3 演示實驗一

（1）試驗內容：基于自研軟件ERIR的導彈遠程紅外成像計算。

（2）教學要求：教師講解目標紅外信號的來源與軍事意義，紅外成像計算的過程和原理，ERIR軟件的開發背景與工程應用情況。學生自主實驗分為四個步驟：1）導彈外流場、發動機排氣系統內流場與固體結構溫度場流動與耦合傳熱傳質特性計算；2）基于離散傳遞法的固壁反射輻射計算；3）基于射線追蹤法的導彈近距離紅外成像計算；4）導彈近距離紅外成像在大氣中的傳輸衰減特性計算。為學生發放程序的完整使用說明文檔，鼓勵學生建立自己的飛行器與發動機模型，嘗試設置不同的計算參數與計算邊界條件。

（3）重點和難點：多分區結構網格的繪制；計算邊界條件的類型、意義與設置方法。

2.4 演示實驗二

（1）試驗內容：基于自研軟件AECSC的高雷諾數湍流火焰的模擬計算。

（2）教學要求：教師講解航空發動機燃燒室高雷諾數湍流火焰的來源與意義，湍流燃燒計算的過程和原理，AECSC軟件的開發背景與工程應用情況。學生自主實驗分為三個步驟：1）高雷諾數湍流流場模擬；2）高雷諾數湍流火焰數值模擬；3）改變邊界條件進行高雷諾數湍流火焰計算。為學生發放程序的完整使用說明文檔，鼓勵學生建立自己的網格，嘗試設置不同的計算邊界條件。

（3）重點和難點：大渦模擬與雷諾平均流場計算在計算網格繪制與邊界條件設置上的異同。

2.5 演示實驗三

（1）試驗內容：共享內存并行計算程序開發初步。

（2）教學要求：教師通過直接講解與運行演示采用OpenMP語言并行的C程序的方式，使學生掌握共享內存式并行計算程序的基本開發方法。在此基礎上，通過講解高溫燃氣光譜輻射特性的逐線計算程序，使學生掌握大型科學計算程序動態數組的開辟與內存釋放方法，體會計算輸入輸出數據文件由十進制改為二進制帶來的讀寫速度提升與文件尺寸縮減。鼓勵學生嘗試將各種計算程序并行化。

（3）重點和難點：提升程序并行計算效率的基本方法，NUMA結構計算硬件上的OpenMP程序優化原理。

3 教學效果

3.1 跨學科課堂的“問題中心”研討教學

航空發動機虛擬仿真涉及航空發動機原理與結構，流體力學、工程熱力學、傳熱學、燃燒學、材料力學等多個基礎物理化學學科及其衍生的計算科學學科（計算流體力學、計算傳熱學等），高級程序語言、計算機圖形學等計算機專業學科，屬于典型的跨學科課程[9]。基于此，教學團隊采用“問題中心”的教學思路[10]，圍繞各虛擬仿真軟件用于解決航空發動機設計領域的什么問題，怎樣操作上述軟件來解決該問題，軟件解決該問題的基本物理、化學、數學原理是什么三個層次展開課程。鼓勵學生大膽探索，主動提問；利用數字教室的智能互動系統，將老師與多個學生的軟件操作過程、軟件計算結果顯示在大屏幕上進行對比分析。學生學習氣氛活躍，很多學生參與課下討論，主動查閱相關資料或咨詢使用上述軟件多年的研究生學長。雖然試講課程只有16學時，但大部分試聽的學生尤其是本科生在之后的問卷調查中表示，接觸該課程前認為虛擬仿真和電腦、手機上的3D游戲差不多；學習該課程后不但對虛擬仿真技術有了真正了解，在之后的本科畢業設計、研究生課題中接觸到虛擬仿真任務時，相比其他學生也更容易上手。

3.2 推動自主虛擬仿真軟件的應用與研發

我國包括航空發動機在內的大部分工業領域的虛擬仿真幾乎全部依賴于國外商用CAE軟件，被“卡脖子”的風險極大。自主開發的虛擬仿真軟件難以與之競爭的原因除了開發的人力與資源投入過低外，高校與型號設計單位的使用慣性也是重要原因。本課程認知、演示、設計虛擬仿真實驗使用的軟件多為自主開發。試講后的問卷調查表明，部分試聽學生在之后的本科畢設、研究生課題中嘗試使用課上學習過的國產虛擬仿真軟件，其中一名學生利用學習到的ERIR軟件使用方法，在本科畢設期間就直接參與了某航天院所的型號研發任務。

課程試講前的調研表明，絕大多數學生認為開發CAE軟件最需要的是面向對象編程能力。由于絕大部分高校非計算機類理工科專業只講授基礎的面向過程編程課程，上述觀點甚至成為大部分研究生不愿、不敢參與自主CAE軟件研發的主要原因。本課程教學團隊各成員都有十年以上的航空發動機CAE軟件開發經驗，提出學生在掌握基本的面向過程編程方法后，只需要額外幾個課時的學習，掌握開辟/釋放動態內存、共享內存式并行計算編程方法、NUMA架構硬件上并行程序的優化原理，即可勝任大部分CAE軟件的核心程序開發工作。問卷調查表明，試聽過該課程的學生，參與自主CAE軟件研發的意愿明顯提高。

4 結語

北京航空航天大學能源與動力工程學院航空發動機虛擬仿真綜合實驗課教學團隊，圍繞使學生了解虛擬仿真技術在現代航空發動機設計領域中的應用，熟悉國內主研發的航空發動機虛擬仿真軟件的功能與使用方法，并使學生快速掌握虛擬仿真軟件的核心編程方法與技巧的教學目的，設置了演示、認知、設計三類虛擬仿真實驗課程。通過軟硬件系統的底層匹配，在經費有限的情況下，完成了數字教室互動教學系統的搭建，并取得了良好的試講效果。近日，該數字教室已獲批教育部飛行器動力工程專業虛擬教研室，及與中國航空發動機集團共建的航空發動機全流程云設計與創新實踐平臺，軟硬件系統及虛擬仿真教學內容與質量有望獲得進一步提升。