CFD軟件自動化驗證確認云平臺設計與實現

陳樹生， 劉麗媛， 閻超， 林博希

北京航空航天大學 航空科學與工程學院， 北京 100083

CFD軟件自動化驗證確認云平臺設計與實現

陳樹生， 劉麗媛， 閻超*， 林博希

北京航空航天大學 航空科學與工程學院， 北京 100083

針對大型計算流體力學(CFD)軟件的驗證與確認，為了減少人工成本，提高軟件質量和開發效率，并適應于未來高性能計算發展的要求，基于云計算思想，提出了自動化測試云平臺的解決方案。該方案采用模塊化的瀏覽器/服務器(B/S)網絡架構；利用LAMP(Linux+Apache+MySQL+PHP/Python)開發工具；建立了持續集成的專業數據庫；構建了涵蓋可靠集群監控、復雜作業調度及大規模并行計算功能的云端環境；實現了通過便捷的網絡訪問，自動加載測試算例、提交集群計算、監測實時進度、自動化后處理、輸出分析結果，并提供豐富的實驗對比圖、誤差分析報表和匯總報告等；完成了對大型CFD軟件的自動化驗證與確認。將該方案應用于某大規模并行計算的CFD軟件，驗證了該解決方案的可行性與實用性。

驗證與確認； 云計算； LAMP； 專業數據庫； 云端環境； 自動化

在21世紀，隨著計算機和計算流體力學(CFD)技術的進一步發展，E(Exascale)級計算機[1-2]預計在2020年前后投入使用，這將給CFD超大規模并行計算的應用帶來前所未有的發展機遇。2014年，美國國家航空航天局(NASA)在其CFD的2030年未來展望報告[3]中指出，高性能計算(High Performance Computing，HPC)[4]將是CFD技術未來發展的重點領域和引導方向。同時，現代氣動設計領域更加關注非定常效應和流動細節，要求更加精細的、多尺度的CFD模擬，致使網格數量劇增，求解時間周期變長，CFD問題規模愈加龐大[5]。

為適應HPC的發展和日益復雜的CFD問題，目前國內外很多商業公司、科研單位正不斷發展超大規模并行計算的大型CFD軟件，如Fluent、Fun3D、CFD++和HiFiLES等。這些軟件規模龐大，多為團隊協作，開發過程中經常出現如下問題：① 多人開發致使錯誤多樣化，很難找出問題所在；② 代碼更新迭代快，導致Bug數量劇增；③ 版本升級后，以往測試驗證的算例又需要重新進行測試，重復性高、人工成本大。同時，CFD軟件測試在CFD驗證與確認過程中占據重要地位[6]，通過測試才能保證軟件的質量和可靠性[7]。但是在目前的測試中，開發者經常還需自己手動收集算例及實驗數據、人工提交作業并分析結果、主觀評估軟件好壞等，工作繁瑣枯燥，嚴重影響大型CFD軟件的開發效率和質量。

為促進CFD軟件開發與測試，近年來許多研究機構已經著手建立驗證與確認專業數據庫。2001年，NASA啟動了大型氣動數值模擬可信度研究國際合作項目CAWAPI[8]。歐盟的FLOWNET數據庫[9]匯集了56種標準案例數據，專門用于氣動計算驗證和確認。另外，還有歐洲ERCOFTAC科學數據庫[10]、AGARD系列CFD確認試驗數據集[11]和歐洲航天局(ESA)高超聲速氣動熱力學工程數據庫等。這些數據庫技術成熟度較高，但由于未將數據庫與測試過程結合，因而很多科研機構在測試時只能手動下載標模算例，利用文獻數據，開展粗略的驗證與確認。

近20多年來，CFD驗證與確認一直是國內外CFD關注的焦點問題之一。1992年，Marvin針對高超聲速流動問題提出了CFD確認路線圖[12]。1997年, Oberkampf等分析了CFD代碼驗證與確認過程中存在的問題[13]，并在2002年進一步評估了CFD驗證與確認的方法和步驟[6]；AIAA于1998年6月頒布了關于CFD模擬可信度的基礎級標準“CFD模擬驗證和確認指南”[14]；同時，NASA 發布了NPARC Alliance CFD驗證和確認檔案官方網站[15]。國內，Bai和Li初步設計了驗證與確認共享數據庫，進行了航空CFD的驗證與確認工作[16]；鄧小剛等綜述了國內外CFD驗證與確認的發展，并對中國如何開展相關研究提出了若干建議[17]；中航工業631所研制了一款CFD可信度分析平臺WiseCFD[18]；西安電子科技大學的孫久振設計開發了基于OSGi的CFD可信度分析平臺[19]。

目前，在國內外對CFD驗證確認數據庫的實際應用中多以人工為主，測試過程與數據庫未緊密耦合，且對于CFD軟件的自動化測試方面涉及較少。而提交任務、對比結果、分析誤差等是可以實現自動化、標準化的，為使人從底層的繁瑣操作中解放出來，并適應HPC發展的要求，本文基于軟件持續集成思想和云計算技術[20]，以LAMP(Linux+Apache+MySQL+PHP/Python)為開發工具[21]，采用瀏覽器/服務器(B/S)網絡架構和模塊化設計，提出了相應的CFD驗證確認數據庫，為CFD軟件的驗證和確認工作提供數據支撐；并在此基礎上建立起基于HPC的大型CFD軟件自動化驗證確認云平臺。

1 自動化驗證確認云平臺

計算機技術和互聯網的發展使技術創新形態正在發生轉變，以人為本、以用戶為中心的理念越來越受到重視。所以，在設計自動化測試云平臺時，將以Web瀏覽器作為客戶端，簡化客戶端電腦軟硬件負荷，減輕系統維護、升級的成本和工作流，提高用戶體驗，降低用戶總體成本(TCO)。同時有效地利用開源項目等，配合Web技術，創建實用操作的可視化界面，并滿足CFD軟件高性能、大規模的計算要求，為用戶提供一套完善的測試分析環境，使用戶無須了解底層運行細節，即可完成對大型CFD軟件的驗證與確認。

本文基于高性能集群系統，構建了云端環境，使用戶通過便捷的網絡獲取虛擬化的資源。同時以Python作為后臺主體框架實現語言，通過靈活的集成機制[22]輕松地將不同語言的代碼組合起來，實現將不同的功能組裝成一個復雜的體系；并以超文本預處理器(PHP)完成前端與服務端之間的相互交互，包括提交數據、調用Python程序、將結果返回給客戶端等。該測試平臺具有持續集成、客戶端零維護、易于擴展和可遠程使用等優點。

1.1 整體軟件架構

高性能集群一般分為硬件層、系統軟件層、應用環境層、集群軟件層和應用層。該測試平臺設計時，其相關服務處于應用環境層以上、應用層以下的集群軟件層，保證了HPC應用能在集群硬件設備上運行。本文使用開源項目Ganglia及PBS(Portable Batch System)作業調度系統，利用Python程序來驅動管理PBS，自動協調各串行/并行作業，實現對用戶提交的大規模測試任務進行統一安排；進而構建起涵蓋可靠集群監控、復雜作業管理及大規模并行計算功能的云端環境，提供虛擬化資源。平臺體系架構如圖1所示。

1.2 系統業務邏輯

該測試云平臺采用3層B/S網絡架構模式，統一了客戶端，將系統核心功能的實現集中在服務器上；然后利用LAMP網絡開發工具，對集群計算資源進行安全、動態的共享；并在高性能集群系統的管理節點上構建適應Linux環境的Apache HTTPD網絡服務器；同時編制Python程序組裝各模塊，將各模塊進行連接，實現各模塊的自動化運行及其模塊間數據的自動傳輸與交換；從而建立起以自動化為核心、基于Web的驗證確認云平臺。

高性能集群系統一方面具有以太網接口，該接口設置成外部IP地址，管理節點能利用此接口部署網絡服務器，實現與客戶端的相互交互；另一方面通過服務端腳本PHP和Python程序與Linux底層環境進行交互，實現狀態提交、自動化后處理等，并將結果返回前端。系統B/S的邏輯結構如圖2所示。

用戶在Web瀏覽器客戶端上輸入賬號和密碼，登錄到相應云平臺界面，便可通過Web頁面進行測試、查詢、管理、下載和編輯等操作。瀏覽器通過Web服務器與數據庫進行數據交互，將信息反饋給應用服務器。應用服務器接收這些信息后，啟動Python程序，調用關系型數據庫，完成相關事務邏輯，并將結果返回給客戶端顯示。這種3層架構，能充分利用計算、網絡帶寬等資源，使CFD自動化測試平臺在客戶端上無須特別安裝，減輕了客戶端壓力，負載被均衡地分配給Linux服務器，并且數據可持久存儲在云端；同時層與層之間相互獨立，每一層可單獨設計，業務擴展方便。

1.3 功能模塊設計

該平臺采用模塊化設計，可擴展性強，包括了Web門戶、CFD驗證確認數據庫、自動化測試模塊、批處理模塊、集群監控模塊和作業調度模塊等，功能模塊設計如圖3所示。

1.3.1 CFD驗證確認數據庫

CFD驗證確認數據庫以算例(Case)作為基本數據單元，并根據流動結構、流動機理、試驗及計算數據將標模算例分為4大類：計算格式類、測熱類、測壓類和流場特征類。算例下包括實體外形、計算網格、算例數據表、對比數據、Tecplot宏文件以及算例文檔資料。算例數據表包含名稱、類別、描述、流動特征等信息；對比數據包括風洞試驗數據、飛行試驗數據和CFD計算數據；算例文檔資料包括參考文獻和算例的實踐指南。

平臺支持多用戶，每個用戶都可以根據自己的需求提取不同的標模算例來測試程序。因此，系統首先建立一個用戶數據庫，來標識每個用戶。用戶可以通過網頁訪問，查閱自己測試過的算例，而作為超級用戶則有權限訪問所有用戶測試的算例。

平臺選用關系型數據庫MySQL用于對標準算例和測試等信息進行管理。該數據庫在運行速度、性能、可靠性和穩定性方面能滿足自動化測試平臺的要求。其主要數據表關系如圖4所示。

為提高用戶體驗，可視化的數據庫界面將使用Django站點管理系統，在不需要掌握SQL語言的情況下，使用者能便捷地對算例進行可視化查詢、添加、刪除和修改等操作。

1.3.2 自動化測試模塊

該測試模塊所完成的功能是：通過自動化驗證多個多狀態的標模算例，測試、評估用戶提交的求解器。對測試模塊的設計，本文采用Python和PHP語言。測試模塊的核心程序主要是Python程序，程序主體由4部分組成：CFD配置文件類、讀寫數據庫、各種操作、后處理。自動化測試的整個過程如圖5所示，分為提交數據、計算、監測、自動化后處理和返回結果5個過程。

首先，在Web界面上勾選測試算例和提交測試求解器，相應信息會通過PHP寫入MySQL數據庫表中；接著，PHP調用Python程序，Python代碼從數據庫中讀取數據，并操作PBS作業調度系統，對計算資源進行統一管理，使CFD作業任務智能化地提交給集群計算，同時監測實時進度；然后利用Python和Tecplot宏文件自動化進行圖片、文檔和數據等處理，輸出相應的結果分析，包括結果對比圖、誤差分析報表和匯總報告等；最后，PHP將組合計算/后處理結果形成HTML頁面，在Web客戶端上顯示，提供數據下載。

1.3.3 其他模塊

批處理模塊：提交狀態參數表及相應網格(cgns)，上傳求解器，監測實時進度，同時供用戶上傳、下載和編輯數據。

集群監控模塊：集成開源項目Ganglia，用來監控系統性能，如CPU、MEM、硬盤利用率、I/O負載和網絡流量等。

作業調度模塊：后臺使用PBS作業調度系統，支持Web界面作業提交方式；同時支持Web界面的作業查詢、作業刪除、作業掛起和作業釋放等操作，可以根據作業ID、作業名、用戶名、狀態、及隊列排序。

Web門戶：可視化的Web界面，用以將數據庫、測試、批處理、集群監控和作業調度等各個功能模塊的界面統一起來。不僅支持在Web上提交測試算例、批處理作業，還可在Web上查看分析結果，同時具有數據的上傳和下載等功能。

2 云平臺應用與測試

以某款大型CFD并行軟件為例，在開發過程中，雖使用GitHub進行版本管理，但每天都產生數十個更新版本，軟件龐大的規模也導致Bug數量急劇增多，同時以往驗證確認的算例在經過版本升級后又需重新進行驗證確認，人工成本太大，而且基本是重復性工作，效率低下。因此將該平臺應用于此軟件開發測試，如圖6所示，選取馬赫數Ma=2.85、坡度為16°的超聲速壓縮拐角[23]為例，來說明整個運作流程，并驗證該解決方案的可行性和實用性?；玖鞒倘缦滤?。

1) 登錄：訪問自動化云平臺網址，沒有注冊的用戶，要先注冊，登錄完畢后，用戶擁有一定權限，根據服務器情況，獲取虛擬化計算資源，如圖6(a)所示。

2) 數據庫管理：用戶在登錄后，可通過Django站點管理系統，在前端對算例進行查詢、添加、刪除和修改，如圖6(b)所示。

3) 自動測試：上傳要測試的求解器，在網頁上勾選要測試的算例，開始提交集群計算。也可以同時上傳多個計算狀態的計算算例和求解器，進行測試，如圖6(c)和圖6 (d)所示。

4) 實時監測：一方面利用Ganglia實時監測服務器Nodes和CPU等的使用情況；另一方面查看作業在哪個節點以及當前狀態；最后實時監測算例進度和收斂誤差等。

5) 自動化后處理和結果分析：在計算過程中，可實時自動輸出收斂曲線圖、力曲線圖以及流場圖；計算完畢后，自動輸出結果對比圖，如圖6(e)所示。

6) 下載：分析完畢后，將原始數據和分析數據打包起來，供用戶進行下載。

3 結 論

針對大型CFD軟件的驗證與確認，為了提高CFD軟件的開發效率和質量，降低人工測試成本，本文建立了自動化驗證確認云平臺。該平臺具有標準共享的專業數據庫、直觀友好的Web操作界面、靈活便捷的批處理系統和高度智能的自動化測試，使測試過程與數據庫一體化，適用于CFD軟件開發、測試、驗證和評估等領域。該平臺的主要優點有：

1) 具有自動化測試和批量處理功能，能替代傳統人工粗略的驗證與確認，使CFD軟件開發人員高效地進行回歸測試，更專注于軟件開發本身，提高被測軟件質量和開發效率。

2) 具有強大的持續集成數據庫，包含了大量不同類型的標模算例，避免了盲目重復的數據收集工作，降低了人工成本，并推進了數據信息標準化。

3) 具有方便快捷的網絡訪問，充分利用計算、網絡帶寬等資源，適應于云計算發展需求。

同時，測試算例結果證明了該自動化云平臺的可行性與實用性，可進一步推廣到CAE等大型高性能程序的驗證確認。

[1] KOGGE P, BERGMAN K, BORKAR S, et al. Exascale computing study: Technology challenges in achieving exascale systems: FA8650-07-C-7724[R]. OH: AFRL, Wright-Patterson Air Force Base, 2008.

[2] AMARASINGHE S, CAMPBELL D, CARLSON W, et al. Exascale software study: Software challenges in extreme scale systems: FA8650-07-C-7724[R]. OH: AFRL, Wright-Patterson Air Force Base, 2009.

[3] SLOTNICK J, KHODADOUST A, ALONSO J, et al. CFD vision 2030 study: A path to revolutionary computational aerosciences: NASA/CR-2014-218178[R]. Washington, D.C.: NASA, 2014.

[4] HAGER G, WELLEIN G. Introduction to high performance computing for scientists and engineers[J]. International Journal of Modern Physics A, 2011, 28(2): 163-172.

[5] 閻超, 于劍, 徐晶磊, 等. CFD模擬方法的發展成就與展望[J]. 力學進展, 2011, 41(5): 562-589. YAN C, YU J, XU J L, et al. On the achievements and prospects for the methods of computational fluid dynamics[J]. Advances in Mechanics, 2011, 41(5): 562-589 (in Chinese).

[6] OBERKAMPF W L, TRUCANO T G. Verification and validation in computational fluid dynamics[J]. Progress in Aerospace Sciences, 2002, 38(3): 209-272.

[7] GOODENOUGH J B, MCGOWAN C L. Software quality assurance: Testing and validation[J]. Proceedings of the IEEE, 1980, 68(9): 1093-1098.

[8] OBARA C J, LAMAR J E. Overview of the cranked-arrow wing aerodynamics project international[J]. Journal of Aircraft, 2009, 46(2): 355-368.

[9] MARINI M, PAOLI R, GRASSO F, et al. Verification and validation in computational fluid dynamics: The FLOWNET database experience[J]. Bulletin of the JSME, 2002, 45(1): 15-22.

[10] CASEY M, WINTERGERSTE T, INNOTEC S. ERCOFTAC special interest group on quality and trust in industrial CFD: Best practice guidelines[R]. Brussels: European Reasearch Community on Flow, Turbulence and Combusion, 2000.

[11] VIDANOVIC N, RASUO B, DAMLJANOVIC D, et al. Validation of the CFD code used for determination of aerodynamic characteristics of nonstandard AGARD-B calibration model[J]. Thermal Science, 2014, 18(4): 104-104.

[12] MARVIN J G. A CFD validation roadmap for hypersonic flows: NASA-TM-103935[R]. Washington, D.C.: NASA, 1992.

[13] OBERKAMPF W L, BLOTTNER F G. Issues in computational fluid dynamics code verification and validation[J]. AIAA Journal, 1997, 36(5): 687-695.

[14] AIAA. Guide for the verification and validation of computational fluid dynamics simulations: AIAA Guide G-077-1998[S]. Reston: AIAA, 1998.

[15] NPARC. NPARC alliance CFD verification & validation[DB/OL]. [2016-02-05]. http://www.grc.nasa.gov/www/wind/valid.

[16] BAI W, LI L. CFD V&V and open benchmark database[J]. Chinese Journal of Aeronautics, 2006, 19(2): 160-167.

[17] 鄧小剛, 宗文剛, 張來平, 等. 計算流體力學中的驗證和確認[J]. 力學進展, 2007, 37(2): 279-288. DENG X G, ZONG W G, ZHANG L P, et al. Verification and validation in computational fluid dynamics[J]. Advances in Mechanics, 2007, 37(2): 279-288 (in Chinese).

[18] 梁益友， 楊永， 朱朝， 等. CFD可信度分析平臺WiseCFD[C]//第十二屆全國計算流體力學會議論文集. 西安: 中國航空工業第六三一研究所， 2004: 775-780. LIANG Y Y, YANG Y, ZHU C, et al. Analyze platform of CFD reliability—WiseCFD[C]//12th National Computational Fluid Dynamics Conference. Xi’an: Chinese Aeronautics Computation Technique Research Institute, AVIC, 2004: 775-780 (in Chinese).

[19] 孫久振. 基于OSGi的CFD可信度分析平臺的設計與實現[D]. 西安：西安電子科技大學， 2012: 20-28. SUN J Z. The design and application of CFD credibility analysis platform based on OSGi[D]. Xi’an: Xidian University, 2012: 20-28 (in Chinese).

[20] MELL P M, GRANCE T. The NIST definition of cloud computing[S]. Gaithersbutg, MD: National Insitute of Standard and Technology, 2011.

[21] LEE J, WARE B. Open source development with LAMP: Using Linux, Apache, MySQL and PHP[M]. Boston: Addison-Wesley Professional, 2002: 1-9.

[22] MARK L. Python 學習手冊[M]. 3版. 侯靖, 譯. 北京: 機械工業出版社, 2009: 20. MARK L. Learning Python[M]. 3rd ed. HOU J, translated. Beijing: China Machine Press, 2009: 20 (in Chinese).

[23] SETTLES G S, FITZPARTRICK T J, BOGDONOFF S M. Detailed study of attached and separated compression corner flowfields in high Reynolds number supersonic flow[J]. AIAA Journal, 1979, 17(6): 579-585.

(責任編輯：鮑亞平)

URL：www.cnki.net/kcms/detail/11.1929.V.20160612.1416.010.html

＊Corresponding author. E-mail: yanchao@buaa.edu.cn

Design and realization of automated testing cloud platform forCFD verification and validation

CHEN Shusheng, LIU Liyuan, YAN Chao*, LIN Boxi

SchoolofAeronauticScienceandEngineering,BeihangUniversity,Beijing100083,China

Based on the idea of cloud computing，this paper proposes an automated testing cloud platform solution for large-scale computational fluid dynamics (CFD) software verification and validation. The main objective is to reduce labor costs, improve software quality and development efficiency, and be adapted to high performance computing for future development as well. This platform uses modularized browser/server (B/S) network architecture and LAMP (Linux+Apache+MySQL+PHP/Python) development tools. A continuous integration professional database is established, and a cloud environment is built, covering reliable cluster computing, complicated operation scheduling and massively parallel computing. This solution is able to automatically load test cases, submit cluster computing, monitor real-time process, post-process automatically and export analysis results containing comparisons with detailed experimental data, error analysis and summary reports. This platform has been applied to a large-scale parallel computing CFD software, and the feasibility and practicability of this solution have been verified.

verification and validation; cloud computing; LAMP; professional database; cloud environment; automation

2016-03-10； Revised：2016-05-12； Accepted：2016-05-23； Published online：2016-06-12 14:16

http://hkxb.buaa.edu.cn hkxb@buaa.edu.cn

10.7527/S1000-6893.2016.0173

2016-03-10； 退修日期：2016-05-12； 錄用日期：2016-05-23； 網絡出版時間：2016-06-12 14:16

www.cnki.net/kcms/detail/11.1929.V.20160612.1416.010.html

＊通訊作者.E-mail: yanchao@buaa.edu.cn

陳樹生， 劉麗媛， 閻超， 等． CFD軟件自動化驗證確認云平臺設計與實現[J]． 航空學報, 2017, 38(3): 120209. CHEN S S, LIU L Y, YAN C, et al. Design and realization of automated testing cloud platform for CFD verification and validation[J]. Acta Aeronautica et Astronautica Sinica, 2017, 38(3): 120209.

V211.3

A

1000-6893(2017)03-120209-09