美國HPCMPCREATETM軟件質量保證分析

陳麗艷　過旭艷

摘要：本文闡述了美國國防領域下一代多物理航空設計工具的成功運用，CREATE-AV配套工具確認與驗證方面所開展的工作，為國內相關領域提供借鑒和參考。

[關鍵詞]HPCMPCRBATE航空軟件開發軟件質量國防采辦

1HPCMPCREATE計劃

美國于2006年出臺了HPCMPCREATE計劃。該計劃下有航空飛行器、海軍艦船無線天線以及網格與外形四個項目，共有9個產品，其中3個產品用于航空飛行器，見表1。

CREATE每個項目的軟件產品分為兩類，一類是低保真度的概念研發工具，用于生成設計方案并對其可行性和性能進行分析，例如DaVinci、RSDE/HDE以及SENTRi組件;另一類是高保真度的系統性能精確預測工具，例如Kestrel、Helios、NESM、NavyFOAM以及SENTRi.

2工業標準與實踐考慮

2.1質量管理標準

當前使用兩個質量管理標準，一個是ISO9000系列標準，另一個是CarnegieMellon能力成熟度模型綜合標準（CMMI）。這兩個管理體系更多的是關注工藝流程。然而，軟件包的質量在很大程度上取決于其開發、測試和運維工藝流程的品質。在商業環境下，外部對于工藝流程質量的鑒定具有重要意義，但是規模較小的軟件研發工作，則不允許花費更多的成本和時間來進行質量鑒定。

2.2鑒定與驗證標準

美國航空航天協會（AIAA）和美國機械工程師協會（ASME）分別發布了關于軟件鑒定與驗證的準則。AIAA重點關注計算流體力學，1998年發布了第一個準則;ASME重點關注計算結構力學，2006年發布了相關準則。這些準則為確認、驗證及不確定度量化（VV&UQ）奠定了堅實的基礎.隨著AIAA準則越來越被認可，其建模與模擬所要求的精準度和確定性并非是一成不變的。CREATEV&V的典范實踐，進一步完善和發展了這些標準體系，并與美國學術界近期發布的準則相一致。

2.3實踐應用中的局限性

CBE軟件用戶有以下5種期望：

（1）魯棒性;

（2）精準性;

（3）效率（耗時少）;

（4）可用性（用戶界面、文件分類、訓練）;

（5）一致性。

其中，前三種期望對于任何質量保證計劃都具有相當難度，取決于經驗水平和用戶行為。可用性是隨著不同用戶而變化的，取決于個人因素。

可用性測評要有一定的方法，其中一種開源式方法就是USE問卷調查，USE分別指“可用性”（Usefulness）、“滿意度”（Satisfaction）及使用/學習的“便利性”（EaseofUse/Learning）。USE結果的管理、收集和分析很可能對“可用性”提出科學問題。

“一致性”對于軟件研制至關重要。由于軟件開發者人員眾多且地點分散，容易造成代碼交叉混雜進而導致出錯。另外，對于不同版本之間的升級過渡，用戶期望按類別（1）-（4）進行區分，例如N+1版本比N版本魯棒性更強，精準性更高，效率更快，可用性更好。因此，QA必須進行一整套的衰減測試（在可能的情況下可自動進行）。

3案例—CREATE-AV質量保證因素分析

3.1用戶群與QA團隊

為了更好地服務客戶，QA需要不斷創建客戶群。截止2015年2月，CREATE-AV參與項目的注冊軟件用戶350個，CREATE-AV用戶分別來自美國陸海空三軍、NASA、工業界與學術界。QA團隊總部設在美國馬里蘭州（MD）帕圖森河流域海軍的一個航空站，成員主要包括NASA阿姆斯研究中心、懷特帕特森空軍基地和艾格林空軍基地，并與美國其他AV研制團隊保持密切合作。

3.2確認、驗證與不確定度量化（VV&UQ）

CREATE-AV項目曾在2014財年向美國航空航天工業部門發起了一個通告，鼓勵在生產環境下對CREATE工具的安全缺陷、固有流程以及不同計算環境進行評估。

CREATE-AV質量保證測試宗旨與美國科學院《確認、驗證與不確定度量化》報告中的提議是一致的。為確保模擬的基本物理現象充分可信，CREATE質量保證團隊選定了一組感興趣的現象（PoI）（紅色框）及驗證算例，對一些現象（灰色框）進行了研究，如表2所示。從Boeing、Lockheed以及Sikorsky公司的評估結果，獲得了重要的工作流反饋信息，隨后將這些反饋信息嵌入了產品開發路線圖中。近期對2D和3D氣動外形、非定常武器艙氣動聲學、海軍和空軍特種應用、低速旋翼飛行器機身氣動特性以及旋翼飛行器懸停計算等項目進行了研究。

3.3質量保證測試

3.3.1通過檢測進行事項確認

無論過渡產品還是正式產品，其發布都要經過QA的最終檢測，確認以下事項：

（1）不存在明顯的未求解“區塊”問題，過于嚴謹將延緩產品發布。當然，也存在一定的功能欠缺，有待完善;

（2）所有軟件都配有最新的記錄文件;

（3）版本發布都配有最新的注釋文件;

（4）CREATE-AV項目負責人與QA聯合制定軟件發布時間表;

（5）通常，軟件發布要求其培訓資料也必須更新，且與軟件同步發行。

3.3.2測試程序

在CREATE-AV計劃中，在計算工具發布前通常要經過6級測試，測試的時間順序、測試之間的關系以及負責人由左至右見圖1。

第①、③級詳見參考文獻[5]，也常見于軟件開發教材中。前兩級（單項測試與綜合測試）開發團隊將其設置成夜間自動運行。第③級（a測試）包含對任意新增功能的衰退測試和V&V檢測，第④級和第⑤級由質量保證團隊負責，第⑥級（或β測試）是軟件開發領域的常規測試程序。

3.3.3軟件培訓

DoD各機構要求在全國各地舉辦現場培訓會，每次培訓會的規模在3-30人。在培訓過程中，學生可以親自接觸軟件，導師給出指導意見，導師一學生最合適的比例為1：5。截止目前，93%以上的參與者向朋友推薦了這種培訓，這也是對培訓質量的一種評測手段。

培訓資料非常豐富，也可作為自學課件。此外，用戶論壇（每個CREATE-AV都有一個論壇）提供了一一個熱烈的學習環境。另外，還準備了短視頻輔助材料。

3.4用戶問題優先解決

在提交問題時，QA將區分紕漏（低效）或技術請求的優先級，以幫助研發團隊確定下一步工作的優先順序。近期開發了一個程序，將這些問題分為5類，每一類跨0-2兩個級別。這五類問題的級別被稱為NAVIS級別（即Number，Alternatives，Value，ImpactandSubjectiveAnalysis）一其級別為0-10（優先性從最低到最高），NAVIS級別劃分見表3。

4結論

根據Rechard等人關于質量保證（QA）的定義，描述了美國HPCM PCREATE-AV努力追求的產品，“計算軟件的QA，是要保證軟件一以貫之地滿足接收方、購買方或者受益方等不同客戶預期”。作者從VV&UQ、質量保證測試、軟件使用、用戶培訓以及用戶支持等方面，詳細分析了CREATE-AV計劃為滿足客戶預期采取的一些做法，供同行參考。

參考文獻

[1]D. E. Post， C. A. Atwood， K. P.Newmeyer， R. L. Meakin，M. M.Hurwitz，S. Dey， J.N. D Angelo，R.L. Vogelsong， N. Hariharan， R.P.Kenda1l，0. A. Goldfarb， and theCREATE Team， The CREATE ProgramSoftware Applications for the Designand Analysis of Air Vehicles， NavalVessels，Radio Frequency Antennas，and Ground Vehicles. 10 JUL 2015.

[2]Gregory P. Brooks， John W.Livingston，Stephen Adamec， WilliamMcGough，HPCMP CREATETM-AV DaVinci3.0 and HPCMP CREATETM-MG Caps toneIntegration. AIAA SciTech， 5-9January 2015， Kissimmee， Florida，53rd AIAA Aerospace Sciences Mee t ing，AIAA 2015-1508.

[3]David R. McDaniel and Scott A.Morton，HPCMP CREATETM-AVKestrelArchitecture， Capabilities， andFuture Directions. AIAA SciTechForum，8-12January 2018， Kissimmee，Florida，2018 AIAA Aerospace ScienceMeet ing.

[4]Tin-Chee Wong and David M. 0 Brien，Jr，Application of CREATETM-AV Heliosin an Engineering Environment：Hover Prediction Assessment Part2.AIAA SciTech Forum， 8-12January2018，Kissimmee， Florida， 2018 AIAAAerospace Science Meet ing.

[5]B. R. Smith， "An Assessment ofCREATE-AV Kestrel for F-35 Aero/Performance Applications，" in 53rdAIAAAerospace Sciences Meeting，Orlando，FL， 2015.

[6]B. Jayaraman， A. M. Wissink，S. Shende， S. Adamec and V.Sankaran， "Extensible SoftwareEngineeringPractices for the HeliosHigh-Fidelity Rotary-Wing SimulationCode， " in 49th AIAA AerospaceSciencesMeeting，Orlando， FL， 2011.