基于測試過程管理的航天軟件質量評價

梅 磊，劉鴻飛，董文通

(中國電子科技集團公司第三十八研究所測試中心，安徽 合肥 230000)

隨著我國航空航天類產品的數字化、智能化程度不斷提高，作為其中核心控制單元的軟件單元所起到的作用也越來越重要，特別是在導彈、飛機、火箭、衛星、飛船等航空航天設備的科研生產中。系統功能的愈加復雜，軟件規模逐步增加[1]，導致產生軟件質量與可靠性相關風險的情況與日俱增。航天軟件特點主要有以下幾方面：1)軟件開發環境和運行平臺的復雜多樣；2)較高的實時處理能力，低延遲通信等；3)針對惡劣的運行環境，具備高可靠、強穩定等能力；4)軟件固化后，由于環境條件等因素導致可維護性較差；5)軟件開發的管理過程嚴格。

我國航天軟件工程研制和過程管理的任務通常是由國家航天航空集團及相關科研院所承擔，在研制及管理過程中，各單位相繼發布了一系列用于航天軟件研制和管理的企業規范，并在實踐中得到有效的驗證[2]。然而，隨著航空航天事業的迅速發展，軟件研制工作量越來越大。國內外的航天器發射、飛機試飛期間由于軟件設計或實現缺陷而出現的故障情況接近60%[3]。研制單位對航天軟件產品的質量問題越發重視，對發生的故障往往需要多輪分析其產生原因，舉一反三的閉環故障問題，總結故障產生與解決的經驗教訓，以提高管控研發能力，最終達到提高航天軟件質量的目的。

軟件測試作為驗證軟件能否達到期望功能，保證軟件質量的有效方法，在航天軟件研制工作的各個階段都很重要。有效的軟件測試工作貫穿于整個軟件開發的生命周期[4]。對航天產品軟件開展測試工作的意義在于能夠盡量在項目研制早期發現軟件設計缺陷，同時，為設計師對軟件進一步完善、改進提供依據和參考，為有關方了解和評價軟件的質量情況提供參考。由于各分系統研制單位的軟件工程化體系、軟件開發能力和管理水平的參差不齊，同時開發人員的工作能力也良莠不一，任何航天產品的研制僅依靠總體單位對軟件質量進行把控是不夠的[5]，因此，建立符合航天質量要求的軟件評價統一標準就尤為重要。

1 航天軟件質量評價研究概況

我國軟件質量評價工作的研究起步較晚，從上世紀末在國外研究成果的基礎上，開始研究符合我國軟件開發特點的質量評價方法。當前，多數裝備研制單位采用的是總裝備部根據SEI的CMM標準和軍用軟件研制總要求編制發布的GJB5000A—2008《軍用軟件能力成熟度模型》[3]，對軟件研制過程的評價，是將過程作為提高研制能力的杠桿作用點，利用軟件研制過程的規范程度反映軟件產品質量，同時，利用軟件工程化管理的原則和方法，將軟件的開發研制過程按照項目的過程進行管理，從而實現滿足客戶需求的軟件產品的定義、開發、發布和維護。

在軍用裝備軟件研制領域，對軟件質量的嚴格控制是至關重要的環節。很多研究機構的明確型號項目的軟件產品必須經由擁有合法資質的第三方測評機構進行軟件測評，同時，對于其測試過程，采用并強制執行GJB5000A、GJB438B、GJB2786A等標準規范進行監督[6]。由于各類型航天部件軟件產品的功能性、安全性和可靠性等方面的技術特點存在較大差異性，現有質量評價體系過于復雜和難于實踐操作，同時，軟件測評過程的有效性和公正性也容易受到軟件研制方的影響；因此，目前航天軟件質量評價體系難以做到軟件測試過程與軟件質量評價互相結合，往往造成軟件質量評價立意高遠，卻難于落地實施。由此可見，急需一種完整、有效且易于執行的軟件質量評價方法，這不僅是保證軟件測試工作有效開展的必要條件，也會為我國航天軟件產品的質量評價提供有力的支撐和保障。

2 航天軟件質量評價的研制過程質量管理

航天軟件的重要特點就是具有極高的可靠性和安全性，這也決定軟件研制所經歷的階段及相應產生的工作產品的特定性，并直接影響整個系統的研制過程[7]。作為軟件研制過程質量保證的有效手段，在軟件研制的各個階段的軟件測試對提高軟件質量起著不可或缺的重要作用。基于測試過程管理的軟件質量評價[8]，就是通過建立合理的軟件測試模型，同時，基于軟件研制過程而產生的管理方式和評價方法，以此提高軟件研制的效率和代碼質量。其主要內容如下。

1)對軟件需求的控制，驗證軟件的功能、性能指標是否達到需求文檔或研制任務書中的要求；

2)對開發文檔的質量控制，軟件開發文檔的編制格式是否規范、文檔種類是否齊全、文檔的標識和簽署是否完備等內容是否已正確完成；

3)軟件開發過程的質量保證，是否嚴格按照相關質量標準要求對軟件開發過程進行質量管理，并根據實際完成情況編制質量保證報告；

4)軟件開發過程的配置管理，是否嚴格按照相關規定嚴格把控軟件版本管理與變更，并編制配置管理報告。

航天軟件研制過程的科學管理與流程優化需要開發與測試2個部門之間的協調合作，通過科學合理的管理，提高航天產品的軟件代碼質量。要真正體現配合與協作的效果，測試工作從過程管理的開始階段就需要介入[6]。系統實施分階段按過程管理，首先確定測試目標和測試方法，然后針對需求設計、概要設計、數據庫設計、詳細設計等各個不同階段軟件開發的特點，開展軟件測試過程管理工作，二者相輔相成，同步進行。航天軟件研制質量與測試過程管理的關系如圖1所示。

圖1 航天軟件質量保證過程

為降低航天軟件后期維護更新的成本，在項目論證階段，軟件測試人員應提前介入可行性分析工作，確保軟件研制方案的安全、可靠。在需求分析階段，不僅要求測試人員具備對被測軟件需求的審查、分析以及提取功能、性能等測試內容的能力，還應熟練掌握常用測試方法及航天軟件質量標準的相關要求。在策劃階段，結合軟件開發進度、測試資源、評審監督等工作統籌安排，同時細化測試要求獲取測試內容[8]。在詳細測試設計階段，根據測試項抽象出測試用例，同時根據開發方提供的測試環境為后續的測試執行工作提供支撐。在實際項目管理的時候，通常會利用項目管理工具來實現對軟件研制流程的管控，而測試工作產生的相關測試文檔會被作為各軟件研制階段的控制成果進入受控的配置管理庫進行統一管理。

3 航天軟件測試模型

航天軟件測試過程分為測試需求階段、測試策劃階段、設計與實施階段、測試執行階段、測試總結這5個階段，對應的項目管理包括需求管理、計劃管理、跟蹤和控制、質量保證和配置管理活動過程。本文結合GJB5000A中對軟件測試工作的要求[9]，聯系實際工作的項目經驗和當前航天類軟件測試領域通用的軟件測試技術，建立了一套適用于航天類軟件質量評價的測試過程通用模型，同時，將軟件測試管理規范與軟件測試流程相結合，利用各自的特點，提出一個既能夠提高航天軟件質量水平，又保證軟件高可靠性與安全性的測試流程，如圖2所示。

圖2 航天軟件測試流程

3.1 單元測試

單元測試的目的是在應用程序中對最小的可測模塊或過程進行隔離測試，將模塊的功能與定義模塊的功能規格說明或接口規格說明進行比較，驗證是否滿足期望的要求。在我國航空航天領域，通常要求代碼達到100%的覆蓋率，在實際工作中通常會利用輔助工具來開展覆蓋性等類型的測試，例如使用自動化測試工具LDRA Testbed測試套件[10]。單元測試環境結構如圖3所示。

圖3 單元測試環境結構圖

單元測試的實施主要由測試人員配合開發人員完成，既充分利用測試人員的代碼質量意識和規范化意識又需要開發人員對代碼的熟練掌握。通常采用的方式是測試人員根據軟件的設計說明靈活制定單元測試計劃，開發人員在測試人員的幫助下設計和構造驅動函數和樁函數完成單元測試的執行工作。這樣既提高測試效率，又能保證測試質量。

3.2 集成測試

在完成單元測試工作后，航天類軟件往往需要針對系統的每個配置項軟件開展漸進式的集成測試。集成測試常用的策略如下。

1)自頂向下集成，所有被調用的單元均作為樁函數，模擬被調用的軟件代碼；

2)自底向上集成，每個底部單元的驅動器模塊作為樁函數；

3)三明治集成，結合自頂向下和自底向上2種策略的特點，測試的覆蓋性最好，但可能出現收斂性較差的情況。

在航天軟件的集成測試過程中，往往根據實際情況和配置項軟件的功能點進行測試范圍劃分。特殊情況下，還會將集成測試與單元測試的過程進行合并執行，并將測試結果作為階段性工作成果進行管控。

3.3 系統測試

在完成單元測試和集成測試后，結合整個軟件系統的實裝環境，進行完整、全面的系統測試，這關系到航天軟件最終驗收的結果[8]。系統測試的主要目的是檢查軟件研制過程工程化管理的完整性、正確性及有效性，包括文檔質量、功能與需求的一致性等，同時根據發現的問題給出合理的評價和建議，并根據問題選擇新增或復用測試用例進行回歸測試，直至所有問題均完成閉環為止。在航天軟件測試中，按照軍用軟件測評標準的要求，通常的覆蓋配置項及系統級的測試類型如表1所示。

表1 測試類型及標識

4 航天軟件的質量評價方法

為了更準確地發現航天軟件開發過程中的問題，更有效衡量開發的全面性，幫助提高軟件研制單位開發過程管理能力，通過結合面向產品的軟件質量評價的優點，構建多種通用評價模型，充分對軟件質量的完整性和全面性進行評價。本文提出的基于軟件測試過程管理的航天軟件質量評價方法，主要是在軟件研制的過程中，強調軟件測試工作的重要性和評價的客觀性，同時，提取測試工作期間產生的工作產品中，包括測試需求分析、測試計劃、測試用例及說明、測試記錄與報告等文檔，與軟件質量相關的特征與評價因子，進行統計與分析，從而完成對航天軟件在整個生命周期之內的過程質量評價。航天軟件的評價過程如圖4所示。

圖4 評價過程結構圖

質量評價模型主要包含2部分：軟件測試相關結果的評價、軟件研制過程的評價。通過對歷年來項目的統計，筆者選取了能夠反映質量屬性的評價因子，并將評價因子按照模型要求進行分類。其中，研制過程評價因子的類型及評價權重定義如圖5所示。軟件測試過程的評價因子類型及評價權重定義如圖6所示。

圖5 研制過程評價因子

圖6 測試過程評價因子

對航天軟件進行質量評價時，在不同的測試階段，針對不同類型的評價因子按權重進行統計和分析，對需要重點關注的因子類型，可以自適應的選擇加大權重的比值，并在軟件最終的評價報告中對分析結果進行匯總描述，以達到公正、全面評價軟件質量水平的目的。下面以某型衛星載荷導引頭軟件的質量評價過程為例闡述。

根據GJB5000A的質量標準要求，針對被測軟件在研制過程管理和測試過程管理期間的工作產品按照評價因子的類型進行統計與分析，審查對象包括代碼管理、需求管理、需求分析、需求覆蓋率、語句覆蓋率、分支覆蓋率、代碼缺陷率、功能缺陷率、性能缺陷率、問題歸零率以及配置管理正確率等。其中，研制過程的詳細統計情況如表2所示。軟件測試過程的詳細統計情況如表3所示。

表2 被測軟件研制過程評價因子統計

表3 被測軟件測試過程評價因子統計

考慮到導引頭系統軟件都為重要等級的配置項軟件，出現的任何缺陷都可能給整個系統的運行造成嚴重影響，因此，需要加大軟件測試發現缺陷率因子的權重。

在對軟件測試情況進行全面具體的總結評價時，根據軟件研制任務書及需求設計說明，分析提取出被評價軟件系統的產品質量屬性，包括導引頭配置項軟件的代碼規模(2個微型，1個小型)，在滿足用戶需求目標的前提下，共挖掘功能需求49個，性能需求16個。

在評價設計階段，以功能需求及性能需求為基礎，設計質量評價模型，建立產品質量屬性結構，同時設計測試項目共165個，以保證對產品部件評價的充分性，同時，通過設計多種測試類型和方法，以實現對軟件安全性、穩定性的驗證覆蓋。

在評價執行階段，以測試項為基礎，設計測試用例297個，在單元測試執行過程中獲得各配置項軟件的需求覆蓋率、語句覆蓋率、分支覆蓋率等評價因子信息，在系統測試執行過程中獲得各軟件的功能缺陷率、性能缺陷率、接口協議正確率等評價因子信息，定量進行統計和記錄，同時，對測試執行期間產生的記錄和問題文檔做好過程管理工作。

在評價結論階段，根據統計的評價結果進行影響分析，得到3個配置項軟件的缺陷主要集中在功能缺陷率中，其中缺陷最多的數據處理軟件由于代碼規模較小，導致千行代碼缺陷率僅達到CMM1級，因此，在項目組召開的缺陷評審中重點討論該軟件出現缺陷的原因和處理情況，并對所有問題進行舉一反三和持續的追蹤。最后，結合分析結果，形成對被測軟件的質量評價，并針對軟件質量的后續提升給出建議。在軟件測試報告的評審會議上，邀請客戶、項目組專家和測試專家共同對軟件項目的評價意見進行討論，最終形成評價報告交付用戶，供項目驗收參考使用。

5 結束語

作為航天軟件質量評價方法，使用它的前提是研制單位已經具備相對完整的質量管理體系和軟件工程化管理經驗，這也導致本方法的應用和推廣存在一定局限。同時，通過對大量項目數據的積累和使用后，可對質量評價模型增加更多的評價因子和衡量研制水平的評價準則，以進一步提高軟件質量評價的準確性和全面性。

隨著測試過程管理技術和方法的不斷探索和改進，為滿足航天軟件的可靠性、安全性等特殊要求，軟件研制單位和用戶單位對航天軟件測試過程提出了更高的要求，對軟件產品質量的評價需求也越來越高。本文針對航天軟件的特點，分析比較傳統軟件質量評價方法的不足，同時參考GJB5000A、GJB438B等軟件質量過程控制體系，在綜合考慮航天軟件的功能、性能、背景要求的前提下，選取具備質量特征屬性的評價因子，并在此基礎上提出了一種用于航天軟件質量評價的方法，以對軟件質量進行客觀、公正的評價。這不僅是幫助研制單位提高開發水平的方法，更為軟件研制單位提供了一個軟件過程改進的方向。