開發過程和測試結果的軟件質量評價研究

郭棟 劉文紅 陳聰 彭普 周東紅

【摘要】 本文在結合現有軟件質量評價研究成果基礎上，將軟件研制過程中的質量評審問題和軟件測試過程中的問題進行綜合分析，提出了一種基于開發過程和測試結果的軟件質量評價方法。此方法通過將軟件研制過程中的質量評審問題和軟件測試過程中的問題進行綜合分析，能夠為快速判斷軟件質量提供支持。

【關鍵詞】 軟件過程評估;測試結果;軟件;質量評價;度量

【DOI編碼】 10.3969/j.issn.1674-4977.2021.05.018

Research on Software Quality Evaluation Method Based on Development Process and Test Results

GUO Dong1，LIU Wen-hong2，CHEN Cong1，PENG Pu1，ZHOU Dong-hong1

（1.China Aerospace Academy of Systems Science and Engineering，Beijing 100048，China

2.Beijing Institute of Tracking and Communication Technology，Beijing 100095，China）

Abstract： Based on the existing research results of software quality evaluation，this paper comprehensively analyzes the quality review problems in the software development process and the problems in the software testing process，and proposes a software quality evaluation method based on the development process and test results. This method can provide support for quickly judging software quality by comprehensively analyzing the quality review problems in the software development process and the problems in the software testing process.

Key words： software process evaluation;test results;software;quality evaluation;measurement

隨著軟件規模和復雜度的不斷增長，如何抓住有限的信息來快速度量軟件系統中各軟件配置項的質量，從而能迅速抓住質量薄弱環節，提高整系統的軟件質量，是人們亟待解決的難題。

軟件產品質量是軟件質量的重要組成部分，因此軟件產品質量度量是軟件度量的重要組成部分。同時，由于軟件經設計與開發之后，在具備滿足用戶需求功能的同時，軟件質量的優劣也就形成在軟件設計與開發過程之中。軟件產品生產設計的過程是影響所開發軟件質量的關鍵，軟件質量的提高是軟件生產過程中各項質量活動共同作用的結果。因此，評估軟件質量有必要從軟件的研制過程著手，將對軟件研制過程的評估加入到軟件的質量評價中去[1]。

1 軟件質量評價方法概述

國內外軟件質量評價研究中，基于測試結果對軟件質量進行評價的模型很多。以目前定義和測量軟件質量的現行國際標準ISO/IEC 25010：2011為例[2]，采用了“特性—子特性—度量元”的結構模型來定義軟件質量的度量。通過軟件測試的方式，根據選定的測試方法得出對應各度量元的度量值，然后根據各度量元的權重，加權平均得出對應子特性的值，最后根據各子特性的權重加權平均得出軟件獨立值。GB/T 25000系列標準也借鑒了該模型。參考該模型重新修訂GJB 5236的工作正在立項。

以上各種軟件質量度量評估都是依據軟件測試的結果來進行，這種度量方式需要針對軟件的特定度量元進行大量指定方法的測試工作，計算也非常煩瑣。度量出的結果與軟件實際效能缺乏聯系，并不能實際反映軟件的質量。軟件研制開發和測試過程中所積累的大量原始數據也沒有被考慮進去，對軟件開發過程影響軟件質量的因素和機制尚缺乏有效研究。

2 基于開發過程和測試結果的軟件質量評價方法

軟件的質量是在軟件研制過程中逐步得到實現的，不能只依靠軟件測試環節控制質量。因此，本文提出通過對軟件研制過程的監控來評價軟件質量，即軟件研制過程的監控與評價作為軟件質量評價的一部分參數，利用各階段測試結果實現對軟件全生命周期的質量進行度量和評價。

如圖1所示，軟件質量的評估模型可以由兩個觀察側面的評估值來構成，分別是產品側面（軟件測試結果）和過程側面（軟件研制過程評估）。每個觀察側面各選取多個度量要素來計算其取值，最后將它們歸一化到統一的衡量尺度上，加權匯總成為最終的軟件質量評價數據。

2.1 軟件開發過程分析

軟件產品的研制過程評估，一方面需要將軟件開發組織的過程能力成熟度考慮在內;另一方面，對于當前軟件研制項目的相關參數的度量，也要作為重要的指標予以考慮，這些指標主要包括：軟件規模度量、軟件安全關鍵級別度量以及針對項目各條基線的質量有效性度量等。其中軟件規模和軟件安全關鍵級別不直接影響軟件的質量，而是作為軟件質量參數的基準調整參數來使用。

2.1.1 軟件項目基線評審結果評估

在軟件研制過程中，對應基線產品的歷次質量評審中的意見個數與更改比例，是軟件研制過程質量的一項重要體現。能有效地評審出問題，并根據評審意見進行了修改，對促進軟件研制能力的提升有正面幫助。以同類軟件平均基準值作為參考，記第n個階段基線評審中提出了m10，m20，m30…mn0條意見，當前項目的實測值為a1，a2，a3…條意見。如表1所示。

那么，針對軟件研制項目基線評審結果的計算公式如下。PJX的范圍在（0，1）之間。

[PJX=1÷1ni=1i=n（mi-mi0）2=ni=1i=n（mi-mi0）2]

該計算公式還可以進一步精細化處理。考慮到根據質量評審中所提出意見的嚴重程度，以及與其對應階段之間的關系，還應有不同權重予以計算。例如，在設計評審階段發現了需求中的問題（本應在需求評審中提出并修改），其嚴重性應大于在需求評審中所發現的同類問題，其折合扣分權重也應更高。

2.1.2 軟件研制能力成熟度評估

一般一個具有較高等級軟件研制能力成熟度評價的組織，能開發出更高質量的軟件。因此，我們讀入評價機構對該組織的軟件研制能力成熟度評分的成績，并根據其成熟度等級，通過權值對分數進行調整。當讀入的分數成績相同時，成熟度三級的單位比成熟度二級的單位得分更高。

評價機構對軟件研制能力成熟度的評分方式使用SCAMPI方法[3]進行，由被評單位自行提供自己的四個項目來進行度量，根據這些項目的相關質量數據，對每個實踐域進行評價，給出每個實踐以S/L/P/NY的分值。最終的統計評分采用木桶原理式，以短板作為能力的記錄點。一個目標未實現，則整體過程域評價為不通過;一個過程域不通過，則本級別評價不通過[4]。那么，通過對應級別軟件研制能力成熟度的單位，統計其所有實踐，最終得到的得分成績記為A。A必然是大于6分，最大能得到8分。我們讀入某單位的軟件研制能力成熟度成績為A，該單位的成熟度等級為[N0]。

考慮到軟件研制能力成熟度共分為5個等級，我們設置成熟度等級5級的權重為1.0，成熟度成績保持為讀入的原始值。當成熟度等級降低，權重也隨之降低，記每降低一級所減少的權重為[p0]，[p0]的初始值可以采用專家打分法來確定，后期積累大量歷史數據后，也可采用客觀賦權法來確定其權重值。該軟件的研制單位的軟件研制能力成熟度評分值對軟件質量的影響度量初始計算公式即為：

[PSCM=A×[1-p0×（5-N0）]]

[A]的取值范圍在（6，8）之間，則[PSCM]的取值范圍也在（6，8）之間。對[PSCM]進行歸一化處理，該項度量的歸一化計算公式為：

[PSCM_1=A-6（8-6）×[1-p0×（5-N0）]]

歸一化處理之后，[PSCM_1]的范圍在（0，1）之間。評價機構對研制單位的軟件研制能力成熟度評審并打分完后，每年還要組織對該軟件研制單位進行年度監督[5-6]。一般的，年度監督時評價機構會對軟件研制單位提出若干條年檢意見。年檢問題的嚴重等級是評估該軟件研制單位的研制過程質量非常重要的參數，能直接的反應研制單位當前（而不是過往）的軟件研制項目過程管理水平。

當年檢結果問題中存在嚴重不符合項時，認為該單位的軟件研制能力與其初始評分極不相稱，考慮對初始評分做清零處理，即：

[PSCM_final=0]

當年檢結果問題中沒有嚴重不符合，但存在一般不符合項時，則認為該單位的軟件研制能力與其初始評分有較大出入，考慮對初始評分做減半處理，即：

[PSCM_final=12PSCM_1]

當年檢問題均為改進項，認為該單位的軟件研制能力與初始評分基本相符，但仍有待改進處，需要對初始評分做一定減分處理，但保證其最終的得分比年檢問題存在一般不符合的得分高。

具體的減分處理，需要參考當前軟件研制單位年審改進項的個數多少，以及是否存在重復性問題來進行調整。提出的改進建議越多得分越低，改進建議中重復問題越多得分越低。當無改進建議，則得分依舊為[PSCM_1]。

記最近一次軟件研制單位的年審改進項的個數為m條，一年內各軟件研制單位年審改進項個數的均值為n條，當每比均值多一條改進項，則權重減少的比例為[p1];這m條改進項中，有[l]條改進項在本單位以往年審中曾經出現過，記每多一個重復問題的扣除權重比例為[p2]。

[PSCM_ final=12PSCM_1+12PSCM_1（1-p1）m-nn（1-p2）l]

同樣，[p1]和[p2]初始值可以根據專家經驗確定，后期有歷史數據可根據實際數據和評價結果進行調整。

2.2 軟件測試結果分析

對于每個軟件測試問題，從軟件的問題嚴重等級、該問題的引入階段和發現該問題所需技術難度三個方面進行考察。

2.2.1 軟件問題嚴重等級

軟件問題的嚴重等級分為五個等級，分別為：

1）致命問題，導致系統/設備任務完全失敗，系統/設備安全性和安全保密性喪失，甚至危及人身安全;2）嚴重問題，會影響/潛在影響設計/需求文檔中所規定的主要功能的完成或沒有實現設計/需求文檔中規定的功能;3）一般問題，會對設計文檔中規定的主要功能的完成產生不利/潛在不利的影響，從而導致功能障礙的代碼問題;4）輕微問題，不會影響設計/需求文檔共規定的主要功能的完成，但對運行或操作會產生輕微影響/潛在影響;5）改進建議，對主要功能的完成，以及運行或操作均無影響，但從代碼可讀性和結構化程度等方面可以進一步改進優化。

記發現的問題嚴重等級為[N1]。當發現的問題嚴重等級每降低一個等級（對應的值增加），則權重增加[p3]。軟件問題的嚴重等級對當前問題的參考值為：

[Pdj=[1-p3×（5-N1+1）]]

2.2.2 軟件問題引入階段

在發現軟件問題的時候，同時也能定位到該軟件問題是從生命周期的哪個階段引入的。如果軟件研制過程受控，軟件測試及交付時應只發現編碼階段引入的問題。如果在測試時發現存在設計階段的問題，例如設計存在漏項，未覆蓋需求，則這類問題的權重值需要增加。

設發現問題發生階段包括方案、需求、設計、編碼、使用等一共S個階段，按階段先后順序對應的標注值為1、2、3、…、[Ns]，當軟件問題引入階段越早（而一直未發現），則該問題的權重值越高。記軟件編碼階段引入的問題權重值為1.0，問題引入階段每向前一個階段，則對應權重增加[p4]。軟件問題的引入階段對當前問題的參考值為：

[Pjd=[1-p4×（S-Ns+1）]]

2.2.3 軟件問題發現難易程度

發現軟件問題是需要一定的技術手段的。設發現問題難度包括1、2、3、4、5五個等級，表示問題的發現難度逐漸增加。發現問題難度為增加一個等級，則權重增加[p5]，發現的問題難度等級為[N2]，則發現問題難度對當前問題的參考值為：

[Pnd=[1-p5×（5-N2+1）]]

2.2.4 測試結果總評分

設該軟件在提交第三方測試和交付后共計發現k個問題。第k個問題所對應的三個方向參考值分別為[Pdj_k×Pjd_k×Pnd_k][Pdj_k×Pjd_k×Pnd_k]。

當前軟件的測試結果分析得分值為：

[PJF=（Pdj_k×Pjd_k×Pnd_k）? ? ? =i=1i=k[1-p3*（5-Ni1+1）][1-p4*（5-Nis+1）][1-p5*（S-Ni2+1）]]

其中，[p3]，[p4]，[p5]初始值可以根據專家經驗確定，后期有歷史數據可根據實際數據和評價結果進行調整。

3 綜合結果分析

綜合評價方法采用加權平均，假設綜合評價滿分為100，項目基線評審結果、研制能力成熟度評估和軟件測試結果的權重分別為[η1]，[η2]，[η3]，且有[i=13ηi=1]，則該軟件的質量評價分數為：

[Qfinal=100×（η1PJX+η2PSCM_final+η3PJF）]

4 總結

本文在現有軟件質量評價研究成果的基礎上，提出了一種基于過程評估和測試結果的軟件質量評價方法，立足于總體單位所能方便獲得的質量數據，快速便捷評估各軟件的質量。

目前，使用該方法還主要采用主觀權重，即專家打分的方式來確定其中各個權重的選擇。在積累更多項目歷史數據之后，可以不斷修正該算法，將主觀權重調整為客觀賦權，利用各指標間的相互關系或提供的信息量來確定，實際通過對原始數據經過數學處理獲取權重。在計算測試結果分析等數據時，本方法使用的是與同類軟件基準值進行比較。考慮到軟件按其規模分為巨、大、中、小、微五個等級，按其安全關鍵等級分為I、II、III、IV四個等級，按照嵌入式/非嵌入式以及不同語言、不同行業特點，給予不同的權值后，可以考慮與不同類的軟件進行映射對比計算。

【參考文獻】

[1] 梅磊，劉鴻飛，董文通.基于測試過程管理的航天軟件質量評價[J].西華大學學報（自然科學版），2019（6）：67-72.

[2] Systems and software engineering-Systems and software Quality Requirements and Evaluation（SQuaRE）-System and software quality models：IEC 25010：2011[S].

[3] 徐俊.CMMI軟件成熟度模型SCAMPI評估需求分析[J].信息技術與標準化，2008（12）：35-37.

[4] 何新貴.GJB 5000《軍用軟件能力成熟度模型》實施指南[M].北京：國防工業出版社，2004.

[5] 張昱.GJB 5000A過程和產品質量保證實施要點[J].電子技術與軟件工程，2021（7）：72-74.

[6] 孟磊，陳松，陳心華，等.基于GJB 5000A三級的軍用軟件過程改進探討與實踐[J].電子質量，2020（12）：117-121.

【作者簡介】

郭棟，男，1984年出生，高級工程師，碩士，研究方向為軟件測評。

劉文紅，女，1968年出生，研究員，碩士，研究方向為軟件工程、軟件測試。

陳聰，男，1987年出生，工程師，碩士，研究方向為嵌入式軟件測試。

彭普，男，1984年出生，工程師，學士，研究方向為軟件工程。

周東紅，男，1981年出生，工程師，碩士，研究方向為嵌入式軟件測試、軟件工程。