考慮故障檢測效用與修正效用的軟件可靠性增長模型

趙玉新，常 帥，萬程程

（哈爾濱工程大學自動化學院，黑龍江哈爾濱150001）

考慮故障檢測效用與修正效用的軟件可靠性增長模型

趙玉新，常 帥，萬程程

（哈爾濱工程大學自動化學院，黑龍江哈爾濱150001）

測試效用是影響軟件測試過程的重要因素，其隨時間的變化情況直接影響著測試過程中的故障檢測和修正的效率，合理地評估測試效用對測試過程的影響是建立精確軟件可靠性模型的關鍵因素。針對現有模型對測試效用認識的不足，嚴格根據實際測試情況，將測試效用分為故障檢測效用和故障修正效用，并在此基礎上，建立了綜合考慮這兩種效用的軟件可靠性增長模型。利用公開發表的軟件測試失效數據集對模型進行驗證，結果表明，與現有的考慮故障檢測與修正過程的模型相比，所提模型具有更好的擬合和預測能力。

軟件可靠性增長模型；測試效用；故障檢測效用；故障修正效用

0 引 言

軟件可靠性［13］是衡量軟件質量的重要特性，其反映了軟件開發和使用過程中出現的失效情況。軟件可靠性增長模型（software reliability growth model，SRGM）的建立位于軟件開發時期的系統測試階段，其在對軟件反復進行測試和故障排除的過程中得以建立，可以有效地評估和預測軟件可靠性，是開展相關研究的核心和關鍵。非齊次泊松過程［4］（non-homogeneous Poisson process，NHPP）類SRGM是目前研究最多、應用最廣的一類。

測試效用被認為是一種重要的測試過程因素，是指在測試過程中所消耗的資源，可用人力、執行的測試用例、CPU時間等信息來度量，是影響軟件可靠性的重要因素［56］。測試效用函數（test effort function，TEF）用來描述測試效用隨測試時間變化的情況，一般用W（t）表示。故障檢測過程和故障修正過程是影響軟件可靠性建模準確性的兩個主要因素。目前，很多SRGM都考慮到了故障檢測過程的變化趨勢，以及故障修正過程中的不完全修正性。文獻［7］提出的G-O模型是最早提出的一種NHPP類可靠性模型。該模型假設錯誤檢測出來后被立即100%排除；故障檢測率則取常數b。文獻［8］提出了測試效用的概念，并在G-O模型的基礎上考慮其影響，建立了SRGM withWeibull TEF模型，該模型認為故障檢測率受測試效用影響，是隨時間變化的函數b（t）；但該模型忽略了故障修正過程。文獻［9］提出故障修正是不完全的，引入了故障修正率函數p（t），并認為故障檢測與修正過程均服從NHPP，對其分別進行建模，得到故障檢測模型md（t）和故障修正模型mc（t），統稱Lo SRGM；但該模型忽略了測試效用對軟件可靠性的影響。文獻［10］在Lo模型基礎上，考慮了測試效用，建立了Huang SRGM，明顯提高了模型的評估能力；但該模型認為故障檢測率和故障修正率均與整體測試效用成比例，與實際情況有較大出入。

實際上，故障的檢測和修正是由不同的人員在相互獨立的環境中進行的［11］，如圖1所示。在檢測故障過程中，故障檢測率b（t）直接受到投入檢測資源的影響；在修正過程中，故障修正率p（t）則受投入修正資源的影響。同時，在故障檢測和故障修正過程中所投入的資源往往是不同的，不存在直接相關性。基于此，本文在考慮故障檢測投入資源和故障修正投入資源對故障檢測率和修正率的影響的基礎上，建立了一種新的考慮故障檢測效用與故障修正效用的SRGM。利用一組公開發表的實效數據進行仿真驗證，實驗結果表明該模型具有更好的擬合效果和預測能力。

圖1 故障檢測與故障修正的關系圖

1 故障檢測效用與修正效用

傳統的考慮測試效用的SRGM均假設任意時間間隔t到t＋Δt內，期望的故障數與當前時刻測試效用的比值與t時刻剩余的故障數成正比。由該假設可看出，傳統的考慮測試效用的SRGM將測試效用等同于故障檢測過程中投入的資源。實際上，測試效用指的是整體測試過程中所投入的資源，包括故障檢測過程和修正過程，應該區分看待。首先，進行如下定義：

故障檢測效用：為檢測故障所投入的資源，包括執行的測試用例、檢測人力、檢測時間等。

故障檢測效用函數（detection effort function，DEF）：表示t時刻，已投入的累計故障檢測效用，用Wd（t）表示。

故障修正效用：為修正故障所投入的資源，包括修正人力、修正時間等。可用修正人力、CPU時間等信息來度量。

故障修正效用函數（correction effort function，CEF）：表示t時刻，已投入的累計修正效用，用Wc（t）表示。

根據定義，故障檢測效用、故障修正效用和測試效用之間的關系可描述為

式中，β（t）為檢測效用占總體測試效用的比例，該比例是隨時間變化的函數，由相應時刻所投入的故障檢測資源和修正資源決定。

2 考慮故障檢測效用與修正效用的SRGM

本節符號說明：

a：軟件故障總數；

b（t）：故障檢測率，表示t時刻單位時間內每個故障被檢測到的概率；

md（t）：t時刻的累計故障檢測數；

mc（t）：t時刻的累計故障修正數；

p（t）：故障修正率，表示t時刻單位時間內每個已檢測到故障被正確修正的概率；

r：每單位檢測效用的故障檢測率；

u：每單位修正效用的故障修正率。

2.1 模型假設條件

假設1 軟件失效和修正都遵循NHPP過程；

假設2 軟件中每個故障是相互獨立的，每個故障導致系統發生失效的可能性也相同；

假設3 任意時間間隔t到t＋Δt內期望的故障發生數，與t時刻剩余的故障數成比例，比例為故障檢測率函數b（t）；

假設4 軟件排錯是不完全的，任意時間間隔t到t＋Δt內期望的故障修正數，與t時刻剩余的待修正故障數成比例，比例為故障修正率函數p（t）。

2.2 建模過程

由假設1～假設3得

從而得到微分方程

在t時刻，單位時間內投入的故障檢測效用wd（t）＝W′d（t）。

在實際測試過程中，單位時間內投入的檢測資源越多，檢測到的故障也就越多，即故障檢測率b（t）受wd（t）影響。當故障檢測效用wd（t）增加時，故障檢測率b（t）也隨之增加，因此，故障檢測率b（t）與當前時刻的檢測效用wd（t）成正比，且比值為每單位檢測效用的故障檢測率r，表示為

將式（5）代入式（4）得

由假設4得

從而得到微分方程

在t時刻，單位時間投入的故障修正效用為wc（t）＝W′c（t）。

在實際測試過程中，單位時間內投入的修正資源越多，修正的故障也就越多，即故障修正率p（t）受wc（t）影響。當故障修正效用wc（t）增加時，故障修正率p（t）也隨之增加。因此，故障修正率p（t）與當前的時刻的修正效用wc（t）成正比，且比值為每單位修正效用的故障修正率u，表示為

將式（9）代入式（8）得

初始條件為

解式（6）得

將式（12）代入式（10），解方程得

式中

由初始條件得

將式（1）和式（2）代入式（12）和式（14），得

因此，可選取的函數為

式中，k＞0，k的大小決定了β（t）變化的快慢。將式（17）代入式（15）和式（16），得

當k＝0即Wd（t）＝W（t），且r×W*（t）＝b時，該模型即為G-O模型。當r×W*d（t）＝b，u×W*c（t）＝p時，該模型即為Lo SRGM。當Wd（t）＝Wc（t）＝W（t），r＝u時，該模型即為Huang SRGM。

3 模型的驗證與評價

3.1 評價標準

誤差平方和（error sum of square，ESS）［12］和回歸指數R-square作為SRGM擬合能力的評價標準，相對誤差（realative error，RE）作為SRGM預測能力的評價標準。

SSE的值越小，曲線擬合的誤差越小。其定義為

式中，n表示失效數據集中失效樣本的數目；yi表示到ti時刻累積故障數；m（ti）表示在ti時刻模型估算得到的累積故障數。

回歸曲線方程的相關指數R-square的值越接近于1，表示模型的擬合效果越佳。其定義為［12］

不知什么原因，我練功出了岔子，在體內游走的真氣本應暖烘烘的，卻變得冰冷無比，三伏天，我手腳冰涼，晚上睡覺要蓋被子，蓋被子也沒用，照樣凍得直抖。

RE用來計算模型的預測能力，表示為

由式（23）計算出每個觀測數據點的RE值，繪制RE曲線，曲線越快接近于零，模型的預測能力越強。

3.2 對比模型與TEF的選擇

為了驗證本文模型的擬合效果，用最小二乘法估計參數，選擇4個比較經典的SRGM作為對比模型，具體如表1所示。并應用一組公開發表的數據集進行分析。該數據來自RADC（Rome Air Development Center）的T1系統的凈室測試數據，該系統是一個大型的軟件系統，測試過程為21周，共檢測和修正了136個故障［13］。

表1 SRGM及其m（t）

本文的TEF選擇文獻［5］提出的Delayed S-shaped TEF。該TEF具有很好的擬合性及適應性，DelayedS-shaped TEF的表達式為

式中，N表示預期消耗的總的測試效用；h表示測試效用的消耗率；A為常量。

對于本文中的測試效用數據進行擬合，得到參數N＝29.114 3，h＝0.493 2，A＝4610.010 1。圖2給出了Delayed S-shaped TEF的擬合仿真曲線，仿真結果顯示Delayed S-shaped TEF對本文數據具有很好的擬合效果。

圖2 Delayed S-shaped TEF的擬合仿真曲線

3.3 模型驗證與評估

為方便描述，本文模型稱為Proposed Model。表2給出了各個模型的擬合結果的SSE參數標準和R-square參數標準。從表2可以看出，Proposed Model和Huang SRGM的擬合效果明顯優于其他模型，其中Proposed Model的SSE值最小，R-square值最接近于1，證明該模型的擬合最佳。

表2 各個模型的擬合能力

各個模型對檢測過程、修正過程的擬合曲線分別如圖3和圖4所示。由圖3和圖4可以觀察得，Proposed Model的擬合能力顯而易見，Huang SRGM和SRGM with TEF雖然也能擬合實際失效數據的大體趨勢，但相對于Proposed Model略顯遜色。各個模型對檢測過程、修正過程的預測能力評估曲線分別如圖5和圖6所示。Proposed Model的RE曲線幾乎在1以內，并始終是最接近于0的，在震蕩中最快收斂于0；相對來說，其他模型振幅過大，如檢測過程中的G-O Model、Lo SRGM和修正過程的Lo SRGM，或收斂速度較慢，如檢測過程中的SRGM with TEF、Huang SRGM和修正過程的Huang SRGM。

圖3 各個模型對故障檢測過程的擬合曲線

圖4 各個模型對故障修正過程的擬合曲線

圖5 各個模型對故障檢測過程的預測評估能力曲線

圖6 各個模型對故障修正過程的預測評估能力曲線

通過以上分析，可以得出如下結論①SRGM with TEF、Huang SRGM的擬合和預測能力分別優于G-O Model和Lo SRGM，說明在軟件可靠性建模過程中考慮測試效用，可以有效地改善傳統模型的評估能力。②Lo SRGM（Huang SRGM）的SSE的值小于G-O Model（SRGM with TEF），R-square更接近于1，說明故障檢測與故障修正是影響軟件可靠性的兩個關鍵因素。③在該數據集上，擬合效果和預測能力前兩名的模型是Proposed Model和Huang SRGM，均是考慮測試效用且基于故障檢測與修正過程的SRGM，說明在軟件可靠性建模過程中，充分地考慮測試效用和故障檢測與修正過程，可以有效的改善模型的評估能力。④Proposed Mode是所有模型中表現最優的，SSE的值最小，R-square最接近于1，RE曲線最快趨近于0，從而證明了考慮故障檢測效用與修正效用的SRGM相比于傳統的考慮故障檢測與修正過程的模型，具有更佳的擬合效果和預測能力。

4 結 論

本文針對故障檢測和故障修正過程中假設條件不完善的情況，提出一種考慮故障檢測效用與修正效用的SRGM。該模型全面考慮了故障檢測和故障修正過程中投入資源對軟件可靠性影響，引入了故障檢測效用與修正效用的概念。利用一組公開發表的實效數據進行仿真驗證，實驗結果表明該模型具有更好的擬合效果和預測能力。

［1］Musa J D．Software reliability engineering［M］．New York：Mc Graw Hill，1999：2- 3．

［2］Zhao Q，Yu X F，Zhang C W．Incorporating the testing-effort function into the inflected S-shaped NHPP software reliability model［J］．Applied Mechanics and Materials，2013，241：356 -359．

［3］Roy P，Mahapatra G S，Dey K N．An S-shaped software reliability model with imperfect debugging and improved testing learning process［J］．International Journal of Reliability and Safety，2013，7（4）：372- 387．

［4］Xie J Y，An J X，Zhu J H．NHPP software reliability growth model considering imperfect debugging［J］．Journal of Software，2010，21（5）：942- 949．（謝景燕，安金霞，朱紀紅．考慮不完美排錯情況的NHPP類軟件可靠性增長模型［J］．軟件學報，2010，21（5）：942- 949．）

［5］Li Q Y，Li H F，Lu M Y，et al．Software reliability growth model with S-shaped testing effort function［J］．Journal of Beijing University of Aeronautics and Astronautics，2011，37（2）：149- 154．（李秋英，李海峰，陸民燕，等．基于S型測試工作量函數的軟件可靠性增長模型［J］．北京航空航天大學學報，2011，37（2）：149- 154．）

［6］Lin C T．Enhancing the accuracy of software reliability prediction through quantifying the effect of test phase transitions［J］．Applied Mathematics and Computation，2012，219（5）：2478 -2492．

［7］Goel A L，Okumoto K．Time-dependent error-detection rate model for software and other performance measures［J］．IEEE Trans.on Reliability，1979，28（3）：206- 211．

［8］Yamada S，Ohtera H，Narihisa H．Software reliability growth models with testing-effort［J］．IEEE Trans.on Reliability，1986，35（1）：19- 23．

［9］Lo J H，Huang C Y．An integration of fault detection and correction processes in software reliability analysis［J］．Journal of Systems and Software，2006，79（9）：1312- 1323．

［10］Huang C Y，Kuo S Y，Lyu M R．An assessment of testing-effort dependent software reliability growth models［J］．IEEE Trans.on Reliability，2007，56（2）：198- 211．

［11］Shu Y，Liu H，Wu Z，et al．Modeling of software fault detection and correction processes based on the correction lag［J］．Information Technology Journal，2009，8（5）：735- 742．

［12］Huang C Y，Lyu M R．Estimation and analysis of some generalized multiple change-point software reliability models［J］．IEEE Trans.on Reliability，2011，60（2）：498- 514．

［13］Musa J D，Jannino A，Okumoto K．Software reliability：measurement，prediction and application［M］．New York：Mcgraw-Hill Book Company，1987：77- 112．

Software reliability growth model considering fault detection effort and fault correction effort

ZHAO Yu-xin，CHANG Shuai，WAN Cheng-cheng
（College of Automation，Harbin Engineering University，Harbin 150001，China）

The test effort is an important factor which affects the software testing process．It changes as time goes by，which has a direct impact on the efficiency of the fault detection and correction in the process of testing．Assessing the effect of testing process on the test effort reasonably is the key factor to build a precise software reliability mo-del．Aiming at the existing models’lack of understanding of test effort，the test effort is divided into fault detection effort and fault correction effort，according to the actual test situation．Then a software reliability growth model considering the two efforts is established and evaluated using a group of public dada．The results show that compared with the existing models considering fault detection and correction process，the proposed model has better fitting and prediction ability．

software reliability growth model（SRGM）；test effort；fault detection effort；fault correction effort

TP 311

A

10．3969／j．issn．1001-506X．2015．04．38

趙玉新（1980-），男，教授，博士，主要研究方向為船舶導航及海洋裝備。E-mail：zhaoyuxin＠hrbeu．edu．cn

1001-506X（2015）04-0969-05

2014- 04- 14；

2014- 09- 22；網絡優先出版日期：2014- 11- 19。

網絡優先出版地址：http：／／w ww．cnki．net／kcms／detail／11．2422．TN．20141119．2200．004．html

國家自然科學基金（51379049）；中央高校基本科研業務資助（HEUCF110419，HEUCFX41302）資助課題

常 帥（1988-），通訊作者，男，博士研究生，主要研究方向為現代導航設備可靠性研究。E-mail：chang11shuai12＠aliyun．com

萬程程（1989-），女，碩士研究生，主要研究方向為軟件測試、軟件可靠性。E-mail：wanchengcheng1989＠126．com