SRGM建模類別與性能分析

張　策，孟凡超，萬(wàn)　錕，陳智朋，劉宏偉，崔　剛

(1.哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，哈爾濱 150001; 2.哈爾濱工業(yè)大學(xué)(威海) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東 威海 264209)

?

SRGM建模類別與性能分析

張策1,2，孟凡超2，萬(wàn)錕2，陳智朋2，劉宏偉1，崔剛1

(1.哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，哈爾濱 150001; 2.哈爾濱工業(yè)大學(xué)(威海) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東 威海 264209)

摘要:針對(duì)軟件可靠性增長(zhǎng)模型SRGM(software reliability growth model)在可靠性評(píng)估與保障中的重要作用，為全面掌握SRGM的建模與工作機(jī)理，對(duì)SRGM的典型建模過(guò)程以及不同模型間的性能差異進(jìn)行深入研究.首先剖析了SRGM建模的基礎(chǔ)假設(shè)和含義，梳理了SRGM的發(fā)展演化歷程；然后分析了兩類基本SRGM建模流程與關(guān)聯(lián)，針對(duì)考慮更多真實(shí)測(cè)試情況的建模趨勢(shì)，對(duì)不完美排錯(cuò)相關(guān)與考慮測(cè)試工作量TE (Testing-Effort)相關(guān)的SRGM建模過(guò)程進(jìn)行了剖析；最后選取8個(gè)典型的模型在4個(gè)失效數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，依據(jù)度量與擬合結(jié)果進(jìn)行了模型差異化的深入分析.研究分析表明，客觀上不同失效數(shù)據(jù)集間的差異以及主觀上研究人員對(duì)測(cè)試過(guò)程認(rèn)知的差異是造成SRGM性能差異的主要根源.進(jìn)一步建立更為準(zhǔn)確與全面的SRGM，在有限的數(shù)據(jù)集上選取出優(yōu)秀的SRGM已成為當(dāng)前研究中亟待解決的難題.

關(guān)鍵詞:軟件可靠性增長(zhǎng)模型；不完美排錯(cuò)；測(cè)試工作量；度量；預(yù)測(cè)

在軟件發(fā)布前的測(cè)試階段以及之后的運(yùn)行階段，軟件可靠性增長(zhǎng)模型SRGM(softwarereliabilitygrowthmodel)是用來(lái)定量建模可靠性增長(zhǎng)過(guò)程的重要數(shù)學(xué)工具[1-3]，已獲得了廣泛應(yīng)用.SRGM采用基于隨機(jī)過(guò)程理論的數(shù)學(xué)微分方程(組)來(lái)描述故障檢測(cè)與移除過(guò)程[4-6]，使得與可靠性R(t)直接依賴的參變量被求解出來(lái)，進(jìn)而為可靠性的提高與評(píng)測(cè)，測(cè)試資源分配以及最優(yōu)發(fā)布提供決策依據(jù).目前，已有數(shù)百個(gè)SRGMs被提出，其建模過(guò)程類別存有較大差異，且均在有限個(gè)數(shù)的失效數(shù)據(jù)集上表現(xiàn)出良好的性能[7-9]，但這些模型隱藏的內(nèi)在本質(zhì)差異在當(dāng)前研究中卻鮮有提及.本文探討與挖掘差異的根源有助于洞悉SRGM在建模描述測(cè)試過(guò)程的本質(zhì)，也為提出性能更優(yōu)的模型和在實(shí)際工程中選擇SRGMs提供必要的科學(xué)依據(jù).

1NHPP類SRGM建模基礎(chǔ)與發(fā)展歷程

1.1NHPP類SRGM建模基礎(chǔ)假設(shè)及可靠性增長(zhǎng)含義

現(xiàn)有的上百個(gè)SRGM建立了失效檢測(cè)/改正個(gè)數(shù)與執(zhí)行時(shí)間之間的對(duì)應(yīng)關(guān)系，可以分為[10]：指數(shù)型和S型模型.指數(shù)型模型以Geol-Okumoto模型(記為G-O)[9]及其改進(jìn)為代表;S型模型以Yamada模型[11]為代表.這些非齊次泊松過(guò)程N(yùn)HPP(non-homogeneouspoissonprocess)類SRGMs的建立均是基于以下公共基礎(chǔ)假設(shè)[1, 6, 9, 11-15]，并在此基礎(chǔ)上進(jìn)行更為靠近實(shí)際測(cè)試過(guò)程的假設(shè).

1)軟件失效隨機(jī)發(fā)生，失效觀察與故障移除滿足非齊次泊松過(guò)程N(yùn)HPP.

2)定義隨機(jī)計(jì)數(shù)過(guò)程[N(t), t≥0]. 其中N(t)表示到[0, t]內(nèi)累計(jì)檢測(cè)到故障數(shù)量，其均值函數(shù)為m(t)，m(0)=0，基于NHPP基本性質(zhì)可得

這里，假定上次失效的時(shí)間為t(t≥0, x>0)，則在(t, t+x]內(nèi)可靠性如下.顯然，R(x|t)與m(t)緊密關(guān)聯(lián)，因而現(xiàn)有SRGM研究的核心是如何找到最適宜的m(t)函數(shù)，使得R(x|t)能夠得到有效提高.

設(shè)T為軟件發(fā)布時(shí)間，運(yùn)行階段的可靠性表示為

基于上述分析，可以認(rèn)為，SRGM基于失效數(shù)據(jù)描述軟件測(cè)試過(guò)程中累積檢測(cè)的故障數(shù)量，TE與測(cè)試時(shí)間等的數(shù)學(xué)關(guān)系[14, 16]，是實(shí)現(xiàn)建模軟件可靠性提高過(guò)程的數(shù)學(xué)工具.

1.2SRGM發(fā)展演變概要分析

不同SRGMs的建模假設(shè)在上述基礎(chǔ)上，依據(jù)對(duì)測(cè)試過(guò)程的認(rèn)知，又進(jìn)行了不同的假設(shè)，使得建立的SRGMs差異較大.以G-O模型為起點(diǎn)，SRGM發(fā)展經(jīng)歷了如圖1所示的歷程.

圖1　近40年來(lái)SRGM發(fā)展歷程

從1970年開(kāi)始，SRGMs逐漸得到了廣泛的研究.早在1978年，文獻(xiàn)[9]使用一個(gè)NHPP作為隨機(jī)過(guò)程來(lái)描述失效過(guò)程，后來(lái)文獻(xiàn)[11]修改了G-O模型并將TE引入到NHPP模型中獲得了更好的效果.SRGMs通常基于失效數(shù)據(jù)[12](失效個(gè)數(shù)失效時(shí)間TE失效嚴(yán)重程度或連續(xù)失效的時(shí)間間隔)來(lái)建立軟件測(cè)試過(guò)程的數(shù)學(xué)關(guān)系描述模型.因而，隨著研究人員對(duì)測(cè)試過(guò)程認(rèn)知的深入，SRGM正在將真實(shí)測(cè)試環(huán)境(例如，不完美排錯(cuò)[17-20])融入建模中.

2兩類基本SRGM：指數(shù)型與S型

本文從相對(duì)統(tǒng)一的建模角度[10]來(lái)分析兩類SRGMs建模流程與關(guān)聯(lián).在建模基礎(chǔ)上，增加如下假設(shè)：1)引起失效發(fā)生的故障立即被排除，無(wú)新故障引入；2)(t, t+Δt)內(nèi)累積檢測(cè)到的故障數(shù)量與當(dāng)前軟件中剩余的故障數(shù)量成正比；3)故障檢測(cè)率與當(dāng)前剩余故障數(shù)量成正比，且該比例隨著故障排除而線性增加；4)軟件中存在相互獨(dú)立與依賴的兩種類型故障.

基于上述假設(shè)，可以得到以下微分方程

其中

式中:a為測(cè)試之初故障總數(shù)；b為常量；φ(t)為時(shí)間相關(guān)的故障檢測(cè)率，由于這里認(rèn)為被檢測(cè)到的故障立即被排除，因此也被稱為故障移除率；r為彎曲參數(shù)，用以描述獨(dú)立不相關(guān)故障比例.在t=0，m(t)=0的初始條件下求解可得到

(1)

當(dāng)r=1時(shí)，式(1)可變?yōu)?/p>

(2)

此為文獻(xiàn)[9]提出的經(jīng)典的G-O模型.因其m(t)曲線呈現(xiàn)指數(shù)性增長(zhǎng)趨勢(shì)，被稱為指數(shù)性模型，同時(shí)也被叫做Musa模型.

此為Inflection-S型SRGM[21].顯然若β=0，則該S型模型又轉(zhuǎn)化為指數(shù)型的G-O模型.另一種典型的S型模型是延遲型，是G-O模型的一種改進(jìn)，其形式為

圖2給出了兩類SRGM的基本形狀，其中設(shè)定a=45, r=0.04, b=0.35, t∈[0, 20]僅用以展示曲線形狀.

圖2　兩類基本的SRGMs：指數(shù)型與S型

3不完美排錯(cuò)與考慮TE的SRGM建模分析

實(shí)際的測(cè)試過(guò)程中含有大量的隨機(jī)因素，因而從獲取更為準(zhǔn)確的SRGM角度出發(fā)，試圖兼顧到更多真實(shí)情況的不完美排錯(cuò)相關(guān)的SRGM一直是研究人員關(guān)注的重點(diǎn).此外，軟件測(cè)試與成本緊密相關(guān)，易知融入測(cè)試工作量TE[22]到SRGM中是一個(gè)重要研究分支.

3.1不完美排錯(cuò)相關(guān)的SRGM

本文以經(jīng)典的不完美排錯(cuò)SRGM模型：Pham模型[8]為示例進(jìn)行闡釋.Pham模型建立的微分方程為

(3)

驗(yàn)證的核心是將求解得到的m(t)與真實(shí)的失效個(gè)數(shù)進(jìn)行比較[23-26].在比較內(nèi)容上包括：擬合與預(yù)測(cè).擬合是基于擬合標(biāo)準(zhǔn)計(jì)算m(t)與真實(shí)失效數(shù)據(jù)集之間的偏差，通常偏差值越小越好；預(yù)測(cè)是求解并畫(huà)出預(yù)測(cè)曲線，曲線越快趨于0效果越好.其具體步驟為：1)基于失效數(shù)據(jù)集中不同時(shí)間點(diǎn)的累積故障數(shù)量對(duì)m(t)表達(dá)式中的參數(shù)進(jìn)行估計(jì)：可以采用LSE(leastsquaresmethod)，MLE(maximumlikelihoodmethod)或者采用數(shù)值求解軟件(例如Matlab,Labview,SPSS等)給出數(shù)值解；2)將參數(shù)估計(jì)結(jié)果代入m(t)中，求解出m(t)的表達(dá)式；3)將m(t)與真實(shí)的失效個(gè)數(shù)進(jìn)行比較：擬合與預(yù)測(cè)；4)基于評(píng)價(jià)結(jié)果給出模型的優(yōu)劣評(píng)價(jià).

3.2考慮TE時(shí)的SRGM建模

故障檢測(cè)與修復(fù)是在TE的消耗下進(jìn)行的，因而SRGM中應(yīng)考慮到TE的存在.這樣，在式(3)的基礎(chǔ)上，當(dāng)考慮TE時(shí)，可以得到以下文獻(xiàn)所采用的模型[1, 6, 10, 12-15]

(4)

(5)

鑒于式(4)中考慮到了TE，因而使其能夠?qū)y(cè)試資源的影響納入到SRGM中.當(dāng)SRGM中考慮到TE時(shí)，其驗(yàn)證步驟為：1)基于TE數(shù)據(jù)，對(duì)W(t)中參數(shù)進(jìn)行估計(jì)，本步驟估計(jì)中采用LSE[1]的方法較多；2)再對(duì)m(t)中剩余的參數(shù)進(jìn)行估計(jì)；3)后續(xù)步驟與前述相一致.

4SRGMs性能驗(yàn)證與分析

4.1參與比較的模型、數(shù)據(jù)集及評(píng)價(jià)標(biāo)準(zhǔn)

本文精心選擇8個(gè)典型的不完美排錯(cuò)相關(guān)以及考慮到TE的SRGMs在數(shù)據(jù)集DS1～DS4[23-26]上來(lái)進(jìn)行驗(yàn)證，見(jiàn)表1.這些公開(kāi)發(fā)表的4個(gè)數(shù)據(jù)集已被廣泛用來(lái)作為分析SRGMs的性能.其中DS1和DS2記錄有失效發(fā)生的時(shí)間和累計(jì)檢測(cè)到的故障數(shù)量，用以驗(yàn)證模型①～⑤的性能；DS3和DS4還包括描述測(cè)試資源消耗的TE數(shù)據(jù)，用以驗(yàn)證模型⑥～⑧的性能.

目前，對(duì)SRGM性能的驗(yàn)證，主要采用以下擬合與預(yù)測(cè)標(biāo)準(zhǔn)：MSE,MEOP,Variation,RMS-PE,TS和BMMRE越小，R-square越接近于1，這表明擬合效果越好；RE越快趨近于0表明預(yù)測(cè)效果越好.

表1　參與比較的模型及建模過(guò)程

4.2結(jié)果與分析

4.2.1不完美排錯(cuò)相關(guān)的SRGM性能評(píng)價(jià)

首先，基于數(shù)據(jù)集DS1和DS2進(jìn)行的參數(shù)估計(jì)，本文給出了不完美排錯(cuò)相關(guān)的5個(gè)模型，即模型①～⑤在DS1和DS2上的擬合效果圖，如圖3所示.

圖3　模型①～⑤在DS1與DS2上的擬合結(jié)果

除模型③即P-Z-2以外的4個(gè)模型與真實(shí)的失效數(shù)據(jù)曲線擬合的均較好.可以看出此4個(gè)模型呈現(xiàn)出了與真實(shí)的失效數(shù)據(jù)曲線一樣的凸形狀，而模型③卻呈現(xiàn)凹形狀.造成該現(xiàn)象的原因是，雖然模型③的建模與其余4個(gè)模型在本質(zhì)上相一致，但故障檢測(cè)率b(t)與軟件中總故障個(gè)數(shù)a(t)自行設(shè)定的結(jié)果使得求解得到的m(t)與真實(shí)失效數(shù)據(jù)曲線走向發(fā)生嚴(yán)重背離.

為了進(jìn)一步區(qū)分其余4個(gè)模型的細(xì)微差異，本文計(jì)算了其在擬合標(biāo)準(zhǔn)上的具體數(shù)值，見(jiàn)表2.

表2　SRGM：模型①～⑤性能比較標(biāo)準(zhǔn)結(jié)果

表2中最好的指標(biāo)采用下劃線來(lái)表示，其次的指標(biāo)用波浪線表示，再次的指標(biāo)用雙下劃線表示，表3、4中也采用同樣方法.容易看出，模型④即P-Z-1模型在DS1和DS2上的擬合效果是最優(yōu)的，僅在DS2上的R-square指標(biāo)上是次優(yōu)的，且與最好的指標(biāo)相差在小數(shù)點(diǎn)后第3位上.模型④最優(yōu)的原因可以解釋為非降的彎曲S型故障檢測(cè)率函數(shù)b(t)，以及軟件中總故障個(gè)數(shù)a(t)隨時(shí)間基本滿足指數(shù)增加的事實(shí).次優(yōu)的是模型⑤即Pham模型，其具有6個(gè)次優(yōu)的指標(biāo)；再次是模型①即G-O模型.而模型③即P-Z-2模型的指標(biāo)是最差的，這與圖2中其曲線嚴(yán)重偏離真實(shí)的失效數(shù)據(jù)曲線相一致.

另外，雖然模型①G-O模型是最早提出的SRGM，是后續(xù)模型研究的根基，但由于其設(shè)定b(t)和a(t)為常量，造成一定誤差出現(xiàn)，這使得其性能不如前者.在預(yù)測(cè)性能上，圖4給出了5個(gè)模型的RE曲線.

在圖4(a)描述DS1的預(yù)測(cè)曲線中，可以明顯看出，模型④即P-Z-1最快地趨近于0，預(yù)測(cè)效果最好，其次是模型①即G-O，再次是模型⑤即Pham，模型②即P-N-Z僅比模型③強(qiáng)，而模型③在有限的測(cè)試時(shí)間內(nèi)已經(jīng)無(wú)法準(zhǔn)確地表現(xiàn)出預(yù)測(cè)能力.整體而言，5個(gè)模型的性能依次為：④>①>⑤>②>③.在圖4(b)中，除模型③嚴(yán)重偏離0基準(zhǔn)線外，其余4個(gè)模型在預(yù)測(cè)性能上基本相同，表現(xiàn)出了優(yōu)異性能，這里不再進(jìn)行區(qū)分.

圖4　模型①～⑤在DS1與DS2上的預(yù)測(cè)結(jié)果

另外，圖4兩幅圖中均顯示出自測(cè)試時(shí)間1/2開(kāi)始，模型的預(yù)測(cè)性能開(kāi)始逐漸收斂趨近于0，呈現(xiàn)增強(qiáng)的態(tài)勢(shì).這是由于，測(cè)試半程以后，已積累了適量的預(yù)測(cè)所需數(shù)據(jù)，測(cè)試環(huán)境與策略和技術(shù)開(kāi)始變得穩(wěn)定，這些使得模型的預(yù)期性能開(kāi)始變好.4.2.2考慮TE的SRGM性能評(píng)價(jià)

通常，含有TE的SRGM需要先基于實(shí)際消耗的TE數(shù)據(jù)進(jìn)行計(jì)算，再對(duì)累積失效的故障數(shù)量m(t)進(jìn)行評(píng)估.表3給出了模型⑥～⑧中所采用的TEF在DS3和DS4上的性能比較.

表3SRGM:⑥～⑧模型中TE性能比較標(biāo)準(zhǔn)結(jié)果

Tab.3SRGM:TEperformancecomparisonresultsforthemodels⑥～⑧

標(biāo)準(zhǔn)模型⑥⑦⑧MSEDS31.627199730.902244910.85808803DS437786.6686525119335.1696459017031.67798116MEOPDS31.092982280.891650750.93499139DS4174.63131855127.79525291137.37332327VariationDS31.322180310.984506310.95406831DS4202.39138078146.94238907135.18978358RMS-PEDS31.325824880.987210300.95481056DS4203.31773316148.27169869135.59697449R-squareDS30.968030041.012630881.00488496DS40.972672961.020165621.01083674TSDS34.542893453.382784553.29896753DS43.024515152.163517712.03055698BMMREDS30.106693360.084239210.07036766DS40.071295740.086829560.06052159

從表3可以看出，模型⑦和⑧中所采用的Weibull(威布爾)和ExponentiatedWeibull(指數(shù)威布爾)類型的TEF在DS3和DS4上表現(xiàn)得較好，這為接下來(lái)的m(t)性能評(píng)估貢獻(xiàn)了積極的因素.圖5給出了模型⑥～⑧在失效數(shù)據(jù)方面的擬合效果.

從圖5直觀上看，3個(gè)模型的m(t)與真實(shí)的失效數(shù)據(jù)曲線基本發(fā)生了重合，表明在DS3和DS4上擬合效果較好.表4通過(guò)計(jì)算性能比較標(biāo)準(zhǔn)值用以明確分辨3個(gè)模型的細(xì)微差異性.

從表4可以看出，在DS3上，模型⑧表現(xiàn)最優(yōu)(7個(gè)標(biāo)準(zhǔn)中有5個(gè)最優(yōu)，2個(gè)次優(yōu))；模型⑦次之(7個(gè)標(biāo)準(zhǔn)中有2個(gè)最優(yōu)，5個(gè)次優(yōu))；而模型⑥則無(wú)最優(yōu)和次優(yōu)值，因而最差.在DS4上，出現(xiàn)了顛覆性的結(jié)果：模型⑥出現(xiàn)了7個(gè)最優(yōu)的標(biāo)準(zhǔn)值，因而性能最優(yōu)；模型⑧占據(jù)了全部7個(gè)標(biāo)準(zhǔn)值中的次優(yōu)結(jié)果，這使得其性能為三者居中；而模型⑦則最差.

圖5　模型⑥～⑧在DS3與DS4上的擬合結(jié)果

Fig.5Comparisonofgoodnessoffittingofthemodels⑥～⑧inDS3andDS4

表4SRGM：⑥～⑧模型性能比較標(biāo)準(zhǔn)結(jié)果

Tab.4SRGM:performancecomparisonresultsforthemodels⑥～⑧

標(biāo)準(zhǔn)模型⑥⑦⑧MSEDS3147.12039125109.7396490487.05602303DS41.8867885217.0179383612.59465108MEOPDS39.671658458.864528427.97879949DS40.988650772.873292692.73178605VariationDS312.9339832310.764898949.66261572DS41.423142424.573391643.84063803RMS-PEDS313.0795855010.765584669.68666677DS41.427501574.676177593.90170159R-squareDS30.910343720.984660231.01796915DS41.016725431.145663451.10196713TSDS35.408170794.670848124.16019200DS41.829643555.494881734.72713436BMMREDS30.185852180.063756810.06476001DS40.021899910.180619230.12669332

圖6　模型⑥～⑧在DS3與DS4上的預(yù)測(cè)結(jié)果

4.2.3模型性能的兩面性以及需考慮的實(shí)際問(wèn)題

1)特別指出，模型③即P-Z-2在DS1和DS2上表現(xiàn)得差強(qiáng)人意，但在某些數(shù)據(jù)集上卻很優(yōu)異，另一方面，這里表現(xiàn)優(yōu)異的模型也存在于某些數(shù)據(jù)集上偏差較大.這說(shuō)明一個(gè)模型不可能適應(yīng)于所有的數(shù)據(jù)集.

2)另外，一個(gè)不容忽視的事實(shí)是，DS1的測(cè)試時(shí)間t是以數(shù)值較大的時(shí)鐘時(shí)間為單位，與大部分失效數(shù)據(jù)集的以周為單位相迥異；DS1以累積失效個(gè)數(shù)為順序記錄，與絕大部分以失效時(shí)間為順序記錄累積失效個(gè)數(shù)方式也極為不同，這些綜合因素使得其與模型③中m(t)表達(dá)式存有很嚴(yán)重的不匹配現(xiàn)象，因而造成模型③性能表現(xiàn)最差.當(dāng)然，這種數(shù)據(jù)集在當(dāng)前可收集到的數(shù)據(jù)集中并不多見(jiàn)，本文這里特用以說(shuō)明該事實(shí).

3) 顯然，對(duì)測(cè)試過(guò)程的深入認(rèn)識(shí)以及由此建立考慮更多實(shí)際因素的數(shù)學(xué)模型，能夠刻畫(huà)更多的測(cè)試細(xì)節(jié)，但隨著引發(fā)的求解難度也急劇增加.例如，當(dāng)所建立的模型考慮到更多的細(xì)節(jié)，且存有一定的限制條件時(shí)，欲獲得m(t)的表達(dá)式已經(jīng)變得無(wú)法解析求解，此時(shí)只能采用非解析方法(借助于計(jì)算機(jī)利用數(shù)學(xué)求解軟件來(lái)給出數(shù)值解，例如Matlab,Labview等)，甚至在有些情況下只能給出上下界.

4)當(dāng)考慮TE到SRGM中時(shí)，當(dāng)前研究主要還是對(duì)m(t)的擬合與預(yù)測(cè)結(jié)果進(jìn)行最終的評(píng)估.實(shí)際上，TE代表著測(cè)試成本的支出，雖然高可靠性是SRGM的本質(zhì)要求，但追逐這一目標(biāo)還需要兼顧到成本的花銷.

4.3SRGM性能差異化總體分析

從上述8個(gè)模型在4個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果與性能分析可以看出：

1)直觀上，不同SRGMs的差異體現(xiàn)在所求解得到的m(t)上，但這種差異的根源緣由以下兩點(diǎn)決定：①失效數(shù)據(jù)集是決定SRGMs差異的客觀因素：不同公司、不同測(cè)試環(huán)境與策略，直接導(dǎo)致失效數(shù)據(jù)的收集、記錄等存有不一致；②建模假設(shè)的內(nèi)容是決定SRGMs差異的主觀因素：從上述實(shí)驗(yàn)可以看出，即便基于同一失效數(shù)據(jù)集，研究人員做出的假設(shè)上的差異直接導(dǎo)致數(shù)學(xué)模型的不同.

2)SRGMs的性能強(qiáng)烈地依賴于數(shù)據(jù)集：例如，模型⑧模型在DS3上表現(xiàn)得優(yōu)異，但在DS4上卻不理想.

3)由于不同模型對(duì)測(cè)試認(rèn)知過(guò)程中的差異，以及所建立的模型的差別，使得其在同一個(gè)數(shù)據(jù)集上的性能差異較大.

4)整體上，在數(shù)據(jù)集較大的情況下，擬合效果有效的SRGM，其在預(yù)測(cè)性能上也相對(duì)表現(xiàn)優(yōu)秀：這是因?yàn)椋瑪M合和預(yù)測(cè)在時(shí)間的選取上具有很強(qiáng)的相對(duì)性，可能存在交叉而造成的.

5)本文給出的8個(gè)模型在4個(gè)失效數(shù)據(jù)集上的結(jié)果表明并不存在一個(gè)模型能夠適應(yīng)所有的數(shù)據(jù)集.對(duì)于該事實(shí)的確立，本文對(duì)26個(gè)模型在可搜集到的15個(gè)失效數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果已表明.

5結(jié)論

1) 由于不同公司在測(cè)試過(guò)程中存在測(cè)試環(huán)境、策略、技術(shù)以及數(shù)據(jù)收集等因素上的差異，使得不同失效數(shù)據(jù)集的差異較大，這為不同SRGMs的性能差異帶來(lái)了客觀上的解釋.

2)SRGM是客觀與主觀結(jié)合下研究人員去建模描述不同失效數(shù)據(jù)集的過(guò)程，因而造成一個(gè)SRGM選擇上的難題：能夠準(zhǔn)確擬合與預(yù)測(cè)所有失效數(shù)據(jù)集的SRGM并不存在，但在有限個(gè)數(shù)的數(shù)據(jù)集上，采用合適的評(píng)價(jià)標(biāo)準(zhǔn)是可以優(yōu)選出相對(duì)最優(yōu)的SRGM，這是近期SRGM研究的一個(gè)方向.

3)SRGM的本質(zhì)即是提出能夠更為準(zhǔn)確地度量擬合過(guò)去的失效數(shù)據(jù)，同時(shí)又能準(zhǔn)確地預(yù)測(cè)未來(lái)失效情況的數(shù)學(xué)模型.這樣，考慮到更多真實(shí)的測(cè)試環(huán)境要素，建立全面的SRGM已成為當(dāng)前研究中亟待解決的難題.

參考文獻(xiàn)

[1]AHMADN,BOKHARIMU,QUADRISMK,etal.TheexponentiatedWeibullsoftwarereliabilitygrowthmodelwithvarioustesting-effortsandoptimalreleasepolicy:aperformanceanalysis[J].InternationalJournalofQuality&ReliabilityManagement, 2008, 25(2): 211-235.DOI: 10.1108/02656710810846952.

[2]DOHIT,MATSUOKAT,OSAKIS.Aninfiniteserverqueuingmodelforassessmentofthesoftwarereliability[J].ElectronicsandCommunicationsinJapan(PartIII:FundamentalElectronicScience), 2002, 85(3): 43-51.DOI: 10.1002/ecjc.1078.

[3]YANNIPRINCYB,SRIDHARS.Predictionofsoftwarereliabilityusingcobb-douglasmodelinSRGM[J].JournalofTheoreticalandAppliedInformationTechnology, 2014, 62(2): 355-363.

[4]YAMADAS,ICHIMONRIT,NISHIWAKIM.Optimalallocationpoliciesfortesting-resourcebasedonasoftwarereliabilitygrowthmodel[J].MathematicalandComputerModelling, 1995, 22(10): 295-301.DOI: 10.1016/0895-7177(95)00207-I.

[5]OKAMURAH,DOHIT.Anovelframeworkofsoftwarereliabilityevaluationwithsoftwarereliabilitygrowthmodelsandsoftwaremetrics[C]//ProceedingsoftheIEEE15thInternationalSymposiumonHigh-AssuranceSystemsEngineering(HASE),MiamiBeach:IEEE, 2014: 97-104.DOI: 10.1109/HASE.2014.22.[6]HUANGCY,LYUMR.Optimalreleasetimeforsoftwaresystemsconsideringcost,testing-effort,andtestefficiency[J].IEEETransactionsonReliability, 2005, 54(4): 583-591.DOI: 10.1109/TR.2005.859230.

[7]PHAMH,ZHANGXuemei.AnNHPPsoftwarereliabilitymodelanditscomparison[J].InternationalJournalofReliability,QualityandSafetyEngineering, 1997, 4(3): 269-282.DOI: 10.1142/S0218539397000199.

[8]PHAMH,NORDMANNL,ZHANGXuemei.Ageneralimperfect-software-debuggingmodelwithS-shapedfault-detectionrate[J].IEEETransonReliability, 1999, 48(2): 169-175.DOI: 10.1109/24.784276.

[9]GOELAL,OKUMOTOK.Time-dependenterror-detectionratemodelforsoftwarereliabilityandotherperformancemeasures[J].IEEETransactionsonReliability, 1979,R-28(3): 206-211.DOI: 10.1109/TR.1979.5220566.

[10]JHAPC,GUPTAD,YANGBo,etal.Optimaltestingresourceallocationduringmoduletestingconsideringcost,testingeffortandreliability[J].Computers&IndustrialEngineering, 2009, 57(3): 1122-1130.DOI: 10.1109/PRDC.2004.1276561.

[11]YAMADAS,HISHITANIJ,OSAKIS.Software-reliabilitygrowthwithaWeibulltest-effort:amodelandapplication[J].Reliability,IEEETransactionsonReliability, 1993, 42(1): 100-106.DOI: 10.1109/24.210278.

[12]HUANGCY,LOJH.Optimalresourceallocationforcostandreliabilityofmodularsoftwaresystemsinthetestingphase[J].JournalofSystemsandSoftware, 2006, 79(5): 653-664.DOI: 10.1016/j.jss.2005.06.039.

[13]張 策, 孟凡超, 崔剛, 等.SRGM中TE建模機(jī)制與模型比較分析[J]. 哈爾濱工業(yè)大學(xué)學(xué)報(bào), 2015, 47(5): 32-39.DOI: 10.11918/j.issn.0367-6234.2015.05.006.

ZHANGCe,MENGFanchao,CUIGang,etal.OverviewofmodelingofTEinSRGMandcomparisonsformodels[J].JournalofHarbinInstituteofTechnology, 2015, 47(5): 32-39.DOI: 10.11918/j.issn.0367-6234.2015.05.006.

[14]HUANGCY.Cost-reliability-optimalreleasepolicyforsoftwarereliabilitymodelsincorporatingimprovementsintestingefficiency[J].JournalofSystemsandSoftware, 2005, 77(2): 139-155.

[15]AHMADN,KHANMGM,QUADRISMK,etal.ModellingandanalysisofsoftwarereliabilitywithBurrtypeXtesting-effortandrelease-timedetermination[J].JournalofModellinginManagement, 2009, 4(1): 28-54.DOI: 10.1108/17465660910943748.[16]張 策, 崔剛, 劉宏偉,等. 軟件測(cè)試資源與成本管控和最優(yōu)發(fā)布策略[J]. 哈爾濱工業(yè)大學(xué)學(xué)報(bào), 2014, 46(5): 51-58.DOI: 10.11918/j.issn.0367-6234.2014.05.009.

ZHANGCe,CUIGang,LIUHongwei,etal.Softwaretestresourcesandcostcontrolandoptimalreleasepolicy[J].JournalofHarbinInstituteofTechnology, 2014, 46(5): 51-58.DOI: 10.11918/j.issn.0367-6234.2014.05.009.

[17]LINCT.Analyzingtheeffectofimperfectdebuggingonsoftwarefaultdetectionandcorrectionprocessviaasimulationframework[J].MathematicalandComputerModelling, 2011, 54(11/12): 3046-3064.DOI: 10.1016/j.mcm.2011.07.033.

[18]MANJULAT,JAINM,GULATITR.Costoptimizationofasoftwarereliabilitygrowthmodelwithimperfectdebuggingandafaultreductionfactor[J].AnzamJournal, 2014, 55: 182-196.

[19]JAINM,MANJULAT,GULATITR.ImperfectdebuggingstudyofSRGMwithfaultreductionfactorandmultiplechangepoint[J].InternationalJournalofMathematicsinOperationalResearch, 2014, 6(2): 155-175.DOI: 10.1504/IJMOR.2014.059526.

[20]PENGR,LIYF,ZHANGWJ,etal.Testingeffortdependentsoftwarereliabilitymodelforimperfectdebuggingprocessconsideringbothdetectionandcorrection[J].ReliabilityEngineering&SystemSafety, 2014, 126: 37-43.DOI: 10.1016/j.ress.2014.01.004.

[21]YAMADAS,OHBAM,OSAKIS.S-shapedreliabilitygrowthmodelingforsoftwareerrordetection[J].Reliability,IEEETransactionsonReliability, 1983,R-32(5): 475-484.DOI: 10.1109/TR.1983.5221735.

[22]BOKHARIMU,AHMADN.IncorporatingburrtypeXIItesting-effortsintosoftwarereliabilitygrowthmodelingandactualdataanalysiswithapplications[J].JournalofSoftware, 2014, 9(6): 1389-1400.DOI: 10.4304/jsw.9.6.1389-1400.

[23]OHBAM.Softwarereliabilityanalysismodels[J].IBMJournalofresearchandDevelopment, 1984, 28(4): 428-443.DOI: 10.1147/rd.284.0428.

[24]WOODA.Predictingsoftwarereliability[J].Computer, 1996, 29(11): 69-77.DOI: 10.1109/2.544240.

[25]EHRLICHW,PRASANNAB,STAMPFELJ,etal.Determiningthecostofastop-testdecision(softwarereliability)[J].IEEESoftware, 1993, 10(2): 33-42.DOI: 10.1109/52.199726.

[26]GOPALAKRISHNAR,SPAFFORDE,VITEKJ.Vulnerabilitylikelihood:aprobabilisticapproachtosoftwareassurance.TechnicalReport2005-06[R].WestLafayette:PurdueUniversity, 2005.

[27]PHAMH.Animperfect-debuggingfault-detectiondependent-parametersoftware[J].InternationalJournalofAutomationandComputing, 2007, 4(4): 325-328.DOI: 10.1007/s11633-007-0325-8.

[28]AHMADN,KHANMGM,RAFILS.Astudyoftesting-effortdependentinflectionS-shapedsoftwarereliabilitygrowthmodelswithimperfectdebugging[J].InternationalJournalofQuality&ReliabilityManagement, 2010, 27(1): 89-110.DOI: 10.1108/02656711011009335.

(編輯張紅)

doi：10.11918/j.issn.0367-6234.2016.08.029

收稿日期:2014-08-28

基金項(xiàng)目:國(guó)家科技支撐計(jì)劃(2014BAF07B02); 山東省科技攻關(guān)項(xiàng)目(2011GGX10108, 2010GGX10104)

作者簡(jiǎn)介:張策(1978—)，男，講師；博士研究生; 劉宏偉(1971—)，男，教授，博士生導(dǎo)師;

通信作者:張策, zhangce@hitwh.edu.cn

中圖分類號(hào):TP311

文獻(xiàn)標(biāo)志碼:A

文章編號(hào):0367-6234(2016)08-0171-08

AnalysisonSRGMmodelingcategoriesandperformances

ZHANGCe1,2,MENGFanchao2,WANKun2,CHENZhipeng2,LIUHongwei1,CUIGang1

(1.SchoolofComputerScienceandTechnology,HarbinInstituteofTechnology,Harbin150001,China;2.SchoolofComputerScienceandTechnology,HarbinInstituteofTechnologyatWeihai,Weihai264209,Shandong,China)

Abstract:In terms of the importance of SRGM (Software Reliability Growth Model) in evaluating and ensuring reliability, in order to grasp the modeling and working mechanism of SRGM, the typical process of SRGM modeling and the differences of performance in different models are studied in this article. First, the fundamental assumptions and the meaning of SRGM modeling are illustrated, and the development of SRGM is summarized. Second, the modeling processes and the relationship of two basic types of SRGM are analyzed. For the tendency of considering more real testing factors into SRGM, the SRGM modeling process relative to the imperfect debugging and TE (Testing-Effort) are discussed. Finally, the performances of 8 typical models selected are compared using 4 published failure data sets, and analyses on the differences are illustrated. The results indicate that the objective differences in different failure data sets and subjective differences in cognition of testing process by different researchers are the main causes that account for the different performances of SRGMs. Further establishing a more accurate and comprehensive SRGM and selecting excellent ones on finite failure data sets are the problems that must be solved in the future.

Keywords:software reliability growth model (SRGM); imperfect debugging; testing effort (TE); measurement; prediction

崔剛(1949—)，男，教授，博士生導(dǎo)師