系統(tǒng)測試改進(jìn)分析

郁文斌

(1．北京全路通信信號研究設(shè)計(jì)院集團(tuán)有限公司，北京 100073；2．北京市高速鐵路軌道交通運(yùn)行控制系統(tǒng)工程技術(shù)研究中心，北京 100070)

系統(tǒng)測試改進(jìn)分析

郁文斌1，2

(1．北京全路通信信號研究設(shè)計(jì)院集團(tuán)有限公司，北京 100073；2．北京市高速鐵路軌道交通運(yùn)行控制系統(tǒng)工程技術(shù)研究中心，北京 100070)

針對鐵路信號產(chǎn)品臨時限速服務(wù)器（Temporary Speed Restriction Server，TSRS）科研項(xiàng)目系統(tǒng)測試，通過引入一種軟件測試過程反饋控制分析模型對測試過程進(jìn)行理論分析，發(fā)現(xiàn)系統(tǒng)測試中的缺陷。根據(jù)分析數(shù)據(jù)結(jié)果，針對TSRS產(chǎn)品特點(diǎn)引入正交化方法設(shè)計(jì)案例，以改進(jìn)測試相關(guān)的參數(shù)，在測試結(jié)果滿足預(yù)期且保證測試質(zhì)量的前提條件下提高測試效率，從而改進(jìn)系統(tǒng)測試。將對系統(tǒng)測試改進(jìn)方法后續(xù)工作進(jìn)行展望，提高鐵路信號產(chǎn)品系統(tǒng)測試的質(zhì)量和效率。

鐵路；信號；臨時限速服務(wù)器；系統(tǒng)測試；反饋控制模型

1　介紹

TSRS是基于信號故障安全計(jì)算機(jī)的控制系統(tǒng)。它根據(jù)調(diào)度員的臨時限速操作命令，實(shí)現(xiàn)對各列控中心、無線閉塞中心分配和集中管理列控限速指令，旨在保證列控限速設(shè)置的安全性，以確保臨時限速作業(yè)的順利實(shí)施。TSRS產(chǎn)品屬于鐵路信號系統(tǒng)的安全設(shè)備，安全等級為SIL4，遵從鐵路總公司的技術(shù)規(guī)范[1]。

2009年12月26日，LKX-T型TSRS首次在武廣客專開通運(yùn)營，標(biāo)志著TSRS系統(tǒng)從攻關(guān)研發(fā)走向工程運(yùn)用，其后廣泛應(yīng)用于CTCS-2和CTCS-3級[3]系統(tǒng)，裝備線路里程將達(dá)近萬公里。

因此，給TSRS測試工程師提出更高的要求和挑戰(zhàn)。作為測試者，是保障鐵路安全產(chǎn)品TSRS現(xiàn)場部署前質(zhì)量的最后一道防線。如果測試不充分，讓潛在的安全問題潛伏在現(xiàn)場部署的系統(tǒng)軟件中，后果不堪設(shè)想；最大限度追求測試充分，需要對測試資源提出更苛刻的要求。如何既能最大限度的保證測試充分，杜絕隱患同時又能提高測試效率是一個有意義的問題。

本文，對比當(dāng)前系統(tǒng)測試分析模型的若干研究成果，諸如Joao W.Cangussu提出的軟件測試過程的一種反饋控制模型[4]，Joao W.Cangussu在另一個論文中提出的軟件測試過程的一種隨機(jī)控制模型[5]，Aniket Mitra在其研究課題中提出的軟件測試測試的隨機(jī)模型和最優(yōu)化控制[6]，Srikanth在其論文[7]給出提高錯誤檢測率的方法。引入反饋控制模型[3]分析TSRS系統(tǒng)測試過程的數(shù)據(jù)，通過改進(jìn)測試案例設(shè)計(jì)方法提高測試策略的維度，從而達(dá)到提高測試效率的目的。

2　反饋控制模型

根據(jù)文獻(xiàn)[1]的結(jié)果，使用反饋控制模型[4]，系統(tǒng)測試階段需要定義如下變量和參數(shù)：r為剩余錯誤數(shù)；Wf為測試團(tuán)隊(duì)規(guī)模（人數(shù)）；Sc為軟件復(fù)雜度；t為時間；γ為測試過程整體質(zhì)量的恒定特征；ef為有效測試力；er為減少剩余錯誤數(shù)的阻礙力。Sc為基于維度的凸組合加權(quán)值。系數(shù)γ是一個表征測試過程整體質(zhì)量的參數(shù)。ef用來度量測試團(tuán)隊(duì)在減少系統(tǒng)軟件錯誤數(shù)的實(shí)際效力。er用來表示在減少系統(tǒng)軟件錯誤數(shù)時所做的無用功，其阻礙減少錯誤數(shù)的效力。

根據(jù)數(shù)學(xué)模型[4]，能夠得到如下微分方程公式：

ef和er根據(jù)數(shù)學(xué)模型[4]3個假設(shè)條件消元：

其中，F(xiàn)d表示對于ef的干擾力，本文中根據(jù)項(xiàng)目實(shí)際情況，可以認(rèn)為Fd=0。

本模型方程的使用需要對參數(shù)初始化值進(jìn)行估計(jì)，根據(jù)測試子階段觀測的實(shí)際數(shù)據(jù)通過解（1）和（2）得到，具體原理參見文獻(xiàn)[4]。本文中，僅根據(jù)其中極端分析情況對TSRS系統(tǒng)測試進(jìn)行結(jié)果分析。

3　系統(tǒng)測試結(jié)果分析

本節(jié)以項(xiàng)目P1（TSRS系統(tǒng)測試的優(yōu)化研究項(xiàng)目）和項(xiàng)目P2（TSRS基礎(chǔ)軟件修改項(xiàng)目）所記錄的數(shù)據(jù)通過模型[4]進(jìn)行分析。

項(xiàng)目P1根據(jù)測試數(shù)據(jù)，系統(tǒng)測試總共進(jìn)行2輪。第一輪持續(xù)時間為2013年5月14日至2013年10月31日，第二輪測試為回歸測試，持續(xù)時間為2013年11月26日至2013年12月10日。整個系統(tǒng)測試階段，總共發(fā)現(xiàn)問題數(shù)111個。

項(xiàng)目P2根據(jù)測試數(shù)據(jù)，系統(tǒng)測試總共進(jìn)行3輪。第一輪持續(xù)時間為2014年12月1日至2015年1月20日，發(fā)現(xiàn)問題數(shù)17個；第二輪測試持續(xù)時間為2015年1月26日至2015年2月7日，發(fā)現(xiàn)問題數(shù)5個；第三輪測試持續(xù)時間為2015年2月9日至2015年2月11日，發(fā)現(xiàn)問題數(shù)為0個。

3.1數(shù)據(jù)分析及問題的提出

對于項(xiàng)目P1，測試參數(shù)Wf=5，Sc=7，γ=0.8，tα≈1.6t〞high，根據(jù)模型[3]，P1處于一個不合理的范圍。

在[1]中，定性分析P1測試時間未達(dá)標(biāo)，測試負(fù)責(zé)人的選擇是在P2中做出調(diào)整和改進(jìn)，以使有限的測試資源更有效的配置到測試中。

對于項(xiàng)目P2，根據(jù)[1]，在P1項(xiàng)目的總結(jié)基礎(chǔ)上，通過對人員復(fù)用和案例去冗余做出改進(jìn)，提高模型參數(shù)γ值，Wf=3，Sc=7，γ=0.92，tlow≤tα≤thigh，根據(jù)模型[3]，P2符合預(yù)期。

針對第1章中的問題“如何既能最大限度的保證測試充分，杜絕隱患的同時又能提高測試效率”，對于P2項(xiàng)目，是否能夠?qū)ο到y(tǒng)測試過程做出改進(jìn)？根據(jù)P2的參數(shù)分析，答案是肯定的。

3.2解決措施

本節(jié)中，根據(jù)上述分析結(jié)果，對P2項(xiàng)目的系統(tǒng)測試過程進(jìn)行分析：測試過程中，對測試環(huán)境進(jìn)行了調(diào)整，提高人力利用率Wf=3。同時，在制定測試案例過程中，通過冗余原則設(shè)計(jì)案例的測試策略以提高γ。但是，根據(jù)測試結(jié)果分析發(fā)現(xiàn)，實(shí)際在測試試驗(yàn)中，對于復(fù)雜功能的案例設(shè)計(jì)中，全部功能點(diǎn)測試可引入正交實(shí)驗(yàn)法進(jìn)行設(shè)計(jì)。對于TSRS測試特點(diǎn)，功能測試考慮因子為：1）客專限速；2）既有線路限速；3）TSRS間限速。每一因子的水平數(shù)為：1）正線上行；2）側(cè)線上行；3）正線下行；4）側(cè)線下行。因此，可以采用正交表L16（45）考慮試驗(yàn)的選取。通過此方法，案例數(shù)從P2的409降到274。

4　數(shù)據(jù)驗(yàn)證

本節(jié)分析項(xiàng)目P3（TSRS平臺移植項(xiàng)目）的測試記錄數(shù)據(jù)，驗(yàn)證引入正交試驗(yàn)法設(shè)計(jì)案例后所提高的測試效率，分析如下：

系統(tǒng)測試總共進(jìn)行了3輪，第一輪持續(xù)時間為2015年5月5日至2015年5月27日，發(fā)現(xiàn)問題數(shù)25；第二輪測試持續(xù)時間為2014年6月27日至2015年7月8日，發(fā)現(xiàn)問題數(shù)6個；第三輪測試持續(xù)時間為2014年7月8日至2015年7月25日，發(fā)現(xiàn)問題數(shù)為0個。

在測試過程中，測試人員數(shù)Wf=3，由于被測系統(tǒng)軟件與P1、P2相同，則復(fù)雜度Sc與之前相同。

同P2比較調(diào)整如下：項(xiàng)目測試期限與P2相當(dāng)，測試人員已熟悉TSRS產(chǎn)品測試并有良好的測試技能，N1、N2和P2相同，測試策略基于項(xiàng)目P2成果，對測試案例設(shè)計(jì)采用正交試驗(yàn)，N3也與P2相當(dāng)，N4、N5、N6與P2相同，據(jù)此γ與P2相當(dāng)，即γ≈0.92。

ξ和ζ同P2，根據(jù)文獻(xiàn)[4]中的估計(jì)，γ≈γhigh，Slow≤Sc≤Shigh，"α=0.05，遺留問題數(shù)目rα所需要的時間tα應(yīng)滿足：tlow≤tα≤thigh，本項(xiàng)目中，tα=22+11+ 17=50（天），得出tlow≤tα≤thigh，符合預(yù)期。而且根據(jù)文獻(xiàn)[4]對于剩余問題數(shù)的分布曲線，本測試3輪發(fā)現(xiàn)問題數(shù)的分布趨勢在合理范圍內(nèi)。

P3與P1、P2作對比，分析結(jié)果如表1、2所示。

表1　案例效率類比

表2　時間效率類比

根據(jù)表 1和表 2，得出分析如圖1所示。

根據(jù)圖1所示，可見無論從測試案例效率，還是測試時間效率，P3都比P2有提高。

5　總結(jié)

本文主要在系統(tǒng)測試分析[1]的基礎(chǔ)上，通過控制反饋模型[4]分析P1項(xiàng)目、P2項(xiàng)目測試數(shù)據(jù)，發(fā)現(xiàn)系統(tǒng)測試中的缺陷，提出對案例引入正交試驗(yàn)方法進(jìn)行設(shè)計(jì)的解決方案，提高測試效率，并通過P1、P2、P3三個項(xiàng)目的實(shí)際數(shù)據(jù)進(jìn)行結(jié)論驗(yàn)證。

同時，本文沒有對模型參數(shù)進(jìn)行估計(jì)，僅根據(jù)文獻(xiàn)[4]的極端分析結(jié)果對TSRS系統(tǒng)測試進(jìn)行了分析。后續(xù)工作將根據(jù)測試子階段相關(guān)數(shù)據(jù)，對參數(shù)r0、ξ和ζ進(jìn)行估計(jì)，得出符合TSRS測試的微分方程（1）和（2）的特征根及特征曲線，通過預(yù)估測試子階段問題數(shù)的維度而非本文的測試策略維度提高測試效率。

[1]郁文斌，孫志科.系統(tǒng)測試分析[C]//中國鐵道學(xué)會.綜合軌道交通體系學(xué)術(shù)沙龍論文集.2015.

[2]鐵運(yùn)[2012]213號 臨時限速服務(wù)器技術(shù)規(guī)范（暫行）[S].

[3]傅世善.鐵路信號論文選集[M].北京：中國鐵道出版社，2012.

[4] J.W.Cangussu，Raymond A.DeCarlo，et al.A Formal Model of the Software Test Process[J].IEEE Transactions on Software Engineering，2002，28（8）：782-796.

[5] J.W.Cangussu.A Stochastic Control Model of the Software Test Process[J].Software Process，2004，9(2):55-56.

[6] Mitra A.Stochastic Modeling and Optimal Control for System Testing of Software[D].VU Unversity，2013.

[7] Srikanth H，Williams L，Osborne J.System test case prioritization of new and regression test cases[J].IEEE International Symposium，2005，5（14）：10.

Aiming at the system test of TSRS (Temporary Speed Restriction Server) research project, the paper analyzes theoretically the test process to discover defaults during the system test by introducing a software test process feedback control analysis model. According to the analysis results, the orthogonal test method can be adopted in the test case design considering TSRS features to improve the relevant test parameters and fi nally promote test effi ciency on the premise of that the test results conform to the prospective achievements, as well as guaranteeing test quality. The paper also presents the prospect for the system test improvement method to promote the quality and effi ciency of railway signal products system tests.

railway; signal; temporary speed restriction server; system test; feedback control model

10.3969/j.issn.1673-4440.2016.03.007

2015-07-30）