適應(yīng)IRISIRIS體系產(chǎn)品研發(fā)的系統(tǒng)測試過程研究

李啟翮 董歡歡（北京全路通信信號研究設(shè)計院有限公司，北京 100073)

李啟翮,男,博士畢業(yè)于清華大學(xué),高級工程師,測試試驗中心質(zhì)量安全總監(jiān)。主要研究方向包括鐵道信號、圖像處理與計算機視覺，曾參與武廣高鐵CTCS-3攻關(guān)組RBC組工作、國家科技支撐計劃課題無線閉塞中心的關(guān)鍵技術(shù)及裝備、鐵道部京滬RBC關(guān)鍵技術(shù)深化研究等項目。

1 概述

IRIS是國際鐵路行業(yè)標(biāo)準(zhǔn)（International Railw ay Industry Standard）的縮寫，這是一套建立在ISO9001標(biāo)準(zhǔn)基礎(chǔ)上，由歐洲鐵路行業(yè)協(xié)會針對鐵路行業(yè)的特殊要求制定的一套質(zhì)量管理體系標(biāo)準(zhǔn)。隨著我國高鐵事業(yè)的發(fā)展，為了更好地提高產(chǎn)品和服務(wù)質(zhì)量、參與國內(nèi)國際競爭，北京全路通信信號研究設(shè)計院有限公司于2011年實施了IRIS體系導(dǎo)入工作，并于2012年進行了修訂。

在新版IRIS體系中，為了進一步加強對產(chǎn)品研發(fā)流程的控制以提高產(chǎn)品質(zhì)量，對《應(yīng)用科研控制程序》做了較大修訂。

1）將產(chǎn)品研發(fā)的質(zhì)量過程與原安全保障體系對安全產(chǎn)品的研發(fā)要求徹底融為一體，不再區(qū)分安全與非安全產(chǎn)品，統(tǒng)一按照相同的過程實施，統(tǒng)一使用原來只在安全產(chǎn)品研發(fā)中采用的“驗證”和“確認”概念；

2）將整個產(chǎn)品研發(fā)流程分為“項目立項”、“系統(tǒng)定義與項目計劃”、“風(fēng)險分析”、“需求規(guī)范”、“設(shè)計與實現(xiàn)”、“系統(tǒng)測試”、“檢驗測試”、“試驗應(yīng)用”、“系統(tǒng)確認”、“驗收結(jié)題”共10個階段（其中“風(fēng)險分析”在各個階段都需持續(xù)進行），劃分更加合理，并且將項目組、技術(shù)管理、質(zhì)量保證、安全確認的工作分別描述，使得整個過程更加清晰；

3）以新產(chǎn)品研發(fā)流程為完整過程，通過階段裁減得到既有產(chǎn)品修改、先期技術(shù)研究和軟課題3個副過程；

4）引入“質(zhì)量門”的概念。若前后兩個階段間設(shè)置了質(zhì)量門，則需要由質(zhì)量保證工程師確認達到了開門條件。否則，禁止進入下一個階段的工作。

此外，由于進一步注意到測試工作在保障產(chǎn)品的質(zhì)量方面的重要作用，新版程序文件加強了對產(chǎn)品測試的要求：

1）明確了測試工作從計劃階段就必須介入，與早期那種在開發(fā)完成之后才開始測試的過程（如瀑布式開發(fā)模型）相比，更加有利于節(jié)省時間并提高測試質(zhì)量；

2）要求測試人員全部與開發(fā)設(shè)計人員獨立（EN 50128:2001允許在安全完善度為SIL0級的產(chǎn)品研發(fā)中，開發(fā)者與測試者不獨立，但EN 50128:2011提高了獨立性的要求，不再允許開發(fā)者與測試者相互兼任）；

3）整個研發(fā)流程中一共設(shè)置了4個質(zhì)量門，第一個質(zhì)量門就設(shè)置在設(shè)計與實現(xiàn)與系統(tǒng)測試之間，并明確了系統(tǒng)測試作為確認測試的地位。

為更好地指導(dǎo)測試人員的工作，有必要對流程中的測試工作過程進行研究，使之與產(chǎn)品研發(fā)的主流程能夠緊密結(jié)合，進一步確保所交付的產(chǎn)品質(zhì)量。本文針對“系統(tǒng)測試過程”從人員角色、子過程的劃分、工作任務(wù)等方面進行探討，提出一個適應(yīng)IRIS體系產(chǎn)品研發(fā)流程的系統(tǒng)測試過程。

2 系統(tǒng)測試定義

2.1 測試層級劃分

在《應(yīng)用科研控制程序》中，除用戶驗收測試外，測試活動被分為3類（不包括試驗類活動）：模塊測試、集成測試、系統(tǒng)測試。

模塊測試是針對硬件或軟件的最小功能模塊進行的測試，用以驗證該模塊的功能、接口的正確性。

集成測試包括軟件集成測試、硬件集成測試以及軟硬件集成測試等多個級別，其方法均是將各個模塊集成在一起，對模塊之間的接口、交互功能進行測試，以確保能向系統(tǒng)測試階段提交一個可運行的被測系統(tǒng)。

系統(tǒng)測試是針對系統(tǒng)需求的測試，目的是確認系統(tǒng)是否滿足規(guī)定的所有需求，是系統(tǒng)確認的重要手段之一。

2.2 系統(tǒng)測試與驗證測試

所謂驗證，指通過檢查和提供客觀依據(jù)，證實規(guī)定的需求已經(jīng)得到滿足（即是否正確的構(gòu)造了產(chǎn)品）。在質(zhì)量過程中，要求在每個階段均實施驗證活動。驗證分為動態(tài)驗證和靜態(tài)驗證兩類方法，后者指評審、分析及文檔檢查的方法，前者采用測試與演示的方法。因此，系統(tǒng)測試本身也是系統(tǒng)測試階段的驗證測試。

2.3 系統(tǒng)測試與確認測試

所謂確認，指通過檢查和提供客觀依據(jù)，證實特定預(yù)期用途的需求是否得到滿足（即是否構(gòu)造了正確的產(chǎn)品）。根據(jù)IR IS的要求，產(chǎn)品研發(fā)后必須對整個系統(tǒng)進行確認。確認過程中需要進行相應(yīng)的測試作為確認的輸入，以幫助確認系統(tǒng)滿足需求，這類測試稱為系統(tǒng)確認測試，在安全產(chǎn)品研發(fā)流程中，若系統(tǒng)測試經(jīng)過了確認工程師的見證和確認，即可作為系統(tǒng)確認測試，對于非安全產(chǎn)品的研發(fā)，通常默認以系統(tǒng)測試作為系統(tǒng)確認測試。

3 系統(tǒng)測試過程

由于系統(tǒng)測試在系統(tǒng)驗證和確認中都承擔(dān)著重要的作用，因此必須制定規(guī)范化的測試過程，以確保測試質(zhì)量。

本節(jié)通過研究整個系統(tǒng)測試過程所需要做的工作，辨識其與設(shè)計開發(fā)過程之間的關(guān)系，并考慮所必須的輸出，首先對測試任務(wù)組內(nèi)人員的角色進行識別，然后將整個系統(tǒng)測試過程劃分為數(shù)個子過程分別描述。

3.1 測試人員角色

在整個項目組中，設(shè)置一個與開發(fā)組獨立的測試組，組內(nèi)人員可以劃分為3類。

3.1.1 測試負責(zé)人

對整個測試工作負責(zé)，包括測試的計劃、過程以及最后的報告，還負責(zé)與項目負責(zé)人、開發(fā)者、確認者等項目組內(nèi)其他角色的溝通協(xié)調(diào)。

3.1.2 測試工程師

在測試負責(zé)人的領(lǐng)導(dǎo)下負責(zé)實際的測試工作的執(zhí)行，包括測試設(shè)計、測試執(zhí)行等工作。

3.1.3 測試環(huán)境工程師

負責(zé)構(gòu)建、配置特定的測試平臺、工具、設(shè)備等測試環(huán)境。

3.2 測試過程

在實際實施中，階段與流程并非是同一概念，盡管系統(tǒng)測試是在設(shè)計與實現(xiàn)之后才開始，但系統(tǒng)測試過程必須從系統(tǒng)定義與計劃就介入項目工作，以確保測試人員更好的理解系統(tǒng)及其需求，提高測試質(zhì)量。

根據(jù)系統(tǒng)測試全過程在產(chǎn)品研發(fā)流程不同階段所執(zhí)行的工作性質(zhì)，將整個測試過程劃分為“測試計劃”、“測試規(guī)范”、“測試執(zhí)行”和“測試報告”4個子過程。

由圖1可以看出，系統(tǒng)測試過程開始于系統(tǒng)定義與項目計劃，結(jié)束于系統(tǒng)測試（由于風(fēng)險分析實際上貫穿于整個產(chǎn)品研發(fā)流程中，因此未單獨體現(xiàn)），除測試規(guī)范子過程中的測試環(huán)境規(guī)范部分跨越兩個階段外，其余子過程都在一個階段內(nèi)結(jié)束。測試執(zhí)行子過程由于測試結(jié)果會導(dǎo)致產(chǎn)品的修改，因此可能會執(zhí)行多次，還會導(dǎo)致《測試計劃》及《測試規(guī)范》等文檔的更新。模塊測試和集成測試都在設(shè)計與實現(xiàn)階段進行，由于不屬于系統(tǒng)測試層級，此處采用了不同的顏色顯示。下面將分別對4個子過程進行描述。

3.2.1 測試計劃子過程

《測試計劃》是在項目計劃階段所需制定的眾多計劃之一，其目的如下。

1）規(guī)劃測試過程中的所有行動及明確測試的范圍；

2）指導(dǎo)測試如何開展，規(guī)定要使用的測試策略、過程、方法、工具與模板；

本子過程又可分為兩個階段：總體測試計劃和每個測試層級的測試計劃。

《總體測試計劃》涵蓋項目中所有層級的測試，并對這些測試進行協(xié)調(diào)，以優(yōu)化測試過程。

各個層級的《測試計劃》則根據(jù)該層級具體的測試要求撰寫，若包含的測試層級較少或測試較簡單，也可僅編制一個測試計劃包含多個測試層級，例如，當(dāng)僅關(guān)注系統(tǒng)測試層級時，只需編寫涉及系統(tǒng)測試的《測試計劃》即可。本子過程所包含的主要活動階段如圖2所示。

本子過程的輸入包括：項目計劃、安全計劃、質(zhì)量計劃、系統(tǒng)定義等。通常，測試計劃應(yīng)包含如下內(nèi)容。

1）對被測對象的描述，所用的測試度量；

2）測試活動的進入/退出準(zhǔn)則、掛起/恢復(fù)準(zhǔn)則；

3）所包含的測試層級，該層級所涉及的測試范圍、目標(biāo)、測試方案、測試環(huán)境、工具、配置、地點等；

4）測試人員組織結(jié)構(gòu)、測試活動的時間表；5）整個測試過程所需提交的文檔。

3.2.2 測試規(guī)范子過程

此子過程包含兩個部分的內(nèi)容：測試規(guī)范與測試環(huán)境規(guī)范，其輸入包括所有需求、計劃文檔以及相應(yīng)標(biāo)準(zhǔn)、規(guī)范。

測試規(guī)范部分需進行如下活動。

1）對作為測試基礎(chǔ)的需求規(guī)范和其他規(guī)范進行可測性檢查；

2）編寫測試案例（Test Cases）；

3）建立系統(tǒng)需求與測試案例的追溯矩陣，并確保達到所需的測試覆蓋率；

4）確定測試數(shù)據(jù)；

5）開發(fā)測試腳本；

正因為要對需求規(guī)范進行可測性檢查，所以測試規(guī)范活動必須在“需求規(guī)范階段”完成，該活動可能導(dǎo)致需求規(guī)范的更新。而測試環(huán)境規(guī)范活動則可以持續(xù)到測試執(zhí)行活動開始之前，在測試執(zhí)行開始之后還需要對所搭建的測試環(huán)境進行支持與維護。該部分所必須進行活動包括內(nèi)容如下。

1）設(shè)計測試環(huán)境構(gòu)建方案；

2）完成測試環(huán)境的構(gòu)建與驗證確認，并進行支持與維護；

3）描述測試環(huán)境的使用方法。

圖3提供了對本子過程的簡要示意。

3.2.3 測試執(zhí)行子過程

當(dāng)被測對象完成集成測試，通過第一個質(zhì)量門后，即可進入“系統(tǒng)測試階段”，根據(jù)《測試規(guī)范》和《測試環(huán)境規(guī)范》執(zhí)行測試。測試執(zhí)行通常并非一次性過程，往往由多個輪次組成，其中每個輪次所完成的活動基本一致。之所以需要多個輪次，原因主要分為兩類。

1）根據(jù)開發(fā)計劃，產(chǎn)品的功能采用迭代開發(fā)方式，分段實現(xiàn)，測試也相應(yīng)的需要分輪次完成；

2）測試執(zhí)行過程中發(fā)現(xiàn)了被測對象的缺陷（NCR），導(dǎo)致了代碼實現(xiàn)、設(shè)計、甚至是需求的修改變更，當(dāng)修改完成后需要再次提交測試。

由于測試執(zhí)行的這個特點，本子過程可能導(dǎo)致一系列文檔的更新，包括以下內(nèi)容。

1）輪次增加導(dǎo)致測試計劃的變更；

2）測試結(jié)果導(dǎo)致的設(shè)計甚至需求文檔的變更；

3）案例執(zhí)行過程中發(fā)現(xiàn)案例的錯誤導(dǎo)致的測試規(guī)范的變更；

4）測試執(zhí)行中發(fā)現(xiàn)測試環(huán)境存在的問題導(dǎo)致的測試環(huán)境規(guī)范的變更。

圖4是單輪測試執(zhí)行子過程的簡要描述。執(zhí)行測試之前應(yīng)當(dāng)先對被測對象相關(guān)資料進行檢查，包括案例、腳本、數(shù)據(jù)、環(huán)境、文檔的準(zhǔn)備情況、所交付過來的被測對象、上一輪測試的遺留項等，并對本輪測試的范圍、時間等進行計劃，然后開始正式執(zhí)行測試。測試結(jié)果，報告當(dāng)前的狀態(tài)，例如一輪測試后的該輪測試報告；

2）測試迭代報告：當(dāng)項目采用迭代開發(fā)時，每次迭代都需要一個測試報告，測試報告更新的次數(shù)應(yīng)與迭代次數(shù)相同，每次更新都加入新一次迭代的結(jié)果，最后一次迭代的測試報告，就是最終的測試報告；

3）最終測試報告：測試的最后階段完成的報告，包括對所有執(zhí)行的測試的結(jié)果及其統(tǒng)計分析，對產(chǎn)品質(zhì)量的評價以及對測試過程的評估等。

每個測試案例的結(jié)果應(yīng)真實記錄，如發(fā)現(xiàn)缺陷則須提交缺陷報告（NCR）。當(dāng)本輪測試完成之后，應(yīng)對測試結(jié)果進行評估，分析系統(tǒng)剩余的風(fēng)險，以確定測試是否達到了預(yù)期目標(biāo)從而可以終止，提交本輪測試報告（若測試目標(biāo)已經(jīng)達到，則提交最終測試報告，見3.2.4）。

3.2.4 測試報告子過程

《測試報告》的主要用途是提供項目測試的結(jié)果，通常分為3種。

1）階段測試報告：根據(jù)測試計劃、系統(tǒng)風(fēng)險和

如圖5所示，欲編寫《測試報告》，首先應(yīng)收集所有的測試記錄、各輪測試報告、NCR、測試所用的時間、人力、物力、執(zhí)行的案例數(shù)量等數(shù)據(jù)；然后分析測試過程中發(fā)現(xiàn)的全部NCR、系統(tǒng)剩余風(fēng)險，以確定是否達到了測試的目標(biāo)、可以終止測試；在此基礎(chǔ)上，撰寫《測試報告》。完整的報告應(yīng)包括如下方面。

1）測試的目的、范圍；

2）用到的測試環(huán)境、工具；

3 用到的方法、技術(shù)，及執(zhí)行中所遇到的任何問題；

4）結(jié)果的記錄，包括測試案例執(zhí)行結(jié)果的真實記錄以及執(zhí)行的案例數(shù)、剩余的案例數(shù)、發(fā)現(xiàn)的NCR數(shù)、測試環(huán)境的問題數(shù)等；

5）結(jié)果分析，包括對案例的統(tǒng)計及對需求的覆蓋分析、NCR的統(tǒng)計分析、遺留項分析以及對不可測需求的說明等；

6）測試結(jié)論，包括測試是否按計劃、規(guī)范完成，執(zhí)行是否充分，測試目標(biāo)是否完成等信息。

在測試結(jié)束后，宜對整個測試過程進行評估和總結(jié)，為后續(xù)項目積累經(jīng)驗。

4 總結(jié)

隨著產(chǎn)品功能的日益復(fù)雜，如何保證所研發(fā)的產(chǎn)品質(zhì)量成為一個嚴(yán)峻課題，系統(tǒng)測試作為確保所交付產(chǎn)品質(zhì)量的重要手段之一，其理論、技術(shù)、方法、流程等各方面的研究都受到日益顯著的重視。本文提出了一個適應(yīng)于IR IS要求的系統(tǒng)測試過程，并進行了詳細描述，為測試工程師的工作提供參考。

需要指出的是，系統(tǒng)測試過程是整個產(chǎn)品研發(fā)流程中的一個子流程，需要與開發(fā)、驗證、確認等其他子流程相互協(xié)調(diào)，不能孤立的分隔開來。

此外，本文提出的測試過程也并非只能用于產(chǎn)品研發(fā)的系統(tǒng)測試層級，其4個子過程的劃分方式對于其他層級的測試也同樣適用，測試計劃子過程中的總體測試計劃的存在也證明了這一點，實際操作中只需根據(jù)具體的測試層級進行適當(dāng)?shù)牟脺p或修正即可。