自動(dòng)化測(cè)試執(zhí)行管理工具的研究與設(shè)計(jì)

摘要：主要設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)自動(dòng)化測(cè)試執(zhí)行管理工具，并詳細(xì)闡述了其總體框架、模塊設(shè)計(jì)和關(guān)鍵技術(shù)的實(shí)現(xiàn)。該工具提供串行、并行、重復(fù)和分布式等多種測(cè)試執(zhí)行順序，可實(shí)時(shí)遠(yuǎn)程監(jiān)控測(cè)試執(zhí)行過(guò)程，并可提供詳細(xì)的測(cè)試報(bào)告和多樣的數(shù)據(jù)分析方法。

關(guān)鍵詞：測(cè)試執(zhí)行管理；測(cè)試監(jiān)控；測(cè)試執(zhí)行順序

中圖分類(lèi)號(hào)：TP311．56文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001－3695(2008)01－0126－03

軟件測(cè)試是保障和提高軟件質(zhì)量的重要手段。軟件的開(kāi)發(fā)者和使用者必須對(duì)軟件進(jìn)行充分的測(cè)試，以確保它的正常工作。統(tǒng)計(jì)表明，在典型的軟件開(kāi)發(fā)項(xiàng)目中，軟件測(cè)試工作量往往占軟件開(kāi)發(fā)總工作量的40%以上[1]。

為了提高測(cè)試效率，越來(lái)越多的測(cè)試工作引入了自動(dòng)化測(cè)試的思想和方法。其中一種自動(dòng)化測(cè)試的方法就是由測(cè)試人員根據(jù)功能需求或者接口功能編寫(xiě)自動(dòng)測(cè)試腳本，通過(guò)測(cè)試腳本的執(zhí)行測(cè)試相關(guān)產(chǎn)品。但是手工編寫(xiě)測(cè)試腳本來(lái)完成整個(gè)測(cè)試過(guò)程費(fèi)時(shí)費(fèi)力，存在很多問(wèn)題:a)測(cè)試執(zhí)行環(huán)境的配置復(fù)雜，容易出錯(cuò)；b)不能對(duì)測(cè)試腳本進(jìn)行有效的管理，測(cè)試執(zhí)行非常不方便；c)測(cè)試結(jié)果分析工作量大，難以分析。

這樣實(shí)現(xiàn)的測(cè)試，代價(jià)比較昂貴，測(cè)試質(zhì)量也并不理想。自動(dòng)化測(cè)試執(zhí)行管理工具可以使測(cè)試人員脫離于繁瑣的測(cè)試配置及管理過(guò)程，而集中精力于測(cè)試用例的設(shè)計(jì)上，從而極大地提高測(cè)試工作的效率。

1自動(dòng)化測(cè)試執(zhí)行管理工具的研究

1．1自動(dòng)化測(cè)試執(zhí)行管理工具的簡(jiǎn)介

測(cè)試執(zhí)行管理工具可使測(cè)試自動(dòng)進(jìn)行，將測(cè)試輸出結(jié)果與期望輸出進(jìn)行比較，同時(shí)監(jiān)控和管理測(cè)試執(zhí)行過(guò)程。此類(lèi)工具可在任何測(cè)試階段中執(zhí)行測(cè)試，包括單元、集成、系統(tǒng)或驗(yàn)收測(cè)試等。目前使用的測(cè)試工具中較為流行的一種捕獲回放工具，它屬于測(cè)試執(zhí)行和比較工具[2]，但不支持對(duì)整個(gè)測(cè)試進(jìn)行有效的監(jiān)控和管理，所以暫不列為測(cè)試執(zhí)行管理工具的范疇。

當(dāng)前國(guó)內(nèi)外針對(duì)測(cè)試執(zhí)行管理工具的分類(lèi)并不十分明確，擁有類(lèi)似測(cè)試執(zhí)行管理工具功能的工具，一部分屬于測(cè)試過(guò)程管理工具；一部分屬于功能測(cè)試工具；還有一部分屬于測(cè)試框架的范疇。在國(guó)外的商業(yè)軟件方面，雖然并沒(méi)有單獨(dú)的測(cè)試執(zhí)行管理工具，但大部分測(cè)試管理工具和功能測(cè)試工具中均提供了類(lèi)似測(cè)試執(zhí)行管理工具的功能。例如，IBM研發(fā)的Rational測(cè)試套件中的測(cè)試管理工具Rational test manager，手工功能測(cè)試工具Rational manual testing，Mercury公司研發(fā)的測(cè)試套件中的 WinRunner test director等。在開(kāi)源軟件方面，目前存在類(lèi)似功能的大部分是軟件測(cè)試自動(dòng)執(zhí)行框架。其中功能比較成熟的框架有software testing automation framework(STAF)、Dejagnu、test environment toolkit(TET)等。目前，國(guó)內(nèi)在該領(lǐng)域中有北京航空航天大學(xué)軟件工程研究所研制的QESuit等軟件測(cè)試過(guò)程管理工具，但總體上還屬于探索和交流階段。

1．2自動(dòng)化測(cè)試執(zhí)行管理工具的功能特點(diǎn)

經(jīng)過(guò)對(duì)國(guó)內(nèi)外相關(guān)領(lǐng)域研究工作的研究和總結(jié)，筆者認(rèn)為一個(gè)成熟良好的自動(dòng)化測(cè)試執(zhí)行管理工具，應(yīng)該具備以下幾個(gè)方面的功能特點(diǎn)：

a）開(kāi)放式的體系結(jié)構(gòu)。提供開(kāi)放的系統(tǒng)框架，能夠支持模塊和接口的開(kāi)發(fā)與管理，支持其他測(cè)試工具的集成，從而具有廣泛的適用性。

b）測(cè)試用例管理。能夠提供測(cè)試用例的編輯、修改和編譯功能，能夠有效、系統(tǒng)地管理測(cè)試用例。

c）多樣化執(zhí)行測(cè)試用例。能夠提供串行、并行、遠(yuǎn)程、分布式等多種測(cè)試執(zhí)行方式，滿(mǎn)足各種測(cè)試項(xiàng)目的需求。d）系統(tǒng)監(jiān)控。提供實(shí)時(shí)監(jiān)控功能，能夠在測(cè)試執(zhí)行過(guò)程中監(jiān)控測(cè)試用例的執(zhí)行情況，保證測(cè)試結(jié)果的最有效性，并能在發(fā)生錯(cuò)誤時(shí)，向測(cè)試人員提供有效的查找錯(cuò)誤的方法。

e）數(shù)據(jù)分析。提供詳盡的測(cè)試結(jié)果的記錄和日志功能，多樣的數(shù)據(jù)分析工具、手段和方法，能夠進(jìn)行多種數(shù)據(jù)格式的轉(zhuǎn)換并生成所需要的測(cè)試報(bào)告。

2自動(dòng)化測(cè)試執(zhí)行管理工具的系統(tǒng)架構(gòu)設(shè)計(jì)

根據(jù)以上對(duì)自動(dòng)化測(cè)試執(zhí)行管理工具的功能特點(diǎn)分析，本文設(shè)計(jì)了一個(gè)自動(dòng)化測(cè)試執(zhí)行管理工具的整體系統(tǒng)架構(gòu)，如圖1所示。

該自動(dòng)化測(cè)試管理工具由兩層結(jié)構(gòu)組成，即控制臺(tái)和測(cè)試執(zhí)行器。控制臺(tái)負(fù)責(zé)測(cè)試腳本的編輯修改和定制測(cè)試任務(wù)，并把測(cè)試任務(wù)信息發(fā)送給測(cè)試執(zhí)行器，同時(shí)監(jiān)控測(cè)試執(zhí)行的狀態(tài)信息，收集測(cè)試結(jié)果，并對(duì)整個(gè)測(cè)試的流程和通信進(jìn)行統(tǒng)一管理；測(cè)試執(zhí)行器接收控制臺(tái)傳送過(guò)來(lái)的測(cè)試信息，根據(jù)測(cè)試信息選擇相應(yīng)的測(cè)試順序，按照要求的測(cè)試順序調(diào)度和執(zhí)行測(cè)試任務(wù)進(jìn)行測(cè)試，收集測(cè)試結(jié)果信息，測(cè)試結(jié)束后把最終測(cè)試結(jié)果回送給控制臺(tái)。

3自動(dòng)化測(cè)試執(zhí)行管理工具的設(shè)計(jì)與實(shí)現(xiàn)

控制臺(tái)由腳本管理模塊、測(cè)試執(zhí)行定制模塊、控制模塊、開(kāi)放式體系結(jié)構(gòu)管理模塊、測(cè)試執(zhí)行過(guò)程監(jiān)控模塊、測(cè)試結(jié)果分析模塊和通信管理模塊組成；測(cè)試執(zhí)行器由通信模塊、執(zhí)行模塊和數(shù)據(jù)收集模塊組成，如圖2所示。

3．1控制臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

控制臺(tái)是整個(gè)測(cè)試執(zhí)行管理工具的中心控制臺(tái)，由它來(lái)控制管理整個(gè)測(cè)試執(zhí)行過(guò)程。它主要由以下幾個(gè)工具組成：

a)腳本管理工具。該工具是自動(dòng)化測(cè)試的基礎(chǔ)，主要提供支持多種測(cè)試腳本語(yǔ)言的編輯、修改和測(cè)試用例的有效管理兩個(gè)功能。

b)控制工具。該工具主要控制測(cè)試執(zhí)行時(shí)間，即測(cè)試人員可通過(guò)控制工具指定測(cè)試開(kāi)始執(zhí)行的時(shí)間、測(cè)試必須結(jié)束的時(shí)間等。測(cè)試執(zhí)行器可以根據(jù)控制工具指定的開(kāi)始執(zhí)行的時(shí)間，定時(shí)開(kāi)始執(zhí)行測(cè)試，也可以根據(jù)測(cè)試必須結(jié)束的時(shí)間，在到達(dá)測(cè)試結(jié)束的時(shí)間中止測(cè)試。

c)監(jiān)測(cè)工具。該工具應(yīng)當(dāng)監(jiān)測(cè)整個(gè)系統(tǒng)的執(zhí)行狀況，主要監(jiān)控參與執(zhí)行測(cè)試的各個(gè)執(zhí)行機(jī)的信息和測(cè)試對(duì)象的各種信息，主要包括腳本運(yùn)行狀態(tài)和測(cè)試執(zhí)行器的處理狀態(tài)信息。

d)測(cè)試執(zhí)行定制工具。該工具根據(jù)用戶(hù)定制的執(zhí)行順序執(zhí)行相關(guān)測(cè)試用例。它可以定制多種測(cè)試執(zhí)行順序，主要包括串行、并行、重復(fù)和分布式等四種方式，并提供一個(gè)畫(huà)圖工具，使用戶(hù)可以形式化地定制測(cè)試執(zhí)行順序。

下面分別給出四種方式下三個(gè)測(cè)試用例通過(guò)畫(huà)圖工具畫(huà)出的測(cè)試執(zhí)行過(guò)程。

串行方式下，測(cè)試用例在單機(jī)上逐個(gè)順序執(zhí)行，如圖3所示。并行方式下，測(cè)試用例在單機(jī)上并行執(zhí)行，如圖4所示。重復(fù)方式下，測(cè)試用例可以在單機(jī)上多次重復(fù)執(zhí)行（也可以用作壓力測(cè)試），如圖5所示。

分布式方式下，測(cè)試用例分別在兩臺(tái)或多臺(tái)機(jī)器上執(zhí)行，每個(gè)測(cè)試用例執(zhí)行完成后，均需要定時(shí)協(xié)同交互一次，如圖6所示。

此處僅列舉了四種測(cè)試執(zhí)行方式單獨(dú)使用的情況，測(cè)試人員可在測(cè)試執(zhí)行時(shí)根據(jù)情況交叉使用這四種測(cè)試執(zhí)行方式。

e）結(jié)果分析工具。該工具主要用于分析測(cè)試執(zhí)行結(jié)束后的測(cè)試結(jié)果數(shù)據(jù)。一般的測(cè)試執(zhí)行工具為了盡可能地使測(cè)試人員了解測(cè)試執(zhí)行的過(guò)程以便在測(cè)試執(zhí)行發(fā)生錯(cuò)誤或意外時(shí)尋找原因，能在測(cè)試結(jié)果數(shù)據(jù)中提供非常詳細(xì)的測(cè)試信息和日志信息。測(cè)試人員在分析測(cè)試結(jié)果數(shù)據(jù)時(shí)，分析量特別大，出錯(cuò)信息的位置非常難以辨別。而結(jié)果分析工具則可以幫助測(cè)試人員列出所有出錯(cuò)信息及在測(cè)試結(jié)果數(shù)據(jù)中的位置，還可以針對(duì)多次歷史測(cè)試結(jié)果進(jìn)行比較。

整個(gè)控制臺(tái)主要采用eclipse插件開(kāi)發(fā)技術(shù)、eclipse graphi cal modeling framework(GMF)技術(shù)等實(shí)現(xiàn)。它作為整個(gè)測(cè)試執(zhí)行過(guò)程的控制臺(tái)，實(shí)現(xiàn)為eclipse的一個(gè)插件，可以快捷地利用eclipse本身的界面元素構(gòu)建出控制臺(tái)的界面框架，并且可以使用eclipse提供的許多服務(wù)（如SWT、Jface、Workspace等）。而eclipse平臺(tái)的插件式體系結(jié)構(gòu)，使這些工具很容易的集成到一起，形成一個(gè)有機(jī)的整體。

3．2測(cè)試執(zhí)行器的設(shè)計(jì)與實(shí)現(xiàn)

3．2．1測(cè)試執(zhí)行器的模塊設(shè)計(jì)

測(cè)試執(zhí)行器由通信模塊、執(zhí)行模塊和數(shù)據(jù)收集模塊組成。它主要完成測(cè)試用例的分發(fā)、執(zhí)行和結(jié)果收集等功能。在非分布式（串行、并行、重復(fù)）測(cè)試中，通信模塊主要完成從控制臺(tái)獲得測(cè)試指令，并在測(cè)試執(zhí)行完成后，將測(cè)試結(jié)果回送到控制臺(tái)。數(shù)據(jù)收集模塊則主要完成收集測(cè)試執(zhí)行過(guò)程中的各種日志信息和測(cè)試結(jié)果。執(zhí)行模塊完成測(cè)試用例的測(cè)試執(zhí)行過(guò)程，它通過(guò)通信模塊獲得測(cè)試指令，在執(zhí)行過(guò)程中，不斷向數(shù)據(jù)收集模塊傳送日志和測(cè)試結(jié)果。

在分布式測(cè)試中，模塊的基本功能與非分布式測(cè)試類(lèi)似。但不同的是，這三個(gè)模塊并不全在每臺(tái)參與測(cè)試的機(jī)器上運(yùn)行。參與測(cè)試的機(jī)器上均存在通信模塊和測(cè)試執(zhí)行模塊，只有本地機(jī)器上才有數(shù)據(jù)收集模塊。參與測(cè)試的遠(yuǎn)程機(jī)器在測(cè)試執(zhí)行過(guò)程中都將相關(guān)測(cè)試信息和日志通過(guò)通信模塊傳送到本地機(jī)器上的數(shù)據(jù)收集模塊。

整個(gè)測(cè)試執(zhí)行器的處理過(guò)程大致如下：

a）通信模塊從控制臺(tái)獲得測(cè)試指令，測(cè)試執(zhí)行器獲得測(cè)試指令后，也向數(shù)據(jù)收集模塊發(fā)送指令，通知測(cè)試將要開(kāi)始執(zhí)行，并通知數(shù)據(jù)收集模塊創(chuàng)建日志文件。

b）執(zhí)行模塊鎖定將要被執(zhí)行的測(cè)試用例所在目錄。在分布式測(cè)試中，將在每一臺(tái)遠(yuǎn)程機(jī)器上創(chuàng)建一份相同的測(cè)試用例目錄。同時(shí)，向數(shù)據(jù)收集模塊發(fā)送日志信息，報(bào)告測(cè)試執(zhí)行的準(zhǔn)備工作就緒。

c）測(cè)試執(zhí)行模塊根據(jù)測(cè)試指令運(yùn)行測(cè)試用例。

d）測(cè)試執(zhí)行模塊將捕獲到的信息傳送到數(shù)據(jù)收集模塊。數(shù)據(jù)收集模塊將測(cè)試輸出與測(cè)試期望輸出進(jìn)行比較，生成測(cè)試結(jié)果。在分布式測(cè)試方式中，遠(yuǎn)程參與的每一臺(tái)機(jī)器都將自己的測(cè)試信息和日志傳送到本地機(jī)器上。

e）數(shù)據(jù)收集模塊將收集的相關(guān)信息保存。

f）測(cè)試執(zhí)行模塊去掉鎖定在目錄上的鎖，并將結(jié)束信息發(fā)送到數(shù)據(jù)收集模塊，通知本次測(cè)試結(jié)束。

3．2．2測(cè)試執(zhí)行模塊的體系結(jié)構(gòu)設(shè)計(jì)

測(cè)試執(zhí)行模塊是整個(gè)測(cè)試執(zhí)行器的核心。圖7是分布式測(cè)試情況下測(cè)試執(zhí)行模塊的體系結(jié)構(gòu)框架圖。主系統(tǒng)是參與運(yùn)行測(cè)試控制臺(tái)部件的系統(tǒng)，負(fù)責(zé)執(zhí)行本地測(cè)試任務(wù)并管理所有參與系統(tǒng)的測(cè)試工作，參與系統(tǒng)中有且只有一個(gè)主系統(tǒng)；從系統(tǒng)是參與系統(tǒng)中運(yùn)行遠(yuǎn)程測(cè)試的系統(tǒng)，只負(fù)責(zé)執(zhí)行本機(jī)上的測(cè)試任務(wù)，參與系統(tǒng)中可以有多臺(tái)從系統(tǒng)。

執(zhí)行控制腳本記載了所有的測(cè)試任務(wù)，描述了測(cè)試用例的執(zhí)行流程，它提供指令指示測(cè)試執(zhí)行器如何處理測(cè)試程序。測(cè)試主控器的功能是讀取測(cè)試執(zhí)行控制腳本，控制參與系統(tǒng)上的測(cè)試用例控制代理啟動(dòng)測(cè)試驅(qū)動(dòng)器。遠(yuǎn)程測(cè)試用例控制代理等待主系統(tǒng)啟動(dòng)，與測(cè)試主控器交互。測(cè)試用例控制代理啟動(dòng)測(cè)試驅(qū)動(dòng)器后，測(cè)試驅(qū)動(dòng)器接收測(cè)試主控器傳送的測(cè)試任務(wù)，驅(qū)動(dòng)執(zhí)行測(cè)試任務(wù)中的測(cè)試用例。外部編譯工具把測(cè)試程序編譯成可執(zhí)行文件。執(zhí)行結(jié)果文件記錄了最后的測(cè)試結(jié)果。同步代理負(fù)責(zé)同步分布式測(cè)試中在不同的機(jī)器上執(zhí)行的測(cè)試程序。結(jié)果收集代理收集分布在不同機(jī)器上的測(cè)試執(zhí)行結(jié)果，并在整理后寫(xiě)入執(zhí)行結(jié)果文件。

圖8是非分布式測(cè)試情況下測(cè)試執(zhí)行模塊的體系結(jié)構(gòu)框架圖。在非分布式測(cè)試中，測(cè)試主控器直接啟動(dòng)測(cè)試驅(qū)動(dòng)器，測(cè)試驅(qū)動(dòng)器接收測(cè)試主控器傳送的測(cè)試任務(wù)，驅(qū)動(dòng)執(zhí)行測(cè)試任務(wù)中的測(cè)試用例，并直接將測(cè)試執(zhí)行結(jié)果寫(xiě)入執(zhí)行結(jié)果文件。

4結(jié)束語(yǔ)

本文提出并設(shè)計(jì)實(shí)現(xiàn)了一個(gè)支持多種測(cè)試執(zhí)行方式的自動(dòng)化測(cè)試管理工具，它適用于包括分布式測(cè)試軟件在內(nèi)的各種軟件測(cè)試，利用它可以大大提高測(cè)試工作效率，減輕測(cè)試人員的負(fù)擔(dān)，對(duì)測(cè)試過(guò)程進(jìn)行有效的監(jiān)控和管理。目前該系統(tǒng)正在不斷完善中，同時(shí)需要研究提供測(cè)試用例的自動(dòng)生成等技術(shù)。

參考文獻(xiàn)：

［1］PATTON R.軟件測(cè)試[M].北京：機(jī)械工業(yè)出版社，2002.

[2]FEWSTER M，GRAHAM D.軟件測(cè)試自動(dòng)化技術(shù)與實(shí)例詳解[M].北京：電子工業(yè)出版社，2000.

[3]McGREGOR J D，SYKES D A.面向?qū)ο蟮能浖y(cè)試[M].北京：中信出版社，2002.

[4]BINDER R V.面向?qū)ο笙到y(tǒng)的測(cè)試[M].北京：人民郵電出版社，2001.

[5]毛法堯，蘭毓華，曹化工.Windows應(yīng)用程序的軟件測(cè)試驅(qū)動(dòng)程序設(shè)計(jì)[J].微型機(jī)與應(yīng)用，1999，18(4):18 19.

[6]易國(guó)洪，盧炎生，謝曉東，等.測(cè)試自動(dòng)機(jī)的測(cè)試驅(qū)動(dòng)器設(shè)計(jì)與實(shí)現(xiàn)技術(shù)[J].計(jì)算機(jī)工程，2004，30（23）:181 183.

[7]嚴(yán)少清，陳革，萬(wàn)年紅.軟件測(cè)試自動(dòng)化管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程，2002，28（9）:152 153.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文”