探索性軟件測試方法及其在嵌入式系統(tǒng)中的應用

摘 要： 探索性軟件測試發(fā)揮測試人員經(jīng)驗和創(chuàng)造性，強調(diào)軟件測試各階段的同時性，并利用測試學習被測系統(tǒng)，已形成應用體系并在工業(yè)界成功運用。將探索性測試技術(shù)應用于嵌入式系統(tǒng)軟件測試，是解決測試時間緊、任務(wù)重、軟件文檔不完備等現(xiàn)實問題的有吸引力的方法。然而，嵌入式系統(tǒng)測試要求嚴格的軟件測試管理流程和文檔，并需對測試執(zhí)行進行有效評價，這些要求在探索性測試中被弱化。調(diào)研和綜述探索性測試技術(shù)，分析探索性測試技術(shù)與嵌入式系統(tǒng)軟件測試體系的關(guān)聯(lián)和沖突，是將探索性測試在嵌入式軟件測試中的恰當運用的關(guān)鍵。以此為基礎(chǔ)，對探索性測試在嵌入式系統(tǒng)軟件測試中的應用模型提出了建議，并對應用中的問題和后續(xù)研究進行了討論和展望。

關(guān)鍵詞： 探索性軟件測試； 嵌入式系統(tǒng)軟件測試； 基于會話的測試管理； 敏捷測試

中圖分類號： TN911?34； TP311.5 文獻標識碼： A 文章編號： 1004?373X（2014）20?0074?06

Exploratory software testing approaches and their application in embedded systems

LIU Xi

（Nanjing Research Institute of Electronics Technology， Nanjing 210039， China）

Abstract： To apply the exploratory testing technology to the software testing of embedded systems is one of the promising ways to solve the problems including tight schedule， heavy tasks and incomplete software documentations. Rigorous testing management process and documentation are usually required for testing embedded systems， which is however weakened in exploratory testing. In order to guide proper application of exploratory testing in embedded system software testing， it is necessary to survey and review exploratory testing technology， analyze the correlation and conflict between exploratory testing technology and software testing system of embedded systems. Based on the survey， some suggestions are given on the application model in software testing of embedded systems. The problems andfollow?up study concerning the application are also discussed.

Keywords： exploratory software testing； embedded system software testing； session?based testing management； agile testing

0 引 言

軟件在嵌入式系統(tǒng)中的作用越來越大。軟件的質(zhì)量不僅直接影響任務(wù)的成敗，也關(guān)系著設(shè)備甚至人員的安全。隨著用戶對嵌入式系統(tǒng)軟件質(zhì)量要求的提升，軟件測試已成為嵌入式系統(tǒng)交付前必不可少的環(huán)節(jié)[1]。

經(jīng)典的測試方法要求依據(jù)軟件需求和設(shè)計文檔，遵循既定的測試流程，嚴格按照預先設(shè)計的“腳本”開展。因此經(jīng)典測試方法也稱為腳本測試（Script Testing）。隨著嵌入式軟件迭代的加速，給軟件測試留出時間逐漸減少。嵌入式系統(tǒng)軟件測試呈現(xiàn)出一些新特點，包括軟件需求變化快、軟件文檔缺乏、軟件測試周期短、測試時間不足等。

探索性測試（Exploratory Testing）具有在時間短和文檔不完善的情況下，充分發(fā)揮測試人員的經(jīng)驗和能力，快速、高質(zhì)量完成軟件測試等優(yōu)點。已形成了一套管理方法和應用模型[2?3]，并在微軟等多個企業(yè)開展了成功的實踐[3?5]。探索性測試方法關(guān)注于實用，對它的研究也多數(shù)集中在實際應用方法而不是理論研究上[3，6?8]。

探索性測試是解決嵌入式系統(tǒng)軟件測試需求變化快、軟件文檔缺乏、測試周期短等現(xiàn)實問題的可行手段之一。為了恰當運用，需要總結(jié)探索性測試的一般性應用方法體系，并探討其與嵌入式系統(tǒng)軟件測試體系的聯(lián)系和沖突。在此基礎(chǔ)上提出適用于嵌入式系統(tǒng)軟件測試的探索性測試應用模型。

1 探索性軟件測試的基本原理

探索性測試的概念形成較早，經(jīng)過隨后的發(fā)展已形成了一定的應用體系。

1.1 探索性軟件測試的概念

傳統(tǒng)的軟件測試分為測試需求分析、測試策劃、測試用例設(shè)計、測試執(zhí)行和測試總結(jié)等主要階段，依次開展[1]。傳統(tǒng)軟件測試流程依賴于完整、詳實的軟件需求和設(shè)計文檔作為輸入。而在現(xiàn)實的測試任務(wù)中，軟件需求和設(shè)計文檔往往有誤或不完備，這導致腳本測試活動無法正常有效開展。

“探索性測試是同時進行學習、測試設(shè)計和測試執(zhí)行的一種測試方法；也就是說，測試沒有事先通過確定的測試計劃定義，而是動態(tài)地被設(shè)計、執(zhí)行和修改”[9]。探索性測試（也稱為探索式測試）最早于1983年提出，并在實踐中發(fā)展 [10?11]。與傳統(tǒng)腳本測試相比，探索性測試具有以下技術(shù)特點：

（1） 測試活動的同時性。鼓勵在測試執(zhí)行的過程中，同時進行對被測軟件的學習和測試設(shè)計。

（2） 關(guān)注測試任務(wù)。更關(guān)注于被測軟件本身和需要測試的問題。

（3） 測試中的演繹推理。通過前一個測試活動的結(jié)果來指導后期測試的開展。

（4） 利用人的優(yōu)勢。關(guān)注于人本身的優(yōu)勢，如判斷、分析、應變和協(xié)作的能力。

作為一種敏捷軟件測試方法，探索性測試弱化了對測試的預先設(shè)計和測試流程的嚴格要求，而強調(diào)測試的同時性以及人的經(jīng)驗和創(chuàng)造性，關(guān)注于發(fā)現(xiàn)軟件缺陷，持續(xù)優(yōu)化測試工作[12?13]。測試人員在測試?理解?再細化測試的迭代中，通過測試活動本身不斷深入學習被測軟件，從而能夠縮減測試準備時間，發(fā)現(xiàn)更多缺陷，并使得軟件測試可以在被測軟件說明或文檔不齊全的情況下開展[14]。

1.2 探索性軟件測試的主要方法

探索性測試的概念提出后，經(jīng)過工業(yè)界和學術(shù)界人士的工作，已初步形成包含經(jīng)驗運用、執(zhí)行策略、管理模型的體系。

1.2.1 探索方法

探索性測試強調(diào)對測試人員的知識和經(jīng)驗的運用。這些經(jīng)驗和知識可分為領(lǐng)域知識、系統(tǒng)知識和一般的軟件工程知識[15]。領(lǐng)域知識指領(lǐng)域規(guī)則、客戶流程和操作場景等，包括用戶使用和具體應用領(lǐng)域知識。系統(tǒng)知識是關(guān)于待測軟件的特性和技術(shù)細節(jié)的具體知識，包括系統(tǒng)級的交互以及個體功能細節(jié)。一般的軟件工程知識即不需要對被測軟件系統(tǒng)和應用領(lǐng)域的具體知識。

豐富的知識和經(jīng)驗是對探索性測試人員的基本要求，以此為基礎(chǔ)，探索性測試的發(fā)揮人的創(chuàng)造性，并由此增強了測試過程的適用性。從工程應用的實踐中，已總結(jié)出了一些有用的啟發(fā)式方法。運用這些策略和啟發(fā)式方法，可以幫助軟件測試人員在具備了基本的知識和經(jīng)驗的情況下，盡快熟悉被測系統(tǒng)，并在測試過程中充分運用經(jīng)驗和創(chuàng)造性。

在開展具體的測試活動時，測試人員則可以借助一些啟發(fā)式方法在測試活動中“探索”被測軟件。這些啟發(fā)式的方法是測試中為了發(fā)現(xiàn)可能的缺陷，測試人員常用的一些技巧 [16]。這其中典型的有Hendrickson的檢查單[17]以及Whittaker的漫游方法[3]。這些方法的共同特性是提醒測試人員：

（1） 應關(guān)注軟件最主要的功能，并在測試的過程中對軟件的行為進行聯(lián)想、質(zhì)疑并發(fā)散，充分利用逆向輸入、邊界情況、近似值、錯誤輸入和特殊值（如0），通過軟件行為的原因、表現(xiàn)等舉一反三；

（2） 應刻意構(gòu)造一些特殊的行為，如嘗試遍歷所有輸出、嘗試最長操作路徑、嘗試關(guān)注關(guān)鍵數(shù)據(jù)的演化、打散或集中事物、長時間運行軟件等；

（3） 應構(gòu)造測試檢查軟件主要功能往往不關(guān)注的情景，例如啟動和退出、全選、空值、資源過量和緊張、取消操作、重復、同時運行等。

傳統(tǒng)方法假設(shè)軟件文檔中說明了軟件的各種預期行為，因而可以通過分析文檔來提取測試預期（Test Oracles）。然而，在軟件信息不完備的情況下，測試預期則無法提前預知。HICCUPPS的啟發(fā)式方法，從歷史（History）信息、顧客形象（Image）在軟件中的恰當映射、類似軟件的對照（Comparable Products）、與軟件和商業(yè)聲明（Claims）、用戶預期（Users Expectations）、同類產(chǎn)品本身（the Product itself）、明顯的意圖（Purpose）和法律規(guī)章（Statutes）等角度，幫助測試人員在判定測試是否通過[14]。

1.2.2 管理模型

良好的測試管理模型是保證測試質(zhì)量、提高測試效率的必要保障?；跁挼臏y試管理（SBTM）是探索性測試領(lǐng)域中最常用的管理實踐。SBTM將軟件測試活動分解為若干會話（Session）[2]。會話特征如下：

會話圍繞主旨（Charter）開展：即待測試的任務(wù)和目標；會話時間較短：時間長度在90 min左右；會話需要記錄：借助會話記錄單；每輪會話需要計劃和總結(jié)：一輪會話執(zhí)行通常是一天，其中包含若干個會話測試。

基于會話的測試過程如圖1所示。當接到測試任務(wù)時，測試小組通過對測試任務(wù)進行分析討論，確定各會話的主旨。會話主旨包含被測軟件的主題、測試人員的角色、目的、條件、優(yōu)先級、參考文檔、數(shù)據(jù)、思路、預期等信息[18]。測試項目負責人分配各會話測試人員，隨后開展首輪會話執(zhí)行。一輪會話執(zhí)行通常為一天。每輪會話執(zhí)行結(jié)束后，需組織會話總結(jié)，主要借助以下維度進行：會話執(zhí)行情況、筆記、缺陷、問題、數(shù)據(jù)、時間分解、人員安排等。通過總結(jié)確定下一輪會話、資源分配。下一輪會話執(zhí)行按照相似的方式開展。在測試達到預期時間和充分度要求后，測試結(jié)束，并根據(jù)每輪會話報告單整理測試報告。

圖1 基于會話的測試管理示意圖

會話還可以根據(jù)需要進行擴展，例如可以包含對會話的風險評估和資源統(tǒng)計[4]，也可以將會話延伸為對特定問題的關(guān)注，形成測試的線索[19]。

1.3 探索性測試工具

探索性測試的有效開展同時依賴于工具的輔助。已有一些探索性測試的工具可供參考，例如Microsoft Test Manager（與Visual Studio組件），BBTestAssistant、TestExplorer，Session Tester，Rapid Reporter，Wink。這些工具通過基于錄制回放、截屏和輔助文字信息的方式幫助測試人員記錄探索性測試的執(zhí)行過程，其中Session Tester、Rapid Reporter和Wink是免費的，Session Tester和Rapid Reporter則專門針對會話機制進行了設(shè)計和優(yōu)化。

雖然這些基于錄制回放原理的工具能夠輔助測試人員整理測試報告，但是卻缺少對測試人員運用其知識和經(jīng)驗的指導，對探索性測試的執(zhí)行也缺少引導作用。目前沒有專門的探索性測試流程管理工具，不能起到控制測試流程的作用。有必要針對具體應用研發(fā)相應的輔助工具。

2 探索性測試的應用及其效果

經(jīng)過發(fā)展，探索性測試已在多個企業(yè)運用。人們對探索性測試方法的優(yōu)缺點也有了更加明確的認識。

2.1 探索性測試在工業(yè)界的應用

微軟是較早實踐探索性測試方法的軟件企業(yè)。微軟在Windows 2000系統(tǒng)徽標認證、必應搜索引擎和地圖、Visual Studio、Windows Media Player等系統(tǒng)、網(wǎng)絡(luò)和桌面應用中廣泛使用了探索性測試的技巧和方法，尤其是漫游探索法[3，7，20?21]。在其他公司，探索性測試也成功的運用于互聯(lián)網(wǎng)應用行業(yè)以及信息系統(tǒng)的軟件測試中。這些測試任務(wù)往往在軟件文檔不全、測試時間緊、企業(yè)對采用傳統(tǒng)的腳本測試流程不滿意的背景下開展，通過運用基于會話的方法，測試團隊都能夠高效的完成測試任務(wù)，甚至發(fā)現(xiàn)了采用傳統(tǒng)方法在類似項目中遺漏的缺陷，在系統(tǒng)上線后也沒有發(fā)生重大問題，軟件項目組對測試團隊的滿意度有提升[22?24]。

雖然可能沒有直接說明采用探索性測試，開源軟件的測試往往具有探索性測試的特點。這些測試往往在沒有詳細的軟件文檔和測試用例設(shè)計的基礎(chǔ)上，利用志愿測試人員的經(jīng)驗和興趣開展 [25]。在敏捷軟件研發(fā)團隊中，探索性測試的方法也多有運用[26]。成功案例包括與XP和Scrum敏捷軟件開發(fā)的結(jié)合[5，27]。

除了在工業(yè)界的運用，也有學者對敏捷軟件測試的應用進行了系統(tǒng)的研究和討論。Itkonen等人在芬蘭多個軟件公司中研究了測試人員對探索性測試的使用方法、效果和評價[28]，對探索性測試的優(yōu)缺點、應用條件合場景以及推薦的方法進行了總結(jié)[29]；通過研究和實驗，發(fā)現(xiàn)了探索性測試在缺陷檢測能力上能達到甚至超過傳統(tǒng)腳本測試的水平[6]。Naseer，史亮和高翔也總結(jié)了探索性軟件測試在瑞典軟件公司、國內(nèi)的微軟和淘寶等企業(yè)運用的經(jīng)驗，對探索性測試的活動進行了總結(jié)[8，10]。Bach等人還成立了公司專門從事測試方面的研究和推廣。另外，也有一些研究將探索性測試思想與測試自動化方法結(jié)合[30]，或利用探索性測試的思想提高測試效率和質(zhì)量的工作[5]。

從目前的應用情況來看，探索性測試技術(shù)多數(shù)是在桌面應用、B/S架構(gòu)信息系統(tǒng)等領(lǐng)域的應用，在嵌入式系統(tǒng)軟件測試中的應用較少。

2.2 探索性測試的優(yōu)缺點

經(jīng)過實踐，總結(jié)上述對探索性測試的應用，能夠發(fā)現(xiàn)，探索性測試尤其適用于要求在短時間內(nèi)發(fā)現(xiàn)被測軟件一些重要缺陷或事先沒有能夠進行詳細測試設(shè)計的情況；但也具有測試過程不易控制、測試文檔不全等問題。因此，在具體領(lǐng)域中運用探索性測試技術(shù)時，有必要根據(jù)領(lǐng)域特性，設(shè)計適合的測試流程，揚長避短。

一般認為探索性測試的主要優(yōu)點和缺點如下：

優(yōu)點：便于利用人員經(jīng)驗；適合于從用戶角度的測試；適用于缺少軟件文檔、測試時間緊情況；靈活且適應性強；對測試人員和開發(fā)人員的反饋較快；能夠為測試帶來新內(nèi)容，降低“殺蟲劑”效應。

缺點：缺少足夠的文檔，不易度量覆蓋率；測試統(tǒng)計數(shù)據(jù)不足，不利于決策；對測試人員經(jīng)驗要求較高；在測試人員經(jīng)驗不足、管理不嚴格的情況下，可能會影響測試質(zhì)量；如缺少恰當工具，則不利于缺陷復現(xiàn)。

3 探索性測試在嵌入式系統(tǒng)中的應用

探索性測試技術(shù)卻是能夠應對嵌入式系統(tǒng)軟件測試中軟件需求變化快、測試周期短、軟件文檔不全等現(xiàn)實問題的可行方法之一。本文首先分析探索性測試在嵌入式軟件測試中應用的需求和困難，然后探討探索性測試技術(shù)與嵌入式系統(tǒng)軟件測試體系的結(jié)合方法，對應用模型提出建議，并對應用中可能的問題和后續(xù)研究進行討論和展望。

3.1 探索性測試一般性方法的適用性

隨著IT技術(shù)的發(fā)展和各國在國防、智能電網(wǎng)、物聯(lián)網(wǎng)、智能手機等行業(yè)投入的加大，嵌入式軟件產(chǎn)品越來越多，測試任務(wù)越來越重，往往難以保證充裕的測試時間。軟件需求和開發(fā)文檔存在不準確、不完備的情況。而同時，嵌入式軟件的測試具有較強的領(lǐng)域特性，領(lǐng)域內(nèi)測試人員對被測系統(tǒng)的經(jīng)驗比較豐富。因此，需要也有條件在嵌入式系統(tǒng)軟件中開展探索性測試，以降低對軟件需求和設(shè)計規(guī)約的依賴、發(fā)揮探索性測試對軟件變化的適應性和充分利用測試人員經(jīng)驗的優(yōu)勢。

然而，探索性測試技術(shù)在嵌入式領(lǐng)域中的應用卻較少。探索性測試的通用方法沒有直接用于嵌入式系統(tǒng)軟件測試的原因主要是 [1，31?33]：

（1） 軟件測試文檔：探索性測試不鼓勵測試花費精力在策劃和準備上，而測試執(zhí)行記錄風格隨意性較大，不利于形成統(tǒng)一、完備的測試文檔；這與按照國標和軍標中對完整的軟件測試文檔的要求沖突。

（2） 軟件測試充分性度量：不易度量測試覆蓋率，不易評價測試質(zhì)量。

（3） 軟件測試過程控制：缺少對配置和測試流程的系統(tǒng)性管理，可能造成測試過程失控。

3.2 探索性測試應用模型探討

為了解決嵌入式系統(tǒng)測試中軟件需求變化快、測試周期短、軟件文檔不完備等現(xiàn)實問題，有必借鑒探索性測試技術(shù)在信息系統(tǒng)、網(wǎng)絡(luò)應用、操作系統(tǒng)等方面的成功經(jīng)驗，將其融入嵌入式系統(tǒng)軟件測試體系中來[24，34]。為了與相應的軟件測評體系和標準匹配，必須對探索性測試通用方法進行調(diào)整，設(shè)計探索性測試在嵌入式系統(tǒng)軟件測試的應用模型。

一種可參考的“腳本會話模型”如圖2所示，是以探索性測試一般性理論、探索性測試各特性在各型產(chǎn)品軟件的適用性研究為基礎(chǔ)，將探索性測試與傳統(tǒng)腳本測試相結(jié)合的軟件測試模型。為充分利用兩者的優(yōu)勢，腳本會話模型的整體仍以傳統(tǒng)腳本方法為基礎(chǔ)，從而利用腳本測試管理中測試文檔完備和過程管理控制完善等優(yōu)點，而在測試執(zhí)行過程中充分發(fā)揮探索性測試的靈活、高效優(yōu)點，引入會話、漫游測試法等探索性測試等方法，同時借助嵌入式系統(tǒng)軟件測試典型數(shù)據(jù)復用庫來實現(xiàn)對測試人員經(jīng)驗的固化和復用。

圖2 嵌入式系統(tǒng)軟件腳本會話測試模型

如圖3所示，腳本會話模型整體流程遵循經(jīng)典的腳本測試流程，但發(fā)揮了探索性測試對經(jīng)驗的利用和靈活性的特點。

圖3 腳本會話測試模型流程框架

包含以下步驟：

（1） 測試策劃和設(shè)計階段；借助領(lǐng)域軟件測試典型數(shù)據(jù)復用庫（測試人員經(jīng)驗的固化體現(xiàn)）形成測試項、構(gòu)造測試用例，降低對軟件需求和設(shè)計文檔的依賴，初步完成測試需求的提取和測試用例的設(shè)計。

（2） 測試執(zhí)行階段：測試執(zhí)行以基于會話的方式開展，并對一般會話進行擴展。根據(jù)測試設(shè)計和計劃，確定每個會話的主旨、用例和測試方法。在每一次會話中，測試人員可以結(jié)對開展測試執(zhí)行，根據(jù)預先指定的漫游策略和啟發(fā)式方法，針對一個測試項進行探索，并補充測試用例。測試人員在會話結(jié)束后整理會話記錄單。根據(jù)本輪會話執(zhí)行情況，記錄缺陷、改善測試設(shè)計，并準備下一輪會話。如此迭代直到測試結(jié)束條件滿足，測試執(zhí)行結(jié)束[35]。

（3） 測試總結(jié)階段：借助測試執(zhí)行中各個會話報告單，總結(jié)和報告缺陷。

3.3 討論和展望

探索性測試在互聯(lián)網(wǎng)和桌面應用已經(jīng)成功實踐[34]，而在嵌入式領(lǐng)域應用仍然較少。在嵌入式系統(tǒng)軟件測試中運用諸如腳本會話模型的探索性測試技術(shù)時，應注意以下三點問題：

（1） 測試過程管理和文檔。必須重視探索性測試的過程管理以保證測試過程受控。同時在適當?shù)碾A段應編寫相應文檔作為測試階段性成果，并在測試執(zhí)行完成后更新相應文檔。

（2） 結(jié)合具體領(lǐng)域。具體領(lǐng)域的軟件測試典型數(shù)據(jù)復用庫可以看作是對該領(lǐng)域軟件測試人員測試經(jīng)驗的固化，是軟件測試團隊的組織資產(chǎn)，有助于團隊新成員快速熟悉被測系統(tǒng)，提高探索性測試的效率。

（3） 針對測試團隊和項目制定具體策略。制定探索性測試中的典型方法的應用策略，并注意收集反饋，在實踐中持續(xù)改進。

探索性測試作為一種在互聯(lián)網(wǎng)、操作系統(tǒng)等領(lǐng)域成功運用多年的測試技術(shù)和理念，可以與其他軟件測試技術(shù)結(jié)合，共同推進嵌入式軟件測試質(zhì)量的提升?？赡艿慕Y(jié)合方向包括（但不限于）：

（1） 基于模型的測試和驗證。借助軟件模型可發(fā)現(xiàn)隱藏在軟件界面和正常使用流程下的交互，其中可能隱藏了大量的缺陷；借助模型檢驗工具提供的反例[36]，測試人員還可以對軟件進行更加深入的探索；

（2） 測試自動化。嵌入式系統(tǒng)軟件需要處理傳感器送來的大量數(shù)據(jù)，采用自動化方法能夠有效減少測試人員的工作量；結(jié)合探索性測試的技術(shù)，也能夠為測試用例約簡和測試預期問題提供解決途徑[34，37?39]；

基于剖面的測試：構(gòu)造嵌入式系統(tǒng)的操作剖面和用戶剖面，輔助測試人員能有選擇性地對系統(tǒng)進行探索[40??41]。

4 結(jié) 語

探索性測試技術(shù)經(jīng)過研究和發(fā)展，已形成了一套可行的體系。探索性測試在嵌入式系統(tǒng)軟件測試中的應用還較少。經(jīng)過對探索性測試體系的全面研究，能夠更好的理解這種方法在嵌入式系統(tǒng)軟件測試中的適用性，并為融合探索性測試與傳統(tǒng)嵌入式軟件測試方法，形成適用于嵌入式系統(tǒng)軟件測試的探索性測試應用模型提供思路和方向。

參考文獻

[1] 康一梅，張永革，李志軍，等.嵌入式軟件測試[M].北京：機械工業(yè)出版社，2008.

[2] BACH J. Session?based test management [J]. Software Testing and Quality Engineering， 2000， 2（6）： 1?4.

[3] WHITTAKER J A.探索式軟件測試[M].北京：清華大學出版社，2010.

[4] LYNDSAY J， VAN EEDEN N. Adventures in session?based testing [EB/OL]. [2002?08?02]. http：//www.stickyminds.com/articl.

[5] TUOMIKOSKI J， TERVONEN I. Absorbing software testing into the scrum method [J]. Lecture Notes in Business Information Processing， 2009， 32： 199?215.

[6] ITKONEN J， MANTYLA M V， LASSENIUS C. Defect detection efficiency： Test case based vs. exploratory testing [C]// Proceedings of International Symposium on Empirical Software Engineering and Measurement （ESEM）. [S.l.]： [s.n.]， 2007： 61?70.

[7] BACH J. General functionality and stability test procedure for certified for Microsoft Windows logo [R/OL]. [1999?08?22]. http：//www.satisfice.com/tools/procedure.pdf.

[8] NASEER A， ZULFIQAR M. Investigating exploratory testing in industrial practice [D]. Ronneby： Blekinge Institute of Technology， 2010.

[9] BOURQUE P， FAIRLEY R E. Guide to the software engineering body of knowledge， version 3.0 [R/OL]. [2013?03?13].. http：//www. doc88.com/p?1714.

[10] KANER C， FALK J， NGUYEN H Q. Testing computer software， second edition [M]. New York： John Wiley & Sons， Inc.， 1999.

[11] KANER C， BACH J， PETTICHORD B. Lessons learned in software testing[M]. New York： John Wiley & Sons， Inc.， 2002.

[12] FOWLER M， HIGHSMITH J. The agile manifesto [J]. Software Development， 2001， 9（8）： 28?32.

[13] COCKBURN A. Agile software development [M]. [S.l.]： Addison?Wesley， 2002.

[14] BOLTON M. Testing without a map [J/OL]. [2011?07?18]. http：//www. blog.itpub.net/1137978.

[15] ITKONEN J， MANTYLA M V， LASSENIUS C. The role of the tester's knowledge in exploratory software testing [J]. IEEE Transactions on Software Engineering， 2013， 39（5）： 707?724.

[16] KANER C. A Tutorial in exploratory testing [R]. Chicago： QAI QUEST Conference， 2008.

[17] HENDRICKSON E. Explore It?。?Reduce risk and increase confidence with exploratory testing [M]. [S.l.]： The Pragmatic Programmers， 2013.

[18] CLAESSON A. How to perform exploratory testing by using test charters [R]. Swedish： Swedish Association for Software Testing （SAST）， 2007.

[19] BACH J. Introducing thread?based test management [R/OL]. [2010?11?26]. http：//www.satisfice.com/blog/archives/503.

[20] ROBINSON H. Explorer test automation [C]// Proceedings of the Conference for the Advancement of Science Teaching （CAST）. [S.l.]： [s.n.]， 2010： 11?21.

[21] ROBINSON H. Using simple automation to test complex software [C]// Proceedings of Annual Pacific NW Software Quality Conference. [S.l.]： PNSQC， 2010： 123?132.

[22] V?GA J， AMLAND S. Managing high?speed web testing [C]// Software Quality and Software Testing in Internet Times. [S.l.]： Springer?Verlag， 2002： 23?30.

[23] WOOD B， JAMES D. Applying session?based testing to medical software [J]. Medical Device & Diagnostic Industry， 2003， 25（5）： 90?96.

[24] 柳溪，馬康，劉智.融合探索性與腳本方法的第三方軟件測試模型及其應用[J].信息化研究，2013，39（6）：43?48.

[25] ABERDOUR M. Achieving quality in open source software [J]. IEEE Software， 2007， 24（1）： 58?64.

[26] KASURINEN J， TAIPALE O， SMOLANDER K. Test case selection and prioritization： risk?based or design?based？ [C]// Proceedings of the International Symposium on Empirical Software Engineering and Measurement. [S.l.]： [s.n.]， 2010： 234?242.

[27] MARTIN D， ROOKSBY J， ROUNCEFIELD M， et al. Good' organisational reasons for 'bad' software testing： an ethnographic study of testing in a small software company [C]// Proceedings of International Conference on Software Engineering. [S.l.]： ICSE）， 2007： 602?611.

[28] ITKONEN J， RAUTIAINEN K. Exploratory testing： a multiple case study [C]// Proceedings of International Symposium on Empirical Software Engineering. [S.l.]： [s.n.]， 2005： 1?8.

[29] ITKONEN J， MANTYLA M V， LASSENIUS C. How do testers do it？ An exploratory study on manual testing practices [C]// Proceedings of the International Symposium on Empirical Software Engineering and Measurement. [S.l.]： ESEM， 2009： 494?497.

[30] HELLMANN T D， MAURER F. Rule?based exploratory testing of graphical user interfaces [C]// Proceedings of Agile Conference. [S.l.]： AGILE， 2011： 107?116.

[31] 中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局.GB/T 25000.51?2010軟件工程 軟件產(chǎn)品質(zhì)量要求與評價（SQuaRE）SQuaRE指南[S].北京：中國標準出版社，2010.

[32] 中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局.GB/T 8567?2006計算機軟件文檔編制規(guī)范[S].北京：中國標準出版社， 2006.

[33] 中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局.GB/T 9386?2008 計算機軟件測試文檔編制規(guī)范[S].北京：中國標準出版社，2006.

[34] 史亮，高翔.探索式測試實踐之路[M].北京：電子工業(yè)出版社，2012.

[35] KANER C， BACH J. Exploratory testing in pairs [R/OL]. [2001?08?22]. http：//www.testingeducation.org/a/pairs.pdf.

[36] CLARKE E M， GRUMBERG O， PELED D A. Model checking [M]. [S.l.]： The MIT Press， 2000.

[37] DUSTIN E， RASHKA J， PAUL J. Automated software testing [M]. [S.l.]： Addison?Wesley Professional， 1999.

[38] FEWSTER M， GRAHAM D. Software test automation [M]. [S.l.]： Addison?Wesley Professional， 1999.

[39] KANER C. Architectures of test automation [R/OL]. [2000?09?28]. http：//www.kaner.com/pdfs/testarch.pdf.

[40] BUWALDA H. Soap opera testing [J/OL]. [2011?04?11]. http：//www.wenku.baidu.com/link？u...

[41] 陸民燕.軟件可靠性工程[M].北京：國防工業(yè)出版社，2011.

[42] MUSA J D. Software reliability engineering [M]. [S.l.]： Author House， 2004.

[28] ITKONEN J， RAUTIAINEN K. Exploratory testing： a multiple case study [C]// Proceedings of International Symposium on Empirical Software Engineering. [S.l.]： [s.n.]， 2005： 1?8.

[29] ITKONEN J， MANTYLA M V， LASSENIUS C. How do testers do it？ An exploratory study on manual testing practices [C]// Proceedings of the International Symposium on Empirical Software Engineering and Measurement. [S.l.]： ESEM， 2009： 494?497.

[30] HELLMANN T D， MAURER F. Rule?based exploratory testing of graphical user interfaces [C]// Proceedings of Agile Conference. [S.l.]： AGILE， 2011： 107?116.

[31] 中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局.GB/T 25000.51?2010軟件工程 軟件產(chǎn)品質(zhì)量要求與評價（SQuaRE）SQuaRE指南[S].北京：中國標準出版社，2010.

[32] 中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局.GB/T 8567?2006計算機軟件文檔編制規(guī)范[S].北京：中國標準出版社， 2006.

[33] 中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局.GB/T 9386?2008 計算機軟件測試文檔編制規(guī)范[S].北京：中國標準出版社，2006.

[34] 史亮，高翔.探索式測試實踐之路[M].北京：電子工業(yè)出版社，2012.

[35] KANER C， BACH J. Exploratory testing in pairs [R/OL]. [2001?08?22]. http：//www.testingeducation.org/a/pairs.pdf.

[36] CLARKE E M， GRUMBERG O， PELED D A. Model checking [M]. [S.l.]： The MIT Press， 2000.

[37] DUSTIN E， RASHKA J， PAUL J. Automated software testing [M]. [S.l.]： Addison?Wesley Professional， 1999.

[38] FEWSTER M， GRAHAM D. Software test automation [M]. [S.l.]： Addison?Wesley Professional， 1999.

[39] KANER C. Architectures of test automation [R/OL]. [2000?09?28]. http：//www.kaner.com/pdfs/testarch.pdf.

[40] BUWALDA H. Soap opera testing [J/OL]. [2011?04?11]. http：//www.wenku.baidu.com/link？u...

[41] 陸民燕.軟件可靠性工程[M].北京：國防工業(yè)出版社，2011.

[42] MUSA J D. Software reliability engineering [M]. [S.l.]： Author House， 2004.

[28] ITKONEN J， RAUTIAINEN K. Exploratory testing： a multiple case study [C]// Proceedings of International Symposium on Empirical Software Engineering. [S.l.]： [s.n.]， 2005： 1?8.

[29] ITKONEN J， MANTYLA M V， LASSENIUS C. How do testers do it？ An exploratory study on manual testing practices [C]// Proceedings of the International Symposium on Empirical Software Engineering and Measurement. [S.l.]： ESEM， 2009： 494?497.

[30] HELLMANN T D， MAURER F. Rule?based exploratory testing of graphical user interfaces [C]// Proceedings of Agile Conference. [S.l.]： AGILE， 2011： 107?116.

[31] 中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局.GB/T 25000.51?2010軟件工程 軟件產(chǎn)品質(zhì)量要求與評價（SQuaRE）SQuaRE指南[S].北京：中國標準出版社，2010.

[32] 中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局.GB/T 8567?2006計算機軟件文檔編制規(guī)范[S].北京：中國標準出版社， 2006.

[33] 中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局.GB/T 9386?2008 計算機軟件測試文檔編制規(guī)范[S].北京：中國標準出版社，2006.

[34] 史亮，高翔.探索式測試實踐之路[M].北京：電子工業(yè)出版社，2012.

[35] KANER C， BACH J. Exploratory testing in pairs [R/OL]. [2001?08?22]. http：//www.testingeducation.org/a/pairs.pdf.

[36] CLARKE E M， GRUMBERG O， PELED D A. Model checking [M]. [S.l.]： The MIT Press， 2000.

[37] DUSTIN E， RASHKA J， PAUL J. Automated software testing [M]. [S.l.]： Addison?Wesley Professional， 1999.

[38] FEWSTER M， GRAHAM D. Software test automation [M]. [S.l.]： Addison?Wesley Professional， 1999.

[39] KANER C. Architectures of test automation [R/OL]. [2000?09?28]. http：//www.kaner.com/pdfs/testarch.pdf.

[40] BUWALDA H. Soap opera testing [J/OL]. [2011?04?11]. http：//www.wenku.baidu.com/link？u...

[41] 陸民燕.軟件可靠性工程[M].北京：國防工業(yè)出版社，2011.

[42] MUSA J D. Software reliability engineering [M]. [S.l.]： Author House， 2004.