一種大型軟件測試方法

周強峰 ，周強強

(1.廣東電網公司電力科學研究院，廣東 廣州 510080；2.廣東電網公司廣州供電局，廣東 廣州 510060)

大型軟件具有涉及子模塊繁多、建設過程復雜、功能全面、性能具有較高要求的特點。依據ISO/IEC 9126軟件產品評估標準[1]，需要對軟件的功能性、可靠性、可用性、效率、可維護性、可移植性等方面進行評估。因此，需要有一種方法能夠對大型軟件進行測試，保障其軟件質量。

本論文針對大型軟件功能模塊多、流程復雜、性能要求高的特點，總結了一種測試方法，該方法主要由功能測試和性能測試方法組成。功能測試方法由功能測試流程和功能測試用例設計方法組成，其中功能測試用例設計方法采用以等價類劃分方法為主，多種其他黑盒方法為輔助的方法。性能測試方法由性能測試流程、測試工具選擇、性能測試指標設計和性能調優方法組成。實踐表明，該測試方法具有良好的效果，能夠達到大型軟件進行功能和性能把關的目的。

1 大型軟件的功能測試

某大型軟件在企業統一的電網設備和客戶信息模型、基礎資料和拓撲關系的基礎上，基于GIS的標準化、一體化企業級信息平臺，應用于供電可靠性管理、客戶停電管理、線損四分管理、業擴報裝輔助決策及配網建設規劃等領域。具有涉及子模塊繁多、建設過程復雜、功能全面的特點，需對其進行功能測試。

1.1 功能測試流程

功能測試目的是測試產品是否達到了合同技術協議書規定的功能。其流程如圖1所示。

1.2 功能測試測試用例設計

業務測試用例由10項內容組成：(1)用例 ID，(2)用例名稱，(3)測試目的，(4)測試級別，(5)參考信息，(6)測試環境，(7)前提條件，(8)測試步驟，(9)預期結果，(10)設計人員。業務測試用例的方法有包括等價類劃分方法、邊界值分析方法、錯誤推測方法、因果圖方法、判定表驅動分析方法、正交實驗設計方法、功能圖分析方法和場景設計方法等，各種方法可以相互補充[2]。

圖1 功能測試流程

在本文中，對一個模塊依據邏輯功能不同將其細分，并分別設計測試用例，主要采用等價類劃分方法來設計測試用例[3-4]。同時采用邊界值分析方法、錯誤推測方法、因果圖方法等在測試過程中進行輔助，輔助測試人員可以用較少的用例發現盡可能多的錯誤和缺陷。對某大型軟件的所有模塊均采取這種測試用例設計方法，其中某功能模塊的功能細分列表如表1所示。

表1 某功能模塊的功能細分列表

某功能模塊的一個具體業務測試用例 (運行數據查詢)如表 2所示。

表2 一個具體的業務測試用例(運行數據查詢)

2 大型軟件的性能測試

2.1 性能測試流程

性能測試需要驗證產品是否達到了合同技術協議書規定的性能指標。通過自動化的測試工具模擬多種正常、峰值及異常負載條件來對系統的各項性能指標進行測試。

性能測試可以分為負載測試、壓力測試、配置測試、容量測試、基準測試和并發測試等[5]。本文主要通過負載測試，確定在各種工作負載下系統的性能，目標是測試當負載逐漸增加時，系統各項性能指標的變化情況。測試時監控系統的各項性能指標，以便為性能調優提供支持。性能測試流程圖如圖2所示。

圖2 性能測試流程圖

2.2 測試工具選擇

性能測試的工具種類很多，簡單劃分為以下幾種：負載壓力測試工具、資源監控工具、故障定位工具以及調優工具。QA Load、SilkPerformer、LoadRunner、WebRunner 都 是 主 流的負載性能測試工具。本文采用LoadRunner作為測試工具，它也可以作為監控工具直接從中間件、數據庫以及主機自身提供的性能數據采集接口獲取性能指標，在負載壓力測試的同時對業務系統所處的測試環境進行監控。

2.3 性能測試指標

性能指標包括應用性能、主機性能、網絡性能、多任務性能、可靠性、可用性、易用性、易學性、負載均衡等性能指標[6]。

本文的合同技術協議書主要考察系統的功能模塊在某測試點下的最大并發數和響應時間指標。測試時、對服務器的CPU使用率、CPU等待隊列、磁盤傳輸率(Mb/s)、內存頁交換率(頁/s)、網絡傳輸率(包/s)等指標進行監控，編制服務器資源占用情況表，格式如表3所示。

表3 服務器資源占用情況表

對大型軟件的所有模塊均考察測試點的最大并發數和響應時間指標，其中某子系統的性能測試表如表4所示。

表4 某子系統的性能測試表

2.4 性能調優

性能測試調優是為了改善系統某些方面的性能，而對系統軟件或硬件進行的修改，它與負載測試是性能測試的兩個核心內容，它們是多次交替進行的。

當性能測試發現問題后，通過檢查如下幾方面來收集系統的信息以便診斷系統：(1)應用環境 (如JDK版本)；(2)應用程序代碼；(3)數據庫配置參數；(4)操作系統配置參數；(5)硬件配置。如CPU的個數和主頻、磁盤的容量和速度及是否使用RAID，內存大小等；(6)網絡狀況。是否會有網絡負載過重的情況；(7)問題的影響是什么，比如影響響應速度或吞吐量等；(8)多少用戶遇到了問題，遇到問題的用戶與其他用戶的操作有什么不同；(9)系統資源監控的結果是否正常，如CPU和I/O是否正常；(10)問題是否集中在某一類模塊中；(11)是客戶端還是服務器出現問題；(12)實際負載是否超過了系統的負載能力；(13)是否未對系統進行優化。

收集完以上必要的信息后，即確定調優的具體目標，如：(1)提高系統吞吐量；(2)縮短響應時間；(3)更好地支持并發；(4)提高硬件配置(如 CPU、內存、硬盤、網絡等)。

調優完成后，再次進行負載測試，確定調優后的系統性能指標是否達到合同技術協議書的要求。若仍未達到，則需要再次進行調優，并讓開發方也改進程序。

實踐證明，這種功能測試與性能測試方法能夠有效地驗證多個廠商的產品是否達到了合同技術協議書規定的功能和性能指標。性能測試是控制系統性能的有效手段，在軟件的能力驗證、能力規劃、性能調優、缺陷修復等方面都發揮著重要作用。本文總結的功能測試與性能測試方法可以對多模塊、有具體性能要求的大型軟件進行測試，功能測試具有步驟明確、設計測試用例效率高和執行簡單的特點；性能測試具有步驟明確、監控全面和能夠進行調優的特點，是一種較好的測試方法。

[1]ISO/IEC 9126： Information technology-Software quality characteristics and metrics[S].1991.

[2]MYERS G J， SANDLER C， BADGETT T.The art of software testing， second edition[M].USA： John Wiley&Sons，2004.

[3]范明紅，浦云明，汪志華.等價類測試與劃分研究[J].計算機技術與發展，2009，19(7)：62-65.

[4]浦云明，陳黎震.基于劃分的等價類測試[J].計算機工程與設計，2009，30(19)：4429-4431.

[5]于涌.軟件性能測試與 LoadRunner實戰[M].北京：人民郵電出版社，2008.

[6]鄭人杰.計算機軟件測試技術.[M].北京：清華大學出版社，1990.