軟件測試與提升產品質量的思考

馮濟舟　劉洪喜

（1中國電子科技集團公司第三十八研究所；2空裝駐安徽地區軍代表室，安徽合肥，230088）

隨著軟件規模和復雜程度的不斷提高，軟件測試技術也在不斷發展，軟件在各個領域的應用比重不斷加大的情況下，對于保障軟件質量的軟件測試也提出了更高的要求。目前，國內的軟件測評能力建設經歷了CMMI（能力成熟度模型集成）體系認證、國家實驗室 （CNAS）認證和國防科技工業實驗室認可 （DILAC）。測評實驗室已發展成為具有規范過程管理、具備一定測試能力及測試資質的軟件質量保障機構。如何發揮軟件測評的優勢，將軟件測評與產品的軟件研發過程緊密結合起來，提升產品質量，筆者就這方面的內容談談看法。

1　軟件測試與產品質量保障

軟件系統的組成結構如圖1所示。語句是系統組成的最基本單元，多個語句集成完成特定目標的函數，多個函數集成完成指定功能的部件，多個部件集成完成具有獨立配置管理一組功能的軟件配置項，而多個軟件配置項組成功能完整的系統。代碼審查、靜態分析的檢測可以消除編碼不規范、變量未定義即使用、內存泄漏、數組越界、未初始化等可能造成系統運行不穩定的缺陷；單元測試、集成測試可以消除所設計的軟件不滿足設計需求的缺陷；人工代碼走查可以消除軟件設計的邏輯缺陷；軟件配置項測試可以消除軟件不滿足軟件配置項需求的缺陷；系統測試可以消除軟件不滿足系統/子系統需求的缺陷。

因此，在軟件系統的不同階段，代碼審查和靜態分析保障了軟件最基本單元語句級別編寫的正確性和一致性；單元測試保障了由多條語句組成的軟件函數級別編寫的正確性和一致性；集成測試保障了由多個函數組成的軟件部件級別編寫的正確性和一致性；軟件配置項測試保障了由多個部件組成的軟件配置項級別編寫的正確性和一致性；軟件系統測試保障了所有軟件配置項組成的軟件系統編寫的正確性和一致性。以此自底向上逐層驗收、確認，從而確保了整個系統的質量。

以軟件開發過程為對象，建立軟件測試對軟件開發過程各階段工作的質量保障。其過程及對應關系如圖2所示。

圖1　軟件系統組成結構模型圖

圖2　U型軟件測試過程模型圖

圖1從軟件產品構成的角度，通過建立軟件系統的構成樹，來闡述軟件測試對于保障軟件系統構成樹中各節點驗證與確認的手段與方法，以說明軟件測試對于構成軟件系統各個組成要素的保障。圖2從軟件開發過程的角度，通過建立與軟件開發各過程活動對應的各軟件測試活動模型，闡述軟件測試對于軟件開發過程各活動的驗證與確認，以說明軟件測試對于軟件開發過程各活動的質量保障。其中軟件開發過程由系統/子系統需求分析為開始，以編碼實現為終止。而編碼活動的結束即完成了對圖1軟件系統的構建，代碼審查和靜態分析對圖2中編碼結果即圖1中語句級別與編碼規范的一致性進行驗證；單元測試按照圖2中詳細設計結果即詳細設計文檔，驗證圖1中函數與詳細設計文檔的一致性；集成測試按照圖2中概要設計結果即概要設計文檔，驗證圖1中部件與概要設計文檔的一致性；軟件配置項測試按照圖2中軟件配置項需求結果即軟件需求規格說明，驗證圖1中軟件配置項與軟件需求規格說明文檔的一致性；系統測試按照圖2中系統/子系統需求結果即系統子系統規格說明，驗證圖1中系統與系統/子系統規格說明文檔的一致性。

2　軟件測試過程中的薄弱環節

然而經過這么細致的驗證與確認，軟件在交付使用后仍然會暴露出很多問題，有的甚至可以導致軟件崩潰。根據實踐經驗，軟件測試過程中仍然存在著以下幾個薄弱環節。

a）軟件測試工作不到位。由于缺乏有效的手段對軟件測試工作進行監控與評價，導致軟件測試工作有時只是走走過場，很難著實有效地開展工作。

b）軟件開發文檔編寫不到位。軟件開發文檔由需求到設計層層遞進，并可以上下追溯。而現在編寫的軟件開發文檔，都是人工填寫的追溯信息，缺少必然的邏輯關系，勢必會造成軟件設計或者需求的冗余、缺失甚至不合理。

c）編碼質量分析的不到位。編碼質量的分析直接影響到軟件系統的可靠性和穩定性，然而這些問題的暴露無法通過任何一種動態測試方法捕獲。比如就內存泄漏來說，會造成系統運行很長一段時間后崩潰，但這又無法定位到任何動態問題上來。

d）軟件一致性檢查不到位。對于軟件一致性檢查，即文檔與編碼實現的一致性，只是比對文檔中提到的內容，在軟件中是否實現了。但是沒有對所有代碼都查明是否有確切的文檔出處和要求，造成測試事項的遺漏，導致測試未覆蓋代碼的不可控。

e）測試方法不到位。軟件測試按照標準的要求 （如能力成熟度模型集成體系認證、國家實驗室認證和國防科技工業實驗室認可關于測試管理和測試能力）只是站在用戶角度對軟件代碼與文檔的一致性檢查，缺乏站在開發人員角度對系統的正確性、穩定性、可靠性和效果給予必要的驗證與確認。

3　發揮軟件測試對提升產品質量的作用

標準只是對測評工作的基本要求，然而以標準為基礎又可以賦予我們豐富的想像空間，除了做到以上標準 （CMMI體系認證、CNAS和DILAC關于測試管理和測試能力）提出的基本要求之外，軟件測試還需加強以下9個方面工作。

a）加強軟件各測試驗收階段的評審工作，以確保測試工作的有效性。

b）加強軟件文檔審查分析能力。采用逆向工程的方法，將下一層次文檔的功能描述進行整合，觀察是否可以還原上一層次文檔的需求，從而可以判斷出功能分解中是否有冗余的、缺少的或者不合理的，以提高軟件的設計質量。

c）熟悉靜態分析、代碼審查工具的特性，熟練掌握測試工具的使用方法。從而可以在有限的時間內更好、更多、更準確地發現軟件代碼的規范問題，排除動態測試無法發現的可能給系統帶來不穩定因素的軟件隱患。

d）加強軟件源代碼與軟件設計文檔的一致性檢查。杜絕設計的功能未實現，實現的功能未設計，達到文實一致，每段代碼的實現都有證據可依。可以增強軟件開發的規范性，也減少軟件蔓延或鍍金給系統帶來的不穩定因素。

e）打破常規的測試思想。不僅要按需求逐條進行驗證，也要根據經驗采用猜錯的方法驗證軟件是否實現了需求沒有要求的功能，往往這些額外的功能輕則影響系統的處理性能和帶寬，重則可能導致系統的崩潰。

f）注重軟件故障樹的建立。軟件問題往往具有蝴蝶效應，一個小小語句的失誤就有可能造成重大的損失。建立軟件故障樹，通過展示小缺陷可能導致的重大危害，可以提高人們對細小問題的認識，對軟件問題的及時排除具有極大意義。

g）注重仿真數據及實裝數據的積累。通過使用積累的仿真數據和實裝數據，不僅可以模擬特殊環境下驗證軟件的處理能力，而且有助于通過這些已知的數據來判斷軟件處理結果的正確性，提升在專業領域測試的權威性。

h）建立具有專業領域測試特征的軟件配置項測試工具和系統測試工具。對于目前行業的動態測試工具來說，由于其考慮了不同領域行業使用的兼容性，導致測試具體領域軟件項目的不便，不僅配置復雜，而且具有具體行業測試特征所亟需的功能并未提供。針對此種現象可以結合企業軟件測試的特點，自己編寫測試工具用于實現軟件自動化測試執行、文檔生成、測試數據生成，提高測試的執行效率和有效性。

i）加強對軟件算法時間復雜度和空間復雜度評價。計算軟件算法的時間復雜度和空間復雜度，不僅有助于了解軟件算法實現的正誤，更可以優化軟件算法，提升算法執行效率，從而大大提升系統的穩定性和可靠性。