基于TMMi的軟件測試過程改進

濰柴動力股份有限公司 劉建飛 秦玉軍

本文介紹了引入TMMi 模型的原因及TMMi 成熟度級別，通過實施基于TMMi 的測試過程改進，構建了一套符合汽車行業特點的軟件測試流程，并在項目中實施應用，獲得了TMMi 3 級認證，實現了測試效率和軟件質量的提高。

近年來，隨著智能化、網聯化、電動化、共享化在汽車產業的不斷發展，汽車軟件的規模和復雜性急劇增加，軟件系統中潛在的風險越來越高，軟件缺陷引發的后果也越來越嚴重，而提高軟件質量的成本越來越高，測試費用約為總成本的30%～40%，為提高軟件測試效率以及軟件質量保證能力，測試團隊做了很多探索和嘗試。

（1）引入了CMMI，軟件質量管理取得了一定成效，但僅能提供基礎性的保障。CMMI 雖然提供了一整套研發管理規范，但關注的重點是軟件項目宏觀的過程管理、是否有階段性的交付成果等，而對于軟件質量控制的關鍵環節——軟件測試的關注嚴重不足，軟件質量難以得到有效提升[1]。

（2）經過調研TMMi（Test Maturity Model Integration）是當前國際最權威的測試組織成熟度認證體系，其根本理念就是讓軟件測試從一個無序的、缺乏資源的、缺乏工具的、過程不明確的測試組織過程，發展成為“以缺陷預防為主要目標”的成熟可控的過程[2]。測試團隊學習借鑒TMMi 的體系方法，與CMMI 研發管理流程充分融合，基于TMMi 的2 級、3 級過程域及目標構建了一套符合汽車行業特點的包含軟件、硬件和系統的測試流程。

1 TMMi 簡介

TMMi，全稱Test Maturity Model Integration，即“測試成熟度模型集成”，是由TMMi 基金會開發的一個非商業化的、獨立于組織的測試成熟度模型。它是測試過程改進的一個先進模型，可用作組織的測試過程改進指南和參考框架。

TMMi 以美國伊利諾伊理工學院開發的TMM 框架為主要來源，借鑒了CMM/CMMI、Gelperin 和Hetzel 的測試模型演進以及其他一些關鍵測試標準，如IEEE829.ISTQB 等[3]。

TMMi 中的測試是一種廣義的定義，它包含所有產品質量相關的活動。TMMi 屬于階段型改進模型，該階段型模型使用預先定義的一系列過程域來為組織定義改進途徑。模型組件所描述的改進途徑被稱為成熟度級別。一個成熟度級別是明確定義的為了實現組織過程改進演進的穩定階段。在TMMi 中有5 個級別，如表1所示，規定了成熟度級別和測試過程改進的路徑。

表1 TMMi 成熟度級別Tab.1 TMMi maturity level

除了TMMi 初始級，其他成熟度級別都包括了幾個過程域，其表明組織的測試過程改進應集中關注在哪里。每個過程域明確定義了組織要達到成熟度級別所必須要解決的問題，針對每個過程域定義了一系列測試活動，通過執行測試活動不斷改進改過程域的測試實踐。下面詳細介紹基于TMMi 的2 級、3 級過程域及目標進行的測試改進過程。

2 測試改進過程

TMMi 測試改進過程主要分為五個階段，如圖1所示。

圖1 TMMi 過程改進階段Fig.1 TMMi process improvement stage

第一個階段是啟動階段，組建過程改進團隊。

第二個階段是診斷階段，制定差距分析計劃，進行差距分析。

第三個階段是建立階段，制定過程改進計劃，進行過程建立和改進。

第四個階段是行動階段，進行過程改進試點及推廣。

第五個階段是學習階段，進行TMMi 評估認證及過程改進總結。

測試過程改進過程參考上述的五個階段進行開展，首先組建過程改進團隊，主管領導牽頭，以測試經理、測試人員為主，視情況協調其他相關部門的人員支持，如開發人員、架構師等，組建持續改進的團隊。下面詳述診斷階段，如何進行差距分析。

2.1 軟件測試過程差距分析

首先確定以TMMi 3 級為測試改進實施的目標，而TMMi 3 級涉及的過程域如表2所示，軟件測試改進過程主要是針對這10 個過程域進行開展。

表2 TMMi 3 級涉及的過程域Tab.2 Process areas involved in TMMi Level 3

其次借助文檔檢查和員工訪談等方式，結合行業相關標準及TMMi 模型要求，深入分析測試管理方面存在的問題和可優化環節。通過量化打分的方式展現目前各領域的現狀，輸出差距分析表，如圖2所示，發現6 項特殊目標、11 項通用目標未達標。

圖2 差距打分表Fig.2 Gap scoring table

最后根據差距分析結果，可以直觀了解TMMi 的滿足情況，以及離TMMi 目標要求的差距，從而明確改進的方向。進入測試改進過程的第三個階段，從測試流程、測試技術和測試人員能力提升方面制定測試改進實施計劃。

2.2 軟件測試管理與流程改進

首先根據業務發展需要，規劃測試團隊，測試團隊的組織架構示意圖如圖3所示，結合測試團隊規劃的崗位和勝任要求，量身制定相應的培訓計劃，確保各崗位人員達到崗位勝任力要求。

圖3 測試組織架構圖Fig.3 Test organization structure

其次根據測試管理需求以及測試管理方面存在的問題，設計測試管理流程架構，如圖4所示，構建符合實際需要的一套測試管理流程。

圖4 測試管理流程架構圖Fig.4 Test management process architecture

最后，在搭建測試管理流程過程中，累計完成TMMi的10 個過程域的36 個改進點。建立測試方針與策略、測試管理手冊、測試生命周期模型、測試項目管理、測試環境管理等8 項測試管理文件；建立軟件合格測試、硬件測試、系統測試、系統驗證、法規抽檢、同行評審等6 項具體過程規范文件；制定各類報告模板、評審依據、核查單等20 余項，形成公司寶貴的測試管理資產。

2.3 軟件測試環境與工具鏈改進

信息在工具中的孤立存在，對測試管理是一種低效且難以有效服務管理工作的狀態。建立和部署一體化管理信息系統，有助于促進組織內部將實踐、過程、運作進行形式化和標準化，提高組織管理成熟度。一個有效的工具鏈應能提高研發項目的成功率，幫助研發團隊提高效率，降低項目成本，并提高項目的及時交付率。全生命周期模型的管理工具應能夠融合方法論、TMMi 模型以及其他測試管理實踐。

引入看板作為項目任務管理工具，搭建WeKan 系統，進行測試任務的安排，讓項目協作權責分明、分工清晰，實現測試過程實時監控及測試過程度量數據的高效統計。

搭建測試環境管理平臺，HIL 預約系統，將部門內的測試環境錄入系統，測試人員在系統中可查看到當前滿足測試條件的空閑HIL 信息，先預約再使用，釋放后其他人可預約使用；平臺上可監控每臺HIL 的實際利用情況，通過白天手工測試及晚上自動化連跑的方式，對測試環境實現高效充分的利用。

建立測試資產管理平臺-Wiki（多人協作的寫作系統），將培訓材料、測試文檔、規范模板等分類上傳到系統，實現部門內知識共享和信息整合，提高資產的復用率。

3 項目應用及效果

將上述的基于TMMi 的測試改進流程應用到實際項目中，在項目的實施過程中，記錄發現的不符合項，并評價各個過程滿足TMMi 要求的程度如圖5所示。

圖5 差距打分表Fig.5 Gap scoring table

通過對發現的不符合項進行原因定位和解決，進行測試流程的持續優化和改善，逐步形成一套適合本測試團隊業務，符合行業標準要求的測試管理流程，最終獲得TMMi 的3 級認證。

在項目應用過程中，建立14 項測試流程規范，確保測試過程可控，測試方法一致，確保測試質量穩定，使得測試過程更加規范；經過培訓，測試人員專業能力得到提升；根據風險分析開展不同程度的測試，測試用例覆蓋率提高30%，自動化率提高46%，測試效率進一步提高；數字化決策平臺實時監控項目進展情況，實時度量缺陷嚴重度、缺陷狀態分布，質量監控可視化程度提高；細化測試過程流程圖，完善指導文件、模板20 余項，管理成本有效降低；建立組織級過程資產庫，建立復用資產390 余項，資產復用率進一步提高。

4 結語

通過項目的試用，基于TMMi 的測試過程改進可以幫助測試部門提高軟件測試效率，提升軟件質量保證能力。下一步，需要在部門內的所有項目中進行推廣落地，在實施過程中持續改進，優化流程，實現測試流程的動態持續改進，進一步提高軟件測試效率。