基于vManager的大規(guī)模IC驗(yàn)證自動(dòng)化解決方案

植 玉，梁其鋒，石義軍，賀志強(qiáng)

（深圳市中興微電子技術(shù)有限公司，廣東 深圳 518054）

0 引言

本文介紹了驗(yàn)證管理工具vManager，通過(guò)Python 調(diào)用vAPI 接口與企業(yè)級(jí)的產(chǎn)品需求管理系統(tǒng)Microsoft TFS 和用戶數(shù)據(jù)后臺(tái)對(duì)接，實(shí)現(xiàn)了從自動(dòng)創(chuàng)建驗(yàn)證需求框架（即vPlan），自動(dòng)執(zhí)行回歸驗(yàn)證，自動(dòng)提取驗(yàn)證結(jié)果反標(biāo)Microsoft TFS 中的需求狀態(tài)，自動(dòng)提取驗(yàn)證結(jié)果呈現(xiàn)到驗(yàn)證看板的自動(dòng)化驗(yàn)證管理全流程。

本方案旨在自動(dòng)化、規(guī)范化地實(shí)現(xiàn)從驗(yàn)證需求到vPlan的同步，驗(yàn)證回歸狀態(tài)和覆蓋率數(shù)據(jù)的實(shí)時(shí)匯總，實(shí)現(xiàn)驗(yàn)證的高效率與高透明度，需求跟蹤達(dá)到滴水不漏。該方案還采用了vManager 最新一代的High Available 模式，可實(shí)現(xiàn)跨地域的多團(tuán)隊(duì)合作與數(shù)據(jù)共享，并部署了多引擎驗(yàn)證工具的包括Xcelium、JasperGold 和Palladium的驗(yàn)證管理，實(shí)現(xiàn)多維度的驗(yàn)證數(shù)據(jù)匯總。

目前該方案已經(jīng)部署到真實(shí)的研發(fā)環(huán)境中，為vManager在國(guó)內(nèi)比較領(lǐng)先的應(yīng)用，為業(yè)內(nèi)提供“跨地域合作+多個(gè)仿真引擎”的大規(guī)模自動(dòng)化驗(yàn)證方案提供非常有價(jià)值的參考。

1 Cadence vManager工具簡(jiǎn)介

vManager 為業(yè)內(nèi)比較先進(jìn)的“服務(wù)器+客戶端”模式的團(tuán)隊(duì)合作驗(yàn)證回歸管理工具，可有效地實(shí)現(xiàn)驗(yàn)證計(jì)劃制定、驗(yàn)證回歸管理、驗(yàn)證結(jié)果分析等自動(dòng)化流程。vManager提供了友好的用戶界面GUI，其中的組件Planner center用于創(chuàng)建驗(yàn)證計(jì)劃即vPlan；Regression center 用于執(zhí)行回歸提交；Analysis center 用于分析回歸狀態(tài)和覆蓋率情況，并生成用戶自定義的報(bào)告；Tracking center 則用于為提取歷次回歸的數(shù)據(jù)，分析項(xiàng)目進(jìn)度趨勢(shì)，產(chǎn)生直方圖、曲線圖等直觀報(bào)表，并具有自動(dòng)發(fā)送郵件等功能。

這樣一個(gè)驗(yàn)證管理工具會(huì)產(chǎn)生大量的驗(yàn)證狀態(tài)數(shù)據(jù)，那必然有與企業(yè)級(jí)的其他管理工具的對(duì)接訴求，vManager所帶的API（vAPI）提供了這樣的接口，是工業(yè)標(biāo)準(zhǔn)級(jí)的API，易于和其他工具對(duì)接，vAPI 支持用戶可編程，采用基REST 協(xié)議，使用JSON（JavaScript Object Notation）格式承載數(shù)據(jù)，具有數(shù)據(jù)輕量級(jí)、可讀性強(qiáng)、編程容易的特點(diǎn)。

2 驗(yàn)證管理自動(dòng)化閉環(huán)訴求

我司使用Microsoft TFS 作為項(xiàng)目需求管理工具，Microsoft TFS 是微軟公司提供源代碼管理、數(shù)據(jù)收集報(bào)告和跟蹤的項(xiàng)目管理軟件。TFS 與vManager 有緊密的數(shù)據(jù)交互訴求，例如Microsoft TFS 里的產(chǎn)品需求如何無(wú)縫地轉(zhuǎn)換為vPlan 里的驗(yàn)證條目，而TFS 里的驗(yàn)證需求點(diǎn)如果產(chǎn)生變更，如何自動(dòng)地更新vPlan 里的條目進(jìn)行迭代，特別地，需要支持vPlan驗(yàn)證條目被刪除、取消、掛起和新建四種狀態(tài)。

另外，我司有自研的數(shù)據(jù)看板dashboard系統(tǒng)，里面需要反饋設(shè)計(jì)需求，驗(yàn)證需求，驗(yàn)證用例通過(guò)率，代碼覆蓋率和功能覆蓋率等狀態(tài)數(shù)據(jù)，看板的數(shù)據(jù)需要來(lái)源于運(yùn)行完成特定的回歸，按照驗(yàn)證需求點(diǎn)的百分比換算為“待驗(yàn)證”（0%）、“驗(yàn)證中”（1%～99%）、“驗(yàn)證通過(guò)”（100%）。

圖1 反映了這3 種系統(tǒng)的數(shù)據(jù)流：TFS系統(tǒng)產(chǎn)生需求，更新到看板系統(tǒng)里的研制規(guī)范，再更新至vManager 里的vPlan的驗(yàn)證條目。驗(yàn)證人員開發(fā)驗(yàn)證平臺(tái)后，創(chuàng)建testcase，啟動(dòng)驗(yàn)證并進(jìn)行迭代回歸，回歸的數(shù)據(jù)反標(biāo)至vPlan 得到需求是否被驗(yàn)證通過(guò)的狀態(tài)，最后反饋到TFS系統(tǒng)中，再同步至看板系統(tǒng)中。

圖1 系統(tǒng)交互框圖

3 解決方案

自動(dòng)化驗(yàn)證過(guò)程管理方案整體思路如圖2 所示。

圖2 驗(yàn)證自動(dòng)化解決方案整體框圖

TFS系統(tǒng)生成的需求由腳本整理成vManager 所支持的CSV 文件格式的驗(yàn)證需求框架，送給vManager，vManager通過(guò)vAPI 創(chuàng)建或更新vPlan，這樣就達(dá)到了TFS 向vPlan同步的目的。

當(dāng)驗(yàn)證人員用vManager 完成驗(yàn)證用例回歸時(shí)，用例通過(guò)情況和覆蓋率數(shù)據(jù)已經(jīng)生成，此時(shí)在通過(guò)后臺(tái)調(diào)用vAPI 讀取相應(yīng)的回歸，關(guān)聯(lián)相關(guān)的vPlan，獲得驗(yàn)證需求點(diǎn)被覆蓋的情況，此外數(shù)據(jù)客觀、透明、驗(yàn)證人員無(wú)感知。

該方案的細(xì)節(jié)實(shí)現(xiàn)可劃分為七部分：相關(guān)約定、TFS自動(dòng)生成vPlan 框架、驗(yàn)證需求分解、驗(yàn)證需求和驗(yàn)證結(jié)果關(guān)聯(lián)、TFS 狀態(tài)翻轉(zhuǎn)實(shí)現(xiàn)、驗(yàn)證看板內(nèi)容實(shí)現(xiàn)、驗(yàn)證結(jié)果日常提交操作。

3.1 相關(guān)約定

為了實(shí)現(xiàn)TFS、vManager、dashboard（驗(yàn)證看板）等系統(tǒng)之間的同步通信，特對(duì)驗(yàn)證的一些輸入輸出文件和目錄命名及存放路徑進(jìn)行統(tǒng)一約定，包括vPlan 和vsif（包含session 名稱定義）兩種文件命名約定。vsif、session、vPlan的統(tǒng)一命名為..。

另外，要對(duì)session自定義屬性進(jìn)行約定。根據(jù)項(xiàng)目要求周期性將調(diào)試好的用例填寫到相應(yīng)子系統(tǒng)/模塊的vsif 文件中，并在vManager 中l(wèi)aunch 該vsif 文件實(shí)現(xiàn)批量執(zhí)行仿真作業(yè)（每launch 一次將生成一個(gè)session），session結(jié)果（即仿真結(jié)果）將統(tǒng)一納入vManager系統(tǒng)管理，IT 后臺(tái)將通過(guò)vAPI 接口從vManager系統(tǒng)讀取仿真結(jié)果供TFS 和驗(yàn)證看板使用。前面vsif 文件命名的約定可以使自動(dòng)生成session 名包含項(xiàng)目、子系統(tǒng)、模塊等信息，但還缺少dut 類型、大版本、小版本（svn 版本）三類信息，故在vManager系統(tǒng)中相應(yīng)增加（由系統(tǒng)管理員執(zhí)行增加）屬性dut_type、dut_release_version 和dut_svn_version。launch vsif 文件時(shí)約定配置session的三個(gè)屬性。

3.2 TFS自動(dòng)生成vPlan 框架

項(xiàng)目各個(gè)系統(tǒng)、子系統(tǒng)和模塊所有vPlan 框架由IT系統(tǒng)自動(dòng)從TFS系統(tǒng)讀取相關(guān)信息通過(guò)腳本生成。目前，IT系統(tǒng)能自動(dòng)生成rtl 和pr 網(wǎng)表驗(yàn)證兩種vPlan 框架，基本策略見圖3。

圖3 自動(dòng)生成vPlan 框架示意圖

TFS的需求和vPlan 之間實(shí)現(xiàn)單向自動(dòng)同步：IT 腳本檢測(cè)到TFS 需求變更后，通過(guò)vManager的vAPI 對(duì)相應(yīng)的vPlan 內(nèi)容進(jìn)行迭代更新，特別地，遇到設(shè)計(jì)需求被刪除、已取消、已掛起和新建四種狀態(tài)，vPlan 對(duì)應(yīng)的節(jié)點(diǎn)及其子節(jié)點(diǎn)的屬性“Don’t show in Analysis”全部更新為“true”。

3.3 驗(yàn)證需求分解

前面已經(jīng)生成了vPlan 框架，其實(shí)相當(dāng)于大的驗(yàn)證需求點(diǎn)已經(jīng)創(chuàng)建完畢，接下來(lái)要驗(yàn)證人員對(duì)這些需求點(diǎn)進(jìn)行分析以及分解，同時(shí)填寫驗(yàn)證規(guī)程。首先要從wiki系統(tǒng)上以pdf 格式導(dǎo)出要驗(yàn)證系統(tǒng)、子系統(tǒng)或模塊的研制規(guī)范作為spec，接著在vManager 中打開對(duì)應(yīng)的vPlan，在vPlan 中導(dǎo)入spec。最后，進(jìn)行需求分解和規(guī)程編寫。

特別地，將所有用例（包括規(guī)劃但尚未設(shè)計(jì)的）統(tǒng)一描述在“Input Scenarios”節(jié)點(diǎn)下，一條用例建一個(gè)testcase類型的子節(jié)點(diǎn)。

3.4 驗(yàn)證需求和驗(yàn)證結(jié)果關(guān)聯(lián)

搭建好驗(yàn)證環(huán)境后，將仿真執(zhí)行腳本、用例名、每條用例執(zhí)行次數(shù)等信息填到vsif 文件中，然后launch vsif，會(huì)生成session，vPlan 導(dǎo)入session 后即可以映射環(huán)境中的SVA Checker，Cover Group，Test List 到vPlan的需求底下，見圖4。

圖4 驗(yàn)證需求和驗(yàn)證結(jié)果關(guān)聯(lián)映射圖

3.5 TFS 狀態(tài)翻轉(zhuǎn)實(shí)現(xiàn)

本環(huán)節(jié)由IT 后臺(tái)軟件自動(dòng)完成。軟件將項(xiàng)目各個(gè)系統(tǒng)、子系統(tǒng)和模塊所有vPlan 內(nèi)所有來(lái)自TFS的原始驗(yàn)證需求完成百分比提取，然后根據(jù)驗(yàn)證需求的“TFS ID”找到其對(duì)應(yīng)的TFS系統(tǒng)中的設(shè)計(jì)需求，將原始驗(yàn)證需求完成百分比換算為“待驗(yàn)證”（0%）、“驗(yàn)證中”（1%～99%）、“已驗(yàn)證”（100%）填到設(shè)計(jì)需求對(duì)應(yīng)的“RTL驗(yàn)證狀態(tài)”欄。

3.6 驗(yàn)證看板內(nèi)容實(shí)現(xiàn)

驗(yàn)證看板有設(shè)計(jì)需求、驗(yàn)證需求、驗(yàn)證用例、bug、代碼覆蓋率、功能覆蓋率共6 方面狀態(tài)展示。

所有設(shè)計(jì)需求都在TFS系統(tǒng)中，TFS系統(tǒng)中每條需求的驗(yàn)證狀態(tài)已經(jīng)實(shí)現(xiàn)自動(dòng)從vManager 提取數(shù)據(jù)分析實(shí)現(xiàn)翻轉(zhuǎn)。因此，設(shè)計(jì)需求的狀態(tài)展示直接從TFS系統(tǒng)匯總項(xiàng)目所有需求及其驗(yàn)證狀態(tài)，根據(jù)需求標(biāo)簽進(jìn)行按子系統(tǒng)/模塊分別展示。

驗(yàn)證需求狀態(tài)展示。軟件將項(xiàng)目所要展示的系統(tǒng)/子系統(tǒng)/模塊vPlan 內(nèi)所有驗(yàn)證需求完成百分比提取，然后驗(yàn)證需求完成百分比換算為“待驗(yàn)證”（0%）、“驗(yàn)證中”（1%～99%）、“驗(yàn)證通過(guò)”（100%），另外，若該vPlan 節(jié)點(diǎn)及其子底下所有節(jié)點(diǎn)關(guān)聯(lián)的任意一條testcase 任意一次run 為fail的則判斷該節(jié)點(diǎn)為“驗(yàn)證不通過(guò)”，依此4 種驗(yàn)證狀態(tài)分類統(tǒng)計(jì)，數(shù)據(jù)存放到看板數(shù)據(jù)庫(kù)。

驗(yàn)證用例狀態(tài)展示。軟件將項(xiàng)目所要展示的系統(tǒng)/子系統(tǒng)/模塊vPlan 內(nèi)所有用例的執(zhí)行狀態(tài)提取，數(shù)據(jù)存放到看板數(shù)據(jù)庫(kù)。所有EC 都在TFS系統(tǒng)中，由TFS系統(tǒng)導(dǎo)出所要展示的系統(tǒng)/子系統(tǒng)/模塊的EC，進(jìn)行狀態(tài)分類和等級(jí)分類統(tǒng)計(jì)即可。

驗(yàn)證bug 狀態(tài)展示。所有bug 都在TFS系統(tǒng)中，由TFS系統(tǒng)導(dǎo)出所要展示的系統(tǒng)/子系統(tǒng)/模塊的EC，進(jìn)行狀態(tài)分類和等級(jí)分類統(tǒng)計(jì)即可。

3.7 驗(yàn)證結(jié)果日常提交操作

要想將驗(yàn)證過(guò)程結(jié)果自動(dòng)呈現(xiàn)到TFS 和驗(yàn)證看板等IT系統(tǒng)上，務(wù)必通過(guò)前面約定的方式執(zhí)行驗(yàn)證任務(wù)，仿真作業(yè)需通過(guò)launch vsif 文件方式提交session。因此，建議如下：

（1）日常調(diào)試平臺(tái)和用例按傳統(tǒng)驗(yàn)證方式執(zhí)行即可；

（2）周期性地將調(diào)試好的平臺(tái)和用例（調(diào)好的用例寫進(jìn)vsif 文件）通過(guò)launch vsif 文件方式提交session 實(shí)現(xiàn)批量執(zhí)行，IT 后臺(tái)將自動(dòng)收集跑出來(lái)的結(jié)果反饋到TFS和驗(yàn)證看板等IT系統(tǒng)上，從而實(shí)現(xiàn)自動(dòng)化驗(yàn)證過(guò)程管理。

4 結(jié)論

該方案涉及的vAPI 編程已在Python3.7 下調(diào)試通過(guò)并穩(wěn)定運(yùn)行，已經(jīng)部署在實(shí)際開發(fā)環(huán)境中。從規(guī)模上，目前項(xiàng)目部署數(shù)量為15+，vManager Server 數(shù)量為10+。從性能上，vPlan的同步與更新基本達(dá)到實(shí)時(shí)，從vManager 提取數(shù)據(jù)到看板上，根據(jù)項(xiàng)目的規(guī)模一次提取時(shí)間從半小時(shí)到一個(gè)小時(shí)不等，基本滿足大規(guī)模IC 開發(fā)的驗(yàn)證自動(dòng)化需求。