基于接口仿真的雷達軟件測試自動化技術研究與應用

劉 宇，劉 暢，吳 輝，柳 溪

(1. 中國電子科技集團公司第十四研究所，江蘇 南京 210039；2. 北京航空航天大學 可靠性與系統工程學院，北京 100191)

0 引 言

近年來，雷達產品更新換代日逐漸加快，在軟件定義裝備發展的大趨勢下，工業部門已開展多種軟件化雷達研究，軟件在雷達裝備中的比重日益增大，軟件質量對雷達裝備質量而言至關重要. 采用傳統的用戶界面動態測試手段難以實現充分的軟件測試，易造成缺陷遺漏. 由于接口原因直接或者間接導致軟件缺陷占整個雷達軟件系統缺陷的比重為20%到30%左右[1]，而其中邊界和異常數據是引起軟件運行故障的最重要原因之一[2].

從接口端對雷達軟件產品展開測試，模擬各種邊界/異常數據的收發測試場景，可以提升軟件測試的充分性，進而提升雷達軟件的可靠性[3]. 而在雷達軟件接口測試工作中，由于雷達軟件接口形式多樣、 結構復雜[4]，雷達軟件接口測試工作量增長迅速，急需研究雷達軟件接口測試的自動化方法，用以提升測試執行工作效率，從而更好地保障雷達軟件質量[5].

本文將接口仿真技術應用于雷達軟件測試，從而使雷達軟件擺脫硬件環境的約束，滿足各正常和異常場景的測試需求. 此外，在接口仿真測試環境準備階段中，紛繁復雜的數據結構建立和生成工作目前尚由人工操作完成，為此本文提出了一種自動化的解決方法，在有效提升雷達軟件測試的覆蓋率及缺陷檢出率基礎上，進一步提升了雷達軟件接口測試的自動化程度，有效保障了雷達軟件的質量.

1 相關工作

目前，對測試自動化的相關研究非常多，王乾宇[6]提出了基于TestQuest測試工具的一套軟件測試自動化方法和測試流程，在“虛擬維修訓練系統”展開實例驗證. 在武器裝備國產化道路上，國產操作系統是構建自主可控的信息安全體系的關鍵，其本身的穩定性、 可靠性和安全性至關重要[7]. 在操作系統研發過程中，全面嚴格的測試驗證成為必需，同時，為減少手工測試的勞動量和出錯率，按照預定計劃實現自動化測試，是操作系統研發測試驗證的必然趨勢和要求. 通過自主開發以及引入完善、 綜合應用主流商用或開源軟件測試工具，研究構建由測試管理、 自動化測試、 缺陷管理等子系統組成的國產操作系統測試體系，實現測試全過程管理統一高效的國產操作系統自動化測試平臺，保證國產操作系統研發和維護時的質量可靠性，以滿足建立完整的國產操作系統生態鏈的需要.

在雷達軟件測試領域，同樣對軟件的穩定性、 可靠性和安全性有極高的要求，建立自動化測試平臺以保證雷達軟件質量的可靠性十分必要.

呂江濤等人[8]圍繞軟件可維護性設計的7項評價標準，結合軟件生命周期的各個階段，系統全面地闡述了雷達軟件可維護性設計的若干技術措施，提出了綜合運用開放式軟件架構、 軟件中間件技術等多種方法，從可理解性、 可修改性、 可移植性等角度全面提高雷達軟件的可維護性. 提升雷達軟件的可維護性更多的貢獻在于提升軟件研制效率，節約時間成本，而非減少軟件缺陷、 降低軟件故障發生率，雷達軟件的安全性和可靠性仍然缺少更有力的保障； 張其政等人[9]提出了以數據為驅動，對雷達產品軟件進行定量度量的方法，并以雷達產品軟件質量量化分析為基礎開展質量管理. 雷達軟件質量度量技術的作用在于客觀分析和評價雷達軟件的質量，為軟件質量管理提供依據和指導，借助管理的手段提升雷達產品軟件質量； 孫俊若等人[10]深入分析雷達系統軟件的缺陷分布規律，選擇與雷達系統軟件缺陷預測相關的度量元，通過對雷達軟件故障數據集和系統軟件失效模式進行分析，構建了雷達系統軟件缺陷預測模型，為預防雷達系統軟件缺陷打基礎，但該研究尚處于初級階段，缺乏工程實踐應用.

以上方法緊密圍繞提升雷達軟件質量為中心，從后期維護、 研發管理以及預測預防多個角度展開相關技術研究，可以減少雷達軟件缺陷的產生，但都無助于發現和修復軟件缺陷，無法解決直接影響雷達軟件質量的根本問題. 即使采用上述方法將軟件缺陷降低到只有一個，而這一個缺陷若未被檢測出并進行修復，也同樣對雷達軟件質量存在不可估量的影響.

2 基于接口仿真的雷達軟件測試自動化框架技術

嵌入式軟件封閉抽象、 動態可變、 軟硬件耦合性強，因此，嵌入式軟件在集成完成后到投入實際使用的兩個階段之間，缺乏一種有效的測試手段. 在嵌入式軟件集成階段，由于缺少交聯系統，無法完全覆蓋嵌入式軟件的時序、 接口等測試，容易造成缺陷遺漏. 而在嵌入式軟件的實際使用階段進行測試，面臨兩大問題的挑戰： 一是系統硬件設備數量和性能有限，無法滿足大數據量等極限強度測試條件的需求； 二是如果嵌入式軟件在實際環境中出錯，存在損壞硬件、 影響整體系統運行甚至危害人身安全的風險，差錯、 糾錯成本較高.

軟件接口仿真測試環境旨在對嵌入式軟件提供實時的、 可閉環的、 非侵入式的測試，支持功能性測試、 邊界測試、 壓力測試等多種測試類型，能夠提供仿真模型建立、 I/O設備配置、 測試腳本及數據生成、 測試運行及狀態監控、 測試結果實時顯示、 測試結果記錄、 測試結果分析、 測試回放及數據分析處理、 軟件可靠性評估等多種功能. 因此，通過基于接口仿真的方法對雷達軟件進行測試，可以克服由于手工測試帶來的巨大的人力、 物力和財力的消耗，同時能夠提升雷達軟件測試的充分性.

2.1 軟件接口仿真環境特性分析

軍用雷達系統具備硬件組成類型多、 系統任務并行度高、 數據處理實時性強等特點，因此，用于雷達軟件測試的接口仿真環境應具備以下特點[11]：

1) 供實時多任務運行

軟件接口仿真環境既具備實時系統的一般特性，能夠提供并支持測試激勵施加和測試結果收集、 模型處理數據與算法實現、 測試過程監控界面等多項測試相關功能同時運行，同時為滿足嵌入式軟件測試的需要，又具備其獨有特性，例如高可靠性、 高實時性、 輸入輸出的確定性、 ISA和PCI設備動態可配置等.

2) 測試環境仿真虛擬化

軟件接口仿真環境以數字仿真的方法對被測嵌入式軟件的運行環境進行仿真，模擬外部硬件系統或軟件系統與被測嵌入式軟件進行通信交互，使得被測軟件可以在脫離特定硬件環境約束的條件下執行測試，仿真環境相較于真實運行環境而言更易于測試人員操作、 控制，被測軟件的運行也更加便捷、 靈活.

3) 仿真環境通用性強

當前雷達系統是由多個配置項軟件組成的，不同雷達系統的配置項組成與交互方式各不相同，且各配置項軟件所依賴的硬件平臺也不盡相同，因此軟件接口仿真環境要在多個層次提供通用性的解決方案，使用戶能夠通過靈活的環境設置，實現對不同系統的測試[12]. 在硬件通訊設備仿真層次，采用虛擬設備驅動(VDD)技術，支持添加不同的I/O設備； 在網絡體系結構層次，在基本的分布式體系結構下，可以通過擴展節點，從而實現對復雜系統的測試； 在被測系統結構仿真層次，可通過通訊協議設置、 接口格式定義等配置實現不同系統的構型； 在測試環境開發層次，采用通用的測試用例及測試腳本開發環境(TCSIDE)，提供統一的測試用例和測試腳本開發方法和語言，便于測試用戶使用和移植.

2.2 基于接口仿真的雷達軟件測試流程

基于接口仿真的雷達軟件接口測試，是以仿真的方式模擬外部系統與被測的雷達系統之間進行信息交互，通過測試數據的收發以及對測試結果的分析，完成對被系統的測試，基于接口仿真的雷達軟件接口測試工作流程如圖1 所示.

圖1 測試仿真環境工作流程圖

基于接口仿真的雷達軟件接口測試主要通過以下步驟執行：

1) 測試環境仿真建模

以軟件接口設計文檔為輸入，構建各雷達分系統軟件關聯環境模型，定義輸入輸出屬性，正確反映出各分系統軟件的數據交互關系，同時要將各個分系統之間的通訊協議映射到仿真模型的連接屬性中，雷達軟件接口測試仿真模型如圖2 所示.

圖2 雷達軟件接口測試仿真模型示例Fig.2 Example of radar software interface test simulation model

2) 測試腳本編寫

測試腳本是整個軟件測試正常運行的“劇本”，是驅動整個軟件測試正常運行的關鍵因素. 根據需要執行的測試用例編寫相應的測試執行腳本，由實時調度程序驅動測試腳本解釋器對測試腳本進行實時解釋，動態生成并分發測試數據到各仿真模型，同時通過解釋器、 各仿真模型與被測軟件之間的交互，對測試反饋進行處理，從而達到測試的目的.

3) 測試數據準備

雷達軟件接口測試過程中需發送大量的測試數據，為提升測試執行效率，可以將預進行測試的數據全部存儲在數據源文件中，在測試執行過程中通過載入數據源文件實現測試數據的讀取和發送，從而完成測試.

4) 測試執行

通過模型和腳本的編譯構建、 鏈接完成測試環境初始化并開始執行測試，同時在測試執行過程中實時監控測試執行狀態、 顯示測試結果.

5) 測試結果分析與評估

根據設置采集方案記錄相應的返回數據，測試人員可利用采集的數據進行數據回放與分析，依據分析結果對軟件的可靠性進行評估.

3 測試數據結構自動建立與生成技術研究

在軟件接口仿真環境搭建與準備接口測試數據環節，仍需手工操作，由于雷達軟件測試項目的接口數量和規模都相對較大，手工操作存在數據多、 易出錯、 效率低等問題，為此，本文針對如何自動化解決這個問題展開研究.

3.1 測試數據結構自動建立

當前雷達裝備的大多數嵌入式軟件系統依托C/C++語言開發，軟件通訊接口的定義是通過頭文件中的結構體實現的，這為軟件編碼提供了方便，但是無法直接在接口仿真環境中導入作為通信報文結構的定義. 為此，本文提出一種從頭文件到仿真環境通信協議自動化定制的方法，主要步驟如下：

1) 解析接口定義頭文件

在頭文件中，軟件接口是通過結構體進行定義的，設計師通常將多個軟件接口間復用性較高的數據字段定義為子結構體，復雜的軟件接口往往涉及多層嵌套，因此，需要對數據結構進行迭代解析，逐層展開嵌套結構，最終獲得軟件接口的完整結構；

2) 解析接口仿真環境配置文件

接口仿真環境中的通訊接口定義是通過環境配置文件的定義實現的，一般的仿真環境配置文件以可擴展標記語言編輯和存儲、 解析接口仿真環境配置文件的標記結構、 獲得仿真環境中通訊接口的分布情況；

3) 通訊接口結構導入

將從頭文件中解析得到的軟件接口元素依次按照仿真環境模型配置文件的語句結構，寫入到相應的通訊接口中，從而脫離手工操作，通過自動寫入底層配置文件，完成軟件接口數據的自動建立，有效提升接口測試的自動化程度，降低人為操作的錯誤率.

3.2 測試數據自動生成

在對雷達軟件接口進行接口測試數據設計時，要針對該接口所處理的每一條報文的每一個元素進行分析和設計，單一元素要進行邊界值分析及異常值分析，測試數據設計工作量龐大，傳統人工分析的方式容易造成設計數據遺漏，手工生成測試數據的方式工作效率較低.

通過總結歷史雷達軟件接口測試數據分布情況與設計方法，本文提煉了軟件接口測試數據設計規則：

1) 有效數據

依據接口元素的有效值定義，若為枚舉類型數據，則該元素的有效值應包含所有的枚舉值； 若為一定范圍內的連續值，則任意取有效范圍內(不含邊界)的任一值.

2) 邊界數據

依據接口元素的有效范圍，取有效范圍的邊界值以及上下邊界的越界值共6種數據作為該元素的邊界測試數據，如若接口元素的有效范圍為[min，max]，則邊界數據為min-1，min，min+1，max-1，max，max+1.

3) 異常數據

異常數據為接口元素有效值或有效范圍以外的值.

4) 異常報文

異常報文是指報文長度不符合接口定義的報文，主要包括以下兩種形式： 測試報文長度小于有效報文長度和測試報文長度大于有效報文長度.

依據以上定義的數據生成規則，通過自動化解析軟件接口中各元素定義的有效值范圍，自動化的生成雷達軟件接口測試數據[13，14]，具體步驟如下：

1) 建立軟件接口數據定義模板文件

以軟件接口定義頭文件為輸入，解析生成預定格式的接口數據定義模板文件(簡稱模板文件)，模板文件中包含接口元素名稱、 元素數據類型、 元素枚舉值、 元素有效范圍等信息(如圖3 所示)，各元素有效范圍按照數據類型的默認范圍自動生成，模板文件支持人工編輯、 修改枚舉值、 有效范圍等信息.

圖3 數據定義模板文件樣例

2) 生成軟件接口測試數據

以模板文件為輸入，逐行解析模板文件中的元素數據類型、 有效范圍等信息，按照以上描述的測試數據生成規則，自動生成雷達軟件接口測試數據，并直接存儲到文本文件中，導入至軟件接口仿真環境中供測試執行直接調用，數據定義模板文件如圖3 所示，數據自動生成方法流程如圖4 所示.

圖4 測試數據自動生成方法Fig.4 Automatic generation of test data

3.3 測試腳本編寫及執行

編寫雷達軟件接口測試腳本，用以在模擬仿真環境中使用測試數據對被測雷達軟件自動化執行測試. 在軟件接口測試腳本中，結合被測雷達軟件數據率、 響應時間等特點，依據測試用例定義相應的數據發送時間、 數據發送量等信息，運行測試腳本則可按照預設的數據發送條件，向被測雷達軟件接口發送測試數據. 同時為測試執行設置返回數據采集方案，用以收集雷達軟件接收測試數據后的反饋數據，測試人員通過對采集數據利用工具或人工進行對比與分析，從而對雷達軟件的功能性、 可靠性等進行評估.

4 雷達產品實例研究

4.1 基于GESTE平臺的雷達軟件接口測試

GESTE(通用嵌入式軟件測試環境)是由北京航空航天大學自主研發的嵌入式軟件仿真測試系統，為嵌入式軟件提供通用式的仿真測試環境，實現對嵌入式軟件進行實時、 閉環、 非侵入式的系統測試. 在通用性的基礎上，支持并輔助二次開發，從而滿足雷達軟件接口測試需求[15]，因此，本文采用GESTE平臺實現基于接口仿真的雷達軟件測試技術.

4.2 雷達產品實例驗證

為檢驗本文研究的基于接口仿真的雷達軟件測試自動化方法，以及本文提出的測試數據結構自動建立與生成技術的有效性，以某型雷達裝備的數據處理軟件、 伺服控制軟件和電源監控軟件為實驗對象，依據通訊報文的重要程度共選取30條報文展開應用，30條報文分別編號為M1—M30，各報文所含數據元素數量如圖5 所示.

圖5 實驗報文所含數據元素分布情況Fig.5 Distribution of message data elements

在測試設計階段，分別采用傳統的通過人機界面進行測試的方法(簡稱黑盒方法)以及接口測試的方法，分別對實驗對象進行測試用例設計，統計測試用例設計情況，用以分析本文方法在提升測試充分性方面的有效性.

在軟件接口仿真環境建立階段，首先依據頭文件、 軟件接口設計文檔等輸入，對實驗的30條報文分別采用手工方法和本文提出的測試數據結構自動建立技術在仿真環境中建立通訊接口的方法，完成接口仿真環境建立； 然后分別采用手動方法和本文提出的測試數據自動生成技術，生成測試數據文本文件. 記錄相應的處理時間，用以分析本文方法在提升工作效率方面的有效性.

在軟件測試執行階段，首先對數據處理軟件、 伺服控制軟件和電源監控3個配置項軟件采用傳統的通過人機界面進行測試的方法(簡稱黑盒方法)執行測試； 然后采用本文研究的基于接口仿真的方法對這3個配置項軟件進行測試，并將檢出的軟件缺陷交由開發人員進行修改和回歸； 最后將修改后的軟件交由第3方測試機構對軟件進行測試. 分別記錄各階段檢出的軟件缺陷數據，用以分析本文方法在提升軟件缺陷檢出率方面的有效性.

4.3 實例驗證結果分析

1) 測試覆蓋率分析

針對實驗所選擇的30條報文，在相同時間段內僅針對報文數據的有效性、 無效性及數據邊界3個設計角度，分別以傳統黑盒方法以及本文研究的基于接口仿真的雷達軟件測試方法分別展開測試用例設計，形成的測試用例數量如圖6 所示.

圖6 設計測試用例數量Fig.6 Number of designed test cases

結合兩種方法所設計的測試用例集，對報文各字段的正常、 異常測試場景覆蓋情況進行分析，通過黑盒方法和本文方法均能實現對正常測試場景的完全覆蓋，對異常測試場景的覆蓋率數據如圖7 所示.

圖7 報文字段異常測試場景覆蓋率Fig.7 Proportion of abnormal test scenarios formassage elements

進行正常測試場景設計時，黑盒方法及本文的接口測試方法都能夠完全覆蓋所有正常測試場景，但是在進行異常測試場景設計時，由于雷達的嵌入式軟件封閉化的特性，許多異常測試場景以黑盒測試的角度是無法實現的，由圖7 中數據也可以看出，由于受輸入方法的限制，黑盒方法對異常場景的覆蓋率是比較低的，通過采用本文的接口測試方法，可以實現對報文各字段的異常場景完全覆蓋，測試覆蓋率得到大幅提升，給予軟件質量更為充分的保障.

2) 雷達軟件接口測試仿真模型建立

傳統手工方式在接口仿真平臺創建接口元素，需要新建變量、 輸入變量名、 選擇數據類型3個操作步驟. 采用手工方式建立接口元素，是以單個接口元素為單位，逐一建立，從而實現創建一條完成的接口報文. 影響仿真模型單個接口元素建立時長的因素主要是操作人員對接口元素的熟悉程度以及在GESTE人機界面進行新建操作的熟練程度.

采用本文提出的測試數據結構自動建立技術，在GESTE平臺創建接口元素，僅需人為操作選擇預處理的頭文件與仿真環境配置文件，接口元素創建與設置工作主要通過算法程序自動執行完成，處理時間大幅縮短.

分別采用手工方式和本文方法將實驗的30條報文分別創建到GESTE仿真模型中，記錄操作花費的時間，如圖8 所示.

圖8 建立仿真模型時間Fig.8 Time of building simulation model

針對實驗的30條報文計算手工方式和本文方法建立仿真模型的效率，效率提升情況如圖9 所示.

圖9 建立仿真模型效率提升Fig.9 Efficiency promotion of building simulation model

由圖9 中數據可以看出，采用本文方法較于手工方式工作效率大幅提升，接口元素越多，效率提升越顯著，采用本文方法自動建立仿真模型較手工方式效率平均提升11.27倍.

3) 雷達軟件接口測試數據文件生成

以軟件接口測試的角度，依據本文3.2節提出的軟件接口測試數據設計準則，分別采用手工方式和本文提出的測試數據自動生成技術，針對實驗的30條報文分別進行測試數據設計，生成的測試數據量如圖10 所示.

圖10 軟件接口測試數據量Fig.10 Number of software interface testing data

在本文方法生成測試數據的規則設置時，邊界值分別取人工定義的物理意義有效范圍邊界值以及數據類型的有效范圍邊界值，當這兩個范圍重疊時，會生成冗余的測試數據，手動方式生成測試數據能夠避免出現冗余數據，但是也容易產生數據遺漏.

記錄兩種方式生成測試數據所花費的時間，如圖11 所示.

圖11 測試數據生成時間Fig.11 Time of generating test data

由圖11 可以看出，采用本文方法自動生成測試數據文件較手工方式效率提升50%以上，也可有效節約時間成本，提升工作效率.

4) 缺陷檢出率分析

雷達的嵌入式軟件由于缺少人機操作界面或部分界面進行了輸入參數的限制，采用傳統黑盒測試方法，許多異常測試場景難以覆蓋，容易造成缺陷遺漏. 雷達軟件中由于接口原因直接或者間接導致的軟件缺陷占整個雷達軟件系統缺陷的比重為20%到30%左右[1]，而其中邊界和異常數據是引起軟件運行故障的最重要原因之一[2]. 采用基于接口仿真的雷達軟件測試方法對雷達軟件執行接口測試試驗，測試數據如表 1 所示.

表 1 采用本文方法前后及遺漏缺陷數據對比Tab.1 Comparison of the defects before and after usingproposed method and the missing defects

從表 1 中數據可以看出，采用基于接口仿真的雷達軟件測試方法對雷達軟件進行測試后，發現問題數量明顯上升，檢出缺陷數量平均提升一倍，軟件缺陷檢出能力得到顯著提升； 經過采用本文方法測試后的雷達軟件交予第三方機構進行測評，檢出缺陷數量顯著收斂，雷達軟件質量情況得到明顯改善，體現了軟件接口自動化測試對裝備質量提升的促進作用.

對軟件缺陷數據集進行分析發現，未采用本文方法，即使用傳統的手工黑盒方法執行測試時，因部分參數由于界面輸入保護無法執行異常數據測試，因此遺漏了許多異常數據測試場景； 而采用本文方法可直接從接口端模擬異常數據測試場景，更深入地檢測了軟件內部的異常保護情況，因此檢測出了更多的軟件異常保護不足的軟件缺陷，相對于傳統手工黑盒方式，軟件缺陷檢出率更高，從而更能保障軟件的安全性和可靠性.

5 結束語

在信息化戰爭和軍事智能化的發展趨勢下，軟件在裝備的功能實現方面日漸占據主導地位，軟件的質量狀況也逐漸成為影響軍事裝備綜合效能發揮的關鍵因素. 軟件接口測試是雷達軟件質量保障的重要手段之一，然而由于雷達軟件接口紛繁復雜，使得接口測試工作開展困難. 本文首先針對基于接口仿真的雷達軟件測試自動化框架技術展開研究，并應用于雷達軟件的測試工作中，有效提升了雷達軟件測試的覆蓋率及缺陷檢出率； 然后針對基于接口的雷達軟件測試方法中測試數據的結構建立和生成工作，深入研究自動化的處理方法，大幅提升雷達軟件接口測試自動化程度，使得針對接口測試這一項繁瑣的工作可以快速執行. 但是由于頭文件類型的接口定義文件不能給出接口元素的有效范圍定義，在生成測試數據的過程中，需人工對接口模板文件進行編輯補充相應信息，下一步工作將繼續針對如何能夠自動化提取接口元素的有效范圍定義等信息展開研究，從而進一步提升雷達軟件接口測試的自動化程度.