實時數據處理系統自主閉環測試驗證技術研究

劉永利　劉云鵬

摘? 要：本文針對實時數據處理系統人工測試驗證模式中存在的效率低下、工作強度高、測試驗證不充分等問題，提出了基于偏差模型的測量數據模擬方法，設計了基于經典誤差分析方法的測試驗證評估模型，構建了實時數據處理系統自主閉環測試驗證體系，實現了實時數據處理系統測試驗證的自動化。以航天測控實際應用場景開展實驗，發現本文所提出的自主閉環測試驗證體系能夠有效降低人員的工作量，提高實時數據處理系統的測試驗證效率。

關鍵詞：數據處理系統;自主閉環測試驗證;偏差模型;驗證評估

中圖分類號：TP391? ? ?文獻標識碼：A

Abstract： Manual test and verification mode of real-time data processing system has problems of low efficiency， high work intensity， and insufficient verification. This paper proposes a measurement data simulation method based on deviation model and designs a test and verification evaluation model based on a classic error analysis method. The paper also proposes to construct an autonomous closed-loop test and verification framework for real-time data processing system， so to realize autonomous test and verification of real-time data processing system. Experiments carried out in the actual application scenarios of aerospace measurement and control show that the autonomous closed-loop test and verification system proposed here can effectively reduce workload of the working staff and improve efficiency of testing and verification for real-time data processing system.

Keywords： data processing system; autonomous closed-loop test and verification; deviation model; verification and?evaluation

1? ?引言（Introduction）

實時數據處理系統是監測系統中的重要組成部分，使用計算機對事件發生的現場數據進行實時收集和處理，具有時間限制嚴格、處理速度快的特點。在航天測控領域，實時數據處理系統承擔著火箭、飛船、衛星等各類航天器的測控信息實時處理、測控設備跟蹤引導、信息綜合分析利用、輔助決策支持等職能，是測控系統的數據中樞。其系統架構、邏輯結構復雜，通常由十幾個承擔不同職能的子系統組成，各子系統擁有獨特的配置項目，子系統之間也存在著不同的接口關系。在對航天器執行測控任務之前，需要對各子系統的代碼正確性、配置項正確性以及接口匹配的情況進行驗證。傳統的驗證模式是依靠崗位人員長時間、高強度的測試比對分析來完成系統的測試驗證工作，工作量大，測試時間相對較長，測試效果依賴于工作人員的工作經驗，難以適應當前高密度的航天測控任務需求。本文提出了一套自主閉環驗證體系，完成從原始數據模擬、數據傳輸、數據處理到處理結果比對分析的一整套閉環驗證測試工作，實現了實時數據處理系統測試驗證的自動化，降低了工作人員的勞動強度，提高了工作效率。

2? ?相關研究工作（Related works）

目前已有部分學者對軟件系統自動化測試工作進行了研究。D. Xiaojun等人[1]提出了一個針對飛行器控制系統的快速測試驗證平臺，基于反射式內存構造出一個與飛行器一致的多機冗余環境，軟件開發人員可以在沒有真實的硬件環境支撐下提前開始軟件的開發、調試工作。此外，這個測試平臺還能夠模擬多通道信息交互、錯誤信息注入等來輔助軟件開發人員快速完成軟件測試工作。但該測試平臺面向飛行器內部控制系統，缺乏普適性，無法在實時數據處理系統中使用。T. Muller等人[2]基于虛擬化技術提出了一套跨平臺的自動化軟件測試部署方案，通過虛擬機加載不同的操作系統，使用自動生成測試代碼對軟件工具包進行測試，并生成在線的測試報告。這套測試方案面向機器人視覺領域，針對軟件工具包進行測試，是一種局部的功能部件測試，與本文所關注的系統驗證有一定差異。孫喜剛等人[3]對軟件系統閉環測試驗證工作進行了較為全面的總結概述，但其研究工作并未涉及系統自動化閉環測試驗證的方法。吳立金等人[4，5]面向戰艦軟件系統設計了戰艦軟件自動測試系統，重點在于測試戰艦各軟件之間的信息交互情況，各個信息接口的轉換、適配是否正常，但對于數據處理正確性方面驗證不足。謝家森[6]、徐聰[7]對航天器內嵌入式軟件的自動化測試工作展開研究，設計了一套通用的測試仿真平臺，擁有動態建模、閉環測試、故障注入、在線監控等功能。他們的研究工作面向嵌入式軟件，無法套用到實時數據處理系統中，但其部分設計思路仍具有一定的參考價值。

3? 實時數據處理系統自主閉環測試驗證技術（Autonomous closed-loop test and verification technology of real-time data processing system）

3.1? ?系統驗證工作組成及分析

在現有的工作模式下，實時數據處理系統的測試驗證工作主要包括數據模擬、數據回放、人工比對、錯誤分析這幾部分。在對實時數據處理系統進行代碼維護和配置修改之后，各子系統運維人員利用模擬仿真子系統或本子系統回放數據的方式驗證各子系統內部數據處理的正確性以及子系統之間接口的匹配性。各子系統測試驗證工作完成后，再進行全系統測試驗證工作，通常采用模擬仿真子系統模擬外部數據，各子系統運維人員和系統測試驗證人員以分工協作的方式完成各類信息處理結果的比對和錯誤原因分析。這種基于人工比對的系統測試驗證模式存在以下幾個方面的突出問題。

（1）測試驗證工作量大，人工輔助正確性驗證效率低下。傳統的實時數據處理系統測試驗證模式，需要人工逐一對信息的正確性進行比對分析，相關子系統也要對信息處理正確性進行確認，相關的參數數目、信息類型等相當龐雜。崗位人員需對參數名稱、數值、單位、量綱、關聯關系、信息收發頻率等逐一確認核實，工作量大，驗證效果依賴于崗位人員能力素質。新上崗人員專業功底不夠深厚，容易出現比對不到位的情況，業務熟練人員易犯經驗主義錯誤，這種驗證模式效率低下且容易出現失誤，經常出現測試驗證不充分的問題。

（2）準備周期長。實時數據處理系統架構復雜、組成多樣，測試驗證工作需要將各子系統內部情況以及子系統間接口情況驗證到位，往往需要花費較長的時間。以航天測控任務為例，在傳統的實時數據處理系統測試驗證模式下，常規任務全系統測試驗證通常需要兩個小時以上的時間，對新型號航天器的全系統測試驗證至少需要三個小時以上的時間，遇有任務狀態變更，還需要重新進行系統測試驗證，再加上各子系統內部和子系統間的測試驗證工作，一次試驗任務花費在系統測試驗證上的時間至少在0.5個工作日以上。

（3）人員需求量大。實時數據處理系統中，各子系統的軟件代碼、配置均由專人進行維護，進行一次全系統測試驗證需要所有子系統的運維人員同時在位，一旦有一個子系統出現配置狀態變更或代碼漏洞，測試驗證工作就會停滯，其余運維人員需等待該子系統問題解決之后才能夠繼續測試，木桶效應明顯，人力資源浪費顯著。當大量的人力全部消耗在任務準備中時，就很難有時間進行創新，這種對人員需求量極大的系統測試驗證方式，在一定程度上也制約了企業、科研院所的創新發展。

3.2? ?基于軟總線的系統自主閉環測試驗證體系架構

針對上述問題，構建基于軟總線的實時數據處理系統，設計實時數據處理系統自主閉環測試驗證體系，對傳統的實時數據處理系統測試驗證模式進行改進，將人工比對分析工作由仿真測試驗證子系統完成，實現測試數據仿真、數據傳輸、數據處理、數據比對、驗證評估的自主閉環，達到系統自主閉環測試驗證的目的，降低人員的參與力度。

在基于軟總線的實時數據處理系統中，對傳統模擬仿真子系統進行功能擴展，增加信息接收、比對、分析、評估功能，構建集數據模擬仿真、信息比對分析等功能于一體的仿真測試驗證子系統，實現信息的模擬、傳輸，結果的回收、比對，正確性自主驗證評估的閉環處理。系統自主閉環測試驗證實現框架如圖1所示，各系統功能及協作關系如下：

仿真測試驗證子系統：負責原始信息的模擬，并向數據交換子系統發送。為了測試數據交換子系統的指定源組播數據接收功能，中間必須進行網絡隔離，即跨網段、跨交換機;同時負責從軟總線上收集各實時數據處理子系統數據處理結果，并與仿真數據真值進行比對分析，評估數據傳輸、處理的正確性和接口的匹配性;接收和匯集分發對外發送信息，進行本地緩存，并具備輔助分析功能。

數據交換子系統：通常由電文傳輸和匯集分發兩個子系統組成。匯集分發子系統是該系統的核心軟件，也是實時數據處理系統內外數據的交換中樞，接收仿真測試驗證子系統模擬的原始信息并向數據處理子系統轉發，同時將外送信息以組播的形式同步復制發送一份，供仿真測試驗證子系統分析使用。

數據存儲管理子系統：接收外線原始信息、各子系統數據處理結果信息，存入本地磁盤或數據庫，供事后分析使用。

實時數據處理子系統：由多個數據處理、數據判決子系統組成，是實時數據處理系統的核心業務模塊，從軟總線上獲取數據交換子系統發布的原始信息或其他數據處理子系統發布的數據處理結果，完成相應數據處理后將數據處理結果發布到軟總線上，供其他子系統使用。

實時數據處理系統自主閉環測試驗證流程如圖2所示。仿真測試驗證子系統模擬產生各測控設備原始信息，通過數據交互子系統在軟總線上發布;實時數據處理子系統從軟總線上訂閱原始信息，完成數據處理后將結果向軟總線發布;仿真測試驗證子系統從軟總線訂閱各實時數據處理子系統數據的處理結果，并與原始模擬測量信息真值進行比對、分析、評估，以驗證實時數據處理系統信息處理的正確性和子系統間接口的匹配性。

3.3? ?基于偏差模型的測量數據模擬技術

仿真測試驗證子系統工作的基點是測量數據的模擬，實際上是數值模擬的問題。在測量數據模擬時，需對兩類數據進行模擬：

（1）正常數據。模擬這類數據的目的是驗證各實時數據處理子系統數據處理的正確性和子系統間接口的匹配性，在數據模擬時不加偏差量，直接將真值作為模擬值送出。

（2）偏差數據。模擬這類數據的目的是檢驗實時數據處理子系統數據融合、數據濾波、數據插值等算法的有效性和實時數據處理系統的健壯性。

在測控系統中，無論是參數類信息還是測量信息，都可以歸為三類參數。

第一類：靜態變量。此類變量在整個測試驗證過程中模擬的數值都不變，是一個恒定值。

第二類：離散變量。只在有限的時間點或可數的時間點上有數值的變化，并且數值變化是在瞬時完成的，即離散事件是瞬時出現的，例如各類設備狀態參數、時間指令等信息。

第三類：連續變量。變量的數值隨時間連續變化，但在真實數據中，時間不可能是絕對連續的，總會有一個時間間隔，需要將連續變量在時間上進行離散化處理，并由此模擬變量的數值，其參數值隨時間的推進而發生變化，例如測控數據中的設備測量信息、彈道信息、遙測模擬量等，此類參數占據絕大多數實際場景。

下面介紹靜態變量、離散變量和連續變量的數學仿真實現模型。

（1）靜態變量模擬

靜態變量的模擬很簡單，只需實現規定模擬真值基礎上的變量模擬，在測試驗證時間段內裝訂模擬真值進行模擬即可。

（2）離散變量模擬

離散變量包含離散隨機變量和離散定值變量兩類。離散定值變量是指在整個測試驗證時間段內參數值僅在有限的幾個時間點進行變換，并且變換后保持參數值不變，直到下一個參數值變化的離散時間點，此類參數只需按時間離散點裝訂對應的參數值即可。

離散隨機變量是指在整個測試驗證時間段內參數值會

隨機變化，變化時間節點不固定。離散隨機變量模擬原理

如下：

設離散隨機變量的可能值為，相應的概率為，;設，，;將作為分點，把區間分為一系列小區間。設是上均勻隨機變量，則有：

因此可以用隨機變量落在區間內的情況來模擬離散的隨機變量的取值情況。

（3）連續變量模擬

連續變量的模擬問題可以進行一定的轉化，即以參數真值序列（理論值）為基準，在生成模擬數據時加入偏差量。由于偏差量多以隨機偏差為主，因此連續變量的模擬問題可轉換為連續型隨機變量的模擬問題。

處理連續型隨機變量的模擬問題有多種方法，其中反函數法是最常用的，其方法核心是通過求概率分布的反函數產生隨機數。隨機變量的概率分布函數為定義在 區間的單調遞增函數，設為區間的均勻隨機變量，令，只要求出反函數，即為具有概率分布函數的隨機數。由概率論的理論可以證明和有相同的概率分布[8]。

若的概率密度為，由，是區間上均勻分布的隨機變量。如果給定區間上均勻分布隨機數，則具有給定分布的隨機數可由方程中解出：。

在實際參數模擬過程中也可以簡單處理，僅需要加入一定范圍的隨機誤差，只要滿足實時數據處理系統測試驗證評估需求即可。

3.4? ?實時數據處理系統測試驗證評估模型

要完成實時數據處理正確性測試驗證工作，必須研究數據處理結果正確性評價機制。如果我們把仿真測試驗證子系統模擬的測量數據或加偏差前的模擬測量數據作為變量的真值，僅關注數據處理結果與真值的偏差，問題就轉變為變量測量的問題，信息比對分析問題轉變為誤差分析問題。測試驗證評估模型用到的誤差分析參數如下：

（1）準確度：數據處理結果與真值符合的程度。

（2）絕對誤差：數據處理結果與真值之差，用表示，通常用于常量比對分析。

（3）相對誤差：絕對誤差與真值的比值，常用百分數表示。

絕對誤差可正可負，可以表明數據處理的準確度，但不能反映誤差在數據處理結果值中所占比例;相對誤差反映數據處理誤差在數據處理結果中所占的比例，在變量值本身很小時衡量相對誤差更有意義。

（4）均方根誤差：用來衡量數據處理結果同真值之間的偏差，對數據處理結果中特大或特小誤差反應敏感，既可衡量誤差大小，也可衡量誤差離散程度，還能夠反映測量的精密度。

精密度是指幾次數據處理結果相互接近的程度，對常量數據處理的評定很有意義。各次數據處理結果越接近，精密度越高，通常用偏差衡量精密度。

準確度與精密度的關系如下：

（1）精密度是保證準確度的先決條件，精密度不符合要求，表示處理結果不可靠，失去衡量準確度的前提。

（2）精密度高不能保證準確度高。準確的數據處理一定是精密的，精密的數據處理不一定是準確的。

對于一次數據處理過程而言，單次數據處理結果的比對只是數據處理正確性的一個方面，一段時間內的數據處理結果與真實值的統計誤差在某種意義上更有意義，更能反映數據處理的正確性。因此，下面幾個統計學誤差概念對數據處理測試驗證更有意義。

（1）偏差：單次數據處理結果與時間段內數據處理結果樣本平均值之差： 。

（2）平均偏差：各次數據處理偏差絕對值的平均值。

（3）相對平均偏差：平均偏差與平均值的比值。

（4）標準偏差：各次數據處理偏差的平方和平均后再開方，是比平均偏差更靈敏的反應較大偏差的存在，在統計學上更有意義。標準偏差是一種量度數據分布的分散程度的標準，用以衡量數據值偏離算術平均值的程度。標準偏差越小，這些值偏離平均值就越少，反之亦然。標準偏差的大小可通過標準偏差與平均值的倍率關系來衡量。

其中，S為標準偏差;n為數據處理次數，一般n不應小于30;為歷次數據處理結果值[9]。

上式中涉及平均值的計算，用到的兩種典型平均值的計算方法如下：

（1）算術平均值

這種平均值最常用。設x1、x2、……、xn為各次的測量值，n代表測量次數，則算術平均值為：

（2）均方根平均值

仿真測試驗證子系統模擬數值的真值是已知的，同時實時數據處理系統給出數據處理結果在時間維度上與原始模擬值相比只有改變時間序列和不改變時間序列兩種情況。改變時間序列一般發生在對原始數據進行復雜處理的情況，如數據融合、濾波、插值等操作，這些處理方式會使序列時標發生改變;不改變時間序列的情況一般是僅對原始數據進行量綱還原操作，這種簡單處理方式不會改變序列時標。因此，只需構建時間同步數據處理結果序列評估模型和時間異步數據處理結果序列評估模型，評估模型的核心是誤差、偏差評價模型，如圖3所示。

對恒定量參數、處理前后可嚴格按時間對齊的測量信息的數據處理測試驗證采用誤差類參數進行評定，對數據融合、濾波等算法的有效性進行測試驗證采用偏差類參數進行評定，即時間同步數據處理結果序列評定采用誤差類參數，時間異步數據處理結果序列評定采用偏差類參數。在利用偏差量參數進行評定時，可以將對測量值的處理結果評定問題轉換為對偏差量的測量問題，便于利用偏差量參數進行評定。

測試驗證評估準則是指對時間同步數據處理結果誤差、時間異步數據處理結果偏差進行評定的標準，即允許的誤差、偏差范圍。評定標準的選擇需根據實時數據處理系統的處理精度進行選取，對時間同步數據處理正確性的評估可以直接進行誤差范圍設置，且誤差范圍可以設置得較小，依據準則直接進行比對分析評估即可;對各類算法數據處理正確性的評估需要考慮算法本身的精度，假定算法本身誤差為，誤差允許范圍一般設置為。

3.5? ?系統自主閉環測試驗證體系工作流程

系統自主閉環測試驗證從仿真測試驗證子系統啟動原始數據模擬開始，到數據處理結果比對分析完畢為止，形成數據模擬、傳輸、處理、比對分析的閉環，實現數據處理結果的自主測試驗證分析，具體流程如圖4所示。

（1）原始信息模擬。仿真測試驗證子系統依據需要處理的數據的歷史真值序列（理論值），以及測試驗證目的產生原始信息，并向數據交換子系統發送，同時將模擬的原始信息的真實值提交測試驗證分析模塊進行緩存，供數據比對分析使用。

（2）數據交換。仿真測試驗證子系統和實時數據處理子系統的數據交換功能由匯集分發子系統完成，通過數據交互軟總線將模擬測量數據分發給實時數據處理的各個子系統，同時將實時數據處理子系統外送信息以組播的形式發送給仿真測試驗證子系統，供數據分析使用。

（3）實時數據處理。實時數據處理子系統完成對各類信息的處理、判決等工作，處理結果發布到軟總線上，供相關子系統使用。

（4）比對信息獲取。仿真測試驗證子系統從匯集分發子系統獲取實時數據處理系統外送信息，從軟總線訂閱實時數據處理結果信息，供比對分析使用。

（5）數據處理結果測試驗證分析。測試驗證分析模塊利用緩存在本地的模擬原始數據真值信息和數據處理結果，依據數據測試驗證評估模型對數據進行比對分析，形成評估結果。

（6）測試驗證結果監視記錄。測試驗證結果在本地實時顯示，同時可以在本地或數據存儲管理系統進行存儲，供事后比對分析使用。

4? ?實驗及效果分析（Experiments and analysis）

本節中的實驗以某次民用商業火箭發射任務實時數據處理系統的測試驗證工作為例。時間同步數據處理驗證效果如圖5所示，圖中為雷達俯仰角參數數據處理結果比對效果，由于處理時僅作量綱還原，僅會代入量綱轉換誤差，評估準則中誤差門限取10-5，從比對結果看數據處理偏差符合要求。

圖6為時間異步數據處理驗證效果，以雷達數據測元級融合處理為例，選取位置偏差作為評價參數，測量數據模擬時加入逐漸變大的隨機誤差，檢驗數據融合效果。綜合考慮測元級數據融合算法精度，偏差量門限取為3 m。從測試驗證效果看，測元級數據融合算法對隨機誤差的處理精度很高，滿足處理要求。

時間異步數據處理驗證時，系統會自動計算驗證時間段內的標準偏差，進一步對數據處理正確性進行評價。

為驗證自主閉環測試驗證體系的有效性，可利用現有的實時數據處理系統開展實驗驗證工作，檢驗自主閉環測試驗證體系的排查、糾錯能力。具體方法為：

（1）根據任務實際要求，對綜合、外測、遙測等測控數據處理結果的誤差、偏差門限值進行設定。

（2）將實時數據處理子系統中的各項參數進行正確配置，確保各類算法正確運行，運行自主閉環測試驗證系統，查看驗證效果是否正確。

（3）通過修改實時數據處理子系統中的配置文件、數據處理算法源代碼等方法，人為制造一些出錯場景，運行自主閉環測試驗證系統，查看系統是否可以自動篩選出異常處理結果并生成在測試驗證結果報告中。

表1展示了對一些常見類型數據處理進行測試驗證的結果。選取落點參數處理、遙測參數處理、外測參數預處理這三項時間同步數據，以及3R數據融合、測元數據融合、雷達定位數據濾波這三項時間異步數據對自主閉環測試驗證方法的有效性進行測試。設置配置正常、量綱放大、量綱縮小、站址錯誤、模型參數錯誤等實時數據處理中經常遇到的場景進行檢驗，其中站址錯誤和模型參數錯誤對時間同步數據處理評價無效。從表中的驗證結果看，系統有效檢測出了實時數據處理系統中存在的問題，給出了正確的驗證結果。

經驗證，仿真測試驗證子系統會根據測試驗證評估準則自動給出評價結果，避免了人工進行大量的比對分析工作，有效降低了人員工作量。

5? ?結論（Conclusion）

本文針對傳統的實時數據處理系統采取人工比對的方式進行測試驗證的弊端，充分發揮計算機在數據處理方面的優勢，研究了實時數據處理系統自主閉環測試驗證技術，提出了基于偏差模型的測量數據模擬方法、基于經典誤差分析方法的測試驗證評估模型，構建了實時數據處理系統自主閉環測試驗證體系，提高了實時數據處理系統的測試驗證效率。與系統當前狀態相比，數據處理中心數據模擬仿真子系統不再單純承擔數據模擬仿真的職能，同時要負責實時數據處理系統信息處理正確性測試驗證的工作，在完成數據仿真功能的同時，同步完成各子系統數據處理結果及數據處理系統外送數據的收集整理、比對分析、正確性評估等工作，實現實時數據處理系統自主閉環測試驗證。測試驗證過程自動完成，測試人員只需實時監視比對分析結果、審查正確性評估結果，極大簡化了系統測試驗證中人工信息比對流程，降低了人員工作量，有效提升了實時數據處理系統測試驗證的效率。

參考文獻（References）

[1] D. Xiaojun， W. Chengfu， C. Huaimin， et al. A rapid test platform of redundant flight control computer software based on RFM[C]. 2012 7th International Conference on Computer Science & Education （ICCSE）， Melbourne， VIC， 2012：403-406.

[2] T. Muller， A. Knoll. Virtualization Techniques for Cross Platform Automated Software Builds， Tests and Deployment[C]. 2009 Fourth International Conference on Software Engineering Advances， Porto， 2009：73-77.

[3] 孫喜剛，付劍平，呂林峰，等.綜合電子信息系統軟件仿真測試方法[J].指揮信息系統與技術，2014（4）：75-79.

[4] 吳立金，唐龍利，柴海燕，等.面向船舶軟件的仿真測試平臺研究[J].計算機測量與控制，2015（5）：1451-1453.

[5] X. Han， N. Zhang， W. He， et al. Automated Warship Software Testing System Based on LoadRunner Automation API[C].? 2018 IEEE International Conference on Software Quality， Reliability and Security Companion （QRS-C）， Lisbon， 2018：51-55.

[6] 謝家森.調試驗證平臺中閉環測試和故障注入的設計與實現[D].西安：西安電子科技大學，2014.

[7] 徐聰.調試驗證平臺中閉環測試的設計與實現[D].西安：西安電子科技大學，2014.

[8] 費業泰.誤差理論與數據處理[M].北京：機械工業出版社，2017.

[9] 宋來中，王志明.數學建模與實驗[M].北京：科學出版社，2005.

作者簡介：

劉永利（1980-），男，碩士，高級工程師.研究領域：實時數據處理，軟件工程.

劉云鵬（1991-），男，碩士，工程師.研究領域：實時數據處理，軟件工程.