基于試驗結果可信度的裝甲車輛測試性綜合評估方法研究

徐保榮， 劉學工， 吳延威， 胡偉鋒

(32184部隊， 北京 100072)

0 引言

裝備測試性試驗不僅要根據試驗數據判斷產品測試性是否合格，而且要確定故障檢測率(FDR)、故障隔離率(FIR)等測試性參數的具體量值，這一過程稱之為測試性評估[1]。如何合理制定試驗方法并科學評估裝備測試性參數，是裝備測試性工程領域的熱點和難點問題。

目前，在航天、艦船、機電、雷達等領域已開展了大量測試性試驗，其主要方法是采用基于故障注入的實驗室試驗方法[2-6]，這種方法沒有考慮機內測試(BIT)設備自身的可靠性，在實驗室環境中試驗得到的測試性水平要高于裝備外場實際使用中的水平。但是，外場試驗樣本往往達不到規定的樣本量要求。為此，張聯禾[6]提出將模擬故障與自然故障相結合進行綜合評估的思路，使得試驗結果比單一采用實驗室進行故障注入的方法更換接近裝備實際測試性水平，但上述方法沒有解決部分故障樣本無法實現實驗室模擬或注入的問題。對此類故障樣本，文獻[7]提出了測試性分析評價方法來替代驗證試驗。張藝瓊等[8]提出采用仿真手段評價不可注入故障的檢測/隔離效果，并按照故障相對發生頻率采用線性加權方法實現了自然故障、模擬故障、仿真結果的綜合評價，但在綜合評估時將外場試驗結果與實驗室試驗結果同等權重考慮，沒有體現出外場試驗的特點，同時在進行仿真結果指標折算時以實驗室試驗結果為基礎，而不是以外場試驗結果為基礎。上述方法降低了該方法評估結果的可信度。王京等[9]提出將專家數據、摸底試驗數據、增長試驗數據、可更換單元數據和虛擬試驗數據一并納入測試性綜合評估范圍進行等效折合，韓志鋼[10]提出基于研制階段各類數據進行測試性評估，這兩種方法對于定型試驗而言，存在被試裝備狀態未固化、評價不科學問題。余龍海等[11]提出基于使用階段數據的測試性驗證方法，該方法未考慮使用階段故障樣本量不滿足最小樣本量要求時的情況。

本文針對上述問題，立足于裝備設計定型階段的測試性試驗，綜合考慮外場試驗、實驗室試驗、分析評價3種試驗評價方式，從條件概率角度出發，分析了設備故障率與試驗結果置信度的相互關系，提出了基于試驗結果可信度的測試性試驗綜合評估方法。該方法以二項分布為理論基礎，通過計算不同試驗結果的綜合可信度，實現裝甲車輛測試性的綜合評估。

1 測試性指標評估模型分析

1.1 測試性指標評估模型修正

針對裝備自然發生或人為注入的故障，就檢測、隔離、是否虛警而言，BIT設備通過運行相應程序實現的結果均只有成功和失敗兩種可能，即：檢測到故障或未檢測到故障；對檢測到的故障能否實現隔離；是真實故障還是虛假報警。顯然，對FDR、FIR等測試性能參數的驗證屬于成敗型試驗，因此可以用二項分布進行驗證和評估[12-13]。目前參數估計類型主要包括點估計和區間估計兩類，其中區間估計又分為單側置信限和置信區間兩種。

將故障檢測率和隔離率統稱為設備成功率，其預測模型[14]如(1)式所示。

(1)

式中：P為設備成功率；λi為第i個故障模式的故障率(對于隔離率，是可檢測故障模式的故障率)；λci為第i個可檢測故障模式的故障率(對于隔離率，是可隔離到不大于L個可更換單元故障模式的故障率)；m為系統出現的故障模式總數；n為可檢測或隔離的故障模式總數。

(1)式表明，對于設計中已知的故障模式而言，只要發生就認為一定能夠實現檢測/隔離，即其前提是BIT設備始終正常工作。因此，(1)式為條件概率。

假設A事件為“成功檢測或隔離”，B事件為“BIT設備正常工作”，則(1)式變為

(2)

式中：P(A|B)表示在BIT設備正常工作前提下，系統能夠成功檢測或隔離的概率。

事實上，設備成功率的真實含義應當是BIT設備正常工作且成功檢測或隔離，即成功率為

P′=P(AB)，

(3)

式中：P(AB)為BIT設備正常工作且成功檢測或隔離的概率。

設BIT設備的故障率為λb，則BIT設備可正常工作的概率為

P(B)=1-λb.

(4)

根據條件概率的定義有

(5)

從(5)式可以看出，BIT設備的成功不僅與故障模式的故障率有關，還與BIT設備自身的故障率有關。將P′稱為BIT設備成功率的真值，將P稱為BIT設備成功率的預計值，則單側置信下限的真值可以表示為P′l，置信區間的真值可以表示為[P′l，P′u]，其中P′l為置信下限，P′u為置信上限。

將(1)式代入(5)式，得測試性參數點估計值為

P′=(1-λb)P.

(6)

相應地，有

P′l=(1-λb)Pl,

(7)

P′u=(1-λb)Pu,

(8)

則單側置信下限P′l滿足

(9)

置信區間[P′l，P′u]滿足

(10)

(11)

1.2 BIT設備故障率對試驗結果置信度影響分析

由于λb在區間[0,1]上連續取值，根據(9)式、(10)式、(11)式對P′l和P′u求1階偏導，得

(12)

(13)

由此可見，P′l和P′u都是λb的單調減函數。

依據(9)式計算置信度C，可得

(14)

由于P′l在區間[0,1]上連續取值，對C求1階偏導，得

由此可見，就單側置信下限的計算而言，其置信度C是單側置信下限P′l的單調減函數。又因為P′l是λb的單調減函數，所以置信度C是λb的單調增函數，即λb越大，C越大。同樣，對于P′u，置信度C也是λb的單調增函數。因此，對于不同試驗方式而言，越能夠暴露BIT設備自身的可靠性真實水平，參數估計結果的可信度越高。顯然，外場試驗中BIT設備的故障率能夠得到充分暴露，其參數估計可信度最高。

2 基于試驗結果可信度的測試性綜合評估方法

2.1 測試性綜合評估流程

目前，在航空航天和船舶電子領域，由于特殊的空中、海上使用環境，對裝備可靠性水平要求極高，各監測系統都盡可能進行充分的冗余設計，其測試性試驗即使在外場實施，也幾乎屬于BIT設備無故障狀態下的試驗。但由于其外場試驗自然故障極少，故障樣本遠遠達不到規定樣本量要求，較多地采用實驗室試驗方式進行測試性試驗。而裝甲車輛受目前設計、制造、工藝等條件限制，其可靠性水平還有待提高。例如某型坦克6輛樣車在各自10 000 km外場試驗中總計出現各類故障496個，其中BIT設備自身的故障41個。基于上述情況，裝甲車輛測試性試驗應充分利用外場試驗提供的大量自然故障數據，以真實地反映BIT設備在實際使用環境下的可靠工作能力。

裝甲車輛測試性試驗的基本思路是：優先采用外場試驗方式，當故障樣本量不足時采用實驗室試驗方式進行模擬故障注入；當部分模擬故障無法注入時采用分析評價方法確定其檢測/隔離能力。測試性綜合評估就是將外場試驗、實驗室試驗、分析評價3種試驗評價方式所獲取的故障數據，依據BIT設備的檢測/隔離結果，采用合理方式有效綜合現有數據，計算裝備BIT設備的檢測率和隔離率評估值。測試性試驗綜合評估流程如圖1所示。具體評估流程如下：

1)按照試驗計劃分步實施測試性外場試驗、實驗室試驗和分析評價，對試驗所獲取的數據進行整理匯總，剔除無效數據，確定故障樣本總數、有效檢測故障數(或檢測失敗故障數)、有效隔離故障數(或未有效隔離故障數)、置信度水平等基礎數據。

2)根據二項分布理論，計算外場試驗、實驗室試驗、分析評價3種方式下的故障檢測率、故障隔離率的點估計和區間估計。與此同時，還要依據初步評估結果計算外場試驗、實驗室試驗和分析評價3種方式信息源的可信度，確定不同故障模式的故障率。

3)按照可信度越高權重越大的思想將初步評估的測試性參數進行必要折算，使得數據更科學、合理。

4)根據裝備外場試驗、實驗室試驗、分析評價得到的折算評估值，對裝備測試性試驗的不同指標進行綜合評估。

2.2 可信度計算模型

確定3種試驗評價方式試驗結果的可信度，就是對3種試驗結果的可靠程度進行量化。可靠程度越高，其可信度量值越大。本文提出采用兩兩賦值法、改進偏差法和組合權重法計算不同試驗結果的主觀可信度、客觀可信度、綜合可信度。

2.2.1 主觀可信度

步驟1對l個決策者的賦值作算術平均，令算術平均決策矩陣B=(bxy)r×r，其中

(15)

(16)

式中：

步驟3求歸一化可信度，

(17)

2.2.2 客觀可信度

改進偏差法可用于計算信息源可信度。其基本思想是：依據單個試驗信息源與外場試驗結果的變異程度確定其可信度，由此求得的可信度稱之為客觀可信度。設外場試驗、實驗室試驗、分析評價3種試驗評價方式得到的結果分別為z(1)、z(2)和z(3)，計算不同試驗結果與外場試驗結果之間的偏差，令偏差

vs=(z(s)-z(1))2.

(18)

顯然，偏差vs可以表示第s(s=1，2，3)個信息源與外場試驗結果的偏差程度。偏差小，表明數據可靠程度高，可信度也越高，反之亦然。令相對偏差

(19)

則第s個信息源的可信度為

(20)

2.2.3 綜合可信度

主觀可信度概念清楚，計算過程簡單易行，但易受主觀因素干擾；客觀可信度推算嚴密，基于客觀數據進行評價，但權重隨著不同信息源數據的變化而變化，缺乏穩定性。因此，有必要將兩種可信度優勢結合起來，借鑒組合權重法的思想確定不同信息源的綜合可信度[16]。

設3種試驗結果主觀可信度分別為μ1s(1≤s≤3)，客觀可信度為μ2s(1≤s≤3)，則3種試驗結果的綜合可信度按(21)式計算。

(21)

2.3 測試性綜合評估模型

設外場試驗、實驗室試驗、分析評價3種評價方式的檢測/隔離故障樣本數分別為n1、n2、n3，檢測/隔離失敗的故障樣本數為nf1、nf2、nf3. 相應地，3種試驗方式的測試性參數點估計值為Ps，單側置信下限為Pls，置信區間為[Pls,Pus]. 分別按文獻[12]方法計算3種試驗評價方式對應的測試性參數。

由于3種試驗數據的可信度不同，需要對試驗評估結果進行折算，折算原則是：可信度最高者，折算系數為1，即不用折算；可信度較低者，評估結果需乘以折算系數。折算系數的計算過程如下。

設外場試驗、實驗室試驗、分析評價的可信度分別為μ1、μ2和μ3，對應的折算系數分別為φ1、φ2和φ3，折算系數計算公式為

(22)

則不同試驗測試性參數點估計值的折算值Pcs和單側置信下限的折算值Pcls分別按(23)式、(24)式計算。

Pcs=φsPs，

(23)

Pcls=φsPls.

(24)

置信區間雙側置信下限Pcls和雙側置信上限Pcus的折算值按(25)式計算如下：

(25)

完成3種試驗數據源的評估結果折算后進行測試性參數綜合評估，具體方法為：按照(26)式計算測試性參數點估計值的綜合評估值P，按照(27)式計算單側置信下限的綜合評估值Pl，按照(28)式計算置信區間的綜合評估值Pl、Pu.

(26)

(27)

(28)

3 評估案例驗證

3.1 案例分析

某裝甲輸送車分別采用外場試驗、實驗室試驗和分析評價3種方式進行BIT系統的故障檢測率測試性試驗。該車BIT系統即車輛綜合電子信息系統由通信系統、定位導航設備、電氣設備、綜合電子系統和綜合保障盒等組成。系統具備車輛動力、傳動、操縱、電氣、三防、滅火、指控、煙幕彈發射和激光告警等系統的狀態監測與故障報警功能，部分故障可隔離到外場可更換單元。表1為外場試驗期間綜合傳動裝置5個自然故障記錄結果。表2為某裝甲輸送車外場試驗、實驗室試驗、分析評價3種試驗評價方式的試驗結果。

分別采用直接評估方法和基于外場試驗的綜合評估方法，計算故障檢測率的點估計值和單側置信下限，置信度取0.8. 其中，直接評估方法是將外場試驗、實驗室試驗和分析評價3種試驗評價方式同等對待，將3種試驗得到的故障樣本數和檢測成功數直接相加，分別作為測試性參數評估的故障樣本數和檢測成功數。兩種方法均按文獻[12]計算裝備故障檢測率的點估計值和單側置信下限。

3.2 直接法評估

根據表1統計結果，3種試驗方式得到的故障樣本總數為85個，成功檢測故障數為66個，檢測失敗數為19個。得到故障檢測率的點估計值為77.64%；由n=85，nf=19，C=0.8，在文獻[17]中查表A.1，得到故障檢測率的單側置信下限為72.98%.

3.3 綜合評估

3.3.1 3種試驗結果的測試性參數評估

根據表1統計結果計算故障檢測率的點估計值，得到外場試驗、實驗室試驗、分析評價的點估計值分別為66.67%、89.28%、80.95%. 在文獻[17]中查表A.1，得到外場試驗、實驗室試驗和分析評價的故障檢測率單側置信下限分別為58.33%、81.88%、70.06%.

3.3.2 3種試驗結果的可信度計算

首先，采用兩兩賦值法計算3種試驗結果的主觀可信度。選擇16名資深業內專家對外場試驗、實驗室試驗和分析評價3種試驗評價方式試驗結果的可信度進行打分賦值。打分按9分制實施，分值直接取整數，分值代表兩指標相比較的重要程度。專家打分分值的含義如表3所示。

每名專家提供3項打分結果，分別是外場試驗與實驗室試驗可信度比值、外場試驗與分析評價可信度比值、實驗室試驗與分析評價可信度比值。矩陣A為16名專家的打分結果。

表1 外場試驗自然故障統計表

表2 某裝甲輸送車測試性試驗結果

表3 專家打分分值的含義

按主觀計算法求得外場試驗、實驗室試驗和分析評價的主觀可信度分別為0.74、0.20、0.06.

其次，計算3種試驗結果的客觀可信度。將3種試驗評價方式求得的故障檢測率評估結果(單側置信下限)代入(18)式計算vs，分別按(19)式、(20)式計算ds和μ2s. 客觀可信度計算結果如表4所示。

表4 客觀可信度計算結果

最后，按照(21)式，采用組合權重法求得3種試驗結果的綜合可信度分別為外場試驗0.75、實驗室試驗0.19、分析評價0.06.

從3種算法的排序結果看，實驗室試驗的主觀可信度高于分析評價結果，客觀可信度低于分析評價結果，即專家系統認為實驗室試驗結果更可信，但其在一定程度上高估了裝備測試性水平。綜合加權后得出3種試驗結果可信度的排序是外場試驗>實驗室試驗>分析評價，與實際情況較為吻合。

從3種算法得到的數值結果看，主觀計算法得到的外場試驗可信度為0.74，經過客觀可信度的修正后，綜合加權得到的外場試驗可信度進一步提高到0.75，即客觀計算為主觀判斷提供了數據支持。

3.3.3 3種試驗結果測試性參數折算

首先，按(22)式計算3種試驗的折算系數。計算結果為：外場試驗折算系數1，實驗室試驗折算系數0.25，分析評價折算系數0.06.

其次，分別按(23)式和(24)式計算故障檢測率的折算值，計算結果如表5所示。

表5 3種試驗方式測試性參數折算結果

3.3.4 測試性參數綜合評估

將3種試驗方式的測試性參數折算值分別代入(26)式和(27)式，求得故障檢測率的綜合評估結果為：點估計值71.83%，單側置信下限63.38%.

3.4 計算結果對比分析

將單項評估和綜合評估所得到的測試性參數計算結果進行對比分析，如表6所示。

表6 直接法和綜合評估法評估結果對比

從單項評估結果看，外場試驗故障檢測率的點估計值和單側置信下限均明顯低于實驗室試驗和測試性分析評價，這與外場試驗中裝備所經歷的復雜試驗環境有直接關系，在真實環境中裝備BIT設備存在的設計缺陷和可靠性問題得到了充分暴露，相應的故障檢測率水平也相對要低一些。因此，外場試驗的測試性驗證結果更可信，更接近裝備測試性的真實水平。

從綜合評估結果看，采用直接法評估得到的故障檢測率點估計值和單側置信下限均高于綜合評估法計算結果，這是因為直接法將外場試驗與實驗室試驗及分析評價3種試驗評價方式的可信度水平等同看待，而綜合評估法得到的評估結果更靠近外場試驗結果。因此，采用綜合評估法對裝甲車輛測試性參數進行評估是可行的，評估結果也更為合理。

4 結論

本文針對測試性實驗室試驗可信度低于外場試驗的問題，結合裝甲車輛外場試驗自然故障樣本量大的特點，引入試驗結果可信度概念，將外場試驗、實驗室試驗和分析評價一并作為裝甲車輛測試性試驗方式，對測試性評估模型進行了研究。主要得到以下結論：

1)裝甲車輛測試性試驗優先采用外場試驗方式。當故障樣本量不足時，采用實驗室試驗方式進行模擬故障注入；當部分模擬故障無法注入時，采用分析評價方法確定裝備測試性水平。

2)基于試驗結果可信度的測試性綜合評估方法基本原理是：以外場試驗、實驗室試驗、分析評價3種方式的試驗結果為基礎，首先采用綜合權重法計算不同試驗結果可信度，其次按可信度對初始評估結果進行折算，最后進行測試性參數的綜合評估。

3)綜合可信度既考慮到決策者的評估側重點，又突出了外場試驗結果的客觀性。與單一主觀、客觀賦權法相比，在工程實踐中更具可操作性。

參考文獻(References)

[1] 田仲，石君友.系統測試性設計分析與驗證[M].北京：北京航空航天大學出版社，2003：361-396.

TIAN Zhong, SHI Jun-you. Design, analysis and demonstration of system testability[M]. Beijing: Beihang University Press, 2003: 361-396.(in Chinese)

[2] 沈嶺，周鳴歧.航天產品測試性試驗驗證方法[J].中國質量, 2006(7)：16-18.

SHEN Ling, ZHOU Ming-qi. Testability demonstration methods of aerospace products[J].China Quality, 2006(7):16-18. (in Chinese)

[3] 何洋，葉曉慧，趙建揚.機電設備的測試性試驗初探[J].電光與控制，2011，18(11)：92-95.

HE Yang, YE Xiao-hui, ZHAO Jian-yang.On testability verification for electromechanical equipment[J]. Electronics Optics & Control, 2011, 18(11):92-95.(in Chinese)

[4] 張小波，常瑞承.艦艇型號工程測試性驗證與評價方法[J].艦船科學技術，2014，36(7)：150-153.

ZHANG Xiao-bo, CHANG Rui-cheng. The study of the ship engineering development testablilty evaluation method[J]. Ship Science and Technology, 2014, 36(7): 150-153. (in Chinese)

[5] 常春賀，楊江平，王杰.雷達裝備測試性驗證及應用研究[J].計算機測量與控制，2011，19(8)：1943-1949.

CHANG Chun-he, YANG Jiang-ping, WANG Jie. Research on verification and application of testability of radar equipment[J]. Computer Measurement & Control, 2011, 19(8): 1943-1949. (in Chinese)

[6] 張聯禾.基于模擬試驗的測試性評估方法研究[J].西南師范大學學報：自然科學版，2014, 39(11)：122-127.

ZHANG Lian-he. Testability evaluation method based on the simulation test study of flight test phase[J]. Journal of Southwest China Normal University：Natural Science Edition, 2014, 39(11): 122-127. (in Chinese)

[7] 中國人民解放軍總裝備部.GJB 2547A—2012 裝備測試性工作通用要求[S].北京：中國人民解放軍總裝備部， 2012.

General Armaments Department of the Chinese People’s Liberation Army. GJB 2547A—2012 General requirement for materiel testability program[S]. Beijing: General Armaments Department of the Chinese People’s Liberation Army, 2012. (in Chinese)

[8] 張藝瓊，武月琴，曾照祥，等.測試性驗證試驗中的綜合評估方法[J].測控技術，2013，32(6)：133-139.

ZHANG Yi-qiong, WU Yue-qin, ZENG Zhao-xiang，et al. Method of integrated evaluation of testability validation test[J]. Measurement & Control Technology, 2013, 32(6): 133-139. (in Chinese)

[9] 王京，李天梅，何華鋒，等.多源測試性綜合評估數據等效折合模型與方法研究[J].兵工學報，2017,38(1)：151-159.

WANG Jing, LI Tian-mei, HE Hua-feng，et al. Research on multi-source data equivalent methods for testability integrated evaluation[J]. Acta Armamentarii,2017, 38(1): 151-159. (in Chinese)

[10] 韓志鋼.裝備測試性綜驗證技術研究[J].可靠性與環境適應性理論研究，2016，34(2)：7-9.

HAN Zhi-gang. A comprehensive testability verification technology of equipment[J]. Electronic Product Reliability and Environmental Testing, 2016, 34(2): 7-9. (in Chinese)

[11] 余龍海，史賢俊，肖支才.基于使用階段數據的裝備測試性驗證方法[J].電光與控制，2016,23(6)：90-95.

YU Long-hai, SHI Jun-xian, XIAO Zhi-cai. A method for testability verification of armament based on data of service stage[J]. Electronics Optics & Control, 2016,23(6): 90-95. (in Chinese)

[12] 田仲.測試性驗證方法研究[J].航空學報，1995,16(增刊)：65-70.

TIAN Zhong. Study on testability demonstration methods[J]. Acta Aeronautica et Astronautica Sinica, 1995, 16(S):65-70. (in Chinese)

[13] 徐忠偉，周玉芬，徐松濤，等.測試性驗證中抽樣方案的精確算法及應用[J].航空學報，2000，21(1)：67-69.

XU Zhong-wei, ZHOU Yu-fen, XU Song-tao，et al. Accurate algorithm of sampling plan & its application in testability demonstration[J]. Acta Aeronautica et Astronaunica, 2000, 21(1):67-69. (in Chinese)

[14] 田仲.測試性分配和預計[J].北京航空航天大學學報，1995,21(4)：13-17.

TIAN Zhong. Testability allocation and prediction[J]. Journal of Beijing University of Aeronautics and Astronautics, 1995, 21(4): 13-17. (in Chinese)

[15] 魏世孝，周獻中.多屬性決策理論方法及其在C3I系統中的應用[M].北京：國防工業出版社，1998:76-77.

WEI Shi-xiao, ZHOU Xian-zhong. Multi-attribute decision-making theory and its application in C3I system[M]. Beijing: National Defense Industry Press, 1998:76-77. (in Chinese)

[16] 張永鋒，駱清國.裝甲車輛柴油機整機性能的綜合評價[J].機械工程學報，2006，42(13)：205-208.

ZHANG Yong-feng, LUO Qing-guo. Comprehensive evaluation of diesel engine performance for armored vehicles[J]. Chinese Journal of Mechanical Engineering, 2006, 42(13):205-208. (in Chinese)

[17] 東北師范大學. GB/T 4087—2009 數據的統計處理和解釋：二項分布可靠度單側置信下限[S]. 北京：中國標準出版社，2009.

Northeast Normal University. GB/T 4087—2009 Statistical interpretation of data—one-side confidence lower limit of reliability for binomial distribution[S].Beijing: Standards Press of China, 2009. (in Chinese)