一致性檢驗在試飛數據有效性評定中的應用

符　嬈，陳　釗，左思佳

(中國飛行試驗研究院，陜西西安710089)

?

一致性檢驗在試飛數據有效性評定中的應用

符嬈，陳釗，左思佳

(中國飛行試驗研究院，陜西西安710089)

摘要：為了評定新研裝機設備在試飛中的工作可靠性，引入基準設備或測試方法的測量結果，對新研設備測量結果的一致性進行檢驗，判定其測試數據的有效性是實現這一目的的一項重要技術手段。從幾種常見一致性檢驗方法的原理出發，比較其優缺點及適應性，提出了針對不同類型測試數據有效性評定的一致性檢驗方法，通過真實試飛數據驗證了該方法的工程使用價值，為新研設備裝機可靠使用提供依據。

關鍵詞：航空發動機狀態監視系統一致性檢驗數據分析

0引言

飛行試驗既是探索航空新概念、新理論，突破關鍵技術，驗證關鍵系統的重要手段，也是為新機投產提供決策依據的重要驗證過程和為新機投入使用摸索經驗的必經途徑。保證試驗數據真實有效是進行試飛研究的先決條件，無效數據不僅會導致試飛工程師做出錯誤的判斷和決策，影響試飛目標的達成，也是對試飛資源的極大浪費。尤其隨著現代科學技術的發展，越來越多的新方法/新技術被應用到飛行試驗研究中，這在提高試飛效率的同時，試飛數據有效性檢驗的問題也越來越突出。

試飛工程師在對數據的有效性進行判斷時，實驗室標定是經常使用的方法之一，但由于實驗室環境往往不能完全真實地模擬工程應用的實際情況，因此具有一定的局限性。工程師也可以根據自身經驗對數據是否真實有效做出判斷，但判斷結果也會因自身認識水平的局限性而出現偏差。針對該問題，本文研究了基于一致性檢驗的試飛數據有效性評定方法，從幾種常用的一致性檢驗方法的計算原理出發，探討了一致性檢驗在試飛數據有效性評定應用中的可行性，通過真實試飛數據證明了一致性檢驗方法的工程應用價值。

1幾種常用一致性檢驗方法的分析

一致性檢驗的基本研究思路是：針對研究對象的某一特定過程，同時使用A方法(基準方法)和B方法(被評定方法)進行測量，如果可以確認A方法的測量結果是真實的，并且B方法和A方法的測量結果一致，則可以證明B方法的測量結果也是有效的。可見，確定評定基準是進行一致性檢驗的前提條件，這也是在工程實踐中進行一致性檢驗必須要關注的問題。目前較為常用的一致性檢驗方法有配對t檢驗，Kappa檢驗，組內相關系數法(ICC)、Bland-Altman圖等，以下分別進行討論。

(1)配對t檢驗

配對t檢驗是常用的假設檢驗方法之一，是小概率反證法思想在統計學中的具體應用。計算公式為[6]：

(1)

(2)Kappa檢驗

利用Kappa統計量作為評定一致性程度的指標是1960年由Cohen等人最先提出的，這種評定方法也被稱為Kappa檢驗，其結果證明的是兩種方法測定結果實際一致率和隨機一致率之間的差別是否具有顯著性意義，主要適用于離散型統計數據。以二分類統計數據為例，Kappa統計量的計算公式為[7]：

寧波諾丁漢大學成立于2004年，2013年英國高等教育質量保證機構QAA對其質量評定，認為學生水平與學生質量與諾丁漢大學一致。束定芳等[4]通過跟蹤調查2005年到2008年大學英語的教學情況，認為其成功的要素有六點：1.學校定位清楚，英語教學明確；2.需求分析到位；3.課程設計合理；4.學習資料豐富教材選用科學；5.課堂教學有效；6.教師專業敬業具有良好的自主意識。其中，建立在準確需求分析下的課程設置是其成功的重要原因。課程設置的特色為語言技能與核心課程和基礎課程相結合，體現強化訓練，突出學習策略。

(2)

(3)

(4)

式中：P0為實際一致率，Pe為理論一致率，a、b、c、d、n 的數學含義詳見表1。

表1

二分類Kappa檢驗的數據結構

Kappa檢驗的一般經驗法則為：Kappa>0則證明檢驗有意義，Kappa值越大，則一致程度越理想，Kappa>0.75為相當滿意的一致程度，Kappa<0.4為一致性較差[8]。值得注意的是，Kappa檢驗的數學原理決定了該方法并不適用于連續性樣本數據的一致性檢驗，這也限制了該方法在工程中的使用范圍。

(3)組內相關系數法(ICC法)

通過計算個體間變異度除以總變異度所得的ICC值判斷測量方式間的一致性。ICC取值介于0～1之間，該值越大，證明個體間變異在總變異中的作用越大，因而測量方式間的一致性越好[9]。ICC法的計算公式為[10]：

(5)

(6)

則定義ICC為：

(7)

可見，與Kappa檢驗不同，ICC法更適用于連續性樣本數據的一致性檢驗。在應用ICC法時需要注意的是，如果觀測樣本數據的差異較小，將會導致計算所得的ICC值誤差增大甚至完全失真，所以平穩態的試驗數據不宜利用ICC法進行分析。

⑷Bland-Altman圖法

Bland-Altman圖法是由Bland JM和Altman GD共同提出的一種數據一致性檢驗方法[11]，該方法的特殊之處在于它以圖形的方式反映一致性界限，而不是以統計量的數值大小確定一致性的程度。Bland-Altman圖的繪制方法是[12]：

設針對n個被測對象，使用兩種不同測量方式測量所得的結果分別為x11，x12，… ，x1n和x21，x22，…，x2n則規定偏差d為：

di=x1i-x2i，i=1，2，…，n

(8)

(9)

在抽取的樣本數量較多時(n≥30)，一般認為偏差d遵從標準正態μ分布，d的區間估計則為：

(10)

根據公式(9)或公式(10)即可繪制Bland-Altman圖，示例如圖1所示。

圖1　Bland-Altman圖示例

從以上的分析可知，每種一致性檢驗方法都有不同的使用特點，也存在著使用限制，沒有一種方法可以應對所有的工程實際情況。在工程實踐中，使用何種一致性檢驗方法需要根據對象數據的特點進行分析。在飛行試驗中，按數據類型劃分，試驗數據主要分為兩大類，即連續型試驗數據和離散型試驗數據。例如，飛機的飛行高度、速度，發動機的振動、壓力、溫度等數據即為連續型試驗數據，而離散型試驗數據主要是信號量數據，比如各類告警信號、開關信號等。在對不同類型的試驗數據進行一致性檢驗時，應選用不同的評定方法：Kappa檢驗適用于離散型試飛數據，而波動較大的連續型試飛數據應使用ICC法，較為平穩的連續型試飛數據可以使用Bland-Altman圖進行一致性檢驗。

2一致性檢驗方法在試飛數據分析中的應用驗證

在某預研項目中，試飛工程師研制開發了一種全新的發動機狀態監視系統(A系統)，為評定其工作可靠性，將其安裝于某型發動機參與飛行試驗，以發動機自帶的狀態監視系統(B系統)的測試數據為基準對A系統進行裝機考核。通過飛行試驗，共隨機采集到數據樣本各258個(組)，如表2所示。

表2飛行試驗中A系統和B系統采集到的數據樣本

序號數據類型測試參數A系統樣本數B系統樣本數123456789101112離散型連續型加力信號46個46個磁性屑末告警信號34個34個防喘信號38個38個消喘信號28個28個應急輔起信號42個42個信號處理板故障信號16個16個切斷渦輪起動機信號22個22個滑油回油溫度5組5組振動速度總量11組11組風扇進口壓力6組6組高壓渦輪出口溫度4組4組可調靜子葉片位置6組6組

根據表中各類型測試參數的不同特點，分別使用不同方法對兩套裝機測試系統的試飛數據進行一致性檢驗。

(a)基于Kappa檢驗的離散型數據一致性分析

對所有離散型樣本進行分析和統計，構造的二分類結果表如表3所示[13]。

表3

離散型樣本的二分類結果表

根據公式(2)-(4)，計算可得Kappa=0.913，證明A系統和B系統在離散型參數測量方面具有良好的一致性。

(b)基于Bland-Altman圖法的緩變連續型數據一致性分析

對于波動程度較小的連續型樣本數據，宜采用Bland-Altman圖法。以一組發動機穩定工作時的滑油回油溫度數據樣本為例，其測試結果的時間歷程圖如圖2所示。

圖2　發動機穩定工作時的滑油回油溫度測試結果

圖3　滑油回油溫度Bland-Altman圖

從圖3可以看出，A系統和B系統測試的滑油回油溫度的平均值差別較小，測量值的偏差基本位于95%的置信區間內，A系統和B系統測試的滑油回油溫度具有良好的一致性。

(c)基于組內相關系數法(ICC法)的瞬變連續型數據一致性分析

對于波動程度較大的連續型樣本數據，應采用ICC法。以發動機過渡態的振動數據樣本為例，其測試結果的時間歷程圖如圖4所示。

圖4　發動機過渡態的振動測試結果

由圖可見在發動機過渡工作狀態時，振動出現了劇烈的變化，波動幅度較大。應用ICC法對其一致性進行檢驗，將測試數據輸入SPSS軟件[14-15]，計算其ICC值為0.978。證明A系統和B系統測量的振動值具有“極強”的一致性。

3結論

通過以上方法，分別對采集自A系統和B系統的隨機數據樣本各258個(組)，選取適應其數據類型的一致性檢驗方法進行數據分析，結果顯示兩個系統的測試結果具有較高的一致性，據此可以說明，試飛工程師自主研發的發動機狀態監視系統(A系統)采集輸出的測試結果真實有效，系統工作可靠，可以裝機使用于某型發動機飛行試驗。

本文介紹幾種常用一致性檢驗方法的原理及適用性，將一致性檢驗方法引入到飛行試驗試飛數據有效性評定的具體工程實踐中，明確了其必要性，并驗證了其實用性和有效性，為今后新方法應用于試飛研究、新設備裝機使用提供必要依據。

參考文獻

[1]吳旭光,楊惠珍,王新民. 計算機仿真技術[M]. 北京:化學工業出版社,2005.

[2]魏華梁,李鐘武. 灰色關聯分析及其在導彈系統仿真模型驗證中的應用[J]. 系統工程與電子技術,1997 ,19 (2) : 55-61.

[3]孫勇成,周獻中,李桂芳,等. 基于灰色關聯分析的仿真模型驗證及其改進[J]. 系統仿真學報,2005 ,17 (3) :522-524.

[4]傅惠民,陳建偉. 動態仿真結果距離檢驗方法[J]. 機械強度,2007 ,29 (2) :206-211.

[5]陳建偉. 仿真結果動態一致性檢驗方法研究進展[J]. 河北理工大學學報(自然科學版), 2011,33(3) :87-93.

[6]劉慶武,張小清,羅玉玲,等. 如何用SPSS、SAS進行t檢驗的運算[J]. 湘南學院學報(自然科學版) ,2004,6(04)：49-51.

[7]Viera A J, Garrett J M. Understanding interobserver agreement: the kappa statistic [J]. Family Medicine,2005,37(5):360-363.

[8]侯宜廣,趙瑾,董玉昆,等. 利用kappa統計值研究多種空氣質量預報方法的一致性[J]. 氣象,2011,37(2):232-236.

[9]張群巖,趙述元,李飛行. 航空發動機試飛振動實時監視技術研究[J]. 噪聲與振動控制, 2011,31(02)：159-162.

[10]米紅,張文璋. 實用現代統計分析方法與SPSS應用[M]. 北京:當代中國出版社,2004.

[11]Bland J M, Alman D G. Statistical methods for assessing agreement between two methods of clinical measurement[J]. Lancet,1986,327(8476):307-310.

[12]朱令宇,李永杰,張蒙生,等. Bland-Altman法在煙草測量儀器一致性評價中的應用[J]. 中國儀器儀表,2009(05)82-84.

[13]姜玉玲. 基于EXCEL對KAPPA的研究與應用[J]. 才智,2012.

[14]姜忠尉. 統計分析軟件SPSS的特點和應用分析[J]. 中國證券期貨,2012(04)291.

[15]蘇金明,傅榮華,周建斌，等. SPSS for Windows實用指南[M]. 北京:電子工業出版社, 2001.

The application of consistency check in the effectiveness evaluation of flight test data

FU Rao, CEHN Zhao, ZUO Sijia

Abstract:In order to implement the VVA(verification, validation, accreditation) of a newly developed equipment in flight test, it’s important to have the effectiveness of the data gathered from the new equipment evaluated based on consistency check comparing to the data gathered from standard equipment or method. In this paper, several common methods of consistency check were described in detail, and their advantages, disadvantages and adaptability were compared. Then we put forward a consistency check method for different types of test data, and verified its practical value in engineering with actual flight test data. This study provided basis for the reliability of newly developed equipment.

Keywords:aircraft engine; monitoring system; consistency check; data analysis

收稿日期：2015-10-14

作者簡介：符嬈(1985-)，女，陜西武功人，工程師，碩士研究生，研究方向：動力裝置與結構強度特性飛行試驗。

中圖分類號：V217

文獻標識碼：A

文章編號：1002-6886(2016)02-0073-05