基于模糊評(píng)判的模擬訓(xùn)練效果評(píng)估模型

鄭娜娥，趙智昊，任修坤，陳　松

(解放軍信息工程大學(xué)導(dǎo)航與空天目標(biāo)工程學(xué)院，河南 鄭州　450002)

基于模糊評(píng)判的模擬訓(xùn)練效果評(píng)估模型

鄭娜娥，趙智昊，任修坤，陳松

(解放軍信息工程大學(xué)導(dǎo)航與空天目標(biāo)工程學(xué)院，河南 鄭州450002)

為了更客觀、合理地評(píng)估裝備模擬訓(xùn)練效果，本文構(gòu)建了基于模糊評(píng)判的模擬訓(xùn)練效果評(píng)估模型。首先根據(jù)實(shí)際系統(tǒng)情況，構(gòu)建了包含兩級(jí)指標(biāo)的評(píng)價(jià)指標(biāo)體系；其次，將評(píng)價(jià)指標(biāo)體系分層，并根據(jù)每一層指標(biāo)之間的兩兩相對(duì)重要程度，構(gòu)造判斷矩陣；在此基礎(chǔ)上，采用層次分析法計(jì)算指標(biāo)權(quán)重，并完成模型的一致性檢驗(yàn)。模型應(yīng)用結(jié)果表明，該模型可依據(jù)具體的訓(xùn)練目的進(jìn)行訓(xùn)練效果的評(píng)估，能夠較客觀真實(shí)地反應(yīng)訓(xùn)練情況。

模擬訓(xùn)練；評(píng)估模型；模糊評(píng)價(jià)；層次分析

本文著錄格式：鄭娜娥，趙智昊，任修坤，等. 基于模糊評(píng)判的模擬訓(xùn)練效果評(píng)估模型[J]. 軟件，2016，37（9）：68-71

0　引言

近年來(lái)，裝備模擬訓(xùn)練因可迅速提升操控人員的設(shè)備操作能力和維護(hù)能力，縮短人員訓(xùn)練周期，且不受裝備本身的使用壽命和訓(xùn)練條件約束，不會(huì)因操作不當(dāng)對(duì)裝備造成損害等諸多優(yōu)勢(shì)受到廣泛重視[1][2]。相應(yīng)地，如何科學(xué)、合理地構(gòu)建評(píng)估模型，實(shí)現(xiàn)對(duì)模擬訓(xùn)練效果的快速、有效評(píng)估成為研究熱點(diǎn)[3]。

裝備模擬訓(xùn)練通常包括理論學(xué)習(xí)和實(shí)踐操作兩大部分。理論學(xué)習(xí)部分目的在于讓操控人員掌握裝備基本情況、基本原理、操作方法以及注意事項(xiàng)等與裝備密切相關(guān)的理論知識(shí)，對(duì)于這一部分效果的評(píng)估，一般采用卷面考核的方式。相比之下，實(shí)踐操作效果的評(píng)估更為復(fù)雜。一種最直觀、也是目前被普遍采用的方法就是人工評(píng)價(jià)。人工評(píng)價(jià)雖能夠有針對(duì)性地指出操作過(guò)程中存在的各種問(wèn)題，但這種方法缺乏客觀測(cè)度，難以統(tǒng)一評(píng)價(jià)標(biāo)準(zhǔn)，且效率較為低下。現(xiàn)代基于計(jì)算機(jī)系統(tǒng)的評(píng)價(jià)多采用綜合評(píng)價(jià)方法[4][5]。綜合評(píng)價(jià)指對(duì)多屬性體系結(jié)構(gòu)描述的對(duì)象系統(tǒng)做出全局性、整體性的評(píng)價(jià)，其基本思想是評(píng)價(jià)量化值的加權(quán)平均。對(duì)于需要考慮含有多種模糊性因素的模擬訓(xùn)練評(píng)估，模糊綜合評(píng)價(jià)[6]將是有效的方法。

為了得到能夠較客觀、準(zhǔn)確地反映操控人員訓(xùn)練情況的評(píng)估結(jié)果，針對(duì)現(xiàn)有評(píng)估方法的不足，本文從操作準(zhǔn)確度、熟練程度、完成時(shí)限、結(jié)果準(zhǔn)確度等四個(gè)方面入手，構(gòu)建基于模糊評(píng)判的模擬訓(xùn)練效果評(píng)估模型，并將其應(yīng)用于某模擬訓(xùn)練系統(tǒng)，獲得了良好的效果。

1　模糊綜合評(píng)價(jià)一般模型

模糊綜合評(píng)價(jià)也叫模糊綜合決策，是指考慮多種模糊性因素的影響，依據(jù)一定的目標(biāo)或標(biāo)準(zhǔn)對(duì)評(píng)價(jià)對(duì)象做出綜合評(píng)價(jià)的方法[7]。其具體做法[8]為：首先將模糊信息定量化，即采用一定的方法將各模糊因素進(jìn)行定量描述；其次，建立評(píng)語(yǔ)集對(duì)各因素進(jìn)行評(píng)估，得出評(píng)估矩陣；然后，根據(jù)評(píng)估矩陣和權(quán)重計(jì)算的結(jié)果給出最后的評(píng)估結(jié)果。

模糊綜合評(píng)價(jià)一般模型包含要素為[9]：因素集、權(quán)重、評(píng)判集和模糊關(guān)系運(yùn)算，分別定義如下：

2　基于模糊評(píng)判的模擬訓(xùn)練效果評(píng)估模型

根據(jù)模糊綜合評(píng)價(jià)一般模型，基于模糊評(píng)判的模擬訓(xùn)練效果評(píng)估模型涉及評(píng)價(jià)指標(biāo)體系的建立、權(quán)重的計(jì)算、評(píng)判集的確定、評(píng)估流程和方法等。對(duì)于后兩項(xiàng)內(nèi)容，本文采用百分制評(píng)判、加權(quán)求和的評(píng)估方法。因此，研究重點(diǎn)在于評(píng)價(jià)指標(biāo)體系的建立以及權(quán)重的確定。

2.1評(píng)價(jià)指標(biāo)體系的建立

實(shí)際中，對(duì)裝備的模擬訓(xùn)練有相當(dāng)一部分依托于模擬訓(xùn)練系統(tǒng)或軟件，依靠計(jì)算機(jī)完成。為了實(shí)現(xiàn)對(duì)此類(lèi)模擬訓(xùn)練效果的客觀、合理評(píng)估，本文設(shè)定操作準(zhǔn)確度、熟練程度、完成時(shí)限、結(jié)果準(zhǔn)確度這四大評(píng)價(jià)指標(biāo)，其中操作準(zhǔn)確度通過(guò)正確點(diǎn)擊率、操作流程準(zhǔn)確率和專(zhuān)家評(píng)判指數(shù)來(lái)衡量，熟練程度通過(guò)操作時(shí)間間隔、判決時(shí)間間隔、提交結(jié)果數(shù)量和專(zhuān)家評(píng)判指數(shù)來(lái)衡量，完成時(shí)限由操作總耗時(shí)衡量，結(jié)果準(zhǔn)確度由結(jié)果準(zhǔn)確率衡量。評(píng)價(jià)指標(biāo)體系如圖1所示。

圖1　模擬訓(xùn)練效果評(píng)價(jià)指標(biāo)體系

在上述評(píng)價(jià)指標(biāo)體系中，除了專(zhuān)家評(píng)判指數(shù)由專(zhuān)家根據(jù)操控人員的操作情況給出，其他指標(biāo)均由計(jì)算機(jī)測(cè)定、計(jì)算以及記錄。該指標(biāo)體系用于訓(xùn)練效果評(píng)估，相比人工評(píng)價(jià)，顯然能夠大大提高評(píng)估結(jié)果的客觀性。

2.2權(quán)重的計(jì)算

評(píng)價(jià)指標(biāo)的權(quán)重反映了指標(biāo)對(duì)評(píng)估過(guò)程的影響高低以及指標(biāo)之間相對(duì)的重要程度，是多指標(biāo)綜合評(píng)價(jià)的關(guān)鍵。常用權(quán)重計(jì)算方法有經(jīng)驗(yàn)評(píng)定法[10]、比較加權(quán)法[11]和層次分析（AHP，Analytic Hierarchy Process）法[12]等。其中，AHP法是一種能夠?qū)Χㄐ詥?wèn)題進(jìn)行定量分析的多準(zhǔn)則決策方法，其能夠?qū)⒅骺陀^判斷有效結(jié)合，通過(guò)劃分層次，將復(fù)雜問(wèn)題的各種因素條理化，進(jìn)而對(duì)每一相同層次指標(biāo)的兩兩相對(duì)重要性進(jìn)行定量描述。本文采用AHP法計(jì)算權(quán)重，流程如圖2所示。

圖2　權(quán)重計(jì)算方法流程圖

圖2中的判斷矩陣是表征各層次每個(gè)指標(biāo)兩兩相對(duì)重要程度的矩陣，構(gòu)造方法為：將同屬一層的各指標(biāo)進(jìn)行兩兩比較，得到相對(duì)重要程度并用數(shù)值表示，寫(xiě)成矩陣的形式。

將上一節(jié)給出的評(píng)價(jià)指標(biāo)體系分層，一、二級(jí)指標(biāo)分別對(duì)應(yīng)第一、二層，如表1所示。

本文模型中一、二層指標(biāo)對(duì)應(yīng)的判斷矩陣分別由表1所示各指標(biāo)兩兩比較的數(shù)值結(jié)果構(gòu)成，其中，屬于不同一級(jí)指標(biāo)的二級(jí)指標(biāo)各自形成判斷矩陣。

表1　評(píng)價(jià)指標(biāo)體系的分層表示

2）矩陣元素ija由代表標(biāo)度的數(shù)字1~9或者它們的倒數(shù)組成，各標(biāo)度對(duì)應(yīng)的含義如表2所示。

表2　判斷矩陣的標(biāo)度及其含義

假設(shè)A是表1中一層指標(biāo)的判斷矩陣，OA，SA，分別表示分屬于四個(gè)不同一層指標(biāo)的二層指標(biāo)的判斷矩陣，顯然權(quán)重計(jì)算方法具體如下：

Step 1：結(jié)合實(shí)際情況下表1中各指標(biāo)的相對(duì)重要程度，對(duì)照表2分別構(gòu)造出判斷矩陣A，OA，SA；

Step 2：分別計(jì)算A，OA，SA的特征值和特征向量，并分別找出其中的最大特征值maxλ及其對(duì)應(yīng)特征向量；

Step 3：將所得特征向量分別進(jìn)行歸一化處理，即得第一層指標(biāo)的單層權(quán)重向量W，以及第二層指標(biāo)的單層權(quán)重向量WO，WS，分別表示為：

Step 4：根據(jù)式（5）和（6）計(jì)算模型的一致性指標(biāo)CI值和一致性比率CR；

表3　平均隨機(jī)一致性指標(biāo).RI[13]

其中表示判斷矩陣的維數(shù)，RI的取值見(jiàn)表3。

Step 6：將第二層指標(biāo)的單層權(quán)重與所屬第一層指標(biāo)的單層權(quán)重相乘，結(jié)果即為第二層各指標(biāo)的組合權(quán)重。

3　模型應(yīng)用

依據(jù)上述模型，設(shè)計(jì)并開(kāi)發(fā)了某裝備模擬訓(xùn)練效果評(píng)估系統(tǒng)。在應(yīng)用過(guò)程中，系統(tǒng)將對(duì)專(zhuān)家評(píng)定的分?jǐn)?shù)和后臺(tái)根據(jù)操控人員的操作情況給出的分?jǐn)?shù)，采用模型中給出的權(quán)重計(jì)算方法，進(jìn)行加權(quán)求和，得到操控人員的最終成績(jī)。

施訓(xùn)人員事先設(shè)定腳本，在腳本中給出各層指標(biāo)相對(duì)的重要程度。比如在一次以考察完成速度為重點(diǎn)的訓(xùn)練中，給定各指標(biāo)的相對(duì)重要程度排序?yàn)橥瓿蓵r(shí)限T（操作總耗時(shí)1t）、結(jié)果準(zhǔn)確度R（結(jié)果準(zhǔn)確率1r）、操作準(zhǔn)確度O（操作流程準(zhǔn)確率2o、正確點(diǎn)擊率1o、專(zhuān)家評(píng)判指數(shù)3o）、熟練程度S（提交結(jié)果數(shù)量3s、專(zhuān)家評(píng)判指數(shù)4s、判決時(shí)間間隔2s、操作時(shí)間間隔1s）。依據(jù)上一節(jié)給出的權(quán)重計(jì)算方法計(jì)算權(quán)重，得出結(jié)果如表4所示。

表4　模型應(yīng)用：權(quán)重計(jì)算結(jié)果

表4結(jié)果對(duì)應(yīng)的三個(gè)比率CR分別為0.0438、0.0036、0.0171，均小于0.1，符合要求。

圖3為模型在系統(tǒng)中的應(yīng)用界面，四個(gè)指標(biāo)中，需要專(zhuān)家輸入分?jǐn)?shù)的是操作準(zhǔn)確度和熟練程度，因?yàn)檫@兩個(gè)指標(biāo)中均含有專(zhuān)家評(píng)判指數(shù)這一二級(jí)指標(biāo)，系統(tǒng)后臺(tái)將其和其他客觀性指標(biāo)對(duì)應(yīng)分值進(jìn)行加權(quán)求和、四舍五入后，得到最終結(jié)果并輸出。

圖3　模型在系統(tǒng)中的應(yīng)用界面

從應(yīng)用結(jié)果可以看出，本文所給模型可依據(jù)具體的訓(xùn)練目的進(jìn)行訓(xùn)練效果的評(píng)估，能夠較客觀真實(shí)地反應(yīng)訓(xùn)練情況，因而對(duì)于訓(xùn)練效果的提升有較大的積極作用。

4　結(jié)束語(yǔ)

本文構(gòu)建了基于模糊評(píng)判的模擬訓(xùn)練效果評(píng)估模型，首先建立了包含操作準(zhǔn)確度、熟練程度、完成時(shí)限、結(jié)果準(zhǔn)確度等四個(gè)一級(jí)指標(biāo)在內(nèi)的評(píng)價(jià)指標(biāo)體系，其次采用層次分析法完成了指標(biāo)權(quán)重的計(jì)算，然后將成果在某裝備模擬訓(xùn)練系統(tǒng)進(jìn)行了應(yīng)用，取得了良好的效果。本文模型對(duì)于融合主客觀因素的多指標(biāo)評(píng)價(jià)問(wèn)題具有較好的借鑒意義，可推廣應(yīng)用于其他以計(jì)算機(jī)為平臺(tái)的模擬訓(xùn)練系統(tǒng)。

[1] 房施東, 韓雙喜, 楊清文, 等. 基于模型的氣象雷達(dá)數(shù)據(jù)處理訓(xùn)練模擬系統(tǒng)開(kāi)發(fā)[J]. 軟件, 2014, 35(4): 24-28.

[2] 詹漫漫, 嚴(yán)軍輝, 盧京潮等. 直升機(jī)仿真模擬訓(xùn)練集成系統(tǒng)實(shí)現(xiàn)[J]. 計(jì)算機(jī)測(cè)量與控制, 2012, 20(4): 1079-1081.

[3] 杜紅兵, 張慶慶. 民航機(jī)組資源管理訓(xùn)練效果評(píng)估模型[J].解放軍理工大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 17(3): 246-250.

[4] 王淼, 常乃超, 劉金波等. 狀態(tài)估計(jì)多指標(biāo)綜合評(píng)價(jià)方法[J]. 電力系統(tǒng)自動(dòng)化, 2015, 39(1): 94-98.

[5] 趙黛巖, 孫劍偉. 星地時(shí)間同步任務(wù)規(guī)劃綜合評(píng)價(jià)技術(shù)研究[J]. 軟件, 2014, 35(1): 60-64.

[6] 謝晉. 模糊算法在高校教師評(píng)價(jià)系統(tǒng)中的應(yīng)用研究[J]. 軟件, 2015, 36(8): 22-24.

[7] 諸克軍. 張新蘭. 肖荔瑾. Fuzzy AHP方法及應(yīng)用[J]. 系統(tǒng)工程理論與實(shí)踐. 1997. (12): 64-69.

[8] 范麗敏, 馮登國(guó), 周永彬. 基于模糊評(píng)價(jià)的分組密碼隨機(jī)性評(píng)估模型[J]. 計(jì)算機(jī)研究與發(fā)展, 2008, 45(12): 2095- 2101.

[9] 曹謝東. 模糊信息處理及應(yīng)用[M]. 北京: 科學(xué)出版社, 2003.

[10] 毛和瑞, 蕭元星. 基于層次分析的決策支持系統(tǒng)[J]. 系統(tǒng)工程與電子技術(shù), 1996, (7): 15-20.

[11] 張闡軍, 楊明忠, 郭順生. 柔性企業(yè)信息化評(píng)價(jià)系統(tǒng)的設(shè)計(jì)與應(yīng)用[J]. 計(jì)算機(jī)集成制造系統(tǒng), 2007, 13(5): 978-983.

[12] 吳春雷, 剛旭, 黃卓婭. 基于層次分析的評(píng)價(jià)權(quán)值計(jì)算模型研究與應(yīng)用[J]. 微型電腦應(yīng)用, 2012, 28(4): 28-31.

[13] Nahmias S. Fuzzy variables [J]. Fuzzy Sets and Systems, 1978, 28(1): 97-110.

A Fuzzy-Based Effect Evaluation Model for Training Simulation

ZHENG Na-e, ZHAO Zhi-hao, Ren Xiu-kun, CHEN Song
(Institute of Navigation and Space Target Engineering, The PLA Information Engineering University, Zhengzhou 450002, China)

In order to evaluate the effect of equipment training objectively and reasonably, a fuzzy-based effect evaluation model for training simulation is given in this paper. Firstly, an evaluation index system including two level indexes is proposed according to the fact. Then, it is divided into different hierarchies, and judgment matrices are formed base on the relative importance between indexes in the same hierarchy. Thirdly, the index weight can be calculated by analytic hierarchy process (AHP) and the consistency check of the model is completed. Application result indicates that the model can evaluate the effect of training simulation according to different training goal objectively and reasonably.

Training simulation; Evaluation model; Fuzzy evaluation; Analytic hierarchy process

TP309

A

10.3969/j.issn.1003-6970.2016.09.016