裝備虛擬操作訓(xùn)練考核評(píng)價(jià)方法研究

陽加遠(yuǎn)，周暢，邱煌彬，鄭超，馬之馨

（中國運(yùn)載火箭技術(shù)研究院，北京 100076）

隨著裝備保障作用的日益增加，裝備訓(xùn)練模式也逐步由傳統(tǒng)的訓(xùn)練方式向多元化轉(zhuǎn)變，結(jié)合計(jì)算機(jī)仿真、虛擬現(xiàn)實(shí)等技術(shù)的虛擬操作訓(xùn)練正逐漸成為新時(shí)期裝備訓(xùn)練和考核的重要方式[1-4]。為客觀反映參訓(xùn)人員的訓(xùn)練水平，避免由人為因素過多引起的評(píng)價(jià)不準(zhǔn)確、效率低等問題，需要一套客觀準(zhǔn)確并自動(dòng)化實(shí)施的評(píng)價(jià)系統(tǒng)。目前，工程評(píng)價(jià)中常用的方法有灰色度評(píng)價(jià)方法、模糊綜合評(píng)價(jià)法、層次分析法（AHP）、基于云模型的系統(tǒng)效能評(píng)價(jià)方法和以上方法的聯(lián)合運(yùn)用等。文獻(xiàn)[5]采用灰色度評(píng)價(jià)方法對(duì)無人偵察機(jī)模擬訓(xùn)練系統(tǒng)中操作人員故障維修模擬訓(xùn)練的實(shí)際操作進(jìn)行考核評(píng)價(jià)；文獻(xiàn)[6-8]采用模糊綜合評(píng)判方法，分別建立了民用機(jī)虛擬維修、裝甲裝備半實(shí)物維修、載人深潛器的訓(xùn)練評(píng)價(jià)方法；文獻(xiàn)[9]采用AHP 建立評(píng)價(jià)指標(biāo)體系，對(duì)設(shè)備的虛擬維修操作進(jìn)行了綜合評(píng)價(jià)；文獻(xiàn)[10]采用云模型建立了信息化條件下的軍事訓(xùn)練效果評(píng)價(jià)模型；文獻(xiàn)[11-13]采用AHP-模糊綜合評(píng)價(jià)法分別對(duì)裝備虛擬訓(xùn)練、飛行指揮模擬訓(xùn)練、消防訓(xùn)練進(jìn)行了評(píng)價(jià)；文獻(xiàn)[14-16]采用AHP-云模型分別對(duì)運(yùn)輸勤務(wù)訓(xùn)練場(chǎng)保障、炮兵營作戰(zhàn)指揮訓(xùn)練和雷達(dá)對(duì)抗訓(xùn)練效能進(jìn)行了評(píng)價(jià)。在虛擬操作訓(xùn)練系統(tǒng)應(yīng)用分析時(shí)發(fā)現(xiàn)，單純借用上述方法存在評(píng)價(jià)不全面、可操作性不強(qiáng)、計(jì)算復(fù)雜或需要人工干預(yù)等問題。為此，文中在分析系統(tǒng)訓(xùn)練評(píng)價(jià)需求的基礎(chǔ)上，綜合對(duì)比各評(píng)價(jià)方法的優(yōu)缺點(diǎn)，提出一種裝備虛擬操作訓(xùn)練考核評(píng)價(jià)方法，基于預(yù)設(shè)標(biāo)準(zhǔn)操作流程，構(gòu)建由操作完整性、操作順序、操作時(shí)間和操作準(zhǔn)確性構(gòu)成的訓(xùn)練評(píng)價(jià)指標(biāo)體系，并采用層次分析法明確訓(xùn)練指標(biāo)權(quán)重，通過數(shù)學(xué)計(jì)算實(shí)現(xiàn)了虛擬操作訓(xùn)練過程的量化評(píng)價(jià)。

1 需求分析與評(píng)價(jià)方法明確

1.1 需求分析

裝備虛擬操作訓(xùn)練系統(tǒng)主要實(shí)現(xiàn)裝備維護(hù)維修操作訓(xùn)練，由虛擬現(xiàn)實(shí)外設(shè)、虛擬訓(xùn)練軟件和訓(xùn)練內(nèi)容組成。虛擬現(xiàn)實(shí)外設(shè)采集用戶操作動(dòng)作并提供沉浸式的操作感官；虛擬訓(xùn)練軟件實(shí)現(xiàn)訓(xùn)練內(nèi)容的運(yùn)行加載、過程記錄和考核評(píng)價(jià)；訓(xùn)練內(nèi)容由相互獨(dú)立的操作訓(xùn)練項(xiàng)目組成，每個(gè)操作訓(xùn)練項(xiàng)目又由一系列操作步驟組合，操作步驟又可進(jìn)一步劃分為一系列原子動(dòng)作組合（即無法再進(jìn)行分割的動(dòng)作，如按鈕、開關(guān)動(dòng)作）。

系統(tǒng)的訓(xùn)練評(píng)估需求是通過記錄訓(xùn)練人員在操作訓(xùn)練時(shí)的各項(xiàng)操作信息（如項(xiàng)目執(zhí)行步驟、項(xiàng)目執(zhí)行時(shí)長、操作動(dòng)作精確度等），在完成項(xiàng)目訓(xùn)練時(shí)，自動(dòng)準(zhǔn)確地給出訓(xùn)練人員的考核評(píng)分。

1.2 評(píng)價(jià)方法選擇

表1 綜合對(duì)比了現(xiàn)有主要評(píng)價(jià)方法的適用范圍和優(yōu)缺點(diǎn)。考慮到涉及的裝備虛擬操作訓(xùn)練系統(tǒng)中評(píng)價(jià)的影響因素較為明確，因此，文中采用基于預(yù)設(shè)的標(biāo)準(zhǔn)流程與AHP 法相結(jié)合的方法開展訓(xùn)練評(píng)價(jià)，其中，AHP 法主要用于明確各項(xiàng)指標(biāo)權(quán)重。

表1 常用評(píng)價(jià)方法對(duì)比

AHP的主要步驟如下：

1）構(gòu)造判斷矩陣。按標(biāo)度理論（一般采用1-9 尺度賦值方法，如表2所示），構(gòu)建兩兩比較判斷矩陣B。

表2 1-9尺度量化值

2）計(jì)算重要性排序。計(jì)算判斷矩陣滿足Bw=λmaxω的特征值和特征向量，其中λmax為B的最大特征根，ω為對(duì)應(yīng)于λmax的正規(guī)化特征向量。所求特征向量經(jīng)歸一化后為各評(píng)價(jià)因素的重要性排序，即權(quán)重分配。

3）對(duì)判斷矩陣進(jìn)行一致性校驗(yàn)。通過一致性指標(biāo)CI明確各個(gè)指標(biāo)之間互相不存在邏輯沖突，其中CI=(λmax-n)/(n-1) 。引入RI（隨機(jī)一致性指標(biāo)）對(duì)一致性情況進(jìn)行判斷，如表3 所示。對(duì)于3 階以下判斷矩陣，一致性始終符合，無需判斷；當(dāng)階數(shù)大于2時(shí)，用CR=CI/RI作為判斷矩陣是否具備一致性的衡量指標(biāo)。當(dāng)CR＜0.1 時(shí)，判斷矩陣的一致性可接受，否則需進(jìn)一步調(diào)整矩陣。

表3 矩陣階數(shù)與RI值

2 評(píng)價(jià)指標(biāo)體系構(gòu)建與賦值

2.1 評(píng)價(jià)指標(biāo)體系構(gòu)建

裝備每一個(gè)維護(hù)維修操作項(xiàng)目均有一套標(biāo)準(zhǔn)的操作規(guī)程。在裝備虛擬操作訓(xùn)練系統(tǒng)研制過程中，針對(duì)每一個(gè)操作項(xiàng)目，研制人員會(huì)按照標(biāo)準(zhǔn)操作規(guī)程預(yù)先設(shè)置一套標(biāo)準(zhǔn)操作流程，并存儲(chǔ)于數(shù)據(jù)庫中。在訓(xùn)練人員開展裝備虛擬操作訓(xùn)練時(shí)，記錄訓(xùn)練人員的全流程操作信息，通過與數(shù)據(jù)庫中標(biāo)準(zhǔn)操作流程進(jìn)行比對(duì)，并建立評(píng)價(jià)指標(biāo)體系來對(duì)該項(xiàng)目的訓(xùn)練進(jìn)行整體評(píng)價(jià)。

文中從訓(xùn)練評(píng)價(jià)完整性、可操作性和實(shí)際需求出發(fā)，建立由操作完整性X1、操作順序X2、操作時(shí)間X3和操作準(zhǔn)確性X4構(gòu)成的訓(xùn)練評(píng)價(jià)指標(biāo)體系，如圖1所示。

圖1 虛擬操作訓(xùn)練系統(tǒng)評(píng)價(jià)指標(biāo)體系

1）操作完整性X1：操作完整性直接決定了訓(xùn)練人員是否正確完成全部操作步驟，該指標(biāo)通過檢查訓(xùn)練人員在虛擬操作訓(xùn)練過程中的操作步驟缺失情況進(jìn)行評(píng)價(jià)。

2）操作順序X2：操作順序正確與否直接影響操作結(jié)果甚至危及人員及設(shè)備安全，該指標(biāo)主要通過檢查訓(xùn)練人員的操作流程順序是否與標(biāo)準(zhǔn)操作流程順序一致進(jìn)行評(píng)價(jià)。

3）操作時(shí)間X3：操作時(shí)間直接反映訓(xùn)練人員對(duì)操作項(xiàng)目的熟練程度，是訓(xùn)練評(píng)價(jià)的關(guān)鍵參數(shù)，該指標(biāo)通過對(duì)訓(xùn)練總時(shí)長、關(guān)鍵步驟時(shí)長等進(jìn)行記錄，并與預(yù)設(shè)的標(biāo)準(zhǔn)時(shí)長進(jìn)行比對(duì)進(jìn)行評(píng)價(jià)。

4）操作準(zhǔn)確性X4：操作準(zhǔn)確性反映訓(xùn)練人員的技能水平，該指標(biāo)通過檢查訓(xùn)練人員在訓(xùn)練過程的關(guān)鍵流程操作動(dòng)作與標(biāo)準(zhǔn)規(guī)范符合的情況進(jìn)行評(píng)價(jià)。

針對(duì)上述4 個(gè)指標(biāo)，按照分值0～100 分進(jìn)行打分賦值，賦值方式見2.2 節(jié)，各項(xiàng)指標(biāo)在總評(píng)分中的權(quán)重則采用AHP 法明確。訓(xùn)練人員在開展裝備虛擬操作模擬訓(xùn)練系統(tǒng)某一項(xiàng)目虛擬訓(xùn)練的最終得分為以上4 項(xiàng)指標(biāo)得分與對(duì)應(yīng)權(quán)重的乘積之和，即：

式中，C為某項(xiàng)目操作訓(xùn)練考核總得分；C(Xi)為第i項(xiàng)指標(biāo)的分值；ωi為第i項(xiàng)指標(biāo)的權(quán)重。

2.2 評(píng)價(jià)指標(biāo)賦值

1）虛擬操作完整性指標(biāo)賦值

假設(shè)某一操作項(xiàng)目標(biāo)準(zhǔn)操作流程步驟集合為S={s1,s2,…,sn}，其中si代表第i步操作。令vi代表第i步的操作權(quán)重，，操作權(quán)重采用AHP 法確定。當(dāng)訓(xùn)練人員完成操作訓(xùn)練時(shí)，其操作完整性評(píng)分如下：

式中，∑vi代表實(shí)際操作中遺漏的操作步驟對(duì)應(yīng)的權(quán)重之和。

2）操作順序指標(biāo)賦值

采取實(shí)際操作流程與標(biāo)準(zhǔn)操作流程的逆序來計(jì)算，對(duì)于標(biāo)準(zhǔn)操作流程步驟集合，設(shè)Nij(i＞j)表示第i步操作與第j步操作順序顛倒對(duì)操作結(jié)果產(chǎn)生不良影響的程度，按照0～100 打分，分?jǐn)?shù)越高，影響程度越大，Nij由專家預(yù)先給出。訓(xùn)練人員操作順序指標(biāo)所得分?jǐn)?shù)如下：

式中，∑N為實(shí)際操作訓(xùn)練時(shí)的逆序權(quán)值之和，為可能發(fā)生的逆序權(quán)值之和。

3）操作時(shí)間指標(biāo)賦值

操作時(shí)間指標(biāo)采取超時(shí)扣分制，設(shè)規(guī)定的操作項(xiàng)目總時(shí)長為TS，關(guān)鍵步驟的操作時(shí)長為TSi，訓(xùn)練人員在虛擬操作訓(xùn)練系統(tǒng)中實(shí)際花費(fèi)總時(shí)長和各關(guān)鍵步驟時(shí)長分別為TX和TXi，則訓(xùn)練人員操作時(shí)間指標(biāo)所得分?jǐn)?shù)如下：

式中，P為總時(shí)長超出時(shí)間，Q為總時(shí)長計(jì)量單位；Pi為關(guān)鍵步驟超出時(shí)間，Qi為關(guān)鍵步驟時(shí)間計(jì)量單位。P、Q、Pi、Qi的具體數(shù)值由專家根據(jù)實(shí)際項(xiàng)目需求和考核要點(diǎn)事先給出評(píng)分。部分項(xiàng)目的操作時(shí)間因虛擬操作的還原度問題，可能會(huì)有部分寬限，例如使用虛擬現(xiàn)實(shí)設(shè)備在虛擬空間避開某些遮蔽物時(shí)，需要比正常操作花費(fèi)更多的時(shí)間，在進(jìn)行分?jǐn)?shù)評(píng)定時(shí)應(yīng)綜合進(jìn)行考慮。

4）操作準(zhǔn)確性指標(biāo)賦值

操作準(zhǔn)確性采取分檔打分制。根據(jù)具體的操作步驟要求，對(duì)比實(shí)際操作訓(xùn)練與標(biāo)準(zhǔn)操作規(guī)程的差距數(shù)值，將操作準(zhǔn)確性劃分為非常準(zhǔn)確、準(zhǔn)確、基本準(zhǔn)確、不太準(zhǔn)確、不準(zhǔn)確5 檔，分別給予100、90、60、30、10的考核評(píng)分。以某螺栓擰緊力矩為例，在操作中要求擰緊力矩設(shè)定為(400±20)N·m，5 個(gè)檔次分別設(shè)定為偏差±5 以內(nèi)、±20 以內(nèi)、±25 以內(nèi)、±50 以內(nèi)、±50 以外，當(dāng)操作時(shí)擰緊力矩為380 N·m，則給予80的評(píng)分。當(dāng)訓(xùn)練人員完成操作訓(xùn)練時(shí)，其操作準(zhǔn)確性指標(biāo)所得分?jǐn)?shù)為：

式中，Ci代表第i步操作的準(zhǔn)確性得分。

3 應(yīng)用實(shí)例

以某設(shè)備安裝操作訓(xùn)練流程為例，該流程標(biāo)準(zhǔn)操作流程可分為：1）s1：從包裝箱取出設(shè)備，放置到安裝位置；2）s2：用力矩扳手安裝設(shè)備固定螺釘；3）s3：連接設(shè)備電纜；4）s4：綁扎設(shè)備電纜；5）s5：連接艙段連接電纜；6）s6：艙段對(duì)接，用力矩扳手安裝艙段螺栓。

經(jīng)過專家評(píng)價(jià)，可能存在的操作逆序?yàn)镹23=70、N24=90、N25=90、N34=70、N35=60、N45=30；操作總時(shí)長TS=600 s，P=10，Q=3，關(guān)鍵步驟s2時(shí)長TS2=120 s，P2=5，Q2=4；步驟s2操作力矩要求為()100±10 N·m，5 檔偏差分別為±5 N·m 以內(nèi)、±10 N·m 以內(nèi)、±12 N·m 以內(nèi)、±15 N·m 以內(nèi)、±15 N·m 以外；步驟s6操作力矩要求為(250±15) N·m，5 檔偏差分別為±10 N·m 以內(nèi)、±15 N·m 以內(nèi)、±20 N·m 以內(nèi)、±25 N·m 以內(nèi)、±25 N·m 以外。評(píng)價(jià)指標(biāo)判斷矩陣B=λmax=4.043 5，權(quán)值w=[w1w2w3w4]=[0.389 9 0.389 9 0.067 9 0.152 4]，CR=0.035 4 ＜0.1；標(biāo)準(zhǔn)操作步驟對(duì)應(yīng)的判斷矩陣，λmax=6.143 7，權(quán)值v=[0.424 7 0.191 3 0.191 3 0.036 8 0.077 9 0.077 9]，CR=0.023 2 ＜0.1。

在實(shí)際操作訓(xùn)練中，某訓(xùn)練人員實(shí)際操作流程為“s1：從包裝箱取出設(shè)備，放置到安裝位置；s2：用力矩扳手安裝設(shè)備固定螺釘；s5：連接艙段連接電纜；s3：連接設(shè)備連接電纜；s6：艙段對(duì)接，用力矩扳手安裝艙段螺栓”。總時(shí)長為TX=610 s，TX2=156 s，步驟s2操作力矩為102 N·m，步驟s6操作力矩為200 N·m。

根據(jù)與標(biāo)準(zhǔn)操作規(guī)程對(duì)比可知：

1）在操作完整性上，實(shí)際流程遺漏了s4流程，不符合操作要求，根據(jù)式（2），該指標(biāo)得分為：

2）在操作流程上，實(shí)際流程將s3和s5流程順序顛倒，違反了操作規(guī)程，根據(jù)式（3），該指標(biāo)得分為：

3）在操作時(shí)間上，總時(shí)長和關(guān)鍵時(shí)長均超時(shí)，根據(jù)式（4），該指標(biāo)得分為：

4）在操作準(zhǔn)確性上，步驟s2得分C2=100，步驟s6得分C6=10，根據(jù)式（5），該指標(biāo)得分為：

綜上，根據(jù)式（1）可知本次操作總得分為：

實(shí)例分析表明，通過該方法，系統(tǒng)可在訓(xùn)練人員操作過程中記錄訓(xùn)練數(shù)據(jù)，并自動(dòng)給出各指標(biāo)評(píng)分和綜合評(píng)分，實(shí)現(xiàn)了定量評(píng)價(jià)，不僅與訓(xùn)練實(shí)際相符，且可操作性強(qiáng)，達(dá)到了自動(dòng)量化考核評(píng)價(jià)的目的。

4 結(jié)束語

文中提出的基于預(yù)設(shè)標(biāo)準(zhǔn)操作流程的訓(xùn)練考核評(píng)價(jià)方法，構(gòu)建了由操作完整性、操作順序、操作時(shí)間和操作準(zhǔn)確性組成的訓(xùn)練評(píng)價(jià)指標(biāo)體系，綜合運(yùn)用AHP、專家評(píng)價(jià)等方法明確了各指標(biāo)賦值方法。實(shí)例表明，利用該方法構(gòu)建的評(píng)價(jià)系統(tǒng)構(gòu)造簡(jiǎn)單、可操作性強(qiáng)，可自動(dòng)給出訓(xùn)練評(píng)價(jià)結(jié)果，具有較好的實(shí)際應(yīng)用效果。