武器裝備IETM數字化教學性能評估

杜曉明，卜昭鋒，張建新, 裴國旭

(陸軍工程大學 石家莊校區， 石家莊　050003)

信息化背景下的裝備訓練離不開交互式電子技術手冊(Interactive Electronic Technical Manual，簡稱IETM)，近年來，依托IETM輔助教學訓練已越來越受到IETM研究、開發與使用人員的關注。IETM 數字化教學是借助計算機技術，通過集成各主流標準，使IETM 具有了教學、培訓和訓練功能[1]。將IETM 應用于武器裝備的教學訓練，提供了一種新的培訓和訓練手段，然而IETM數字化教學性能，是提高部隊訓練質量、縮短訓練周期以及節約訓練經費的關鍵因素。但當前的面向教學的IETM存在著制定標準不統一、數據內容不重用、學習過程難跟蹤、訓練水平難掌握等問題，對推進我軍裝備模擬訓練的現代化建設有重要影響。

層次分析法(AHP)和模糊綜合評判屬于傳統但較為成熟的評估方法。層次分析法是一種定性與定量分析相結合的系統評價方法，適用于評價對象結構較為復雜的情況，各個指標不相互耦合，常應用于指標權重的確定；模糊綜合評判是用模糊數學方法對多屬性事物做出一個較為合理的綜合這些屬性的總體評價。兩種方法應用較為廣泛，常用于效能評估、效果評價以及能力評價等[2]。

采用AHP與模糊評判相結合的方法對IETM數字化教學的性能進行評估，可以為開發人員提供有效的決策支持，對系統的優化設計有重要的借鑒作用。

1　建立評估指標體系

目前，我軍開發的面向教學的IETM，已逐漸用于裝備培訓和輔助訓練，取得了一定的效果，但是教學資源在不同平臺間的共享性不強，且功能較為單一。而IETM數字化教學是將IETM融合E-Learning功能，集成符合SCORM標準的學習管理系統(Learning Management System,簡稱LMS)[3]以及用于經驗跟蹤的學習記錄存儲器(Learning Record Store,簡稱LRS)[4]，從而實現對課程學習的管理以及學習過程、學習效果的經驗跟蹤。

為了準確的建立評估指標體系，通過咨詢研制單位以及使用單位的意見，并通過可行性分析，根據IETM數字化教學的主要性能和效果，對評價指標進行了選取。提出了系統性能的5個基本要素,即系統功能、系統組成、技術結構、運行性能和集成環境，并對這些要素指標進行了進一步的細化，最終形成了由評判目標層A、基本要素層B和指標層C構成的遞階層次結構，如圖1所示。

2　利用AHP確定評估指標權重[2,5-6，10]

指標權重是各指標要素在整個指標體系中的重要程度，因此，確定權重對IETM數字化教學的性能評估至關重要。利用AHP來確定權重，是通過對同一層次的各元素關于上一層次準則的重要性兩兩進行比較，從而建立判斷矩陣，通過求解判斷矩陣最大特征值和特征向量(即權向量)得到該層次各指標要素相對于上一層次準則的權重，并通過一致性檢驗來檢查判斷矩陣中各元素間的關系是否恰當，以得到符合要求的權重。

2.1　建立判斷矩陣

建立判斷矩陣，需要對每一層次中各個元素的相對重要程度用數值表示出來，這個過程需要經過專家對模型中各層次元素的相對重要程度進行兩兩比較，這種比較要通過標度來進行衡量。下面采用指數標度法對元素間的相對重要程度賦值，如表1所示。

表1　判斷矩陣指數標度及含義

通過對A—B層各元素相對于總目標R的兩兩比較，可得到判斷矩陣R為

同理，對B—C層各個相關聯的指標因素比較，可得R1、R2、R3、R4、R5五個判斷矩陣，如下所示：

2.2　層次單排序及一致性檢驗

層次單排序是根據各判斷矩陣來計算對于相關聯的上層元素而言本層次各元素的相對重要程度的權重，可歸結為計算各判斷矩陣的特征根與特征向量(即權向量)，計算最大特征根及其對應的特征向量的方法主要有冪法、方根法、正規化求和法等。對于判斷矩陣R，需滿足式(1)：

Rω=λmaxω

(1)

其中，λmax為R的最大特征根，ω為對應于λmax的歸一化特征向量。

由于各指標因素之間存在廣泛的差異性，建立判斷矩陣時，對指標間的相對重要性容易產生偏差，判斷矩陣很難做到完全的一致性。因此，需要對其進行一致性檢查，通常要求矩陣中的各元素基本上合理，相互之間不要有太大的矛盾即可，只有判斷矩陣通過一致性檢驗，所求得的特征向量才符合要求。本文通過公式 (2)、(3)求得一致性比率參數CI和CR的值，來對判斷矩陣進行一致性檢驗。

(2)

(3)

當一致性指標CI=0時，λmax=N,說明判斷矩陣具有完全的一致性。當隨機一致性指標CR<0.1時，認為判斷矩陣符合一致性；當CR≥0.1時，應對各指標因素間的重要程度進行適當調整，直到CR<0.1，實現一致性為止。其中，公式中的N代表判斷矩陣的階數，平均隨機一致性指標RI的值如表2所示。

表2　平均隨機一致性指標RI的值

2.3　確定評估指標權重

下面采用方根法來對A-B層R的最大特征根和特征向量進行求解，得到B層各指標相對于R的權重，如表3所示。

表3　A-B層R1、R2、R3、R4、R5的權重

最大特征根λmax=5.256 3,CI=0.064 1，RI=1.12,CR=0.057 2,CR<0.10;即判斷矩陣R滿足一致性。權重ω=(0.389 6, 0.239 1, 0.154 1, 0.156 3, 0.061 0)T可以作為A-B層指標的權重。

同理，可得到B-C層各個指標的權重，并分別對判斷矩陣進行一致性檢驗。如表4～表8所示。

表4　B-C層 R11、R12、R13、R14、R15的權重

最大特征根λmax=5.086 1,CI=0.021 5，RI=1.12，CR=0.019 2,CR<0.10;即通過一致性檢驗，權重ω1=(0.064 6, 0.253 5, 0.413 2, 0.163 4, 0.105 3)T。

表5　B-C層 R21、R22、R23的權重

最大特征根λmax=3.106 5,CI=0.053 3，RI=0.58，CR=0.091 9,CR<0.10；即通過一致性檢驗，權重ω2=(0.530 4， 0.300 0， 0.169 6)T。

表6　B-C層 R31、R32的權重

最大特征根λmax=2,CI=0; 判斷矩陣具有完全的一致性，權重ω3=(0.560 8，0.439 2)T。

表7　B-C層 R41、R42、R43、R44的權重

最大特征根λmax=4.120 2,CI=0.040 1，RI=0.90，CR=0.044 6,CR<0.10；即通過一致性檢驗，權重ω4=(0.343 8, 0.211 0, 0.101 4, 0.343 8)T。

表8　B-C層 R51、R52、R53、R54的權重

最大特征根λmax=4.037 4,CI=0.012 5，RI=0.90，CR=0.013 9,CR<0.10；即通過一致性檢驗，權重ω5=(0.416 7, 0.122 9, 0.188 5, 0.271 8)T。

3　建立模糊評估模型[2,7-9]

由于模型中的各個評估指標因素都是模糊概念，很難用具體的數值表述出來，因此，應用模糊評判理論對IETM裝備數字化教學系統進行評估。其具體過程是將評價指標看作是多因素組成的模糊集合，即因素集；再設定這些因素所選取的評審等級，組成評語的模糊集合，即評判集；分別求出各單一因素對評審等級的隸屬度，即模糊矩陣；最后根據各個因素在評價目標中的權重分配，通過計算評價進行量化。

1) 選取因素集和評價集

確定因素集U={u1,u2,…,un}，u表示影響目標評判的因素。IETM裝備數字化教學系統的因素集分別為：

R={R1，R2，R3，R4，R5}

R1={R11，R12，R13，R14，R15}

R2={R21，R22，R23}

R3={R31，R32}

R4={R41，R42，R43，R44}

R5={R51，R52，R53，R54}

2) 建立評價集

確定評判集V={v1,v2,…,vm}，v表示影響目標評判值的等級。在評估過程中，需要確定各指標的評價集，以便對各評價指標定量分析。下面采用4級10分制，把評價集劃分為4個評價等級，即V={V1，V2，V3，V4}={優秀，良好，中等，一般}。系統性能評分標準如表9所示。

表9　系統性能評分標準表

選擇各區間的中值作為等級的參數，則4個等級所對應的參數為V1=9.25、V2=8、V3=7、V4=5，其參數列向量為V=(9.25，8，7，5)T。

3) 單因素評判和確定權重集

單因素評判通常采取專家打分的方式進行。對單個因素Ri(i=1,2,…,n) 進行評判，將n個因素的評判集組成一個總的評價矩陣。在確定評價因素，并選定評價集的基礎上，對每個因素進行打分，確定其對評價集等級的隸屬程度，綜合10位專家意見對各個指標影響因素進行綜合評判，組成了一個總的評價矩陣，如表10所示。

對前述通過AHP求得的判斷矩陣R，R1，R2，R3，R4,R5的權重，取小數點后兩位后，如表11所示。

4) 計算模糊評價矩陣

單因素評判矩陣R可以看出：R的第i行反映了第i個因素影響評判對象隸屬于各個評語集的程度；R的第j列反映了所有因素影響評判對象隸屬于第j個評語集元素的程度。當權重集ω和單因素評判矩陣R已知時，可通過公式(4) 求得綜合評判矩陣：

(4)

式(4)中“°”表示合成運算，一般有四種計算模型，即：“取大取小型—主因素決定型、乘積取大型—主因素突出型、取小上界和型以及乘積求和型”。乘積求和型對所有因素依據權重大小均衡兼顧，適用于多個因素起作用的情況，這里采用此運算，即：

(5)

B1=ω1°R1=0.07，0.25，0.41，0.16，0.11 °

B1=0.333，0.236，0.236，0.195

同理可求得B2、B3、B4、B5，由此得到各準則關于總目標R的隸屬度矩陣：

求出總目標R的隸屬度向量，并進行歸一化處理：

B=ω°R=0.39，0.24，0.15，0.16，0.06 °

B=0.391，0.268，0.213，0.122

5) 求出所研究階段的性能得分

對照評價集參數向量V=(9.25，8，7，5)T，IETM裝備數字化教學系統的分數為：

S=B°VT=9.25×0.391+8×0.268+

7×0.213+5×0.122=7.862

6) 確定系統性能效果

通過對照系統性能評分標準表，S∈[8.5,7.5)，由此可確定IETM數字化教學的性能為良好，可以滿足裝備訓練需求。

4　結論

在裝備信息化建設的進程中，IETM用于教學、培訓、訓練已經成為趨勢，E-Learning理念促使了IETM向數字化教學方向發展。IETM融合E-Learning可以拓展IETM的功能，然而二者的融合還存在著標準不一、功能各異等問題。因此，急需一種機制來解決這些難題，本文采用層次分析與模糊評判相結合的方法對IETM數字化教學的性能進行評估，建立了評價指標體系，確定了各評價指標的權重，最終形成了模糊評估模型。從分析和計算過程來看，各種指標權重和評價標準在一定程度上還依賴于專家的經驗，量化較為困難，存在一定的主觀因素。但總體來看，評價結果比較準確，基本真實反映了IETM數字化教學的性能水平。

由于IETM數字化教學的功能組成較為復雜，評價指標體系的建立還有待于進一步優化論證，評估方法還有待于與先進評估手段融合，使得評估結果更具有客觀性和可靠性，對系統開發人員提供更佳的決策支持。

參考文獻:

[1]徐宗昌, 張光明, 李博. 基于IETM的裝備交互式訓練研究[C]. 三亞: 中國系統仿真技術與應用會議, 2012:670-673.

[2]方龍，馮根生，李曉明.現代軍事教育訓練中的電子學習——E-Learning[J].坦克兵學刊，2008(2)：19-20.

[3]石全,王立欣等.系統決策與建模[M].北京:國防工業出版社,2016.

[4]馬小雨.基于模糊層次分析法的計算機網絡安全評價研究[J].信息通信，2017(1)：98-99.

[5]方海光,胡神神,杜舟.基于xAPI學習記錄的LMS網絡系統架構研究[J].中國電化教育,2015 (2):65-69.

[6]PETER BERKING. Choosing a Learning Record Store Version 1.10[J]. ADL.2016:5-7.

[7]JIANG Weiwei.Study on IETM Domain Knowledge Representation[J].Scientific Journal of Information Engineering,2013,63(3):56-62.

[8]郝增明.數字化學習過程評價的客觀指標[J].現代遠距離教育，2004(2)：47-48.

[9]葉珍．基于AHP—模糊綜合評判法研究及應用[D]．廣州：華南理工大學，2010：7-16.

[10] 楊海濤，馬東堂.層次分析法中判斷矩陣的一致性研究[J].現代電子技術，2007(258)：46-48.

[11] 郭齊勝，郅志剛，楊瑞平,等.裝備效能評估概論[M].北京：國防工業出版社，2005.

[12] 張憑博.基于AHP模糊綜合評價法的企業培訓效果評估研究[D].大連：大連海事大學，2008.

[13] 劉志勇，姚俊金，趙美.高新裝備軍民融合維修保障風險評估方法[J].兵工自動化，2016(6):27-30.

[14] 杜曉明，梁偉杰，朱寧.交互式電子技術手冊原理與技術[M].北京：國防工業出版社，2012.

[15] 荀麗丹，劉嫻.數字化教學應用探索[J].信息化教學，2016,21(128)：128-129.