裝備操作考核自動評分算法設計

王書湖　劉華章

摘 要：客觀評價學員的實際操作水平，在分析裝備操作的特點之后，結合序列匹配方法、模糊邏輯思想及最短編輯距離算法，設計裝備操作考核自動評分算法，實現對學員操作過程的自動評分。應用表明，該算法符合裝備操作考核的要求，能夠反映出學員的實際操作水平。

關鍵詞：序列匹配；模糊邏輯；最短編輯距離；自動評分

中圖分類號：TP301 文獻標識碼：A

1 引 言

對操作者的實際操作水平進行考核是實踐教學的一個重要環節，但由于裝備操作具有操作內容多，操作流程復雜，操作有效性及熟練度難以檢驗等特點，傳統上往往依靠考核者全程觀察操作者的操作過程，進行一對一的考核，這種考核方式實施代價高，可操作性差，并且評價結果完全依賴考核者的主觀印象，難以做到客觀、公正、全面[1]。

隨著信息技術的飛速發展，計算機輔助測評逐步在教育領域得到了應用[2]，然而目前的計算機輔助測評系統在選擇、判斷等客觀題或計算機操作技能等自動測試方面支持良好[3，4]，但對裝備操作考核評估的支持還很不夠，這是因為對裝備操作考核并不能簡單采用某一種或幾種標準答案進行評定，系統需要對操作者的操作速度、操作流程等各方面因素進行綜合評估。這些因素都具有不確定性，難以給出精確的評估指標。為解決上述問題，本文在研究分析了裝備操作特點后，針對這類操作特性，提出了基于操作序列匹配與模糊邏輯評判的自動評測算法，對操作者的操作過程進行考核評估，取得了良好效果[5]。

2 操作考核自動評測模型

對操作者的操作進行評測，首先需要獲得操作者操作的相關信息，之后再對相關操作進行標準化處理，最后利用自動評測算法對操作進行評分，系統模型如圖1所示。

圖1 操作考核自動評測模型

在操作信息中所要關注的是操作對象及其屬性、操作完成時間、操作所達到的狀態。為方便標準化處理及后續的自動評測，在此利用事件來表示考生的操作序列，用四元組E（O，N，T，S）來描述相關的操作信息，其中O表示操作對象，N表示操作對象的屬性， T表示操作結束時間，S表示操作所達到的狀態[7]。

3 算法設計

針對操作訓練的實際操作特點，采用重要度、相似度、時間度和成功度四個評估因子對操作過程進行模糊邏輯評分，評分時首先需要確定標準操作序列，在具體操作中可能存在多種正確的操作序列，因此標準操作序列可能存在多個，為此在進行評分時首先對操作序列進行預處理，再逐一與標準操作進行比對，采用分步評分、累加求和的方式計算總分[5]。

3.1 標準操作序列預處理

對標準操作序列依據各操作步驟間的聯系進行分組，即聯系緊密度高、難以分割的一組序列分為一組，對于相對獨立的操作則獨自成為一組，每一組作為一個評價得分點，依據所確立的評價指標對各評價組進行模糊評分。對實際操作序列按照子序列嚴格匹配的模式依次判斷各評價點的操作是否正確，若匹配成功則標志位accurate置為true，否則置為

3.2 四種評估因子

1.重要度

在裝備操作過程中，某些錯誤的操作可能會對系統設備造成損害或導致較為嚴重的后果，因此這些操作是極為重要的，在操作過程中必須嚴格落實。未嚴格遵守這些操作不僅不能得分，還要進行相應的扣分。為此用重要度表示某操作的重要程度，用Ii表示，共分為10個等級，取值范圍為[0，10]，每個等級的取值間隔為1。此指標是唯一的扣分指標，對不符合規定的操作進行扣分。

2.相似度

相似度又可稱為操作序列符合度，即實際操作序列與標準序列的符合度。具體操作時利用子序列匹配算法將預處理后的標準操作序列與實際操作序列進行匹配。匹配成功則該組的標志位accurate置為true，其相似度Pi=1，否則置標志位accurate為flase，Pi=0。匹配不成功則說明該操作未完成，則依據相應的重要度加權進行扣分處理。

3.時間度

對每一組操作序列，系統均預先設定一個參考操作時間TSi，并以實際操作時間TCi與該值的比作為時間度 Ti的函數輸入評價值[9]。

定義xi=TCiTSi，則Ti=f（xi），xi為自變量，其取值為（0，+∞），Ti的函數曲線圖如圖2所示，在參考操作時間內的操作設其權重為1。操作時間越長得分越低，則其時間度的權重越低，由于大部分操作號手操作的操作時間集中在1至2倍的參考操作時間內，為便于拉開操作成績，則此時的曲線斜率較大。對4倍參考操作時間以上的操作不在進行區分，統一將權重設為0.2。

圖2 時間度Ti的函數曲線圖

4.成功度

在實際操作中，存在多種正確的操作序列，某步操作的結果可能會對后續操作的結果造成影響，一步不達標的操作可能導致后續相關的操作都不達標，因此不能簡單的以操作結果是否合格來進行評價，為此采用成功度這一評價因子來衡量操作人員的操作效果，即用該操作實際達到的狀態集與該操作應達到的狀態集進行匹配，完全匹配則成功度Si為1，并將某操作實際達到的狀態集個數與應該達到的狀態集個數間的比值定義為Fi。當匹配度少于20%時便不做區分，將其成功度統一設為0.2，這主要是考慮雖未達到預期的操作效果，但仍然完成了該步操作，也應獲得一定的分值。成功度Si定義為：

Si= Fi，Fi≥0.2 0.2，Fi<0.2

操作序列由于具有多樣性和復雜性，在具體評分時對相關性高的進行了預先分組，但仍存在一些相關程度不高的操作序列，對于這些操作序列的評分主要依據成功度與最短編輯距離來評分。

3.3 最短編輯距離的計算

在實際的操作過程中，有可能存在誤操作或多次操作的情況，比如一個波段開關存在多個檔位，在具體操作時可能會存在多次來回波動才停在正確的檔位上，為此就要比較實際操作序列與標準操作序列的差別。對所存在的誤操作及多次操作進行扣分處理，在此引入字符串的編輯距離算法，編輯距離是指將原字符串轉換到目標字符串所需的最少的插入、刪除和替換的數目。利用該算法求出實際操作序列變換為標準操作序列所需要的最少次數，并用該指標評價實際操作中的誤操作及多次操作情況[11，12]。endprint

求兩個字符串間的編輯距離實際是一個求最優解的過程，可以采用動態規劃的思想來計算。將實際操作序列字符串記為T[1，N]，標準操作序列記為S[1，M]，將T到S的編輯距離記為D（S，T），并定義D[i，j]=D[S[1，i]，T[1，j]]。對單個字符的定義為：

對于某裝備的操作共有9步，依據該裝備的操作特點，制定了如表1所示的標準操作序列，采用該算法對表2所示的操作序列進行評分，結果如表3所示。在計算得出各評價組的得分后，通過進一步的計算可以得出實際操作序列與標準操作序列間的最短編輯距離為2，則該操作的最終得分為17.68+11.52-3+27.6-2=51.8。

4 結 語

利用裝備操作考核自動評測算法可以有效的評價操作者的裝備操作水平，在具體操作時，首先要提取操作者的操作信息并對其進行標準化處理，然后再依照算法進行評分。標準序列及評分標準需要依據實際情況預先確定，這也有利于發揮人的主觀能動性，使得算法更具普適性。

參考文獻

[1] BRIAN E，Clauser，Polina Harik，Stephen G. Clyman. The Generalizability of Scores for a Performance Assessment Scored with a ComputerAutomated Scoring System[J].Journal of Educational Measurement， 2005，37（3）：20-26.

[2] 張冰.自動閱卷系統的研究[D].成都：西華大學，2008

[3] Temur Kutsia. Context Sequence Matching for XML[J]. Electronic Notes in Theoretical Computer Science， 2006，157 （2）：47-65.

[4] 宗德才.操作題自動評分系統的設計與實現[J].計算機工程與設計，2010，31（5）：1156-1160.

[5] 郭培，高俊雄，王耘波.基于序列匹配的自動評分算法設計[J].計算機應用，2011，12：78-80.

[6] CLAUSER B E，HARIK P，CLYMAN S G，The generalizability of scores for a performance assessment scored with a computerautomated scoring system[J]. Journal of Educational Measurement， 2000，（37）：245-261.

[7] ROCKWOOD A L， CROCKETT D K， OLIPHANT J R， et al. Sequence alignment by crosscorrelation[J]. Journal of Biomolecular Techniques，2005，16（4）：453-458.

[8] 張靜，李凡長.動態模糊機器學習模型及驗證[J].計算機應用，2006，26（9）：2044-2046.

[9] ARORA S，BHATTACHARJEE D，NASIPURI M，BASU D K，KUNDU M.Recognition of Non-Compound Handwritten Devnagari Characters using a Combination of MLP and Minimum Edit Distance[J]. International Journal of Computer Science and Security，2010，4（1）：107-112.

[10]馮乃勤，申向東，徐久成，等.模糊推理中沖突消解的一種新方法[J].計算機工程，2002，28（9）：75-76.

[11]喻高瞻，彭宏，胡勁松，等. 時間序列的相似性的分層查詢[J]. 計算機工程與應用，2006，45（23）：152-153.

[12]王樹西，吳政學.改進的Dijkstra最短路徑算法及其應用研究[J].計算機科學，2012，39（5）：223-228.endprint