考核評估系統研究綜述*

肖劍波　胡大斌　胡錦暉　聶　偉

(1.海軍工程大學動力工程學院　武漢　430033)(2.鎮江船艇學院　鎮江　212000)

?

考核評估系統研究綜述*

肖劍波1胡大斌1胡錦暉1聶偉2

(1.海軍工程大學動力工程學院武漢430033)(2.鎮江船艇學院鎮江212000)

摘要模擬訓練是指結合半實物仿真或計算機仿真界面等方式,利用系統仿真、虛擬現實等技術手段開展裝備操作、管理等訓練形式,已成為提高裝備技術保障水平和裝備操作管理能力的有效手段。為掌握受訓人員崗位任職能力,同時,提高培訓的效果和制定更加合理的培訓計劃,模擬訓練系統必須具備公正、合理、高效的受訓人員考核評估系統。論文從原理、應用和技術手段等角度出發,概述了考核評估系統的研究成果,并對考核評估系統中單因素評估法、綜合評估法和智能評估法等方法進行了闡述,并對今后研究趨勢進行了展望和建議。

關鍵詞模擬訓練系統; 建模; 考核評估方法; 智能評估

Review of Intelligent Evaluation System

XIAO Jianbo1HU Dabin1HU Jinhui1NIE Wei2

(1. College of Power Engineering, Naval University of Engineering, Wuhan430033) (2. Zhenjiang Watercraft College, Zhenjiang212000)

AbstractSimulation training means to use half-semi or computer simulated GUI, with the technologies of system simulation, virtual reality etc. to achieve equipments handling training and managements training, which has been an efficient way to improve equipment operation training and management capabilities. In order to maintain training level and make more suitable training program to improve the training effects, an intelligent evaluation system, which can make justice, efficient evaluation, is needed. In this paper, the developments, principles and key technologies is summarized and the examination evaluation method such as single factor method, comprehensive evaluation method and intelligent evaluation are discussed. Finally, the forecast and suggestion on future research are also made.

Key Wordssimulation training system, modeling, examination evaluation method, intelligent evaluation

Class NumberE139

1引言

模擬訓練又稱模擬仿真,是指利用模擬器材進行崗位訓練的一種方法。隨著計算機仿真、虛擬現實技術等的發展,模擬訓練的逼真度、可信度越來越高,已成為提高裝備技術保障水平和裝備操作管理能力的有效手段。

為掌握受訓人員崗位任職能力,同時,提高培訓的效果和制定更加合理的培訓計劃,模擬訓練系統必須具備公正、合理、高效的受訓人員考核評估系統,因此,研究者嘗試建立受訓人員崗位操作評估方法并構建考核評估系統。在模擬訓練系統受訓人員崗位操作考核中,受訓人員操作水平取決于諸多因素,如理論知識水平、系統設備操作能力、設備故障處理能力和心理素質等。而傳統的考核評估方法采用教練員主觀評價的方式,易受人為因素影響,難以客觀、公正地評價操作人員的操作水平,尤其很難評判在系統參數瞬態運行過程中對操作響應的變化等問題。因此,現代模擬訓練系統逐步向智能化發展,綜合考慮各方面因素,建立受訓人員考核評估體系,并通過計算機采集各操作步驟相關參數,建立考核評估模型對操作過程數學方法進行描述,可以準確反映瞬態運行過程中對操作響應的變化,使得考核評估更加合理。智能考核評估系統已成為模擬訓練系統研制過程中的重要組成,并代表著模擬訓練系統的最新研究方向。

2考核評估系統研究概況

根據考核人員的操作自動進行評估,為培訓人員更好的訓練提供依據,這是早期模擬訓練系統考核評估系統的主要功能。20世紀60年代初,國外研究者就開始嘗試考核評估系統的開發,現在計算機評分系統己經在國外成為廣泛使用的測評工具[1]。考核評估系統最早產生于教育領域,在1966年,Page開發的第一代項目短文評定系統,后發展到智能測評、電子評分者、智能閱卷系統以及一些其它一些開放式題目評分的CAS系統[1]。隨著模擬訓練系統的不斷發展,很多研究機構對模擬訓練的評估方法進行了研究。德國Wismar University開發了基于航海模擬訓練系統的學生訓練成績自動評估系統,開發了“Surveillance Tool”和“Evaluation Tool”兩個工具箱,并做了船舶避碰的評估分析以及船舶應急狀態的評估分析[2]。英國船商有限公司開發的TGS系列GMDSS模擬訓練系統具備智能教練功能,該系統為針對性地加強受訓人員的培訓,提供多媒體教學功能,同時能解釋和解答受訓人員在實際操作中遇到的問題[3]。挪威Kongsberg[4]公司研究的船舶操縱模擬器也有評估系統,但不能對多船會遇等復雜局面進行評估。

英國船商公司Transas[5]研制的船舶操縱模擬訓練系統包括評估系統(TEAS)、視景、聲效、模擬和真實的導航設備、對象和海域數據庫以及數據庫編輯工具。TEAS可以對學員的訓練效果進行評估,根據不同的訓練完成情況分別打分,且可以將訓練結果作為其他學員訓練的平均值進行參照考核。加拿大紐芬蘭紀念大學、美國的Ship Analytics等在船舶操縱模擬器的過程中也對考核評估系統進行了研究[6]。

國內對考核評估系統在模擬訓練系統中的應用也有較多成果,主要應用于航海院校船舶操縱、避碰及駕駛模擬器。武漢理工大學研制的WMS2004型輪機模擬訓練系統,并開發了輪機模擬訓練系統操作評分系統,可以監測學員操作過程,對實操結果進行評估、統計和分析,可以了解學員的學習情況及存在的問題和缺陷,提高了考核效率[1,7]。大連海事大學針對航海模擬訓練系統中雷達標繪操作評估系統和大型船舶進出港訓練評估系統,對航海模擬訓練系統中的大型船舶進出港訓練的記錄文件進行了評估,所得到的評估效果得到了大操培訓教員的認同。系統打破了原有簡單的及格與不及格評估的格局,增加了學員訓練興趣的同時也減輕了教練員的負擔[2,8]。集美大學研究開發了電子海圖平臺下的訓練和評估系統,該系統不僅實現了學員操作的自動評分,同時對結果進行了分析[9～10]。

曾華嵐[11]將模糊數學的原理運用于船舶操縱評估方面,對評估系統進行了理論探索。劉成勇[12～13]通過計算操作人員與系統標準值之間的離散程度,獲取評估成績。鄭彭軍[14]提出了基于模糊集的評估模型,采用計算比較操作人員實際操作與決策之間的離散度的方式對操作進行評估并給出對應分值。包國江[15]提出了一種航海模擬器操作評估方法,建立了船舶航行能見度、水域環境、船舶的操縱性能等的評估模型。陶俊[16]分別對船舶進港航道航行和靠泊操作進行了研究,通過專家調查法確定評估參數和各個評估參數的權重,依據相關的海事法規確定評估參數的參考值,然后對每個評估參數都建立基于數理統計的評估模型,并進行了合理的評估,取得了比較理想的結果。房希旺[17]分別對航道航行、掉頭操縱及靠泊操縱進行了研究,對相應的影響因素建立評價指標隸屬函數,應用模糊綜合評價方法建立評估模型,實現自動評估功能。史國友等[18]應用模糊綜合評判法、AHP法建立了船舶操縱安全綜合評價數學模型。邱云明等[19]結合臨海港口航道航行環境的實際情況,確定了綜合評價因素,并按照FSA的模式,運用Delphi、AHP、Fuzzy等理論建立了模糊綜合評價數學模型。洪碧光[20]等選取6種典型的大型船舶操縱性能試驗數據,分析其影響因素,并運用IMO有關船舶操縱性的衡準,確定綜合評價指標,運用層次分析法對其操縱性能進行排序,然后對大型油船、散貨船和集裝箱船的操縱性能進行比較,總結出大型船舶的操縱特點。至此為對不同種類船舶的操縱性能進行定量的比較提供了一種方法。薛滿福[21]的評估模型運用了隸屬度函數,結合操船避碰進行評分。海軍航空兵模擬訓練中心依據訓練大綱,通過計算機記錄飛行員操作飛行訓練器的操作數據,建立了飛行員訓練自動評分系統[22]。

3考核評估方法

考核評估基本方法主要有以下幾種:扣分法、加分法、分步評估法、功能比值評分法、層次分析法、利用純數學的加權函數法、模糊綜合評判法、神經網絡法等等。雖然仿真訓練系統考核評估方法較多,但根據其考核評估機制可分為以下三類:單因素評估法、綜合評估法和智能評估法。

3.1單因素評估方法

單因素評估法包括扣分法、加分法、利用純數學的加權函數法等。單因素評估法需要首先對考核過程中出現的操作錯誤動作或正確動作進行分類,并確定評分系數,能夠實現與時間有關的變量和連續變量的處理判斷。單因素評估法算法比較簡單,計算機程序也較易實現,但評估效果有時不太理想,特別在操作過程比較復雜、系統耦合性強的評估中與實際情況相差比較遠[15,23～26]。相關研究成果如下。

文獻[15]研究的是船舶操縱評估系統,采用模塊化的設計原理,利用純數學的加權函數法建立了考核評估系統。文獻[23]在對火電廠仿真培訓的考核中,利用過程曲線考核的原理,通過累計偏差對學員操作進行扣分。文獻[24]在分析幾種評估方案的基礎上,采用基準分難度系數扣分法,但這種方法并不能很好地反映學員的能力差別,指出學員的能力缺陷所在。文獻[25]利用扣分法對空中機械師模擬訓練評估,其扣分法中評估的合理性受各項扣分系數的影響較大,在某種程度上很難得到比較全面合理的評估結果。

3.2綜合評估方法

圖3和圖4分別為在無氣流輔助和有氣流輔助條件下噴霧場內霧滴運動軌跡，圖3和圖4中霧滴的顏色代表霧滴粒徑的大小(單位mm)。比較兩圖，可以看出在有氣流輔助時，氣流流場改變了霧滴的運動方向，引導霧滴運動軌跡明顯偏向地面，從而有效地減少了霧滴的飄移潛能。

綜合評估法主要包括層次分析法、模糊綜合評判法等。綜合評估法的基礎是考核人員考核項目已經按照規則細化分類,考核人員的考核成績由所有分項目考核成績加權計算獲得。這種方法主要應用模糊數學理論,依據考核評估的標準,確定一系列的隸屬度函數,計算考核人員操作表現的各個隸屬度,最后計算出考核人員的最終成績。綜合評估法對操作變量多、操作過程復雜的系統考核評估也能取得較好的效果,但對于操作關聯性強的過程或評估對象出現變動時評估效果不佳,其設計計算過程比較復雜,算法實現需要花費較多時間[27～37]。主要研究成果如下。

文獻[29]研究了GMDSS模擬訓練評估系統,以分步評估法為基礎,使用層次分析法,從是否完成任務分、操作時間分和操作步驟分三個方面設計成績評分算法。文獻[30]通過專家調查法得到大型船舶進出港訓練過程的評估參數,利用層次分析法計算出各參數的權重,并且依據航海技術、港口設計和海事部門的要求給出合理的參考值。在調查大量的學員實際訓練和考試的操縱基礎上,利用概率論中的非參數假設檢驗方法,得到學員的誤差分布函數。最后利用加權平均法計算出學生的綜合成績。文獻[32]從水面艦艇模擬訓練系統的需求出發,分析了水面艦艇模擬訓練特點,明確艦艇模擬中訓練成績評估要素,建立了成績評估的指標體系及每個指標的成績評估數學模型。以水面艦艇模擬訓練中某次具體訓練為例,用層次分析法來計算出艦艇的綜合訓練成績。文獻[33]研究了岸邊集裝箱起重機仿真訓練系統評分模型的建立和實現,從操作質量、操作步驟、事故項和教師印象分四個方面對訓練系統進行評估,利用層次分析法和模糊綜合評估的思想對訓練系統進行評估。文獻[36]以IMO及我國海事局考試和評估項目要求為標準,應用基于灰色關聯度的模糊綜合評價法,建立船舶操縱評價模型。采用兩級評價制與多級評價制相結合的辦法,通過船舶操縱模擬訓練系統考試和評估系統對大型船舶模擬操作訓練做出成績評估。文獻[37]根據STCW馬尼拉修正案公約履約和國家海事局頒布的《中華人民共和國海船船員適任評估大綱和規范》的要求,全面地分析了影響航線設計評估的影響因素,根據所涉及的評價因素建立評估指標體系,構造評估模型,并利用模糊綜合評判和層次分析法相結合的方法,建立航線設計智能考核評估方法。

3.3智能評估方法

智能評估法主要有人工神經網絡評價法、專家系統評估法等。智能評估法利用人工智能研究成果,將大量專業技術人員和有著豐富經驗的操控人員的知識信息存儲在計算機中,建立知識庫,模擬領域專家的評估推理方式,結合計算機編程技術實現考核評估。智能評估法能很好的解決考核評估中存在的一些難題,隨著各行業對仿真培訓需求的增加,智能評估法的研究也取得了一些成果[38～46]。相關研究如下。

文獻[39]以軍用電源仿真訓練器為研究對象,結合部隊實裝兵器的操作流程,參考大系統理論和專家知識的相關內容,深入分析了軍用電源設備的操作過程以及評分系統的評分規則的建立、評分標準的選擇、扣分權數的選取、考核總成績計算及評定和評分系統的程序流程等關鍵技術。最后以此為基礎為某型燃氣渦輪發電機組仿真訓練系統研制了一套較為實用的評分系統。文獻[40]以知識庫的建立為重點,研究了專家系統在輪機模擬訓練系統考核評估系統中的應用,以推進電機的操作評分為例說明整個知識庫建立過程和遵循的準則。文獻[41]提出一種基于專家系統和權函數結合的變電站仿真培訓評分機制,代替變電站培訓教員,實現對學員的日常變電站操作培訓。該系統能夠完成諸如變電站正常和事故巡視、倒閘操作、事故處理等培訓任務的智能評估,給予學員全面、客觀的操作評價;還利用電能質量指標作為智能評估理論的輔助判據,進一步提高了評判的客觀性。文獻[42]在對學員的操作過程進行分析的基礎上,以船舶電站的專家知識為指導,提出了船舶電站仿真訓練器培訓項目評估的標準,并建立了基本涵蓋船舶電站所有操作的五類考核評分準則。

4發展趨勢及展望

4.1基于專家系統理論的考核評估系統研究

4.2基于分布式的考核評估系統研究

現有的考核評估系統主要針對單人單科目考核評估,而模擬訓練系統通常包含多個崗位、多部門協同訓練內容,如何實現對多崗位人員操作完成協同科目的訓練任務考核評估是考核評估系統研究的難點。隨著模擬訓練系統內部操作崗位、節點的增加,相應的數據、規則等也會呈現指數級增加,現有的處理方式受計算機運算能力限制,無法實現高效、實時的評估,因而,利用分布式技術實現多人及綜合科目操作考核評估將是后續大規模模擬訓練系統的研究方向。

4.3基于數據分析技術的考核評估系統研究

由于模擬訓練系統考核評估過程復雜,而且系統操作維護管理知識會不斷的變化更新,所有評估專家系統知識庫中的知識也需要不斷的補充和完善,如何保持知識的完整性以及自動更新知識需要進一步研究。隨著知識庫中知識規則的擴充,規則之間的關系將會更加復雜,因此,考核評估系統需要研究更加高效的搜索策略。

且考核后會記錄大量的數據,如何通過對數據的分析達到更好的評估以及通過數據分析查找考試操作中存在的問題并給出合理化的建議,制定更加合理的培訓計劃是考核評估研究的一個方向。

5結語

隨著計算機仿真技術的發展,模擬訓練的逼真度、可信度不斷增強,且具有訓練耗費低、訓練風險小等優點,其重要性日益凸顯。而公正、合理、高效的受訓人員考核評估系統對模擬訓練系統具有至關重要的意義。本文從原理、應用和技術手段等角度出發,概述了考核評估系統的研究成果,對考核評估系統中單因素評估法、綜合評估法和智能評估法等方法進行了闡述,在此基礎上,明確提出了考核評估系統的幾個具有重要理論意義和實際價值的發展方向。

參 考 文 獻

[1] 馮志勇.輪機模擬器操作評分系統的設計與開發[D].武漢:武漢理工大學,2010.

[2] 張歡.海船船員輪機智能考試系統的研究與開發[D].大連:大連海事大學,2010.

[3] 張衛國.自動化機艙操作訓練與評估系統的開發[D].大連:大連海事大學,2010.

[4] http://www.km.kongsberg.com/[EB/OL].

[5] http://www.Transas.com/[EB/OL].

[6] 王德龍.船舶操縱模擬器實操自動評估系統初步研究[D].大連:大連海事大學,2013.

[7] 李登鳳,董雷,林昌年,等.一種新型電力培訓仿真智能評價指導系統[J].電網技術,2007,31(1):90-94.

[8] 張飛成.雷達/ARPA模擬器訓練評估系統的設計與研究[D].大連:大連海事大學,2007.

[9] Nie Wei, Wu Ying. Study of Automatic Scoring System for Simulation Training[C]//3rd International Conference on Advanced Computer Theory and Engineering,2010:403-406.

[10] 張桂臣.船舶電站實操考試自動評分系統的設計與實現[J].中國航海,2010,33(3):27-30.

[11] 曾華嵐,呂江海.模擬器實操評定系統初探[J].航海教育研究,1999(4):37-38.

[12] 劉成勇.雷達模擬器評估體系研究及其計算機實現[D].武漢:武漢理工大學,2002.

[13] 劉成勇.雷達模擬器評估系統的設計與分析[J].武漢理工大學學報(交通科學與工程版),2002,26(1):134-137.

[14] 鄭彭軍.航海模擬器客觀評分系統的設計[J].中國航海,1997,40(1):54-57.

[15] 包國江.基于航海模擬器的船舶操縱評估系統的研究[D].大連:大連海事大學,2008.

[16] 陶俊.大型船舶進出港訓練評估方法的研究與實現[D].大連:大連海事大學,2009.

[17] 房希旺.基于航海模擬器的操船評估模型及應用[D].大連:大連海事大學,2008.

[18] 史國友,賈傳熒.船舶操縱安全綜合評判數學模型的研究[J].大連海事大學學報,1997,23(3):16-20.

[19] 邱云明,陳偉炯,陳錦標.臨海港口航道航行環境安全綜合評價模型[J].中國航海,2005,64(3):41-45.

[20] 洪碧光,賈傳熒.大型船舶操縱性能綜合評價[J].交通運輸工程學報,2002,2(2):55-58.

[21] 薛滿福.基于模擬器的雷達標繪評估方法研究[D].大連:大連海事大學,2008.

[22] 沈美芳.基于專家系統的智能化考試系統基于BP神經網絡的應用[D].無錫:江南大學,2008.

[23] 李登鳳,董雷,高峰等.一種新型的電力仿真培訓智能評價指導系統[J].電網技術,2006,30(16):261-264.

[24] 董秀臣,俎金花.模擬器操作評分系統[J].核動力工程,2005,26(6):645.

[25] 譚麒瑞,魏思東,劉承相.空中機械師模擬訓練評估系統研究[J].裝備制造技術,2010(5):36-37.

[26] 范永勝,程芳真,眭喆,等.電站仿真機的培訓評分系統研究[J].系統仿真學報,2000,12(3):282-286.

[27] Nie Wei, Wu Ying, Hu Dabin. Scoring system of simulation training platform based on expert system[C]//3th International Conference on Computer Engineering and Network, Shanghai, China,2013:809-816.

[28] Clauser B E, Harik P, Clyman S G. The generalizability of scores for a performance assessment scored with a computer-automated scoring system[J]. Journal of Educational Measurement,2000,37:245-261.

[29] 肖方兵,尹勇,張新宇,等.GMDSS模擬訓練評估系統[J].大連海事大學學報,2010,36(2):62-65.

[30] 陶俊.大型船舶進出港訓練評估方法的研究與實現[D].大連:大連海事大學,2009.

[31] Benedict K, Baldauf M. Example for inland waterway design Investigations with wind impact in ship-handling simulator and computer-based assessment of the results[D]. Mecklenburg: Wismar University,2003.

[32] 熊正祥,王立強,孫永侃,等.基于AHP的艦艇模擬訓練成績評估研究[J].系統仿真學報,2008,20(12):30-35.

[33] 潘洋.岸邊集裝箱起重機仿真訓練系統評分模型的建立和實現[D].上海:上海海事大學,2005.

[34] Baldauf M, Benediet K, Boeke T, et al. Compute-based evaluation of ship handling simulator exercise results[C]//INSLC, San Francisco, USA,2002:1653-1662.

[35] 任重,張永,徐池.模糊綜合評價法在模擬訓練評分系統中的應用[J].網絡與通信,2012(8):65-67.

[36] 陳錦標,吳廣宇,應士君.基于灰色模糊綜合評估法的大型船舶模擬操縱評價[J].上海海事大學學報,2008,29(4):1-5.

[37] Abhishek K, Seung K C, Lorens G. Tolerance allocation of assemblies using fuzzy comprehensive evaluation and decision support process[J]. The International Journal of Advanced Manufacturing Technology,2011,55(1-4):379-391.

[38] 常鮮戎,刑金峰,張潔.基于多級模糊綜合評價法的電網調度員培訓評估[J].電網技術,2005,29(17):30-34.

[39] 孟飛翔,程培源,楊旭峰.軍用電源仿真訓練器中的評分系統[J].計算機應用,2011,31(10):2866-2869.

[40] 聶偉,巫影,夏極.模擬器自動評分系統的設計與實現[J].船海工程,2010,39(4):84-87.

[41] 盛化才,朱小良.大型火電機組仿真系統學員評價[J].系統仿真學報,2008,20(21):5989-5992.

[42] 高海波,陳明昭,陳輝,等.船舶電站仿真訓練器中的培訓考核評分系統[J].武漢理工大學學報,2003,27(5):633-635.

[43] 李登鳳.基于多Agent的電力培訓仿真智能評價指導系統[D].北京:華北電力大學,2007.

[44] 常喜茂,孔英會.仿真系統的操作過程考核軟件開發[J].華北電力大學學報,2002,29(4):51-54.

[45] Htin A K, Xiao Y J. Assessment on the Yangon river channel based on fuzzy synthetic evaluation[J]. Journal of Shanghai Maritime University,2007,28(1):53.

[46] Nie Wei, Wu Ying, Hu Dabin, et al. Data Management and Analysis of Intelligent Examination Scoring System of Simulation Training System[C]//2013 5th International Symposium on Intelligent Human-Machine Systems and Cybernetics, Hangzhou, China,2013:267-270.

[47] 敖志剛.人工智能與專家系統[M].合肥:中國科學技術大學出版社,2002:19-25.

中圖分類號E139

DOI:10.3969/j.issn.1672-9730.2016.01.005

作者簡介:肖劍波,男,博士,講師,研究方向:機艙自動化與仿真,視景仿真及虛擬現實技術。胡大斌,男,教授,博士生導師,研究方向:艦船動力裝置仿真及機艙自動化。胡錦暉,男,博士,講師,研究方向:船舶動力裝置仿真及機艙自動化。聶偉,男,博士,研究方向:艦船動力裝置仿真及機艙自動化。

*收稿日期:2015年7月3日,修回日期:2015年8月25日