基于操作序列的自動測評關鍵技術及其應用研究

陳萱華，許曌銓，李學亞

（公安海警學院 教育技術中心，浙江 寧波 315801）

隨著計算機和模擬仿真技術的迅速發展和深入應用，高等院校在實驗教學中構建了許多模擬仿真系統，以此代替實際裝備進行教學、仿真訓練和考核。但由于操作方法多樣及操作前后順序的可對調，基于操作序列（學生為完成測評目標所進行的所有操作）的較成熟的通用自動測評系統還不是很多。目前操作考核時，教師全程跟蹤學生的實際操作，然后評價其操作過程是否正確和操作結果是否良好。但由于學生人數眾多，實際操作難度較大，而且這種方式存在一定的主觀性，難以客觀、公正地反映學生的實際操作技能。取而代之的是僅評定操作結果，雖然在某種程度上實現了測評的自動化，但因為學生的操作結果并沒有包含學生操作的所有信息，所以這樣的測評還是片面的，使用中也暴露出一些缺點[1－3]：測評內容受限制；不允許學生做任何無關或多余的操作；操作者得到了最后的結果，但在操作過程中卻有很多不合理的操作；無法讓學生復查試卷（操作過程）。所以，為提高測評的客觀性、全面性，同時分析結果信息和操作序列是必要的。課題組在解決操作序列標準化表示的基礎上，建立基于專家系統的測評模型，將研究成果應用于航海儀器測評系統中，取得了預期的效果。

1 自動測評的關鍵技術

1.1 操作序列的通用表示框架

操作序列是針對某一個考核題目（項目）進行的一系列操作的總和，它是操作題答案和操作過程記錄的有效表示形式[4]。目前實踐操作測評主要有2種評判方式：基于操作結果和基于操作序列。這兩者都可以作為測評的依據，但它們應用的復雜度和反映的信息效果不同。基于操作結果的評判反映的信息更直接，評判響應也快，并且實現簡單。首先是獲取操作結果的過程比較簡單，其次利用字符串比對方法就可以實現評判，但使用范圍有限。基于操作序列的評判反映的信息更全面，應用面比較廣，但實現復雜：首先，操作序列的獲取比較復雜，有連續系統仿真和離散系統仿真2種；其次，用計算機表示正確的操作序列比較困難，對于開放性的實驗，操作的方法多樣，而且操作的順序可以變化，可能還有時間上的約束等；第三，學生的操作數據和正確答案的對比比較困難，要考慮到操作順序的可變性，不能簡單地通過字符串對比的方法實現，必須經過知識推理才能得出操作者的實際成績。這里主要描述基于操作序列的評判表示和模型。

對于模擬仿真系統的考核，主要是針對考生的操作進行評判。考生的操作產生系統狀態的變化，因此參考面向對象的思想，對象由個體及其屬性和方法組成，屬性包含個體的狀態和不同個體方法之間的關系，即方法的先后順序。方法主要包含事件，因此事件是和對象互相綁定的。事件既可以定義為外部主體（考生）對系統的操作，也可以定義為系統內部狀態的改變[5－6]。將考生的操作直接定義為事件比較簡單，事件數也少，但考生的操作很難被完全地定義，而狀態的改變是在系統建模階段就被完全地確定下來的，所以用對象狀態的改變來定義事件比較容易標準化。可以利用事件來表示考生的操作序列，用四元組來表示事件E（O，T，S，P），其中 O為操作的對象，T為操作的時間，通過時間可以反映出考生的操作順序，S為進行該操作（事件）后對象的狀態，P表示進行該操作可能需要的參數（前提條件）。這是一種通用的表示方法，在具體應用中可以根據情況進行調整和細化。

1.2 操作測評自動化模型

操作序列的表示標準確定了，就可以結合專家系統給出通用的測評模型，其結構主要包括人機界面、考生操作序列獲取及表示、推理機、評定結果（成績管理數據庫）、動態數據庫、解釋模塊、知識庫、知識庫管理系統等，如圖1所示[7]。

圖1 操作測評自動化模型

（1）解釋模塊。在推理過程及成績計算過程中，將解釋信息、操作結果及評分成績輸出到人機接口界面。為了使考生能夠復查考試成績，教師能更好地分析考生對實踐操作的掌握情況，要求測評系統對考生操作過程進行捕獲和記錄，并能夠回放。傳統的方法通常是實時錄制操作過程[8]，這種方式數據量大，也不利于提取關鍵節點。為減少數據量和系統實現的簡單化，將操作過程和評分的推理過程結合文本信息以解釋信息呈現。操作過程的跟蹤與回放提高了測評系統的可信度。接收到回放指令時，系統將解釋信息、操作結果、分步驟及總體的評分成績輸出到人機接口界面。

（2）推理機。程序運行過程中，利用知識對考生的操作進行推理判斷，獲取考生操作結果，利用評分參數采用系統所設定的評價方法實現對考生的合理評分。

（3）動態數據庫。存儲考生操作過程中的相關信息，如初始事實、推理規則、控制信息等。采用層次結構組織數據，層次中的數據并不是固定的，在系統推理或成績計算過程中動態生成或刪除。

（4）評定結果（成績管理數據庫）。用于永久保存考生信息、推理所得的操作結果以及考生的操作成績等，存儲的結果數據主要用于歷史憑證及統計分析。

（5）知識庫。主要用于存儲評判規則知識和操作任務知識。為加快推理速度，將不同的考核項目劃分成多個子集，采用層次結構模式，按不同的項目組織成樹形結構。

1.3 實操考核自動評分流程

考試時，自動測評系統隨機產生一個考試項目，加載考題時，先將考題的任務步驟與規則庫里的規則進行匹配，進行考題正確性的驗證；匹配成功，從規則庫中找出對應的規則組成待用規則集存入動態數據庫，待用規則相當于前面所說的正確答案，所表示的是最簡單的操作步驟，即沒有反復或者重復的操作步驟；隨著考生的操作，組成操作序列的內容不斷地變化，更新動態數據庫中的初始事實數據；采用正向推理模式和深度優先搜索策略輪詢待用規則集的規則，判斷正確答案的操作序列是不是出現在考生的操作步驟中，根據操作的時間判斷考生的操作順序是不是正確，如果有多種方法，要逐個比對；評判的同時將相關的操作信息送給解釋模塊，最后根據評分策略計算考生的操作成績。如圖2所示。評分策略針對不同的項目或組織者的要求可以進行相應的調整[9－12]。

2 自動測評關鍵技術在航海儀器測評系統中的實際應用

考慮到航海儀器實踐操作過程路徑不是太復雜，以及操作步驟之間的關聯性較強，為了簡化處理和方便操作序列的比對，將1.1中的操作序列E轉化為由一系列的操作、操作發生時間的關系（即操作關系）、操作發生的條件和操作完成的標志組成，并全部通過對應的變量（關鍵字）來表示。2個操作之間可能沒有任何約束關系，這時不需要做任何表示；也可能存在必要的約束關系，如一個操作必須在另一個操作完成期間進行等，如果按時間關系區分，操作關系可以包括前、后、同時、期間、交叉等[13－14]。針對航海儀器實踐操作的特點，操作關系可以只考慮前后的關系，因此可以用操作發生的條件來表示。條件對應的變量及其期望值可以在規則庫中事先定義好，規則主要包含操作動作對應的關鍵變量及其期望值、操作前提條件的變量與期望值、操作完成標志變量與期望值，以及操作序號等。某一操作的前提條件可能不止一個，則需要判斷關鍵字間的關系是合取還是析取。若為合取，需要所有關鍵值的事實值與期望值相等才能確定考生進行了該步驟的操作；若為析取，只需要其中一個關鍵字的事實值與期望值相等即可確定考生進行了此步操作。在處理中注意關鍵字與操作步驟之間的對應[15]。

圖2 實際考核自動評分流程

操作跟蹤和回放的解釋信息將操作過程和評分的推理過程涉及到的關鍵字結合起來進行呈現，主要包括：考生進行了哪些操作或步驟，完成與否；哪個操作前提條件不滿足；什么操作完成標志不滿足；操作結果參數的值是多少；操作時間、操作順序等。推理過程的解釋信息較全面地反映了考生的操作過程。解釋信息參量對應的文本信息預先設定好，并存儲在數據庫中。

3 結束語

由于實驗技能的多學科性，完全相同的測評算法是不存在的，存在的只是算法構建的基本框架，本文給出了操作序列的通用表示框架，在該框架的指導下結合學院航海儀器實踐操作的特點給出了細化實例，構建出有效的自動評分系統。該系統在教學中的實際應用，克服了人工評分的不足，實現了評分結果的相對客觀、公正，大大提高了實操考核的工作效率。隨著云計算技術的逐步成熟，基于操作序列的測評思想可以用于網絡教學的效果評估，通過記錄教師和學生的教與學的操作過程，實現對教師教學過程的全程跟蹤，并進行評價，這些數據也是課后同步訓練智能化的依據。

（References）

[1] 孫波，傅騫，馬曉強.用戶操作序列分析在Office技能測評中的應用[J].中國電化教育，2004（3）：84－86.

[2] 何克抗，許駿.計算機輔助測評（CAA）研究新進展：技能性非客觀題的自動測評[J].開放教育研究，2005（2）：78－81.

[3] 傅騫，何克抗，馬曉強.基于計算機仿真的實驗技能測評自動化研究[J].中國遠程教育，2005（3）：68－72.

[4] 曲朝霞，傅騫.實驗技能自動測評系統框架研究與設計[J].計算機應用研究，2007（5）：218－219.

[5] Clauser B E，Harik P，Clyman S G.The generalizability of scores for a performance assessment scored with a computer－automated scoring system[J].Journal of Educational Measurement，2000（37）：245－261.

[6] 傅騫.實驗技能測評自動化理論與應用研究[D].北京：北京師范大學，2004.

[7] 廉師友.人工智能技術導論[M].西安：西安電子科技大學出版社.2007：232－234.

[8] 姚礪，束永安.基于Java的捕獲，回放測試工具的實現[J].計算機工程，2003（9）：22－24.

[9] 田中.人工智能中搜索策略的探討[J].福建電腦，2004（8）：30－31.

[10] 聶偉，巫影，夏極.船舶動力系統模擬器自動評分系統的設計與實現[J].航海工程，2010（8）：84－87.

[11] 馮志勇.輪機模擬器操作評分系統的設計與開發[D].武漢，武漢理工大學，2010.

[12] 高海波，陳明昭，陳輝，等.船舶電站仿真訓練器中的培訓考核評分系統[J].武漢理工大學學報，2003（5）：633－635.

[13] 陳萱華，朱仙寶.無線電導航儀通用仿真模塊研究及其設計[J].實驗室研究與探索，2011，30（8）：94－97.

[14] Chen Xuan hua，Zhang Ling.Research on the Construction of the General Simulation Platform with Radio Navigation of Service－oriented Component[C]／／2011 15th Global Chinese Conference of Computer in Education.Hang Zhou：Zhejiang University，2011：1128－1133.

[15] 陳萱華，許曌銓.基于QTI標準的操作題標準化表示研究[J].公安海警學院學報，2011（4）：37－39.