基于自動評分技術的高中信息科技考試機考系統(tǒng)設計

袁德玲 羅雙虎

摘要：該文根據(jù)高中學業(yè)水平考試“信息科技”科目的教學情況和考試需求，設計了機考系統(tǒng)的主要架構(gòu)和功能，闡述了操作題自動評分技術的三種策略，并對未來研究和實踐應用的方向進行了展望。

關鍵詞：機考系統(tǒng);信息科技;自動評分

中圖分類號：TP311 ? ? ? ?文獻標識碼：A

文章編號：1009-3044（2021）32-0139-02

1 概述

機考是指利用計算機硬件和軟件來共同完成考試設計和組織實施的一種考試方式。在世界范圍內(nèi)，基于計算機的考試已經(jīng)很普遍，如美國的TOEFL（檢定非英語為母語者的英語能力考試）[1]、GRE（美國研究生入學能力測試）[2]等。而我國的證書考試領域，多個項目也在逐步采用機考，如注冊會計師考試[3]、司法考試[4]等。“信息科技”科目是國家實施高中學業(yè)水平考試制度后，被納入考試范疇的一門與計算機基礎知識和操作密切相關的課程，為了充分體現(xiàn)計算機教育教學的特色，在考試中，上機操作環(huán)節(jié)必不可少，因此，為考試設計適合的機考系統(tǒng)，顯得至關重要。然而，上機操作環(huán)節(jié)所產(chǎn)生的考生答案，卻給教師評卷帶來極大的難題。有利的是，實施機考后，數(shù)據(jù)變得結(jié)構(gòu)化，可以為開展標準一致、穩(wěn)定公平的計算機自動評分奠定基礎。本文針對以上問題，對信息科技考試的機考系統(tǒng)與自動評分策略進行設計，并對未來研究方向進行展望。

2 考試系統(tǒng)的設計

信息科技考試機考系統(tǒng)的設計、構(gòu)建和應用水平，決定著考試的成敗。按照信息科技科目的初始教學和考試設計，除了計算機基礎知識以外，還有三個選考模塊，在教學和考試中，都涉及具體的應用軟件，如：算法與程序設計的Microsoft Visual Basic6.0，數(shù)據(jù)管理的Microsoft Access 2003，設計與創(chuàng)作模塊的Adobe Photoshop CS8.0和Macromedia Flash MX。因此，考試系統(tǒng)必須調(diào)用這些第三方應用軟件，讓考生在真實環(huán)境下作答，且能收集到考生的操作題作答結(jié)果。

在組織管理上，信息科技考試采用考場管理模式，每個考場為獨立的管理單位。因此，機考系統(tǒng)設計為局域網(wǎng)版本，采用C/S架構(gòu)，適用于在一個計算機機房內(nèi)組織考試，分為監(jiān)考端和考生端。監(jiān)考端即監(jiān)考管理子系統(tǒng)，安裝在監(jiān)考計算機上，由操作員來操縱控制考試當天所有場次的進程，運行前必須插入經(jīng)過統(tǒng)一校時的時鐘加密狗，以保證每個場次的開考時間相同。考生端安裝在考生使用的計算機上，供考生作答選擇題、填空題、操作題等各類題型，要求真實調(diào)用安裝在考生機上的應用軟件。

2.1 監(jiān)考端主要功能設計

（1）監(jiān)考機應有檢測和報告網(wǎng)絡環(huán)境、考生機軟硬件環(huán)境的功能，確保機房環(huán)境符合考試要求。

（2）監(jiān)考機具有系統(tǒng)性和便捷性，并能反映出考試流程的管理界面，即用直觀的方式展示管理界面和相應的功能按鈕。

（3）具有遠程控制、監(jiān)控每一臺學生機的功能，其中必須有：遠程啟動及關閉所有考生機的考試系統(tǒng)，可以遠程重啟、關閉考生機，可以監(jiān)控每一臺考生機的答題進度，可以監(jiān)控每一臺考生機的網(wǎng)絡連接狀況。可以監(jiān)控每個考生的考試情況（如：開始登錄、開始考試、正常交卷、單機交卷、備份收卷等信息）。

（4）具有統(tǒng)一發(fā)卷、收卷、控制考試機運行的功能;具有開考后規(guī)定時間內(nèi)禁止交卷的功能和正式開考后禁止登錄、未登錄提示標記缺考的功能。

（5）能即時反映出每臺考生機的考試狀態(tài)（包含：IP地址、機器名、考生姓名、登錄狀態(tài)、網(wǎng)絡狀態(tài)、答題進度、交卷狀態(tài)等信息），并根據(jù)登錄狀態(tài)以不同背景顏色顯示。如遇考生機死機、重啟等離線時，應用特殊標識清晰地反映出來。

（6）具有斷點續(xù)考、換座位續(xù)考、單機收卷、多重備份、考試違規(guī)標記并強制收卷等輔助功能，并能最大限度地減少斷點續(xù)考、換座位續(xù)考等發(fā)生異常情況后考生答案和操作的丟失。

（7）考生答卷文件中具有缺考、斷點續(xù)考、換座位續(xù)考、考試違規(guī)等標識功能。

（8）具有非考試時段進行整場考試的限制和管理功能。

（9）能根據(jù)要求，在分發(fā)試卷時選擇不同的分發(fā)方式，如單雙號分發(fā)、普通分發(fā)等;考試結(jié)束后，可以對考生試卷進行校驗功能，確保考生試卷的可用性。

監(jiān)考端的主要功能如圖1所示。

圖中，虛線框內(nèi)是監(jiān)考端在考試實施過程中的主要功能，前期準備主要是導入考生信息和試卷數(shù)據(jù)，而后期工作主要是數(shù)據(jù)處理與導出，中間的5個功能模塊是核心功能。

2.2 考生端主要功能設計

（1）考生開始登錄到開始考試前，系統(tǒng)提供界面供考生檢測鍵盤（包括數(shù)字和符號區(qū)按鍵）是否正常;具有友好、簡潔、大方的答題界面，題干有適當?shù)淖煮w、字號，試題間有一定的間距，按鈕風格盡量保持一致。

（2）考生做完當前題目后，可以退回修改答案。題目在考試時間內(nèi)，可以多次作答，以最后一次作答為準。

（3）具有考生不可進入本機操作系統(tǒng)界面的功能（軟件操作題除外），考生進入考試系統(tǒng)后，考試系統(tǒng)全屏顯示，除了答題所必需的按鍵和鼠標操作外，考試系統(tǒng)應屏蔽其他任何操作。

（4）作答操作題時，考生無法啟動和查看與操作題無關的文件和程序。操作題作答完畢，立即返回考生機主界面。

（5）考生機能明顯標志考生各題答題情況;考生機與監(jiān)考機同步計時，且在斷點續(xù)考與換座位續(xù)考后也要求做到同步計時。

（6）考生機在裝有各種軟硬件保護卡情況下能正常運行，考生機在考試過程中遇網(wǎng)絡故障能正常運行，不影響考生答題，故障排除后可自動恢復連接。

（7）考試系統(tǒng)能夠定時自動保存考生作答答案，也需支持手動保存答案的功能，以防答案的丟失;“交卷”按鈕有多次提示的功能，防止誤操作。

（8）在考試臨近結(jié)束時，能在原時間顯示基礎上，醒目提示考生剩余時間。

3 自動評分技術的策略設計

自動評卷系統(tǒng)是基于完全使用計算機進行自動評分的軟件，只要事先將參考答案、評分規(guī)則等條件配置好，即可由計算機自動運行，調(diào)取考生的答題文件，根據(jù)設置好的規(guī)則自動賦分，除需技術人員保障系統(tǒng)運行穩(wěn)定外，無須評卷教師的參與。

信息科技考試的評卷基于自動評分技術，難點在于對操作題自動評分策略的設計上，應采用“對過程評判”與“對結(jié)果評判”相結(jié)合的方法。具體來說，設計了三種判分模式：“以過程動作軌跡判分”“以考生作品結(jié)果與標準操作結(jié)果的相似度判分”和“以輸入輸出值的比對結(jié)果判分”，主要針對考生的Photoshop平面作品、Flash動畫作品以及算法程序作品。

3.1 以過程動作軌跡判分

針對屬性類的操作，主要以過程動作軌跡來判分，即所要求元素是否存在、所要求屬性是否已設置、所要求歷史動作軌跡是否存在，這些可以通過檢測考生提交的原格式作品文件是否存在相應屬性、記錄考生在操作作品中所做過的操作動作來判斷。

3.2 以考生作品結(jié)果與標準操作結(jié)果的相似度判分

考試中另外還有一類考查點，比如指定對象的大小、位置等，就要通過與標準操作結(jié)果文件來對比了。可以先定位樣張中所考察對象三個定位點位置的X、Y坐標，再根據(jù)評分標準指定的冗余范圍，計算考生作品中相應對象可以容許的坐標范圍，最后判斷考生作品中對象的實際坐標，是否處于允許范圍內(nèi)，根據(jù)具體的評分標準來賦予相應的分數(shù)。

3.3 以輸入輸出值的比對結(jié)果判分

此種判分方式主要針對的是編程題，可將命題專家指定的輸入值，導入考生編寫的程序中，運行考生程序，獲取程序的輸出值，檢驗其是否正確。當然，在運行考生程序前，還會自動先對其進行編譯，若出現(xiàn)編譯報錯，則說明程序有語句錯誤或其他瑕疵，導致無法運行，直接判定為錯誤不得分。這樣的評分策略，以程序的運行結(jié)果為導向，忽略具體實現(xiàn)路徑，如循環(huán)體，既可以用do while…loop結(jié)構(gòu)，也可以用for…next結(jié)構(gòu)，或其他實現(xiàn)方式，只要能達成試題所要求的目標即可，給考生保留了較大的發(fā)揮空間。

4 總結(jié)與展望

“信息科技”考試是上海市多年來在大規(guī)模統(tǒng)一教育考試領域進行機考深度探索的實例之一，尤其在計算機自動評分策略的研究、設計和實踐上，取得了一定的進展。然而，基于當前每年組織一次大規(guī)模統(tǒng)一考試且考場分散在幾百所學校的現(xiàn)狀，還未能做到考場環(huán)境的絕對統(tǒng)一，學科題庫的建設也有待起步;計算機自動評分技術，還有進一步提升的空間;也期待能形成系統(tǒng)性的項目實施管理標準，供其他機考項目借鑒。這些都是未來研究和實踐應用的方向。

參考文獻：

[1] 劉燁.TOEFL考試變更方式簡介[J].出國與就業(yè)，1999（3）：8.

[2] 潛心.GRE計算機考試最新介紹[J].出國與就業(yè)，1999（8）：22-23，3.

[3] 葉松濤.基于我國注冊會計師考試改革的研究與探討[J].現(xiàn)代經(jīng)濟信息，2013（16）：269.

[4] 劉子陽.5個考區(qū)將試點司法考試“機考”[N].法制日報，2017-06-06（1）.

【通聯(lián)編輯：代影】