具有自適應特征的在線考試系統的研究與應用

徐彩云

摘要：自適應考試系統能有效測出應試者的真實能力水平，但題庫質量要求高，試題參數計算復雜，系統實現有一定難度。具有自適應特征的在線考試系統能夠以知識點相關聯，融合兩種考試方式的優點，實現對應試者真實能力水平的考查。文章對初始選題、自適應選題策略、終止規則等關鍵技術進行了研究，實驗表明該系統測試效果較好。

關鍵詞：自適應考試；在線考試；在線組卷；選題策略

中圖分類號：TP311

文獻標志碼：A

文章編號：1006-8228（2017）01-30-04

0.引言

在線考試系統憑借評閱準確及時、人為干擾少、公平性強等特點，已經逐步替代紙質考試。但大部分在線考試系統只是利用計算機對考試過程進行管理與控制，實現自動閱卷，無法突破經典測量理論（classic Test Theory，簡稱CCT）。

項目反應理論（Item Response Theory，簡稱IRT）出現后，以IRT為基礎的計算機自適應測試系統（computerized Adaptive Testing，簡稱CAT）采用“因人施測”的基本思想，每個應試者都能接受一組符合自身能力水平的試題進行測試。

與傳統考試相比，CAT具有對應試者的能力評估準確、測試效率高、評估方法公正科學等優點。CAT雖然優點多，但社會認同度較低，除了試題參數計算復雜，題庫質量要求高之外，以能力值表示的考試結果認同度低也是重要原因。

本文以知識點關聯為基礎，實現一個具有自適應特征的在線考試系統AFOMS（Online ExaminationSystem with Adaptive Features，簡稱AFOMS），避免自適應考試系統的缺點的同時，達到測試應試者真實知識水平的目的。

在設計AFOMS之前，參照CAT通用考試過程模型，設計了自適應性在線考試模型SAFM（SelfAdaptive Features Model，簡稱SAFM）。

1.SAFM的設計

CAT的工作過程如下：系統在測試初始探查階段獲取應試者能力值之后，在考試過程中根據答題情況動態地評估應試者的能力值，選取最接近應試者能力值的試題進行施測，直至考試結束。

SAFM的設計思路：設有初始探查階段，自適應選題施測階段以及測試終止階段。在選題策略方面，以知識點關聯關系，根據答題情況選取試題進行施測，達到測試目的。

1.1初始探測選題

由教師用戶選定考查的知識點后，設置各題型試題數量，整體難易度后，系統自動生成一組試題進行施測。在第一部分測試結束之后，系統自動對第一部分答題情況進行分析統計。

1.2自適應選題策略

基本思想是：分析第一部分考試結果后，根據之前某個知識點的試題答題情況，按照難度等級遞增或者遞減的原則來隨機選取下一道關聯這個知識點的試題施測，直至考查結束，實現考查知識點的全覆蓋。在本階段，關于某個知識點的試題至多只有兩道。

自適應特征選題工作流程如圖1所示。

由圖1可知，第一道題與第二道題的選題策略是保證考試質量的核心。

假設第一部分考試中出現的知識點為T（a₁，a₂，a₃......a_x），某個知識點考查的試題為M（M₁，M₂，M₃，M_x），試題對應的難易度為P（P₁，p₂）2，P_x）。

對于某個知識點a_i，關于知識點a_i的試題集合M，自適應特征考試第一題選題策略如圖2所示。

第一道試題選擇策略簡述如下。

（1）若全部答對，且試題M中存在某一試題M_i難度等級為難，則該知識點考查結束，考查下一個知識點。

（2）若全部答對，且試題M中不存在試題難度等級為難的試題，選取集合P中的等級最高值P_i，抽取一道關于知識點a_i難度等級為（p₁+1）的試題進行測試。

（3）若全部答錯，則選取一道關于知識點ai的難度等級為容易的試題進行測試。

（4）若答錯和答對都有，則記錄答錯題的最高難度等級Pi，選取一道難度等級為（P_i-1）的試題進行測試。

第二道試題選擇策略簡述如下。

（1）若答對N，且R為難，則知識點a_i考查結束。

（2）若答對N，且R不為難，則選取一道難度等級為（R+1）的試題繼續測試。

（3）若答錯N，且R不為容易，則選取一道難度等級為（R—1）的試題繼續測試。

（4）若答錯N，且R為容易，則知識點鞏考查結束。

1.3終止規則

過多的測試題目容易導致測試時間過長，測試效率不高。SAFM采用終止策略是：在自適應特征考試部分，關于某個知識點的試題達到一定數量即終止考查，考查下一個知識點。

2.AFOMS的設計

2.1 AFOMS的總體結構

AFOMS的系統模型結構如圖4所示。

2.2數據庫設計

采用Oracle 10g作為數據庫管理系統，設計了—個考試數據庫，共建了27個數據表。其中主要的數據庫表為15個，分別是學生信息表（命名為“STUDENT”）、課程信息表（命名為“LESSON”）、知識點信息表（命名為“KNOWLEDGE”）、題目信息表（命名為“QUESTION”）、考試配置表（命名為“TESTCONFIG”）、試卷難易度表（命名為“NYDTEST”）、第一部分考試知識點表（命名為“PRE_KNOW”）、第一部分考試答題信息表（命名為“PRE_PAPER”）、第一部分考試成績表（命名為“PRE_SCORE”）、第一部分考試分析表（命名為“PRE_RESULT”）、自適應特征考試知識點表（命名為“TEST_KNOW”）、自適應特征考試答題信息表（命名為“PAPER”）、自適應特征考試成績表（命名為“SCORE”）、自適應特征考試分析表（命名為“F_RESULT”）、第一部分考試和自適應特征分析表（命名為“F_RESULT_ALL”）。

主要數據表之間的關系如圖5所示，其中pk表示主鍵，fk表示外鍵。

3.系統測試與分析

系統初步搭建后，兩位考生完成了考試。兩位考生的考試情況如表1所示。對比數據來看，第一部分考試答對的試題越多，自適應特征考試的時間相應縮短，收斂速度較快。考慮到考生心理因素及其他因素，由兩部分考試的答題情況來評定最終成績比較合理。因此考試成績能反映出應試者的知識水平，具有一定的實用性。

4.總結

為考查應試者知識掌握水平，避免cAT的缺點，設計了以知識點為關聯的具有自適應特征的在線考試系統。實驗證明，具有自適應特征的在線考試系統能夠實現應試者初始能力評估、自適應選題測試以及知識點的全覆蓋考查。考試結果能夠反映應試者的知識掌握水平。

我們將在未來繼續對選題策略、題庫結構、知識點體系結構的布局等展開研究。如在題庫中加入主觀題后，存儲結構如何發生變化；主觀題的評判結果是否準確及是否會影響選題策略；選題策略如何調整等。