基于共建共享模式的在線考試題庫系統(tǒng)的設(shè)計與研究

吳君勝

(廣州市廣播電視大學(xué) 人文與工程學(xué)院， 廣東 廣州 510091)

0 引言

開放大學(xué)不同于一般的普通高校，它是一個由總部、分部(地方開大)和分校(教學(xué)點)組成的辦學(xué)系統(tǒng)。各層級有分工，也有合作，共同組成完整的辦學(xué)整體。系統(tǒng)辦學(xué)是開放大學(xué)的辦學(xué)特色、也是辦學(xué)優(yōu)勢[1]。

廣州市廣播電視大學(xué)(下稱廣州電大)是國家開放大學(xué)(廣州分部)，就廣州電大系統(tǒng)而言，截止至2019年底，在校生規(guī)模超過25萬人，連續(xù)多年成為全市規(guī)模最大的高校。學(xué)生數(shù)超過10萬可謂巨型大學(xué)，面對規(guī)模、成本和質(zhì)量的巨大沖擊[2]。傳統(tǒng)的紙質(zhì)筆試時間不靈活、時空間成本高、評閱卷工作量大、成績發(fā)布周期長、耗費人力物力財力，很難滿足學(xué)習(xí)者和管理者的需求。因此，利用開放大學(xué)的特點和優(yōu)勢，建立一套科學(xué)的、符合開放大學(xué)特點的在線考試題庫系統(tǒng)，提高效率，保證質(zhì)量，達成“教、學(xué)、考、評”一體化目標，是開放大學(xué)考試改革的關(guān)鍵。

1 需求問題描述

目前，開放大學(xué)的在線考試系統(tǒng)分為總部網(wǎng)考系統(tǒng)和分部(地方開大)自建網(wǎng)考系統(tǒng)兩種，考試單位分別是總部和分部。總部網(wǎng)考系統(tǒng)與紙質(zhì)筆試區(qū)別不大，僅僅是紙質(zhì)筆試無紙化，仍需人工參與，沿用全國統(tǒng)一總部考試模式。廣州電大系統(tǒng)自建“易考通”在線考試平臺，在功能上解決了國開總部網(wǎng)考系統(tǒng)的缺陷，實現(xiàn)一定程度的智能化，但僅適用于分部統(tǒng)考課程，比較分析情況，如表1所示。

表1 總部與分部在線考試系統(tǒng)對比

2016年，《教育部關(guān)于辦好開放大學(xué)的意見》中明確提出指出，“開放大學(xué)與學(xué)習(xí)服務(wù)中心要實現(xiàn)高速、安全的現(xiàn)代遠程教育網(wǎng)絡(luò)覆蓋、統(tǒng)一教學(xué)管理、統(tǒng)一在線平臺、統(tǒng)一考試評價、保證教育教學(xué)質(zhì)量”、“完善課程學(xué)習(xí)考試制度、建設(shè)數(shù)字化題庫、學(xué)習(xí)測評系統(tǒng)、電子試題保密機制”[3]。表1中的系統(tǒng)都僅針對終結(jié)性考核(期末考試)而開發(fā)的系統(tǒng)，仍無法達成“教、學(xué)、考、評”一體化的目標。

廣義上的網(wǎng)絡(luò)考試是指任何計算機參與的考試，可以是終結(jié)性、形成性或診斷性的考試等。筆者認為對教、學(xué)、考的全流程評價能實現(xiàn)融合統(tǒng)一是開放大學(xué)轉(zhuǎn)型發(fā)展的關(guān)鍵所在。為此，網(wǎng)考系統(tǒng)功能應(yīng)在現(xiàn)有系統(tǒng)的功能上進一步拓展和創(chuàng)新，核心需求應(yīng)在于題庫系統(tǒng)的功能設(shè)計，需求分析如下。

1.1 支持靈活的考核需求

在線考試系統(tǒng)假如只為終結(jié)性考核(期末考試)而開發(fā)，那么必然會出現(xiàn)施教者迫切想獲取課程復(fù)習(xí)資料或考試題庫信息的情況。然而，施教者往往不是課程題庫的建立者，施教者對課程教學(xué)文件的理解、對學(xué)習(xí)者負責(zé)任程度、對教研活動的參與度都直接影響學(xué)習(xí)者的課程最終成績。因此，課程題庫的建立目標，應(yīng)既能支持形成性考試(包括課前問答、堂上小測、課后練習(xí)、常規(guī)作業(yè))，又能支持終結(jié)性考試(包括考前模擬考試、期末考試)。在課程開始到結(jié)束的全流程中，支持不同形式、不同時空、不同規(guī)模的考核需求，利用智能移動終端設(shè)備，隨時、隨地、隨測、隨練、隨考的靈活考核方式是開放大學(xué)在互聯(lián)網(wǎng)時代的重要需求。

1.2 建立層級管理題庫結(jié)構(gòu)

開放大學(xué)的題庫建設(shè)應(yīng)改變課程責(zé)任教師獨立命題或委托專家命題的現(xiàn)狀，把集中式命題變?yōu)榉稚⑹矫}。發(fā)揮開放大學(xué)辦學(xué)系統(tǒng)優(yōu)勢，使分校(教學(xué)點)教師在日常教學(xué)中參與知識點考核的命題。建立層級管理題庫的功能，課程責(zé)任教師審核知識點考核命題并完成入庫，實現(xiàn)課程考題數(shù)據(jù)共享，碎片化審核有效降低集中審核的工作量壓力。同時，一定量的考題來源于面對不同生源、在不同區(qū)域教學(xué)的一線任課教師，具有更好的開放性、公平性和公正性。

1.3 支持單一考題的評析

單一考題的評價與分析除了能考量命題者的水平，還能在答題數(shù)據(jù)中反映出施教者在某些知識點的教學(xué)情況和學(xué)習(xí)者的掌握情況，正確率、答題平均時間等數(shù)據(jù)能精準分析考題對于開放大學(xué)的學(xué)習(xí)者的實際難易程度，相比當(dāng)前依靠命題者和試題審核學(xué)科組專家的估算會更為準確。

1.4 支持多終端應(yīng)用需求

支持PC端、移動設(shè)備等多終端應(yīng)用，PC端提供全流程功能，移動設(shè)備終端提供便于施教者和學(xué)習(xí)者的操作。

1.5 支持跨系統(tǒng)數(shù)據(jù)共享

題庫系統(tǒng)應(yīng)提供與終結(jié)性考核的在線考試系統(tǒng)的數(shù)據(jù)接口，實現(xiàn)課程題庫的導(dǎo)入導(dǎo)出，實現(xiàn)題庫數(shù)據(jù)共享。

2 系統(tǒng)設(shè)計

2.1 結(jié)構(gòu)設(shè)計

題庫系統(tǒng)主要面向教學(xué)過程中的在線測考，屬于形成性考核，而面向終結(jié)性考核的網(wǎng)考功能，則由現(xiàn)有的在線考試系統(tǒng)負責(zé)。考慮微信公眾平臺的系統(tǒng)開發(fā)能同時適用于Andriod和iOS等移動操作系統(tǒng)，避免開發(fā)不同的移動應(yīng)用程序所帶來的新問題，利用云服務(wù)器，針對智能移動終端設(shè)備開發(fā)基于微信公眾平臺的在線測考題庫系統(tǒng)。題庫系統(tǒng)主要由微信公眾平臺、微信客戶端(在線測考平臺)和PC端(題庫管理系統(tǒng))3個部分組成，如圖1所示。

微信公眾平臺是微信公眾號管理后臺，微信客戶端既是用戶界面又是測試界面，開發(fā)者實際面對的主要對象是微信服務(wù)器和應(yīng)用程序(網(wǎng)站)服務(wù)器[4]。在線測考平臺可通過授權(quán)接口和功能權(quán)限作為公眾號第三方管理平臺，其用戶為教師或教考務(wù)管理人員。系統(tǒng)采用ASP.NET作為開發(fā)平臺，部署在云服務(wù)器。

圖1 系統(tǒng)結(jié)構(gòu)圖

2.2 功能設(shè)計

為實現(xiàn)題庫管理系統(tǒng)的核心需求，本文以廣州電大現(xiàn)有的在線考試系統(tǒng)為基礎(chǔ)，設(shè)計開發(fā)“拼題易”在線測考題庫系統(tǒng)，主要應(yīng)用于教學(xué)過程中的形成性考核和課程終結(jié)性考核的考題集成。本系統(tǒng)實現(xiàn)教師對題庫考題管理、測考的發(fā)起與管理，實現(xiàn)學(xué)生隨測隨考、成績查詢與分析等功能，系統(tǒng)模塊包括學(xué)生管理、班級管理、教師管理、課程管理、試題管理和用戶管理等。功能結(jié)構(gòu)，如圖2所示。

圖2 在線考試題庫系統(tǒng)功能結(jié)構(gòu)圖

(1) 試題管理

課程責(zé)任教師可根據(jù)課程創(chuàng)建試題，并為試題分配指定命題教師，命題教師應(yīng)為課程責(zé)任教師或分校(教學(xué)點)任課教師。考題由命題教師自行添加，既可逐條添加題目，也可根據(jù)指定模板批量導(dǎo)入知識點和題目。添加后的題目默認為待審狀態(tài)，題目由課程責(zé)任教師審核后入庫。已審題目可以按課程導(dǎo)出指定格式Excel文件，導(dǎo)入現(xiàn)有在線考試系統(tǒng)，可按照學(xué)科組專家審核流程完成考試發(fā)布。待審題目和已審題目都可由命題教師自行發(fā)起測考主題，如在線練習(xí)或堂上測試等，通過生成二維碼讓學(xué)習(xí)者使用終端設(shè)備掃碼答題，用于實施教學(xué)的課前、課中、課后全過程。學(xué)生答題監(jiān)查實時顯示學(xué)習(xí)者答題情況，試題成績分析在PC端和智能手機終端可查看。

(2) 教師管理

開放大學(xué)任課教師與辦學(xué)系統(tǒng)層級結(jié)構(gòu)對應(yīng)，課程責(zé)任教師負責(zé)課程管理，班主任或?qū)W(xué)教師負責(zé)班級管理，任課教師可以分部(地方開大)教師，也可以是分校(教學(xué)點)教師，教學(xué)機構(gòu)管理主要是管理分校和教學(xué)點信息，并可標識教師參與命題的身份。其角色流程，如圖3所示。

(3) 課程管理

題庫題目用于教學(xué)全過程就必須關(guān)聯(lián)課程，課程信息可通過專業(yè)規(guī)則或?qū)I(yè)教學(xué)計劃導(dǎo)入系統(tǒng)，根據(jù)課程可創(chuàng)建試題或發(fā)起在線練習(xí)。

(4) 班級管理

班級管理主要包括班級信息管理和學(xué)生信息管理。學(xué)生信息主要來源于教學(xué)過程中的身份注冊，班主任或任課教師可以完成學(xué)生和班級的綁定，有效解決學(xué)生基礎(chǔ)信息依賴學(xué)籍系統(tǒng)的數(shù)據(jù)源問題。

圖3 角色流程圖

(5) 后臺管理

系統(tǒng)用戶主要是教師，教師信息主要來源于參與題庫建設(shè)并將題目用于教學(xué)的一線任課教師，教師信息通過身份注冊完成。后臺默認注冊為任課教師，可根據(jù)教師角色設(shè)置模塊功能權(quán)限。

2.3 防作弊設(shè)計

針對終結(jié)性考核的網(wǎng)考系統(tǒng)在防作弊機制可謂各師各法，如表1所示，主要防止偷窺、夾帶、替考、利用存儲設(shè)備或通訊設(shè)備等常見作弊行為。本文所設(shè)計的題庫系統(tǒng)主要針對形成性考核，線下面授課的堂測實質(zhì)可看作課中教學(xué)互動，線上練習(xí)實質(zhì)可看作課前、課后作業(yè)，防作弊機制與終結(jié)性考核有異有同。基本功能包括考題隨機排序和選項隨機排列的顯示方式、知識點自動組題策略、限時作答、考題答案和查詢時間后移等，其他防作弊設(shè)計如下。

(1) 地理位置信息獲取

智能移動終端設(shè)備具有豐富的傳感器功能，針對面授教學(xué)，題庫系統(tǒng)的在線測考平臺在智能移動終端設(shè)備整合了筆者開發(fā)的“基于微信公眾平臺的課程云簽到系統(tǒng)”的功能，同名論文已公開發(fā)表。因此，面授課除了考勤數(shù)據(jù)具有GPS定位數(shù)據(jù)，堂測答題數(shù)據(jù)同樣具有GPS定位數(shù)據(jù)提交，記錄并防止缺勤者通過網(wǎng)絡(luò)獲取二維碼答題的作弊行為。

(2) 身份綁定

微信賬戶在微信公眾號中具有唯一的openid，實名用戶身份綁定具有設(shè)備限數(shù)和認證機制，微信接口技術(shù)所獲取的設(shè)備信息可判斷設(shè)備更換情況，而且微信號給予他人使用的現(xiàn)象并不多見，考慮即時通訊軟件存在個人隱私不便外借的情況，在一定程度上可以防止缺勤替考問題。

(3) 命題者分配和數(shù)據(jù)隔離

防作弊對象除了被考核人外，還包括對命題者，防止集體作弊行為。命題者來自分校(教學(xué)點)教師，為防止跨校教師私下互通考題進而集體套取大量題庫考題的行為，以命題者自愿參與為原則實施隨機選擇分配，命題者賬戶隔離考題數(shù)據(jù)，隔離與共享功能并存，控制每位命題者的被審核通過考題在最終導(dǎo)出終結(jié)性考核題庫的占比在30%以下，結(jié)合課程期末復(fù)習(xí)資料，比率可調(diào)可控，可靈活實施。

3 系統(tǒng)應(yīng)用效果

本文以筆者自主開發(fā)的“拼題易”測考系統(tǒng)為例，在廣州電大計算機專業(yè)課程中試驗運行，實現(xiàn)了省設(shè)課題庫協(xié)同共建、省校與分校平臺共享、形考與終考融通共享的目標。比較“雨課堂”無法實現(xiàn)單一課程集成題庫，本系統(tǒng)的共建共享題庫系統(tǒng)，經(jīng)過近1年的開發(fā)與運維，經(jīng)試驗運行集成建立3門課程題庫并導(dǎo)入廣州電大“易考通”在線考試系統(tǒng)，在分部順利實施終結(jié)性考核(期末考試)[5]。下面從技術(shù)部署、教學(xué)實施和數(shù)據(jù)融合方面分析應(yīng)用效果。

3.1 系統(tǒng)開發(fā)技術(shù)應(yīng)用

系統(tǒng)的開發(fā)工具使用Visual Studio 2017，在ASP.NET的開發(fā)框架下，采用C#語言編程，結(jié)合MS-SQL Server 2016進行數(shù)據(jù)庫管理，系統(tǒng)以網(wǎng)站形式部署在Windows Server 2012 R2操作系統(tǒng)的云服務(wù)器上，通過IIS發(fā)布網(wǎng)站，在完成一些列域名注冊和備案審批流程后，與微信公眾號無縫結(jié)合。Web服務(wù)和數(shù)據(jù)庫服務(wù)都在云服務(wù)器上穩(wěn)定運行，同時降低部署實施的技術(shù)難度[4]。

3.2 “教、學(xué)、考、評”一體化應(yīng)用

題庫系統(tǒng)應(yīng)用在教、學(xué)、考全過程，涵蓋“評題、評教、評學(xué)、評考”四評，在教師組織教學(xué)過程中獲取的數(shù)據(jù)，極大地促進教學(xué)活動由傳統(tǒng)的“經(jīng)驗驅(qū)動”向“數(shù)據(jù)驅(qū)動”轉(zhuǎn)型，實現(xiàn)全面融合的一體化應(yīng)用[6]。

(1) 考題評價

題庫系統(tǒng)為一線任課教師參與題庫建設(shè)提供了機會，提交的題目首先會被課程責(zé)任教師初步審核評價，如圖4所示。

圖4 堂測數(shù)據(jù)反映教學(xué)情況

例如《.NET編程基礎(chǔ)》課程共8章，由3位不同分校(教學(xué)點)的一線任課教師共同命題，如表2所示。

表2 不同教師命題及其應(yīng)用情況

由表2可知，W教師、T教師和L教師合共審核通過的命題數(shù)為365題，終結(jié)性考核題庫總量最低要求為500題，入庫占比73%。從“拼題易”題庫導(dǎo)出后再導(dǎo)入“易考通”在線考試的命題系統(tǒng)將會進行學(xué)科組和專家再次審核評價，一審錯題率為3.8%，二審錯題率為0.6%。比較另一門計算機課程直接由課程主管教師在“易考通”在線考試命題系統(tǒng)中命題，一審錯題率為7.3%，二審錯題率為2.7%。“拼題易”系統(tǒng)共建題庫并用于形考以及碎片化審核題目能有效提高終考考題的命題質(zhì)量。

任課教師在教學(xué)中參與命題的同時可將題目用于線上線下教學(xué)，每道題目的學(xué)生答題正確率可反映出題目的可用性、難易度和適用性等，一定程度上是學(xué)生參與了評價。如表2所示，W教師和L教師的生源不同，根據(jù)入庫已考題目的正確率，更適合控制及格率，個人入庫題目占比較高，分別是61.4%和55.9%，題目適用性更好，其中W教師的命題質(zhì)量較高。

可見，多元化的考題評價優(yōu)于傳統(tǒng)的考題評審。

(2) 教學(xué)評價

來自不同分校(教學(xué)點)的任課教師所出的考題，課程責(zé)任教師對題目的初步審核入庫實質(zhì)也是對分校(教學(xué)點)任課教師的教學(xué)能力評價，優(yōu)良的考題一定源自于良好的教學(xué)與備課。命題教師的題目在經(jīng)過分校學(xué)生答題后，答題數(shù)據(jù)、題目對知識點的覆蓋度也在一定程度上是教學(xué)實施情況的反饋評估，包括開課安排、教學(xué)進度、知識點把握等，如圖5所示。

圖5 查閱測考成績與考題整體正確率情況

根據(jù)課程教學(xué)大綱的各章授課學(xué)時建議，對照命題時間和學(xué)生答題時間，可得到教學(xué)進度匹配表，如表3所示。

表3 不同教師命題時間與教學(xué)大綱建議學(xué)時匹配情況

由表3可知，W教師高度匹配，開課時間和教學(xué)進度正常，并可提前進入復(fù)習(xí)階段。T教師的開課時間正常，中間教學(xué)進度較慢，最后趕教學(xué)進度。私立教學(xué)點的L教師開課時間較晚，明顯壓縮課時，結(jié)合表2數(shù)據(jù)，為求學(xué)生易于通過，參與命題難度偏低。

(3) 學(xué)習(xí)評價

開放大學(xué)的不同分校、不同區(qū)域的教學(xué)點，學(xué)生的學(xué)習(xí)水平參差不齊，任課教師所出考題的質(zhì)量和學(xué)生答題的數(shù)據(jù)，在一定程度上反映了系統(tǒng)內(nèi)學(xué)生的總體學(xué)習(xí)能力，有利于均衡化建立終結(jié)性考核題庫，避免出現(xiàn)大量考生分數(shù)過低或過高的現(xiàn)象。

不同分校的某課程各章答題正確率折線圖，如圖6所示。

圖6 不同分校的某課程各章答題正確率折線圖

學(xué)生在查閱答題情況時可得知該題目的歷史整體正確率，了解自身學(xué)習(xí)差距。通過問卷調(diào)查顯示，關(guān)心此數(shù)據(jù)的學(xué)生達81%。分別統(tǒng)計該課程各章節(jié)的學(xué)生答題正確率，共4個班級，涉及152名學(xué)生答題數(shù)據(jù)，結(jié)合表2和表3數(shù)據(jù)，W教師命題的正確率漸漸提升，教師完成命題同時并能全程應(yīng)用于形考。T教師和L教師命題都出現(xiàn)缺章，正確率數(shù)據(jù)缺失，形考數(shù)據(jù)不完整。L教師的命題明顯容易，但學(xué)生答題情況并不理想。

(4) 考核評價

系統(tǒng)的考核評價可以是形成性考核，也可以是終結(jié)性考核，形成性考核成績可在教學(xué)過程中線上獲得，如圖7所示。

圖7 堂上實時展示答題情況

任課教師可根據(jù)學(xué)生的掌握程度，自主評價教學(xué)情況，動態(tài)調(diào)整教學(xué)。課程題庫的整體數(shù)據(jù)評價，也影響課程終結(jié)性考核題庫的構(gòu)成。

結(jié)合表3和圖7的數(shù)據(jù)可知，W教師和T教師在教學(xué)中都有一定程度調(diào)整教學(xué)，學(xué)生答題正確率逐步有所提升。通過省校的教學(xué)團隊管理和教研活動，教學(xué)進度基本可管可控。根據(jù)整體學(xué)習(xí)情況，不同分校、不同區(qū)域教學(xué)點的全體學(xué)生的形考答題正確率在55.4%～81.9%之間，平均正確率為72.2%。根據(jù)“易考通”系統(tǒng)導(dǎo)出數(shù)據(jù)，終結(jié)性考核實際報考人數(shù)為101人，實際參考人數(shù)88人，最終通過率是74%，數(shù)據(jù)顯示“拼題易”系統(tǒng)形考數(shù)據(jù)與終結(jié)性考核數(shù)據(jù)高度接近，并略有提高。

3.3 線上線下數(shù)據(jù)創(chuàng)新融合

系統(tǒng)既可應(yīng)用于面授課程，又可應(yīng)用于在線教學(xué)。前述該課程的命題由分校或教學(xué)點教師命題占73%，剩余占比由課程責(zé)任教師命題，最終形成終結(jié)性考核題庫。3位教師在教學(xué)過程中均實現(xiàn)線下數(shù)據(jù)線上化，涉及4個教學(xué)班，教與學(xué)的地理位置信息空間數(shù)據(jù)、教師上課時間數(shù)據(jù)、學(xué)生到課時間數(shù)據(jù)、測考答題數(shù)據(jù)、教學(xué)進度數(shù)據(jù)等線上線下時空數(shù)據(jù)高度融合，學(xué)生的答題成績完全可作為形成性考核作業(yè)成績，同時為導(dǎo)出終結(jié)性考核題庫提供數(shù)據(jù)依據(jù)。

按照題庫總題量要求為500題，從表2數(shù)據(jù)可知，L教師占27.4%，T教師占15.4%，L教師占30.2%。那么可預(yù)見，參與命題的教師越多，可選的命題總量將會更多，單位教師被選入庫題數(shù)越少，入庫占比必然越低，越接近“教考分離”。同時，教師參與度越低，優(yōu)質(zhì)考題入選率越低，入庫占比必然越低。課程命題總負責(zé)人命題占比越高，也會越接近“教考分離”，可調(diào)可控。

4 總結(jié)

本系統(tǒng)的設(shè)計充分發(fā)揮了開放大學(xué)系統(tǒng)辦學(xué)的特點和優(yōu)勢，以課程題庫為頂，從頂層設(shè)計出發(fā)，探索創(chuàng)新開放大學(xué)的題庫建設(shè)新模式。有效改變了任課教師的教學(xué)高度依賴于復(fù)習(xí)資料的現(xiàn)狀，充分調(diào)動了任課教師的教學(xué)積極性，將被動變?yōu)橹鲃樱膭罘e極參與命題工作。從個體走向協(xié)同，促進教師共同體協(xié)同發(fā)展。結(jié)合形成性考核和終結(jié)性考核的數(shù)字化題庫建設(shè)，在一定程度上改變了以教師為中心的課堂教學(xué)和考試命題，變?yōu)橐詫W(xué)生為中心的均衡化教學(xué)與適用性命題。創(chuàng)新的題庫建設(shè)模式推進了課程網(wǎng)絡(luò)教學(xué)團隊的組建，適度的教考不完全分離也是防止教考脫節(jié)和監(jiān)控教學(xué)的有效手段，有利于開放大學(xué)的“教、學(xué)、考、評”一體化向網(wǎng)絡(luò)化和智能化的發(fā)展。借助智能移動終端設(shè)備和微信接口功能的不斷進步和開放，在課程的全生命周期中，在課程教學(xué)過程中實現(xiàn)時空數(shù)據(jù)的全面獲取，形成了線上線下融合的教育教學(xué)大數(shù)據(jù)。本系統(tǒng)的開發(fā)設(shè)計與研究在更大規(guī)模的數(shù)據(jù)研究尚不夠，仍需要更多管理上和內(nèi)部政策上的支持，后續(xù)系統(tǒng)功能開發(fā)將在這些方面進一步拓展和完善。