計算機化自適應(yīng)測驗研究綜述

胡悅　陳俊

摘 要 計算機化自適應(yīng)測驗（CAT）是教育測評發(fā)展的必然趨勢。采用內(nèi)容分析法，對1998—2016年4月公開發(fā)表在國內(nèi)學(xué)術(shù)期刊的計算機化自適應(yīng)測驗相關(guān)論文以及碩博論文進行量的統(tǒng)計和質(zhì)的分析，以期揭示1998—2016年4月，我國計算機化自適應(yīng)測驗的研究現(xiàn)狀、問題及其主要成果，為相關(guān)學(xué)者的學(xué)習(xí)研究提供參考。

關(guān)鍵詞 計算機化自適應(yīng)測驗；文獻研究；碩博論文

中圖分類號：G652 文獻標識碼：B

文章編號：1671-489X（2017）04-0066-04

Abstract Computerized adaptive testing is the inevitable trend of education evaluation development. We used the content analysis me-

thod to analysis the statistical and qualitative characteristics of thesis

on computerized adaptive testing， which publish in the domestic aca-

demic journals and the master and the doctor ‘s thesis in 1998 to 2016

in order to reveal the research status， questions， and main achieve-ments of 1998 to 2016 domestic computerized adaptive testing， in

order to provide reference for the study and research related to aca-demics.

Key words computerized adaptive testing； literature research； master

and the doctors thesis

1 引言

隨著時代的進步，許多大型測驗（如GRE、TOEFL等）[1]

已經(jīng)采用計算機化自適應(yīng)測驗，江西師范大學(xué)自1987年至今也編制了一系列的CAT[2]，未來測驗的主要形式也將成為具有自適應(yīng)性的測驗。

計算機化自適應(yīng)測驗（CAT）這種依靠大型題庫靈活施測且因人施考的測驗形式，正是符合當今社會需求的一種測驗，也是未來測驗發(fā)展的必然趨勢。與傳統(tǒng)測驗相比，它針對不同水平層次的考生提供不同的題目，可以更加客觀、準確地測驗出考生的真實能力和水平，可實現(xiàn)測驗的有效性。同時，計算機化自適應(yīng)測驗不會受考試時間與空間的限制，測驗更加靈活，可保證測驗的公平性。計算機化自適應(yīng)測驗正隨著各種新的考試理論的發(fā)展而蓬勃發(fā)展。

本文以“計算機化自適應(yīng)測驗”“計算機化自適應(yīng)測試”“計算機化自適應(yīng)考試”為關(guān)鍵詞，對中國知網(wǎng)資源庫1998—2016年4月內(nèi)文獻進行整理、統(tǒng)計，分析得出我國計算機化自適應(yīng)測驗的研究綜述。

2 計算機化自適應(yīng)測驗簡述

從單機考試系統(tǒng)到計算機化自適應(yīng)測驗，考試作為衡量教育效果和學(xué)生能力的重要手段，正經(jīng)歷網(wǎng)絡(luò)化、無紙化的變革[3]。計算機化自適應(yīng)測驗依靠大型題庫，采用現(xiàn)代測量理論，自行去適應(yīng)被試水平，靈活施測難度最恰當且性能優(yōu)良的項目，從而實現(xiàn)對被試的高效測量[4]。2007年，Elissavet等提出計算機化自適應(yīng)測驗系統(tǒng)主要包括四部分：1）題庫；2）選題策略；3）能力估計方法；4）終止條件[5]。張華華認為，在CAT中，怎樣從題庫中選擇題目是一個重要的問題[6]。選題策略作為CAT的重要組成部分，它的好壞直接影響到測驗效率和題庫的安全性以及測驗的成本[7]。

3 研究對象與數(shù)據(jù)來源

研究對象 本研究的研究對象是1998—2016年4月公開發(fā)表在國內(nèi)學(xué)術(shù)期刊上、在1998—2016年4月發(fā)表的碩博論文中關(guān)于計算機化自適應(yīng)測驗研究的學(xué)術(shù)性文章與論文。選取關(guān)鍵詞為“計算機化自適應(yīng)測驗”“計算機化自適應(yīng)測試”“計算機化自適應(yīng)考試”，在中國期刊全文數(shù)據(jù)庫以及碩博論文數(shù)據(jù)庫中進行檢索，經(jīng)過檢索并分揀，考慮到本文旨在整理與分析計算機自適應(yīng)測驗的研究成果，所以在統(tǒng)計時剔除非學(xué)術(shù)性文章，最終獲得期刊文獻64篇、碩博論文22篇。

研究方法 本文采用文獻研究法與內(nèi)容分析法，并利用Microsoft Excel從論文的作者、作者署名單位、來源期刊、研究領(lǐng)域、研究內(nèi)容等方面對檢索到的86篇文獻進行分類。由于碩博論文與期刊文章在內(nèi)容與形式上有所區(qū)別，本研究將對碩博論文與期刊文章分別從不同的角度進行統(tǒng)計研究。

4 數(shù)據(jù)統(tǒng)計與分析

載文基本情況 1998—2016年4月國內(nèi)學(xué)術(shù)期刊共登載了64篇計算機化自適應(yīng)測驗論文，碩博論文數(shù)據(jù)庫中共有22篇計算機化自適應(yīng)測驗碩博論文，可見關(guān)于計算機化自適應(yīng)測驗研究的期刊文章明顯多于碩博論文。以作者陳平為例，發(fā)表計算機化自適應(yīng)測驗相關(guān)期刊文章4篇，碩博論文1篇。筆者認為主要原因在于研究的產(chǎn)出比，每個碩博作者最終只能有一篇碩博論文，而期刊文章，一名作者可發(fā)表多篇，這在很大程度上決定了碩博論文相對于期刊文章是一種低產(chǎn)的狀態(tài)。碩博論文自2004年開始才有人研究計算機化自適應(yīng)測驗，而自1998年已經(jīng)有學(xué)者開始研究并發(fā)表在期刊上，這也可以說明，對于計算機化自適應(yīng)測驗的研究，期刊文章對于碩博論文是具有一定的導(dǎo)向作用的。

1998—2016年4月國內(nèi)學(xué)術(shù)期刊登載的64篇計算機化自適應(yīng)測驗論文來自25種期刊，其中刊載文章數(shù)超過1篇的刊物有9種，按刊載文章數(shù)量對其由高到低排序如表1所示。其中有21篇公開發(fā)表在CSSCI來源期刊，占文獻總數(shù)的32.81%。

由表1可以看出，《江西師范大學(xué)學(xué)報》《心理學(xué)報》《中國考試》《心理科學(xué)進展》是1998—2016年4月我國計算機化自適應(yīng)測驗研究論文發(fā)表的主要期刊。其中有4種期刊是心理學(xué)相關(guān)期刊，共19篇文章；兩種關(guān)于考試的期刊。由此可知，心理學(xué)理論對計算機化自適應(yīng)測驗的研究支撐度為29.69%，心理學(xué)為計算機化自適應(yīng)測驗的研究起到重要的支撐作用。

研究者分析

1）合作研究分析。1998—2016年4月國內(nèi)學(xué)術(shù)期刊登載的64篇計算機化自適應(yīng)測驗論文中，獨立作者發(fā)表的文章12篇，兩人及以上作者發(fā)表的文章52篇，具體統(tǒng)計情況見表2。

如表2所示，在這64篇文章中，合作研究的論文占總文章數(shù)的81.25%，平均作者數(shù)為2.44人。由此可見，我國1998—2016年4月計算機化自適應(yīng)測驗研究以合作研究為主。與此同時，合作研究也為高質(zhì)量論文做出了貢獻。發(fā)表在CSSCI來源期刊的21篇文章中，以獨立作者名義發(fā)表的論文數(shù)為兩篇，所占比例為9.52%；合作發(fā)表的文章數(shù)為19

篇，所占比例為90.48%。

2）論文作者分析。對1998—2016年4月國內(nèi)學(xué)術(shù)期刊登載的64篇計算機化自適應(yīng)測驗論文的作者進行統(tǒng)計，統(tǒng)計結(jié)果見表3。其中丁樹良與甘登文所在單位為江西師范大學(xué)，辛濤和陳平所在單位為北京師范大學(xué)心理發(fā)展研究所，毛秀珍所在單位為四川師范大學(xué)。

對作者合作研究的情況作進一步研究，參考科學(xué)知識圖譜可視化分析方法[8]，對發(fā)表文章數(shù)量在2篇及以上的作者進行統(tǒng)計，結(jié)果見圖1（圖1中直線的粗細代表合作研究論文的數(shù)量，線條越粗代表合作文章數(shù)量越多，線條越細代表合作文章數(shù)量越少；獨立作者發(fā)表文章的數(shù)量利用圓圈表示，圓圈線條的粗細與直線線條粗細意義相同，且直線與圓圈線條均采用相同比例）。

由圖1可知，毛秀珍、辛濤、陳平、丁樹良、甘登文形成學(xué)術(shù)研究團隊效應(yīng)，且丁樹良和甘登文合作最為密切。

3）文章作者單位排序。1998—2016年4月國內(nèi)學(xué)術(shù)期刊登載的64篇計算機化自適應(yīng)測驗論文中，有5家單位發(fā)表超過兩篇文章，見表4。

1998—2016年4月發(fā)表在中國知網(wǎng)的碩博論文共22篇，分別來自7所不同的學(xué)校，見表5。

由表1文章來源期刊排序表中也可以看到，發(fā)表在《江西師范大學(xué)學(xué)報》上的關(guān)于計算機化自適應(yīng)測驗文章最多，占總數(shù)的20.31%。由表3可知，發(fā)表論文最多的是江西師范大學(xué)的丁樹良，占總數(shù)的31.25%；甘登文工作單位也為江西師范大學(xué)，發(fā)文數(shù)占總數(shù)的6.25%，兩人共占37.5%。由表4可知，有42.18%的文章的作者單位為江西師范大學(xué)，那么由此可知，丁樹良與甘登文兩個人所發(fā)表的計算機化自適應(yīng)測驗文章占江西師范大學(xué)發(fā)表的相關(guān)文章的88.9%。由表5可知，72.73%的關(guān)于計算機化自適應(yīng)測驗的碩博論文出自江西師范大學(xué)。由此可見，江西師范大學(xué)是計算機化自適應(yīng)測驗研究的主要陣營，且以丁樹良和甘登文為主要研究者。

研究熱點分析 本文采用內(nèi)容分析法對在中國知網(wǎng)上搜索到的64篇期刊以及22篇碩博論文進行分析，由于是以“計算機化自適應(yīng)測驗”“計算機化自適應(yīng)測試”“計算機化自適應(yīng)考試”為關(guān)鍵詞檢索出來的文章，因此，文章均圍繞這3個關(guān)鍵詞，出現(xiàn)的頻次也最高。另外，“項目反應(yīng)理論”“選題策略”“認知診斷”“能力估計”“最大信息量分層法”“等級反應(yīng)模型”“影子題庫”等詞也是主要的研究熱點。用于指導(dǎo)考試的測量理論有經(jīng)典測驗理論和項目反應(yīng)理論[9]。其中關(guān)鍵詞為項目反應(yīng)理論的文章數(shù)最多，占總文章數(shù)的33.33%；關(guān)鍵詞“選題策略”占總文章數(shù)的29.07%，僅次于“項目反應(yīng)理論”，這也正是因為在自適應(yīng)測試過程中的關(guān)鍵步驟是如何選擇測試題目，即選題方法的設(shè)計[10]。其次為認知診斷以及能力估計。

根據(jù)關(guān)鍵詞出現(xiàn)的頻率對研究熱點進行統(tǒng)計，見圖2（圖2中為出現(xiàn)頻率在兩次及以上的關(guān)鍵詞。每個關(guān)鍵詞均用半徑不同的圓形表示。如“項目反應(yīng)理論”出現(xiàn)的頻次為28，則半徑記為2.8，利用公式S=πr2求取圓形的面積，繪制圖2；兩個關(guān)鍵詞出現(xiàn)在同一篇文章中，用直線連接）。

若想研究計算機化自適應(yīng)測驗，可從項目反應(yīng)理論、選題策略、認知診斷等方面進行研究。

研究領(lǐng)域分析 計算機化自適應(yīng)測驗成為無紙化考試與心理學(xué)測試關(guān)注的領(lǐng)域[10]。本研究從“理論探索”“選題策略”“系統(tǒng)設(shè)計與實現(xiàn)”“技術(shù)與方法”“問題與展望”5個領(lǐng)域?qū)?4篇期刊文章以及22篇碩博論文進行統(tǒng)計，論文研究細分領(lǐng)域統(tǒng)計見圖3。

由圖3可知，期刊文章中，研究選題策略的文章最多，占31.25%；碩博論文中，研究選題策略的文章也最多，占40.90%。其次是對計算機化自適應(yīng)測驗的技術(shù)與方法的研究，期刊和碩博論文分別占各自總數(shù)的23.44%和27.27%。期刊文章中有21.88%的是關(guān)于系統(tǒng)設(shè)計與實現(xiàn)研究的文章，22.73%的碩博論文是關(guān)于系統(tǒng)設(shè)計與實現(xiàn)研究的文章。無論是碩博論文還是期刊文章，關(guān)于選題策略的研究均最多。

5 結(jié)語

計算機化自適應(yīng)測驗彌補了傳統(tǒng)考試在實現(xiàn)測驗有效性中的不足，大大提高了測驗的效率，能夠更加準確地測出被試的真實能力與水平。且計算機化自適應(yīng)測驗擺脫了傳統(tǒng)考試在時間與空間上所受的限制，可更好地確保測驗的公平性。綜觀計算機化自適應(yīng)測驗文獻綜述情況：

1）計算機化自適應(yīng)測驗研究形成以毛秀珍、辛濤、陳平、丁樹良、甘登文為主的學(xué)術(shù)研究團隊效應(yīng)，且江西師范大學(xué)為主要研究學(xué)校；

2）計算機化自適應(yīng)測驗的主要研究熱點為項目反應(yīng)理論、選題策略、認知診斷、能力估計等，若想對計算機化自適應(yīng)測驗做深入研究，可從以上幾方面進行；

3）計算機化自適應(yīng)測驗研究中，有29.69%的文獻是關(guān)于心理學(xué)的研究，這也正說明計算機化自適應(yīng)測驗這種測驗形式已經(jīng)將心理測量與計算機化自適應(yīng)測驗結(jié)合，且取得豐碩成果，若想對其他測驗進行研究，可以心理測量為鑒來進行；

4）近幾年關(guān)于計算機化自適應(yīng)測驗的研究熱度有所下降，研究總量有所減少，但研究深度沒有減弱，仍有不少教育專家學(xué)者為優(yōu)化未來測驗形式與環(huán)境投身到計算機化自適應(yīng)測驗中。

相信計算機化自適應(yīng)測驗在未來幾年必將迅速發(fā)展和完善，為未來測驗提供更多選擇。計算機化自適應(yīng)測驗也必將推動教育信息化的進程。

參考文獻

[1]陳平，丁樹良，林海菁，等.等級反應(yīng)模型下計算機化自適應(yīng)測驗選題策略[J].心理學(xué)報，2006，38（3）：461-467.

[2]劉珍，丁樹良，林海菁.基于GPCM的計算機自適應(yīng)測驗選題策略比較[J].心理學(xué)報，2008，40（5）：618-625.

[3]申田靜，陳俊.國內(nèi)在線考試系統(tǒng)研究綜述[J].中國教育技術(shù)裝備，2015（14）：19-22.

[4]王茶生.教育測量理論在網(wǎng)絡(luò)考試系統(tǒng)中的應(yīng)用[D].上海：華東師范大學(xué)軟件學(xué)院，2007.

[5]Georgiadou E， Triantafillou E. A Review of Item Exposure Control Strategies for Computerized Adaptive Testing Developed from 1983 to 2005[J].The Journal of Technology， Leaning， and Assessment，2007，5（8）：39.

[6]張華華，程瑩.計算機化自適應(yīng)測驗（CAT）的發(fā)展和前景展望[J].考試研究，2005（1）：12-24.

[7]汪文義，丁樹良.2PLM下CAT選題策略比較[J].考試研究，2009（3）：60-70.

[8]邱均平，呂紅.近五年國際圖書情報學(xué)研究熱點、前沿及其知識基礎(chǔ)：基于17種外文期刊知識圖譜的可視化分析[J].圖書情報知識，2013（3）：4-15，58.

[9]朱小明，李向榮，林捷，等.計算機信息技術(shù)課無紙化考試的研究[J].中國教育技術(shù)裝備，2007（1）：11-14.

[10]李昕，荊永君，劉天華.自適應(yīng)測試與輔導(dǎo)系統(tǒng)設(shè)計與實現(xiàn)[J].現(xiàn)代教育技術(shù)，2013（4）：106-109.