基于大數(shù)據(jù)挖掘的智能評(píng)測(cè)和輔導(dǎo)系統(tǒng)設(shè)計(jì) *

賈積有，樂惠驍，張譽(yù)月，劉懷亞，陳昂軒，李?yuàn)檴?/p>

(北京大學(xué) 教育學(xué)院 教育技術(shù)系，北京 100871)

一、引言

面向中小學(xué)生的智能評(píng)測(cè)和輔導(dǎo)研究至關(guān)重要。這體現(xiàn)在近兩年中央頒布執(zhí)行的一系列關(guān)于學(xué)生評(píng)價(jià)和減負(fù)增效重要政策文件中。2020年10月，中共中央、國(guó)務(wù)院印發(fā)了《深化新時(shí)代教育評(píng)價(jià)改革總體方案》[1]，在“改革學(xué)生評(píng)價(jià)，促進(jìn)德智體美勞全面發(fā)展”一節(jié)中，強(qiáng)調(diào)“構(gòu)建引導(dǎo)學(xué)生德智體美勞全面發(fā)展的考試內(nèi)容體系，改變相對(duì)固化的試題形式，增強(qiáng)試題開放性，減少死記硬背和‘機(jī)械刷題’現(xiàn)象”。2021年7月，中共中央辦公廳、國(guó)務(wù)院辦公廳印發(fā)了《關(guān)于進(jìn)一步減輕義務(wù)教育階段學(xué)生作業(yè)負(fù)擔(dān)和校外培訓(xùn)負(fù)擔(dān)的意見》[2]，簡(jiǎn)稱“雙減”，提出了若干減負(fù)舉措，比如在“二、全面壓減作業(yè)總量和時(shí)長(zhǎng)，減輕學(xué)生過重作業(yè)負(fù)擔(dān)”一節(jié)中，強(qiáng)調(diào)“嚴(yán)禁給家長(zhǎng)布置或變相布置作業(yè)，嚴(yán)禁要求家長(zhǎng)檢查、批改作業(yè)。分類明確作業(yè)總量”，“提高作業(yè)設(shè)計(jì)質(zhì)量。發(fā)揮作業(yè)診斷、鞏固、學(xué)情分析等功能，將作業(yè)設(shè)計(jì)納入教研體系，系統(tǒng)設(shè)計(jì)符合年齡特點(diǎn)和學(xué)習(xí)規(guī)律、體現(xiàn)素質(zhì)教育導(dǎo)向的基礎(chǔ)性作業(yè)。鼓勵(lì)布置分層、彈性和個(gè)性化作業(yè)，堅(jiān)決克服機(jī)械、無效作業(yè)，杜絕重復(fù)性、懲罰性作業(yè)”。“加強(qiáng)作業(yè)完成指導(dǎo)。教師要指導(dǎo)小學(xué)生在校內(nèi)基本完成書面作業(yè)，初中生在校內(nèi)完成大部分書面作業(yè)。教師要認(rèn)真批改作業(yè)，及時(shí)做好反饋，加強(qiáng)面批講解，認(rèn)真分析學(xué)情，做好答疑輔導(dǎo)。不得要求學(xué)生自批自改作業(yè)”。

以上兩個(gè)重要中央文件指明了我國(guó)學(xué)生考試和作業(yè)改革的方向。考試可以評(píng)測(cè)學(xué)生學(xué)習(xí)效果，而作業(yè)是在幫助學(xué)生鞏固所學(xué)知識(shí)的同時(shí)，幫助老師和學(xué)生自己診斷學(xué)情；考試和作業(yè)都是為了讓學(xué)生學(xué)習(xí)得更好。

在這些政策的實(shí)施過程中，教育管理者和一線教師還面臨很多具體問題：如何改變相對(duì)固化的試題形式？如何減少死記硬背和機(jī)械刷題現(xiàn)象？如何布置分層和個(gè)性化作業(yè)？如何在“嚴(yán)禁要求家長(zhǎng)檢查、批改作業(yè)”和“不得要求學(xué)生自批自改作業(yè)”的前提下，老師能夠“認(rèn)真批改作業(yè)，及時(shí)做好反饋，加強(qiáng)面批講解，認(rèn)真分析學(xué)情，做好答疑輔導(dǎo)”？這些問題的解決關(guān)系到評(píng)價(jià)改革、減負(fù)增效等重要政策的落地實(shí)施，也得到了國(guó)內(nèi)外學(xué)者的高度關(guān)注。

二、相關(guān)研究

在傳統(tǒng)的學(xué)校環(huán)境和課堂教學(xué)中，一個(gè)老師要面對(duì)幾十個(gè)學(xué)生，很難解決上述國(guó)家政策實(shí)施中碰到的問題，也難以很好地貫徹落實(shí)中央的文件精神。人工智能技術(shù)等現(xiàn)代信息技術(shù)在智能評(píng)測(cè)和輔導(dǎo)領(lǐng)域可以發(fā)揮重要作用[3]。學(xué)習(xí)分析領(lǐng)域期望借助大數(shù)據(jù)、人工智能、機(jī)器學(xué)習(xí)等前沿技術(shù)分析教學(xué)過程產(chǎn)生的數(shù)據(jù)、描述和可視化學(xué)習(xí)行為、實(shí)現(xiàn)個(gè)性化的學(xué)習(xí)資源推送和教學(xué)干預(yù)，這在近年來隨著慕課的興起、疫情下的在線教育的開展，已成為國(guó)內(nèi)外研究的熱點(diǎn)問題之一。柯清超等[4]和周洪宇等[5]建議通過人工智能等前沿技術(shù)為學(xué)生設(shè)計(jì)個(gè)性化作業(yè)、推送個(gè)性化教學(xué)資源，解決學(xué)生負(fù)擔(dān)較重的問題；吳立寶等[6]設(shè)計(jì)了一個(gè)使用人工智能技術(shù)進(jìn)行課堂教學(xué)評(píng)價(jià)的框架。

國(guó)際上，Moissa等[7]使用系統(tǒng)調(diào)研這一綜述方法來研究學(xué)習(xí)分析領(lǐng)域的國(guó)際正式出版物，找到了127篇符合篩選標(biāo)準(zhǔn)的相關(guān)論文，然后按照研究目的、數(shù)據(jù)類型、技術(shù)、利益相關(guān)者和干預(yù)類型進(jìn)行歸類。發(fā)現(xiàn)：從研究目的而言，大部分研究(51.4%)主要是監(jiān)控與分析學(xué)生行為，評(píng)估與反饋(27篇)、預(yù)測(cè)(20篇)也不少，但是個(gè)性化與推薦(5篇)、適應(yīng)性(5篇)很少；輔導(dǎo)與指導(dǎo)最少，只有2篇，而且這兩篇論文也僅僅是提供了系統(tǒng)框架，并未通過嚴(yán)格的實(shí)證研究證明其教學(xué)效果。

綜合以上文獻(xiàn)調(diào)研結(jié)果可知，國(guó)外關(guān)于智能評(píng)測(cè)和智能教學(xué)系統(tǒng)的相關(guān)研究中，還缺少基于大規(guī)模學(xué)生學(xué)習(xí)行為數(shù)據(jù)的適應(yīng)性教學(xué)系統(tǒng)的研發(fā)和應(yīng)用研究；國(guó)內(nèi)在智能測(cè)評(píng)領(lǐng)域的研究以理論探索為主，鮮見基于大規(guī)模數(shù)據(jù)挖掘的智能測(cè)試系統(tǒng)的實(shí)際應(yīng)用和基于評(píng)測(cè)結(jié)果開展的個(gè)性化輔導(dǎo)的實(shí)踐。

為此，我們?cè)O(shè)計(jì)了學(xué)生智能評(píng)測(cè)和輔導(dǎo)系統(tǒng)，并以初中數(shù)學(xué)的勾股定理為例，編程實(shí)現(xiàn)了一個(gè)數(shù)學(xué)智能評(píng)測(cè)和輔導(dǎo)系統(tǒng)MIATS(Mathematics Intelligent Assessment & Tutoring System)，并在小范圍進(jìn)行了應(yīng)用測(cè)試以驗(yàn)證其效果。本文將介紹該系統(tǒng)的理論基礎(chǔ)、架構(gòu)、功能和應(yīng)用測(cè)試結(jié)果。

三、理論基礎(chǔ)

MIATS借鑒項(xiàng)目反應(yīng)理論和計(jì)算機(jī)適應(yīng)性測(cè)試等現(xiàn)代教育評(píng)價(jià)理論，對(duì)學(xué)習(xí)者的學(xué)業(yè)能力進(jìn)行精準(zhǔn)、高效、動(dòng)態(tài)的評(píng)測(cè)；然后基于最近發(fā)展區(qū)理論，為學(xué)習(xí)者推薦恰如其分的練習(xí)內(nèi)容；在練習(xí)過程中，借助波利亞“怎樣解題表”，在其遇到困難時(shí)提供及時(shí)而詳細(xì)的教學(xué)支架，從而構(gòu)成一個(gè)有效的學(xué)科智能教學(xué)系統(tǒng)。接下來分別介紹這些理論基礎(chǔ)。

(一)項(xiàng)目反應(yīng)理論

教學(xué)評(píng)價(jià)是對(duì)教學(xué)工作質(zhì)量所作的測(cè)量、分析和評(píng)定。學(xué)生學(xué)業(yè)成績(jī)的評(píng)價(jià)是教學(xué)評(píng)價(jià)的重要組成部分。項(xiàng)目反應(yīng)理論(Item Response Theory, IRT)是評(píng)價(jià)學(xué)生學(xué)業(yè)表現(xiàn)的一種代表性理論。相比于經(jīng)典測(cè)量理論(Classical Test Theory, CTT)，IRT具有更好的統(tǒng)計(jì)學(xué)假設(shè)基礎(chǔ)以及更快的測(cè)量速度。CTT的基本思想是把測(cè)驗(yàn)的得分X(觀察得分)看作真分?jǐn)?shù)T和誤差分?jǐn)?shù)e的線性組合X=T+e，其中X是觀測(cè)分?jǐn)?shù)，T是真分?jǐn)?shù)，e是誤差分。傳統(tǒng)信度、效度、項(xiàng)目分析的原理與方法均建立在這一簡(jiǎn)單的模型之上。在CTT的模型中，T是永遠(yuǎn)無法被實(shí)際觀測(cè)到的，這也意味著這一模型永遠(yuǎn)無法得到實(shí)證數(shù)據(jù)的支持。相對(duì)應(yīng)地，IRT則建立在一系列已被統(tǒng)計(jì)證據(jù)證實(shí)的強(qiáng)假設(shè)的基礎(chǔ)上[8]。

在IRT中，一般用θ表示被試的潛在特質(zhì)(Latent trait)。θ的理論取值范圍是整個(gè)實(shí)數(shù)域。IRT理論的核心是項(xiàng)目特征曲線(Item Characteristic Curve)，即被試正確作答某一測(cè)驗(yàn)項(xiàng)目的概率是潛在特質(zhì)的一個(gè)函數(shù)，該函數(shù)所呈現(xiàn)的形態(tài)即為項(xiàng)目特征曲線。對(duì)于一個(gè)最簡(jiǎn)單的二值作答題項(xiàng)(Dichotomous Item)，被試m在第i個(gè)測(cè)驗(yàn)項(xiàng)目上的正確反應(yīng)概率是：

公式(1)被稱為三參數(shù)模型，其中，xim表示第m個(gè)被試作答第i題的反應(yīng)，1為正確，0為錯(cuò)誤。θm是當(dāng)前被試的能力值，ci為試題的猜測(cè)參數(shù)，ai為試題的區(qū)分度參數(shù)，bi為試題的難度參數(shù)。猜測(cè)參數(shù)代表能力值極低的被試通過猜測(cè)做對(duì)當(dāng)前試題的概率，區(qū)分度參數(shù)代表當(dāng)前試題區(qū)分低水平被試與高水平被試的能力，難度參數(shù)代表當(dāng)前試題的難度。

公式(1)中的函數(shù)g常見的形式是Logistic函數(shù)[9]，這種模型也經(jīng)常被稱為三參數(shù)邏輯斯蒂克模型(3 Parameter Logistic，3PL)，這正是MIATS所采用的模型。

(二)計(jì)算機(jī)自適應(yīng)測(cè)試

相比于CTT需要學(xué)習(xí)者做完整套試題的繁瑣測(cè)驗(yàn)步驟，IRT能在計(jì)算機(jī)的幫助下，通過選擇最能反應(yīng)當(dāng)前學(xué)習(xí)者能力的試題，更快地得到學(xué)習(xí)者的真實(shí)能力，這就是計(jì)算機(jī)自適應(yīng)測(cè)試(Computerized Adaptive Test，CAT)。學(xué)習(xí)者在開始測(cè)試之后，系統(tǒng)選擇包含當(dāng)前學(xué)習(xí)者水平信息量最大的題作為測(cè)驗(yàn)題，根據(jù)學(xué)習(xí)者的作答正誤更新當(dāng)前對(duì)學(xué)習(xí)者水平的估計(jì)，如此循環(huán)，直到估計(jì)的誤差收斂到可接受的范圍內(nèi)[10]。這一測(cè)量技術(shù)已在托福、PISA等大規(guī)模測(cè)試中得到了廣泛而成熟的使用。

MIATS利用IRT與CAT對(duì)學(xué)習(xí)者的能力值進(jìn)行快速測(cè)量，相比于傳統(tǒng)測(cè)試大大減少了測(cè)試所需的時(shí)間和題量，同時(shí)其測(cè)量結(jié)果有更好的信效度；在IRT理論基礎(chǔ)上，系統(tǒng)可以基于學(xué)習(xí)者測(cè)試結(jié)果以及題目的項(xiàng)目反應(yīng)參數(shù)預(yù)測(cè)出當(dāng)前學(xué)習(xí)者作答系統(tǒng)中所有試題的正確率，在此基礎(chǔ)上實(shí)現(xiàn)最近發(fā)展區(qū)視角下的試題推薦。

(三)最近發(fā)展區(qū)理論

最近發(fā)展區(qū)(Zone of Proximal Development, ZPD)是前蘇聯(lián)心理學(xué)家維果斯基用來說明兒童智力發(fā)展而提出的概念[11]。他認(rèn)為教學(xué)不僅應(yīng)該考慮兒童已經(jīng)達(dá)到的水平，而且要考慮兒童經(jīng)過努力可能達(dá)到的水平，只有當(dāng)教育走在發(fā)展之前時(shí)，才是好的教育。他主張教師要重視學(xué)生學(xué)習(xí)的最佳期限，不應(yīng)盲目拔高或遲滯，以免錯(cuò)過最近發(fā)展區(qū)。兒童現(xiàn)有水平與經(jīng)過他人的啟發(fā)幫助可以達(dá)到的較高水平之間的差距，就是“最近發(fā)展區(qū)”。我國(guó)古代的“因材施教”理論也認(rèn)為由于先天素質(zhì)和后天環(huán)境及所受教育不同，學(xué)生的智力存在著個(gè)別差異，教師必須針對(duì)個(gè)別差異，進(jìn)行區(qū)別對(duì)待，因材施教。一方面在教學(xué)的廣度、深度、進(jìn)度上要適合學(xué)生的知識(shí)水平和接受能力，另一方面必須考慮學(xué)生個(gè)性特點(diǎn)，尊重個(gè)別差異。

在傳統(tǒng)教學(xué)中，教師通過一定的輔導(dǎo)提示和支架來幫助學(xué)習(xí)者超越其現(xiàn)有的認(rèn)知層次。學(xué)習(xí)者在獨(dú)立解決問題的過程中會(huì)獲得成長(zhǎng)進(jìn)步，這就是最近發(fā)展區(qū)的動(dòng)態(tài)變化。然而不同學(xué)習(xí)者的能力具有差異，最近發(fā)展區(qū)都不同。教師對(duì)個(gè)別學(xué)生的教學(xué)干預(yù)可以進(jìn)行，但針對(duì)全班學(xué)生就無能為力。智能教學(xué)系統(tǒng)可以充分利用其技術(shù)優(yōu)勢(shì)，基于最近發(fā)展區(qū)理論，針對(duì)學(xué)習(xí)者做題情況進(jìn)行及時(shí)的提示、指導(dǎo)、鼓勵(lì)等，培養(yǎng)學(xué)習(xí)者的自主性與探索性，滿足學(xué)習(xí)者的個(gè)性化差異。

(四)波利亞“怎樣解題表”解題思想

數(shù)學(xué)家波利亞圍繞怎樣解題、怎樣學(xué)會(huì)解題開展了數(shù)學(xué)啟發(fā)法研究，設(shè)計(jì)了“怎樣解題表”，通過四個(gè)階段、以具有啟發(fā)性的十五條建議和二十三個(gè)問句分解題目解法的思維過程。該思想的要點(diǎn)可以概括為：程序化的解題系統(tǒng)、啟發(fā)式的過程分析、探索性的問題轉(zhuǎn)換[12]。按照正常人解決問題時(shí)思維的自然過程分成四個(gè)階段——第一步：理解題目；第二步：找出已知數(shù)據(jù)與未知量之間的關(guān)系，得到一個(gè)解題方案；第三步：執(zhí)行解題方案，檢查每一個(gè)步驟；第四步：檢查已經(jīng)得到的解答并回顧總結(jié)，嘗試用其他方法得到答案[13]。相比于傳統(tǒng)的題海戰(zhàn)術(shù)，波利亞解題法不強(qiáng)調(diào)題目數(shù)量而側(cè)重題目的質(zhì)量，通過幾個(gè)有意義的題目，讓學(xué)習(xí)者打通對(duì)多個(gè)知識(shí)點(diǎn)的認(rèn)知，引導(dǎo)學(xué)生自己探索一般性的規(guī)律，目的是提高學(xué)習(xí)者的數(shù)學(xué)素質(zhì)和解題能力，有效避免為了應(yīng)考所出現(xiàn)的“高分低能”學(xué)生[14]。

(五)智能教學(xué)系統(tǒng)

智能教學(xué)系統(tǒng)是模擬優(yōu)秀教師，在某門學(xué)科、某個(gè)領(lǐng)域或者知識(shí)點(diǎn)對(duì)學(xué)生進(jìn)行智能教學(xué)輔導(dǎo)的人工智能技術(shù)，是人工智能技術(shù)與教育結(jié)合最深入全面的一個(gè)研究領(lǐng)域，也可以說是教育領(lǐng)域的專家系統(tǒng)[15][16]。它一般包括四個(gè)模塊：教師知識(shí)模塊、學(xué)生特征模塊、教學(xué)理論和方法模塊、人機(jī)交互模塊。為實(shí)現(xiàn)智能輔導(dǎo)的功能，它綜合采用知識(shí)表示、自然語言處理、智能代理、多通道交互、數(shù)據(jù)挖掘等多項(xiàng)人工智能技20世紀(jì)60年代以來，各個(gè)學(xué)科和學(xué)段的智能教學(xué)系統(tǒng)不斷涌現(xiàn)并在教學(xué)實(shí)踐中得到應(yīng)用。教育研究者通過準(zhǔn)實(shí)驗(yàn)等教育研究方法驗(yàn)證了智能教學(xué)系統(tǒng)對(duì)學(xué)生學(xué)業(yè)表現(xiàn)和核心素養(yǎng)等多方面的正向促進(jìn)作用，也通過元分析等文獻(xiàn)綜述方法對(duì)已有的大量實(shí)證研究進(jìn)行了概括總結(jié)，指出了智能教學(xué)系統(tǒng)和傳統(tǒng)的一對(duì)一的家教式輔導(dǎo)的效果差別不大[17]。

四、系統(tǒng)架構(gòu)

我們基于項(xiàng)目反應(yīng)理論和適應(yīng)性測(cè)試?yán)碚摚治鲆延械膶W(xué)科在線系統(tǒng)積累的海量學(xué)生練習(xí)等行為數(shù)據(jù)，運(yùn)用極大似然估計(jì)等算法計(jì)算題目難度、區(qū)分度和猜測(cè)系數(shù)等多維參數(shù)，并鏈接這些參數(shù)，基于這些參數(shù)設(shè)計(jì)了適應(yīng)性測(cè)試系統(tǒng)[18]。適應(yīng)性測(cè)試就是通過這種技術(shù)不斷探索和發(fā)現(xiàn)、逼近學(xué)生最近發(fā)展區(qū)的過程。

智能輔導(dǎo)系統(tǒng)則是讓學(xué)生使用該適應(yīng)性測(cè)試系統(tǒng)進(jìn)行某個(gè)領(lǐng)域知識(shí)的前測(cè)，得出該生在這個(gè)領(lǐng)域的能力值，然后基于這些能力值進(jìn)行智能輔導(dǎo)；輔導(dǎo)過程針對(duì)前測(cè)中的錯(cuò)誤，考慮到學(xué)習(xí)者的學(xué)習(xí)風(fēng)格等個(gè)性特點(diǎn)，由栩栩如生的虛擬老師陪伴學(xué)生，進(jìn)行語音講解[19]，并基于我們提出的學(xué)生在線學(xué)習(xí)活動(dòng)指數(shù)(Online Learning Activity Index：OLAI)[20]對(duì)學(xué)生進(jìn)行積分激勵(lì)，直到學(xué)生消滅所有錯(cuò)誤為止；然后通過同構(gòu)異數(shù)的后測(cè)題目，再次檢測(cè)學(xué)生對(duì)領(lǐng)域知識(shí)的掌握程度、而不僅僅是對(duì)被輔導(dǎo)題目的掌握程度。后測(cè)題目可借助內(nèi)容文本語義相似性等自然語言處理技術(shù)，從已有題目中搜索得出，也可以由教師手工編制產(chǎn)生。這樣“前測(cè)-輔導(dǎo)-后測(cè)”一體化的螺旋式上升，適應(yīng)于學(xué)生的知識(shí)基礎(chǔ)，有助于學(xué)生查漏補(bǔ)缺、鞏固提高。這種智能輔導(dǎo)系統(tǒng)就是通過人工智能技術(shù)來實(shí)現(xiàn)波利亞解題思想的。

系統(tǒng)架構(gòu)用B/S(客戶端/服務(wù)器)模式。服務(wù)器端采用APACHE Http服務(wù)器，使用PHP語言編程，數(shù)據(jù)庫(kù)采用MYSQL數(shù)據(jù)庫(kù)管理系統(tǒng)。客戶端可以是微機(jī)、筆記本電腦、平板電腦或者智能手機(jī)；用戶通過谷歌瀏覽器訪問服務(wù)器網(wǎng)站，登錄后即可使用系統(tǒng)功能。

該系統(tǒng)架構(gòu)如圖1所示。下面依次介紹該系統(tǒng)的五個(gè)主要功能模塊及其關(guān)鍵實(shí)現(xiàn)技術(shù)：在線大數(shù)據(jù)挖掘、適應(yīng)性智能評(píng)測(cè)、基于前測(cè)結(jié)果的智能輔導(dǎo)、基于前測(cè)和智能輔導(dǎo)的后測(cè)、螺旋式上升的評(píng)測(cè)和輔導(dǎo)一體化。

(一)在線大數(shù)據(jù)挖掘

我們基于一個(gè)數(shù)學(xué)在線教學(xué)系統(tǒng)“樂學(xué)一百”[21]所積累的10萬多名學(xué)生在7年內(nèi)的6億多條做題記錄，采用高性能超算設(shè)備，計(jì)算出近6萬道初中和小學(xué)數(shù)學(xué)試題中，每道題目的以下參數(shù)：

(1)完成時(shí)間均值、中位數(shù)和標(biāo)準(zhǔn)差，從而獲得大部分(95.4%)學(xué)生完成題目的時(shí)間區(qū)間范圍，即[均值-2*標(biāo)準(zhǔn)差，均值+2*標(biāo)準(zhǔn)差]；

(2)在線學(xué)習(xí)活動(dòng)指數(shù)OLAI及其三個(gè)維度(質(zhì)量、速度和數(shù)量)的數(shù)值；

(3)經(jīng)典測(cè)試?yán)碚撓碌膮^(qū)分度和難度；

(4)項(xiàng)目反應(yīng)理論下的三參數(shù)模型中的區(qū)分度(a)、難度(b)和猜測(cè)系數(shù)(c)；

(5)每道題目文本內(nèi)容基于詞頻-逆文件頻率(TF-IDF)提取出來的數(shù)學(xué)關(guān)鍵詞；

(6)由(5)出發(fā)，還計(jì)算了不同題目文本內(nèi)容基于TF-IDF的余弦相似度，不同題目基于這個(gè)文本相似性的聚類結(jié)果等。

這些參數(shù)都被保存數(shù)據(jù)庫(kù)中，是智能評(píng)測(cè)和輔導(dǎo)的基礎(chǔ)數(shù)據(jù)。

(二)智能測(cè)評(píng)

關(guān)于某個(gè)知識(shí)點(diǎn)的智能評(píng)測(cè)，是依托關(guān)于這些知識(shí)點(diǎn)的題目庫(kù)進(jìn)行的。比如關(guān)于初中數(shù)學(xué)的知識(shí)點(diǎn)“勾股定理”，我們篩選出了123道典型題目，構(gòu)成“勾股定理”題庫(kù)。

智能測(cè)評(píng)是在CAT技術(shù)的基礎(chǔ)上實(shí)現(xiàn)的，對(duì)于一個(gè)學(xué)習(xí)者關(guān)于“勾股定理”知識(shí)和技能的掌握程度，智能評(píng)測(cè)系統(tǒng)會(huì)假設(shè)該學(xué)習(xí)者初始能力值為學(xué)習(xí)者群體的平均值；然后遍歷題庫(kù)的所有題目，找出對(duì)于這個(gè)能力值來說信息量最大的一道題目，測(cè)試學(xué)習(xí)者；學(xué)習(xí)者完成該題目并提交答案后，系統(tǒng)將該答案與標(biāo)準(zhǔn)答案進(jìn)行比較，計(jì)算出該生新的能力的估值；然后，遍歷題庫(kù)中該生沒有做過的所有題目，找出對(duì)于這個(gè)估值來說信息量最大的一道題目，再次測(cè)試學(xué)習(xí)者；如此循環(huán)，直到滿足以下終止條件之一，前測(cè)結(jié)束，該生關(guān)于該知識(shí)點(diǎn)的最終能力值可以被確定：

(1)連續(xù)四次題目的能力值之間的差異絕對(duì)值小于0.1，相對(duì)穩(wěn)定；

(2)標(biāo)準(zhǔn)誤差小于0.1，相對(duì)穩(wěn)定；

(3)題庫(kù)中所有題目都被用過了。

(三)基于前測(cè)結(jié)果的練習(xí)和智能輔導(dǎo)

如果前測(cè)得到的最終能力值為理想最大值，就意味著學(xué)生做對(duì)了所有測(cè)試題目，所有測(cè)試題目都無錯(cuò)誤答案，那就沒有必要再學(xué)習(xí)和鞏固這個(gè)知識(shí)點(diǎn)了。否則，學(xué)生在前測(cè)回答中出現(xiàn)過錯(cuò)誤，就要復(fù)習(xí)鞏固，進(jìn)入練習(xí)環(huán)節(jié)。

在練習(xí)環(huán)節(jié)，系統(tǒng)會(huì)依次讓學(xué)生自己重做前測(cè)中出錯(cuò)的題目；如果學(xué)生能夠自己做對(duì)，則給與虛擬貨幣形式的積分獎(jiǎng)勵(lì)，獎(jiǎng)勵(lì)多少與完成該題目的在線學(xué)習(xí)活動(dòng)指數(shù)OLAI數(shù)值成正比，即完成越快獎(jiǎng)勵(lì)越多。如果學(xué)生花費(fèi)時(shí)間較多，超出了該道題目大部分學(xué)生的做題時(shí)間，即做題時(shí)間大于(該題目做題時(shí)間的均值+2*做題時(shí)間的標(biāo)準(zhǔn)差)，則不予獎(jiǎng)勵(lì)。

如果學(xué)生自己未能做對(duì)該題目，則系統(tǒng)會(huì)出現(xiàn)提示和幫助；提示和幫助包括兩種類型，第一種是通用型提示，第二種是引導(dǎo)型幫助。

通用型提示是關(guān)于解決該題或者某個(gè)具體選項(xiàng)的一般性相關(guān)定理、公理、結(jié)題思路或者相關(guān)例子的提示；目前最多給出五步，從抽象到具體逐步啟發(fā)學(xué)生解決問題。為了方便一般教師、助教等設(shè)計(jì)通用型提示，我們?cè)O(shè)計(jì)了基于WEB的通用型提示的編輯器。

如果根據(jù)通用型提示，學(xué)生會(huì)解決問題了，則該題目的練習(xí)和輔導(dǎo)結(jié)束，系統(tǒng)也會(huì)基于OLAI數(shù)值給予相應(yīng)的虛擬貨幣獎(jiǎng)勵(lì)；否則，這就表明學(xué)生在這道題目上需要更詳細(xì)的針對(duì)性幫助，系統(tǒng)就給出引導(dǎo)型幫助。

我們模仿優(yōu)秀教師輔導(dǎo)教師的過程，針對(duì)“勾股定理”題庫(kù)每道題目具體內(nèi)容，采用腳本設(shè)計(jì)法，設(shè)計(jì)出引導(dǎo)型幫助，因而交互性、適應(yīng)性更強(qiáng)，基本可以涵蓋學(xué)生在解決問題中可能碰到的所有問題。

引導(dǎo)型幫助的最后一步，學(xué)生只要具備基本的算術(shù)知識(shí)，就能得出正確答案了。這時(shí)練習(xí)和幫助也結(jié)束了，系統(tǒng)會(huì)給與相應(yīng)的虛擬貨幣獎(jiǎng)勵(lì)。

不管是通用型提示還是引導(dǎo)型幫助，都既可以包括文字、數(shù)學(xué)公式等信息，也可以是圖片、微課視頻等多媒體形式。

在學(xué)生練習(xí)和智能輔導(dǎo)過程中，通過鍵盤輸入和鼠標(biāo)點(diǎn)擊選擇答案后，在屏幕上看到正確與否的結(jié)果提示；還可以看到一個(gè)代表虛擬教師的二維動(dòng)畫人物，它可以通過文本方式顯示通用型或者引導(dǎo)型提示，也可以通過更加人性化的合成語音的方式給學(xué)生讀出來這些提示幫助，包括根號(hào)、平方等特殊符號(hào)和數(shù)字的正確漢語朗讀。當(dāng)然，要不要給出語音、給出何種語音提示依賴于學(xué)生的學(xué)習(xí)風(fēng)格偏好；所以學(xué)生可以通過點(diǎn)擊屏幕上的按鈕打開或者關(guān)閉語音合成聲音、選擇男聲或者女生發(fā)音。

如果學(xué)生允許打開客戶端攝像頭的話，則系統(tǒng)可以通過人臉識(shí)別技術(shù)判別是否學(xué)生用戶本人在做題，通過情感識(shí)別技術(shù)判斷學(xué)生的喜怒哀樂等情感狀態(tài)，然后借助虛擬人物的表情動(dòng)作、肢體語言和文本及合成語音等多通道信號(hào)，表達(dá)出相應(yīng)的情感狀態(tài)，比如與學(xué)生同情、安穩(wěn)學(xué)生等。

總之，練習(xí)過程就是通過學(xué)生自己的努力、各種類型的適應(yīng)性提示和輔導(dǎo)，讓學(xué)生逐步學(xué)會(huì)糾正前測(cè)中出現(xiàn)的錯(cuò)題。

(四)基于前測(cè)和智能輔導(dǎo)的后測(cè)

在學(xué)生完成練習(xí)之后，系統(tǒng)要考察學(xué)生是否真正掌握了解題思路和方法，而不僅僅是記住了剛才錯(cuò)題的正確答案，所以就進(jìn)入了后測(cè)階段。后測(cè)題目由前測(cè)中出現(xiàn)、也在練習(xí)中再次練過的同構(gòu)異數(shù)題目組成。所謂的同構(gòu)異數(shù)題，就是和原題結(jié)構(gòu)相同或者相似，但是其中數(shù)字變化的“新”題目。這個(gè)“新”僅僅是指數(shù)字變化了。如果學(xué)生通過前面的練習(xí)和提示幫助掌握了正確的解題思路和方法，那么這個(gè)同構(gòu)異數(shù)題目就會(huì)迎刃而解；反之，如果僅僅是死記硬背地記住了前測(cè)中錯(cuò)題的正確答案，則可能會(huì)再次出錯(cuò)。

同構(gòu)異數(shù)題目的來源有兩個(gè)。第一是基于大數(shù)據(jù)挖掘得到的題目聚類結(jié)果，每個(gè)題目類簇中的題目都是同構(gòu)異數(shù)題目；當(dāng)然也可以從其他來源的題目中通過上述的文本聚類方法繼續(xù)發(fā)現(xiàn)新的同構(gòu)異數(shù)題目并加入到已有的聚類結(jié)果中。第二是手工編制；為了方便教師編制，我們?cè)O(shè)計(jì)了基于web的同構(gòu)異數(shù)題目的編輯器，它會(huì)分析已有題目的特點(diǎn)，引導(dǎo)用戶編寫出來同構(gòu)異數(shù)題目；這些題目中某些數(shù)字會(huì)在學(xué)生使用中逐漸增大，實(shí)際上增加了一定的解題難度。

(五)螺旋式上升的評(píng)測(cè)和輔導(dǎo)一體化

系統(tǒng)在學(xué)生完成后測(cè)后，會(huì)自動(dòng)評(píng)分，總結(jié)前測(cè)、練習(xí)和后測(cè)中用到題目所涉及的知識(shí)點(diǎn)的掌握程度，提示給學(xué)生；學(xué)生可以根據(jù)提示繼續(xù)進(jìn)行相關(guān)薄弱知識(shí)點(diǎn)的評(píng)測(cè)和練習(xí)。

通過這樣的螺旋式上升的智能評(píng)測(cè)和輔導(dǎo)，如圖2所示，學(xué)生逐漸加深對(duì)某個(gè)知識(shí)點(diǎn)的掌握和熟悉程度，并會(huì)自動(dòng)擴(kuò)展到相關(guān)的其他知識(shí)點(diǎn)上。對(duì)于同一個(gè)知識(shí)點(diǎn)，圖中每次的練習(xí)題目范圍都在縮小(矩形變窄)，相應(yīng)后測(cè)的難度在加大(矩形變高)。這樣當(dāng)某次練習(xí)的寬度為零時(shí)，表明前測(cè)中沒有錯(cuò)誤，不再需要新的練習(xí)了，評(píng)測(cè)和輔導(dǎo)自然結(jié)束。

圖2 螺旋式上升的智能評(píng)測(cè)和輔導(dǎo)一體化過程

教師用戶可以看到所授班級(jí)全體學(xué)生的評(píng)測(cè)和練習(xí)總題情況、每個(gè)學(xué)生的詳細(xì)情況，便于針對(duì)每個(gè)學(xué)生的特點(diǎn)釋疑解惑，因材施教。

五、應(yīng)用測(cè)試結(jié)果

針對(duì)初中二年級(jí)下數(shù)學(xué)課程中的勾股定理知識(shí)，我們初步實(shí)現(xiàn)了學(xué)生智能評(píng)測(cè)和輔導(dǎo)系統(tǒng)，包括關(guān)于勾股定理的123道練習(xí)題目；然后進(jìn)行了初步測(cè)試和應(yīng)用，以期回答三個(gè)問題：

(1)適應(yīng)性測(cè)試的結(jié)果是否真的個(gè)性化了？

(2)適應(yīng)性測(cè)試的結(jié)果與傳統(tǒng)測(cè)試的效果是否相同？

(3)適應(yīng)性測(cè)試和輔導(dǎo)對(duì)于學(xué)生的學(xué)習(xí)效果是否有促進(jìn)作用？

因?yàn)檫@些題目來自數(shù)學(xué)在線教學(xué)系統(tǒng)“樂學(xué)一百”，為了回答前兩個(gè)問題，我們從這個(gè)平臺(tái)上獲取了完成全部123道題目的學(xué)生的數(shù)據(jù)，分析后發(fā)現(xiàn)共53個(gè)學(xué)生。他們來自全國(guó)各地，具有代表性。我們?cè)O(shè)計(jì)了一個(gè)模擬實(shí)驗(yàn)：假設(shè)讓這些學(xué)生參加適應(yīng)性測(cè)試，他們?cè)诿康李}目上的表現(xiàn)就是之前的實(shí)際記錄，最后的結(jié)果會(huì)是什么樣呢？我們通過編程實(shí)現(xiàn)這個(gè)模擬實(shí)驗(yàn)，深入分析實(shí)驗(yàn)數(shù)據(jù)后發(fā)現(xiàn)：53人最后連續(xù)四次題目的能力值之間的差異小于0.1，相對(duì)穩(wěn)定，因而適應(yīng)性測(cè)試結(jié)束。

(一)適應(yīng)性測(cè)試結(jié)果的個(gè)性化

所有53個(gè)學(xué)生的做題數(shù)量不超過19道，最少為4道，均值為6.9，中位數(shù)為6。也就是說，平均而言，每個(gè)學(xué)生僅僅完成了全部123道題目的7道，占比5.7%。

在這些學(xué)生做過的題目中，不同的題目為28道。其中，只有起始的第一道題目被所有學(xué)生都做過，其他題目則最多被38人做過，有6道題目?jī)H僅被1人做過。

53個(gè)學(xué)生做題路徑中的題目序列都不相同，差異很大。

總之，適應(yīng)性測(cè)試的結(jié)果完全個(gè)性化了、因人而異。

(二)適應(yīng)性測(cè)試的結(jié)果與傳統(tǒng)測(cè)試的效果具有可比性

53人所完成題目的四個(gè)重要指標(biāo)：最后題目能力值、最后題目傳統(tǒng)得分、所有題目能力值均值、所有題目傳統(tǒng)得分均值之間的相關(guān)系數(shù)都在0.8以上，并且統(tǒng)計(jì)意義上顯著：也就是說，這53人如果真的參加適應(yīng)性測(cè)試，按照能力值進(jìn)行的順序排列與按照傳統(tǒng)得分進(jìn)行的順序排列一致。

總的來說，適應(yīng)性測(cè)試可以給每個(gè)學(xué)生提供數(shù)量和內(nèi)容都不同的個(gè)性化題目，而最后的測(cè)試結(jié)果與所有學(xué)生內(nèi)容和時(shí)間都相同的傳統(tǒng)測(cè)試的結(jié)果一致。

(三)適應(yīng)性測(cè)試和輔導(dǎo)對(duì)于學(xué)生的學(xué)習(xí)效果具有促進(jìn)作用

為了回答第三個(gè)問題，我們邀請(qǐng)15名來自全國(guó)的初二學(xué)生應(yīng)用這套針對(duì)勾股定理的智能測(cè)評(píng)和輔導(dǎo)系統(tǒng)進(jìn)行學(xué)習(xí)，收集了前測(cè)和后測(cè)的傳統(tǒng)得分成績(jī)和適應(yīng)性測(cè)試能力值，使用統(tǒng)計(jì)方法計(jì)算了后測(cè)和前測(cè)差異顯著性T檢驗(yàn)P值、后測(cè)相對(duì)于前測(cè)的效果量，結(jié)果如表1所示。按照傳統(tǒng)得分計(jì)算，學(xué)生在后測(cè)中的表現(xiàn)顯著高于前測(cè)中的表現(xiàn)(p=0.045＜0.05)，效果量為0.429，屬于中等水平；按照能力值計(jì)算，學(xué)生在后測(cè)中的表現(xiàn)高于前測(cè)中的表現(xiàn)，差異邊緣顯著(p=0.089＞0.05)，效果量屬于中等水平。所以說，適應(yīng)性測(cè)試和輔導(dǎo)對(duì)于學(xué)生的學(xué)習(xí)效果具有促進(jìn)作用。

表1 前測(cè)和后測(cè)成績(jī)統(tǒng)計(jì)

六、結(jié)論和討論

我們基于智能教學(xué)系統(tǒng)研究成果、從最近發(fā)展區(qū)等理論出發(fā)，借助大數(shù)據(jù)挖掘、自然語言處理、多通道人機(jī)交互等人工智能技術(shù)，設(shè)計(jì)開發(fā)了一個(gè)學(xué)生智能評(píng)測(cè)和輔導(dǎo)系統(tǒng)，并進(jìn)行了基于初中數(shù)學(xué)勾股定理知識(shí)點(diǎn)的初步測(cè)評(píng)；測(cè)評(píng)結(jié)果表明，該系統(tǒng)能夠給每個(gè)學(xué)生提供個(gè)性化、適應(yīng)性的智能測(cè)試和輔導(dǎo)；在減少時(shí)間的前提下，其對(duì)學(xué)生的評(píng)測(cè)效果與傳統(tǒng)的所有學(xué)生內(nèi)容和時(shí)間都完全一樣的測(cè)試方法的效果一致，對(duì)學(xué)生的正面輔導(dǎo)效果也比較顯著。對(duì)于學(xué)生而言，該系統(tǒng)可以準(zhǔn)確生成學(xué)生評(píng)價(jià)結(jié)果，實(shí)時(shí)了解每個(gè)學(xué)生的知識(shí)薄弱點(diǎn)，對(duì)癥下藥，給學(xué)生及時(shí)的反饋和恰當(dāng)?shù)膸椭蛊渑e一反三、能力素質(zhì)螺旋式上升，減少機(jī)械性的重復(fù)刷題時(shí)間。對(duì)于教師而言，系統(tǒng)可以自動(dòng)反饋班級(jí)整體和所有學(xué)生的學(xué)習(xí)狀態(tài)，減少其手工布置作業(yè)、設(shè)計(jì)考卷、評(píng)判作業(yè)和試卷的大量時(shí)間；當(dāng)然更不需要家長(zhǎng)幫助批改和輔導(dǎo)作業(yè)、學(xué)生自批自改作業(yè)了。

在落實(shí)國(guó)家教育評(píng)價(jià)改革、減負(fù)增效等重要教育政策背景下，如何培育核心素養(yǎng)，如何減輕學(xué)生的學(xué)習(xí)負(fù)擔(dān)和教師的教學(xué)負(fù)擔(dān)，怎樣精準(zhǔn)測(cè)評(píng)和因材施教，這些是教育研究者和實(shí)踐者都需要面對(duì)的重大課題。目前國(guó)內(nèi)在智能測(cè)評(píng)方面的研究多停留于理論層面，基于評(píng)測(cè)結(jié)果開展個(gè)性化輔導(dǎo)的技術(shù)開發(fā)與實(shí)踐少有研究。我們的研究探索抓住了教學(xué)的難點(diǎn)和疼點(diǎn)，有重要的理論意義和很強(qiáng)的實(shí)踐應(yīng)用價(jià)值。

從理論意義上講，我們提出并實(shí)現(xiàn)的智能評(píng)測(cè)和輔導(dǎo)模型真正實(shí)現(xiàn)了過程性評(píng)價(jià)、結(jié)果性評(píng)價(jià)和增值性評(píng)價(jià)的三位一體，螺旋式上升的智能評(píng)測(cè)和輔導(dǎo)一體化過程保障了以測(cè)促學(xué)和練中有測(cè)，為促進(jìn)學(xué)生德智體美勞全面發(fā)展的綜合素質(zhì)評(píng)價(jià)進(jìn)行了有益嘗試、提供了重要參考。

從實(shí)踐價(jià)值上說，我們的研究成果可以為貫徹落實(shí)教育評(píng)價(jià)改革和“雙減”等國(guó)家政策提供成熟可靠的智能技術(shù)方案，也具有很強(qiáng)的推廣應(yīng)用價(jià)值。我們研發(fā)的智能評(píng)測(cè)和輔導(dǎo)系統(tǒng)順應(yīng)人工智能和大數(shù)據(jù)等前沿技術(shù)發(fā)展的潮流，充分發(fā)揮了數(shù)據(jù)要素價(jià)值，可以為教育的數(shù)字化轉(zhuǎn)型奠定技術(shù)基礎(chǔ)，為服務(wù)新時(shí)代教育高質(zhì)量發(fā)展提供了重要借鑒。

如果能夠在更多的學(xué)校讓更多的學(xué)生免費(fèi)使用這樣的智能評(píng)測(cè)和輔導(dǎo)系統(tǒng)，就可以減輕學(xué)生的作業(yè)和測(cè)評(píng)負(fù)擔(dān)，減輕教師布置和檢查作業(yè)、組織考試和改卷的時(shí)間和精力。為此，還需要教育管理者、學(xué)校教師和學(xué)生家長(zhǎng)更深入地了解系統(tǒng)功能，更需要政府部門支持并和企業(yè)合作，以便開發(fā)出不同學(xué)科和學(xué)段的智能評(píng)測(cè)和輔導(dǎo)系統(tǒng)，將其應(yīng)用到教學(xué)實(shí)踐中，為貫徹落實(shí)“雙減”和學(xué)生評(píng)價(jià)改革等中央政策做出貢獻(xiàn)，助力教育均衡發(fā)展[22]。