大模型在學(xué)業(yè)測(cè)評(píng)中的研究與應(yīng)用

關(guān)鍵詞：大模型；學(xué)業(yè)測(cè)評(píng)；反思報(bào)告；課程自反饋平臺(tái)；課程高階目標(biāo)

中圖分類(lèi)號(hào)：G642 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）36-0107-03 開(kāi)放科學(xué)（資源服務(wù)） 標(biāo)識(shí)碼（OSID） ：

0 引言

在教育領(lǐng)域，學(xué)業(yè)測(cè)評(píng)是衡量學(xué)生學(xué)習(xí)成效的核心指標(biāo)，尋找既能精準(zhǔn)評(píng)估學(xué)生核心技能，又能充分激發(fā)他們內(nèi)在潛力的新型學(xué)業(yè)測(cè)評(píng)方法，不僅是對(duì)現(xiàn)有教育評(píng)價(jià)體系的創(chuàng)新，也是推動(dòng)教學(xué)公正性和個(gè)性化教育發(fā)展的重要舉措。基于結(jié)構(gòu)化反思報(bào)告[1，2]的學(xué)業(yè)測(cè)評(píng)，實(shí)施方法是要求學(xué)生對(duì)一個(gè)知識(shí)點(diǎn)進(jìn)行深入反思并在實(shí)際場(chǎng)景中加以應(yīng)用，目的是加深他們對(duì)知識(shí)點(diǎn)的理解。雖然反思報(bào)告已經(jīng)在多個(gè)院校得到推廣，但存在人工批改效率低下、反饋不及時(shí)等問(wèn)題，限制了其進(jìn)一步的普及。鑒于此，利用大語(yǔ)言模型的強(qiáng)大算力，設(shè)計(jì)并開(kāi)發(fā)基于大模型的課程自反饋系統(tǒng)，以實(shí)現(xiàn)結(jié)構(gòu)化反思報(bào)告的自動(dòng)批改和個(gè)性化反饋，顯得尤為重要。

1 新型學(xué)業(yè)測(cè)評(píng)

近年來(lái)，隨著教育理念的演進(jìn)和信息技術(shù)的創(chuàng)新，國(guó)內(nèi)外高等教育機(jī)構(gòu)正在積極探索多元化評(píng)估體系[3]。這些新興模式包括項(xiàng)目作業(yè)、課堂參與、小組討論、在線測(cè)試和實(shí)踐操作等，旨在全面評(píng)價(jià)學(xué)生的知識(shí)整合能力、批判性思維、團(tuán)隊(duì)合作精神和創(chuàng)新潛力。在國(guó)際上，歐美頂尖學(xué)府倡導(dǎo)以過(guò)程為導(dǎo)向的評(píng)估框架，強(qiáng)調(diào)學(xué)生在學(xué)習(xí)過(guò)程中的主體地位[4]。美國(guó)的杜克大學(xué)與英國(guó)的牛津大學(xué)已運(yùn)用數(shù)據(jù)分析技術(shù)精煉課程結(jié)構(gòu)，通過(guò)集成智能算法分析學(xué)生的學(xué)習(xí)動(dòng)態(tài)，預(yù)測(cè)學(xué)習(xí)趨勢(shì)，并提出針對(duì)性的學(xué)習(xí)策略建議。澳大利亞的墨爾本大學(xué)，則通過(guò)自然語(yǔ)言處理技術(shù)自動(dòng)化批改作業(yè)以減輕教師的工作量，同時(shí)確保反饋的即時(shí)性與精確性，從而有效提升教學(xué)效率與質(zhì)量[5]。此類(lèi)測(cè)評(píng)不僅能客觀公正地評(píng)估學(xué)生的學(xué)習(xí)成果，還能促進(jìn)教師教學(xué)策略的迭代升級(jí)，激發(fā)學(xué)生的學(xué)習(xí)興趣和動(dòng)力。

經(jīng)調(diào)研，選擇結(jié)構(gòu)化反思報(bào)告作為新型學(xué)業(yè)評(píng)估工具，旨在激發(fā)學(xué)生的深層次學(xué)習(xí)動(dòng)機(jī)，并促進(jìn)批判性思維及自我反思能力的提升。結(jié)構(gòu)化反思報(bào)告主要是讓學(xué)生針對(duì)某個(gè)重要的知識(shí)點(diǎn)進(jìn)行深入地研究和探索，并在理解的基礎(chǔ)上回歸學(xué)習(xí)初心（應(yīng)用知識(shí)） 。即學(xué)生需要根據(jù)一個(gè)明確的框架，詳細(xì)描述自己的學(xué)習(xí)收獲、實(shí)際應(yīng)用以及未來(lái)計(jì)劃，以此展示他們的知識(shí)整合和創(chuàng)新應(yīng)用能力，目前結(jié)構(gòu)化反思報(bào)告已在上百個(gè)院校實(shí)施。依托數(shù)據(jù)分析與可視化課程，每份反思報(bào)告需要回答三個(gè)問(wèn)題，評(píng)價(jià)標(biāo)準(zhǔn)見(jiàn)表1。

問(wèn)題1：知識(shí)或技能獲取。作答要求：選一個(gè)課程中你認(rèn)為最重要的知識(shí)或技能，詳細(xì)展示，并標(biāo)明出處。

問(wèn)題2：應(yīng)用實(shí)踐。作答要求：用此知識(shí)點(diǎn)來(lái)評(píng)價(jià)自己的學(xué)習(xí)，說(shuō)明哪些是需要保持的，哪些是堅(jiān)決停止的，哪些是需要改進(jìn)的。

問(wèn)題3：其他應(yīng)用展望。作答要求：設(shè)想新的應(yīng)用情景，為實(shí)際應(yīng)用做準(zhǔn)備。

2 教學(xué)實(shí)施

大數(shù)據(jù)專(zhuān)業(yè)核心課程數(shù)據(jù)分析與可視化的教學(xué)實(shí)踐圍繞兩大核心目標(biāo)展開(kāi)：一是基礎(chǔ)目標(biāo)，側(cè)重理論知識(shí)的傳授與吸收，通過(guò)期末閉卷理論與實(shí)踐相結(jié)合的綜合考試，系統(tǒng)評(píng)估學(xué)生對(duì)數(shù)據(jù)分析與可視化基本原理的掌握程度；二是高階目標(biāo)，著重于理論向?qū)嵺`的轉(zhuǎn)化，激勵(lì)學(xué)生將抽象知識(shí)轉(zhuǎn)化為解決實(shí)際問(wèn)題的能力，要求學(xué)生在復(fù)雜情境中靈活運(yùn)用所學(xué)，以展示批判性思維與創(chuàng)新解決問(wèn)題的技能。

為了實(shí)現(xiàn)課程的高階目標(biāo)并提升學(xué)生的實(shí)際應(yīng)用能力，引入了結(jié)構(gòu)化反思報(bào)告。這一機(jī)制旨在引導(dǎo)學(xué)生深入剖析自身學(xué)習(xí)歷程，反思知識(shí)應(yīng)用的得失，促進(jìn)批判性思維和自我提升。具體的實(shí)施流程如圖1 所示：（1） 設(shè)計(jì)學(xué)業(yè)測(cè)評(píng)方案，根據(jù)課程的高階目標(biāo)，教師設(shè)計(jì)反思報(bào)告的問(wèn)題、要求，數(shù)量、頻次、公布評(píng)分標(biāo)準(zhǔn)；（2） 教師在超星系統(tǒng)發(fā)布任務(wù)；（3） 學(xué)生提交反思報(bào)告，部分報(bào)告實(shí)行互評(píng)；（4） 教師對(duì)反思報(bào)告進(jìn)行校正并給出反饋；（5） 收集反思報(bào)告樣本，構(gòu)建結(jié)構(gòu)化反思報(bào)告的訓(xùn)練數(shù)據(jù)集；（6） 部署大模型平臺(tái)；（7） 通過(guò)訓(xùn)練集對(duì)大模型平臺(tái)進(jìn)行微調(diào)；（8） 搭建課程自反饋大模型平臺(tái)；（9） 學(xué)生使用課程自反饋大模型平臺(tái)進(jìn)行反思報(bào)告的批閱及反饋；（10） 學(xué)業(yè)測(cè)評(píng)方案和課程自反饋大模型平臺(tái)的優(yōu)化和迭代。

在一學(xué)期的教學(xué)實(shí)踐中，積累了980份詳盡的結(jié)構(gòu)化反思報(bào)告。在實(shí)施的過(guò)程中，反思報(bào)告依賴(lài)人工批改，這一過(guò)程不僅耗時(shí)且容易產(chǎn)生滯后，導(dǎo)致反饋的及時(shí)性和有效性大打折扣。另外，教師工作量的劇增，使得個(gè)性化指導(dǎo)難以實(shí)現(xiàn)，這無(wú)疑成為結(jié)構(gòu)化反思報(bào)告機(jī)制廣泛應(yīng)用的一大瓶頸。課程自反饋大模型平臺(tái)的引入，不僅解決了反饋機(jī)制中的人力資源瓶頸，還極大豐富了學(xué)生的學(xué)習(xí)體驗(yàn)，促進(jìn)了個(gè)性化學(xué)習(xí)路徑的形成。學(xué)生能夠自行獲取反思報(bào)告的評(píng)價(jià)，并根據(jù)評(píng)價(jià)及修改建議進(jìn)行相應(yīng)的調(diào)整，以提高效率。

3 課程自反饋大模型平臺(tái)的部署

作為智譜AI與清華大學(xué)KEG實(shí)驗(yàn)室共研的Chat-GLM3大語(yǔ)言模型，其出色的語(yǔ)言理解和多輪對(duì)話能力，為教育革新提供了強(qiáng)大技術(shù)支持。ChatGLM3大語(yǔ)言模型的內(nèi)置代碼和網(wǎng)絡(luò)搜索增強(qiáng)功能，豐富了教學(xué)資源和互動(dòng)方式，丌源特性也降低了教育技術(shù)應(yīng)用門(mén)檻，因此選它作為大模型平臺(tái)。

在部署過(guò)程中，選擇了Ubuntu 22.04作為操作系統(tǒng)，PyTorch 2.1.0作為深度學(xué)習(xí)框架，Python 3.10作為編程語(yǔ)言，以及Cuda 12.1作為GPU加速庫(kù)。

通過(guò)訪問(wèn)ChatGLM3 大語(yǔ)言模型的GitHub 倉(cāng)庫(kù)以獲取模型的源代碼。隨后，從Hugging Face平臺(tái)下載預(yù)訓(xùn)練模型。接下來(lái)進(jìn)行安裝和配置，這一階段包括了解壓縮模型文件、設(shè)定環(huán)境變量、安裝所需的依賴(lài)項(xiàng)以及運(yùn)行demo以進(jìn)行測(cè)試。

模型部署是ChatGLM3大語(yǔ)言模型應(yīng)用的關(guān)鍵環(huán)節(jié)。在服務(wù)器上部署該模型時(shí)，必須對(duì)模型的輸入輸出接口進(jìn)行配置、設(shè)定推理參數(shù)以及優(yōu)化模型性能等步驟。為了保障模型的穩(wěn)定性和可靠性，還需要進(jìn)行全面的測(cè)試和驗(yàn)證。具體步驟見(jiàn)表2。

4 數(shù)據(jù)處理與模型微調(diào)

為了針對(duì)結(jié)構(gòu)化反思報(bào)告構(gòu)建一個(gè)更高效的自反饋系統(tǒng)，需要對(duì)大模型進(jìn)行微調(diào)。具體的操作流程如圖2所示。

4.1 數(shù)據(jù)處理

為構(gòu)建結(jié)構(gòu)化反思報(bào)告的訓(xùn)練數(shù)據(jù)集，首先需要精心選擇用于微調(diào)的訓(xùn)練樣本，以適應(yīng)未來(lái)多樣化的反思報(bào)告需求。選定樣本后，進(jìn)行樣本預(yù)處理，并根據(jù)模型要求，將反思報(bào)告的三個(gè)問(wèn)題及其答案整理成標(biāo)準(zhǔn)的json格式。例如，以一位學(xué)生的反思報(bào)告為例，處理后的數(shù)據(jù)集如圖3所示。conversations指的是數(shù)據(jù)集格式的一部分，代表一個(gè)對(duì)話的集合，role是標(biāo)識(shí)消息發(fā)言人的角色。常見(jiàn)角色有“system”（系統(tǒng)） 、“user”（用戶） 和“assistant”（助手） 。role為user代表實(shí)際與AI系統(tǒng)交互的用戶，role為assistant代表AI系統(tǒng)所扮演的角色，負(fù)責(zé)回應(yīng)用戶的問(wèn)題或請(qǐng)求，content 是與每條消息相關(guān)聯(lián)的內(nèi)容文本，內(nèi)容反映了發(fā)言人的意圖、請(qǐng)求或響應(yīng)。

4.2 模型微調(diào)

模型微調(diào)利用預(yù)訓(xùn)練模型與訓(xùn)練樣本，通過(guò)選擇性調(diào)整高層參數(shù)而非從頭訓(xùn)練，來(lái)適配新任務(wù)。此策略特別適用于小數(shù)據(jù)集，因預(yù)訓(xùn)練模型已蘊(yùn)含豐富特征與泛化力，通過(guò)微調(diào)即可快速適應(yīng)新需求。

通過(guò)研究P-Tuning 與LoRA 這兩種主流微調(diào)方法，并對(duì)其進(jìn)行系統(tǒng)性對(duì)比，如表3所示，結(jié)果顯示LoRA在對(duì)學(xué)生建議的捕捉和反饋上顯得不夠敏感，這可能會(huì)導(dǎo)致一些重要信息的遺漏。而P-Tuning方法則較為出色，能夠更精確地調(diào)整模型以適應(yīng)特定的建議，從而提高整體的性能表現(xiàn)。另外在處理大規(guī)模數(shù)據(jù)集時(shí)，P-Tuning能更快地收斂并達(dá)到更高的準(zhǔn)確率，LoRA則需要更多的訓(xùn)練時(shí)間和計(jì)算資源才能達(dá)到相同的效果。基于上述研究，最終選擇了P-Tuning 作為模型微調(diào)的方法。

4.3 模型融合

模型融合其核心理念在于挖掘模型間的互補(bǔ)性。各模型對(duì)數(shù)據(jù)特性的感知差異賦予了它們各自的優(yōu)勢(shì)與局限，通過(guò)融合這些模型，能夠構(gòu)建出兼具多種視角的預(yù)測(cè)體系，有效彌補(bǔ)單一模型的盲點(diǎn)，提升模型的泛化性能，讓模型在面對(duì)新穎數(shù)據(jù)時(shí)展現(xiàn)出更強(qiáng)的適應(yīng)性，增強(qiáng)預(yù)測(cè)的準(zhǔn)確度與穩(wěn)定性。

為了優(yōu)勢(shì)互補(bǔ)，改善模型在復(fù)雜場(chǎng)景下的表現(xiàn)，將訓(xùn)練完成的自反饋大模型與原有的通用模型進(jìn)行融合。通過(guò)對(duì)比融合前后模型的性能，融合前的模型在處理反思報(bào)告時(shí)，出現(xiàn)了過(guò)擬合現(xiàn)象，表明模型在訓(xùn)練集上表現(xiàn)優(yōu)異，但在未見(jiàn)過(guò)的數(shù)據(jù)上泛化能力較弱。

4.4 模型驗(yàn)證

采用P-Tuning微調(diào)后的模型，在學(xué)業(yè)測(cè)評(píng)這一專(zhuān)業(yè)領(lǐng)域的理解能力和響應(yīng)質(zhì)量得到了顯著提升，如學(xué)生反思報(bào)告的結(jié)構(gòu)、學(xué)術(shù)語(yǔ)言的規(guī)范、評(píng)估標(biāo)準(zhǔn)的適用性等。模型學(xué)會(huì)了如何在反思報(bào)告的上下文中，對(duì)學(xué)生的作業(yè)進(jìn)行細(xì)致入微的分析，提供既有深度又具針對(duì)性的反饋，使其能夠更好地適應(yīng)和處理學(xué)業(yè)測(cè)評(píng)領(lǐng)域的問(wèn)題。

5 課程自反饋大模型平臺(tái)的搭建

5.1 模型部署

云服務(wù)器有強(qiáng)大計(jì)算能力和存儲(chǔ)能力，這不僅可以大大減輕本地電腦的資源負(fù)擔(dān)，而且可以確保模型運(yùn)行的穩(wěn)定性和效率，因此本平臺(tái)將API服務(wù)部署在云端，在算力云服務(wù)器中使用FastAPI部署API服務(wù)端，本地著重于數(shù)據(jù)處理，部署網(wǎng)絡(luò)服務(wù)等。如圖4所示。在云服務(wù)器端，大模型接收到來(lái)自本地的請(qǐng)求后，立即啟動(dòng)深度計(jì)算流程，對(duì)文本進(jìn)行精細(xì)分析與處理。計(jì)算完成后，生成的響應(yīng)結(jié)果將沿著相同的通信路徑回傳至本地自反饋平臺(tái)，從而完成一次完整的遠(yuǎn)程模型調(diào)用周期。這一架構(gòu)充分利用了云端的高性能計(jì)算資源，還確保了本地系統(tǒng)的輕量化與靈活性，為自反饋大模型平臺(tái)的實(shí)時(shí)分析與反饋提供了堅(jiān)實(shí)的技術(shù)支撐。

5.2 應(yīng)用開(kāi)發(fā)

第一版課程自反饋大模型平臺(tái)的設(shè)計(jì)聚焦于提升教學(xué)效果和學(xué)習(xí)效率，其核心功能在于自動(dòng)批改結(jié)構(gòu)化反思報(bào)告并提供即時(shí)反饋，并將結(jié)果保存在MySQL數(shù)據(jù)庫(kù)中用以數(shù)據(jù)分析，以滿足教師和學(xué)生的不同需求。該平臺(tái)通過(guò)區(qū)分用戶角色（教師與學(xué)生） ，實(shí)現(xiàn)了定制化的界面和功能，確保了雙方都能從平臺(tái)中獲得最大價(jià)值。整體功能如圖5所示：

1） 學(xué)生端介紹

學(xué)生端的核心功能是報(bào)告評(píng)估頁(yè)面，是建議性網(wǎng)頁(yè)對(duì)話系統(tǒng)，如圖6所示。該系統(tǒng)的核心目標(biāo)是輔助學(xué)生在提交作業(yè)前進(jìn)行自我審查，為他們提供即時(shí)的反饋和建議。在系統(tǒng)中，學(xué)生能夠上傳他們的作業(yè)，并向系統(tǒng)提出關(guān)于如何改善作業(yè)、應(yīng)注意的問(wèn)題等咨詢(xún)。根據(jù)學(xué)生上傳的作業(yè)，系統(tǒng)會(huì)提供相應(yīng)的報(bào)告分?jǐn)?shù)和反饋，幫助學(xué)生在最終提交之前對(duì)作業(yè)進(jìn)行自我檢查和修訂。通過(guò)這種方式，學(xué)生可以在完成作業(yè)的過(guò)程中獲得及時(shí)的反饋，提高自主學(xué)習(xí)的能力，有效提升作業(yè)的質(zhì)量。

2） 教師端介紹

教師端的核心功能集中于提升作業(yè)處理的效率和減輕教師的工作量。教師只需簡(jiǎn)單上傳或輸入學(xué)生的作業(yè)文件，即可激活平臺(tái)內(nèi)置的智能算法，自動(dòng)批改作業(yè)。這一過(guò)程不僅覆蓋了語(yǔ)法、邏輯、內(nèi)容深度等多維度評(píng)估，還能根據(jù)預(yù)設(shè)標(biāo)準(zhǔn)給出綜合評(píng)分，為教師的后續(xù)審閱提供初步篩選。如圖7所示。

一旦自動(dòng)批改完畢，平臺(tái)會(huì)生成詳盡的評(píng)價(jià)報(bào)告，包括每個(gè)學(xué)生的具體得分、批注以及改進(jìn)建議，所有信息均以直觀圖表和清單形式呈現(xiàn)，便于教師快速查閱和分析。通過(guò)這一功能，教師能夠顯著節(jié)省用于常規(guī)批改的時(shí)間和精力，將更多注意力轉(zhuǎn)向課程設(shè)計(jì)的優(yōu)化、學(xué)生個(gè)體需求的滿足以及課堂互動(dòng)的深化，從而全面提升教學(xué)質(zhì)量和學(xué)生的學(xué)習(xí)體驗(yàn)。

此外，平臺(tái)支持復(fù)審功能，允許教師在自動(dòng)反饋的基礎(chǔ)上，進(jìn)行針對(duì)性的復(fù)核和補(bǔ)充，確保評(píng)價(jià)的公正性和有效性。這不僅提高了批改的效率，還保證了評(píng)價(jià)的深度與精度，為教師和學(xué)生之間的溝通搭建了更加高效和精準(zhǔn)的橋梁。

6 總結(jié)與展望

為實(shí)現(xiàn)課程的高階目標(biāo)，提升學(xué)生的批判性思維與實(shí)際操作能力，采用了結(jié)構(gòu)化反思報(bào)告這一新型學(xué)業(yè)測(cè)評(píng)方式。針對(duì)反思報(bào)告存在反饋延遲及批改困難的問(wèn)題，構(gòu)建了課程自反饋大模型平臺(tái)。該平臺(tái)可提供反饋與個(gè)性化指導(dǎo)，不僅能對(duì)學(xué)生的學(xué)習(xí)成效進(jìn)行更為全面的評(píng)估，更是教育與科技融合的有益實(shí)踐。

課程自反饋大模型平臺(tái)通過(guò)教師端和學(xué)生端的設(shè)計(jì)，提升了教學(xué)和學(xué)習(xí)效率，同時(shí)推動(dòng)了教學(xué)的個(gè)性化與智能化發(fā)展。在后續(xù)版本中，擬進(jìn)一步強(qiáng)化平臺(tái)功能，如引入更為多元的評(píng)估標(biāo)準(zhǔn)，提升人機(jī)交互的自然程度，以及提供更為豐富的學(xué)習(xí)資源與工具，從而滿足不斷變化的教育需求。此外，還將探索將該大模型應(yīng)用于其他類(lèi)型學(xué)業(yè)測(cè)評(píng)的可能性，研究如何提升其在學(xué)業(yè)測(cè)評(píng)中的公平性與有效性等問(wèn)題。