多模態(tài)學(xué)習(xí)分析技術(shù)支持的學(xué)習(xí)評價研究*

張家華 胡惠芝 黃昌勤

多模態(tài)學(xué)習(xí)分析技術(shù)支持的學(xué)習(xí)評價研究*

張家華 胡惠芝[通訊作者]黃昌勤

（浙江師范大學(xué) 浙江省智能教育技術(shù)與應(yīng)用重點實驗室，浙江金華 321004）

面對新時代高質(zhì)量教育與創(chuàng)新人才的發(fā)展需求，傳統(tǒng)學(xué)習(xí)評價的弊端日益凸顯，亟需創(chuàng)新體制、深化改革。多模態(tài)學(xué)習(xí)分析通過多維度全面采集和分析學(xué)習(xí)過程動態(tài)數(shù)據(jù)，使面向過程與真實學(xué)習(xí)情境的學(xué)習(xí)評價成為可能。文章首先基于當(dāng)前學(xué)習(xí)評價的難點問題分析，剖析了多模態(tài)學(xué)習(xí)分析應(yīng)用于學(xué)習(xí)評價的價值內(nèi)蘊。隨后，文章提出四類多模態(tài)數(shù)據(jù)所映射的評價表征維度和內(nèi)容，從確立目標(biāo)、獲取數(shù)據(jù)、建構(gòu)模型、提供反饋四個方面構(gòu)建并闡釋了基于多模態(tài)學(xué)習(xí)分析的學(xué)習(xí)評價流程。最后，文章結(jié)合相關(guān)研究成果提出多模態(tài)學(xué)習(xí)分析的學(xué)習(xí)評價應(yīng)用建議，以期為面向過程的發(fā)展性學(xué)習(xí)評價改革賦能助力，并為高階學(xué)習(xí)評價提供新視角。

多模態(tài)數(shù)據(jù)；學(xué)習(xí)分析；學(xué)習(xí)評價；學(xué)習(xí)過程；數(shù)據(jù)表征

教育評價改革是建設(shè)高質(zhì)量教育體系的關(guān)鍵環(huán)節(jié)和動力，引領(lǐng)著教育高質(zhì)量發(fā)展的目標(biāo)方向。傳統(tǒng)的學(xué)習(xí)評價受技術(shù)的限制，難以對個體及群體性學(xué)習(xí)過程進行細致分析，無法支持理解復(fù)雜的學(xué)習(xí)現(xiàn)象。多模態(tài)學(xué)習(xí)分析作為一種新興技術(shù)，為不同學(xué)習(xí)環(huán)境中的人、機、資源所產(chǎn)生的學(xué)習(xí)測量與評價提供了新的視角[1]。如何應(yīng)用多模態(tài)學(xué)習(xí)分析對真實學(xué)習(xí)情境中復(fù)雜的學(xué)習(xí)活動進行評價，成為了教育研究者關(guān)注的熱點問題。基于此，本研究從當(dāng)前學(xué)習(xí)評價的難點問題出發(fā)，通過挖掘多模態(tài)學(xué)習(xí)分析應(yīng)用于學(xué)習(xí)評價的價值內(nèi)蘊，進一步分析多模態(tài)學(xué)習(xí)分析如何賦能學(xué)習(xí)評價表征，并構(gòu)建基于多模態(tài)學(xué)習(xí)分析的學(xué)習(xí)評價流程，以期為新時代教育評價改革與創(chuàng)新提供參考。

一 當(dāng)前學(xué)習(xí)評價的難點問題

在深化教育教學(xué)改革的新形勢下，傳統(tǒng)學(xué)習(xí)評價的弊端日漸凸顯，已在一定程度上制約了新時代教育的創(chuàng)新發(fā)展。當(dāng)前，學(xué)習(xí)評價面臨的難點問題主要如下：

1 學(xué)習(xí)評價忽視高階思維

高階思維是指發(fā)生在較高認知水平層次上的心智活動和認知能力，包括學(xué)生的獨立思考、批判創(chuàng)新、問題解決及學(xué)習(xí)能力等。培養(yǎng)和發(fā)展學(xué)生的高階思維，不僅是教育對現(xiàn)實訴求的回應(yīng)，也是新時代教學(xué)研究和實踐的目標(biāo)定位與努力方向。傳統(tǒng)紙筆測試以紙作問、用筆答題，重在測試學(xué)生學(xué)習(xí)認知方面的記憶與理解，難以全面考查學(xué)生的真實學(xué)習(xí)能力，容易忽視學(xué)生的高階思維發(fā)展，不利于培養(yǎng)學(xué)生的創(chuàng)新能力和批判性思維[2]。21世紀(jì)的人才培養(yǎng)非常注重非認知能力的發(fā)展，這給傳統(tǒng)紙筆測試帶來了沖擊和挑戰(zhàn)，亟待探索高階思維測評的實踐方式。

2 學(xué)習(xí)評價難現(xiàn)真實情境

目前，以數(shù)據(jù)驅(qū)動的學(xué)習(xí)分析大多聚焦于以計算機為中介的在線學(xué)習(xí)情境[3]，如在線學(xué)習(xí)管理平臺就是網(wǎng)絡(luò)學(xué)習(xí)活動數(shù)據(jù)采集的重要載體。其中，用于評價研究的學(xué)習(xí)數(shù)據(jù)大多來自數(shù)字平臺的記錄，依靠對鼠標(biāo)的點擊、鍵盤的敲打等方式進行采集，忽視了學(xué)生在自然物理環(huán)境下真實學(xué)習(xí)交流的實時數(shù)據(jù)，且僅憑有限的學(xué)習(xí)過程數(shù)據(jù)無法助力教師在復(fù)雜學(xué)習(xí)環(huán)境下對學(xué)生的認知建構(gòu)、情感交流、實踐能力、創(chuàng)新思維等做出真實有效的評價，難以幫助學(xué)生真正地改善學(xué)習(xí)過程、優(yōu)化學(xué)習(xí)體驗。

3 學(xué)習(xí)評價過程重視不足

傳統(tǒng)學(xué)習(xí)評價多以考試成績作為主要依據(jù)，片面強調(diào)測量結(jié)果的客觀性，這消解了學(xué)習(xí)評價本身的價值。學(xué)習(xí)本是一個漸進的過程性活動，評價應(yīng)該貫穿于整個學(xué)習(xí)過程，關(guān)注讓學(xué)生形成有意義的學(xué)習(xí)經(jīng)歷并提供有用的反饋，強調(diào)有效性、實效性和高效性。因此，學(xué)習(xí)評價要融于教學(xué)活動過程中，而不能僅作為臨近學(xué)習(xí)結(jié)束的一個環(huán)節(jié)簡單嵌入；應(yīng)對學(xué)習(xí)過程進行持續(xù)評估，以最大程度地發(fā)揮評價的功能；同時，評價應(yīng)與個體學(xué)習(xí)過程緊密地融合在一起，以便教師及時診斷學(xué)情，幫助學(xué)生找出學(xué)習(xí)過程中存在的問題并及時引導(dǎo)解決，全面把握學(xué)生的真實需求。

綜上所述，如何關(guān)注問題真實情境，立足學(xué)習(xí)過程來評測學(xué)生思維發(fā)展、知識獲得和認知建構(gòu)，是當(dāng)前學(xué)習(xí)評價亟需解決的問題。多模態(tài)學(xué)習(xí)分析可通過高頻次、細粒度捕捉學(xué)習(xí)過程中的多種數(shù)據(jù)，結(jié)合多模態(tài)數(shù)據(jù)融合模型與分析算法，即時反饋學(xué)習(xí)評價結(jié)果，為解決當(dāng)前學(xué)習(xí)評價難點問題提供了新方案。

二 多模態(tài)學(xué)習(xí)分析的價值內(nèi)蘊

多模態(tài)學(xué)習(xí)分析旨在通過捕獲、融合和分析多種來源的數(shù)據(jù)，以實現(xiàn)對學(xué)習(xí)行為、認知、信念、動機、情緒等多方面的客觀理解與深刻洞察[4]。隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，研究者利用眼動追蹤、紅外成像、腦電和面部識別等技術(shù)收集到多種模態(tài)數(shù)據(jù)，這些數(shù)據(jù)可以幫助分析復(fù)雜環(huán)境中的學(xué)習(xí)活動，如影響學(xué)生如何與設(shè)備、人、其他資源互動的認知和情感因素，包括壓力水平、先驗知識、認知水平、參與動機、情緒變化等。Drachsler等[5]指出，使用學(xué)習(xí)分析中的多模態(tài)數(shù)據(jù)可以獲得比單一數(shù)據(jù)更全面的學(xué)習(xí)過程信息，并能更好地分析影響學(xué)習(xí)效果的因素。Sharma等[6]通過對42項有關(guān)多模態(tài)數(shù)據(jù)應(yīng)用于學(xué)習(xí)分析的研究發(fā)現(xiàn)，使用來自眼動跟蹤、腦電圖和面部視頻的多模態(tài)數(shù)據(jù)來預(yù)測學(xué)習(xí)技能習(xí)得，其效果要比使用任何單個數(shù)據(jù)預(yù)測更好。表1列出了多模態(tài)數(shù)據(jù)應(yīng)用研究的典型案例，可以看出：多模態(tài)數(shù)據(jù)融合能夠支持對學(xué)習(xí)過程和結(jié)果的有效分析與預(yù)測，有助于解釋復(fù)雜的學(xué)習(xí)過程，故基于多模態(tài)數(shù)據(jù)的融合分析將成為學(xué)習(xí)分析和評價的研究重點。

表1 多模態(tài)數(shù)據(jù)應(yīng)用研究的典型案例

研究人員學(xué)習(xí)環(huán)境融合數(shù)據(jù)應(yīng)用方向 Larmuseau等[7]非正式的在線問題解決皮膚電活動（GSR）、心電圖（ECG）和心率變異性（HRV）測量認知負荷情況 Olsen等[8]ITS的正式協(xié)作環(huán)境凝視、日志、對話和音頻預(yù)測測驗成績和學(xué)習(xí)改善情況 Ahn等[9]游戲化學(xué)習(xí)（GBL）凝視和面部理解學(xué)習(xí)情緒對學(xué)習(xí)成績的影響 Vujovic等[10]協(xié)作學(xué)習(xí)運動和視頻數(shù)據(jù)解釋協(xié)作學(xué)習(xí)的參與水平和行動范圍 Emerson等[11]正式學(xué)習(xí)凝視、面部和日志預(yù)測學(xué)習(xí)動機和學(xué)習(xí)結(jié)果 Ochoa等[12]非正式學(xué)習(xí)視頻、音頻和演講文件評估口頭陳述能力

綜上，多模態(tài)學(xué)習(xí)分析可以獲取學(xué)生真實、細致的深層次學(xué)習(xí)數(shù)據(jù)，幫助研究者對學(xué)生的認知建構(gòu)、學(xué)習(xí)動機和行為表現(xiàn)進行較為全面的評估，其應(yīng)用于學(xué)習(xí)評價的價值內(nèi)蘊主要包括：

1 促進發(fā)展性評價

基于發(fā)展性評價觀的學(xué)習(xí)評價不僅要關(guān)注學(xué)習(xí)結(jié)果，還應(yīng)重視學(xué)習(xí)過程，提倡在教學(xué)過程中不斷反思評價過程與結(jié)果，根據(jù)學(xué)習(xí)者的特點和能力提出適合其發(fā)展的、有針對性的建議[13]。多模態(tài)學(xué)習(xí)分析有助于教師動態(tài)了解學(xué)生的學(xué)習(xí)表現(xiàn)、注意力情況和認知發(fā)展水平，根據(jù)學(xué)生的學(xué)習(xí)情況做出判斷、調(diào)整教學(xué)，并提供個性化的學(xué)習(xí)指導(dǎo)。例如，曹曉明等[14]基于多模態(tài)數(shù)據(jù)融合深度學(xué)習(xí)算法，采集學(xué)生在MOOC學(xué)習(xí)過程中的臉部圖像、腦電波和學(xué)習(xí)日志數(shù)據(jù)，對其學(xué)習(xí)參與度進行準(zhǔn)確識別，實現(xiàn)了學(xué)習(xí)過程的動態(tài)評價并為個性化學(xué)習(xí)提供了證據(jù)支持。

2 強化綜合性評價

發(fā)展學(xué)生的綜合素質(zhì)是新課程改革的關(guān)鍵所在，而評價學(xué)生的綜合素質(zhì)需要結(jié)合學(xué)習(xí)過程和結(jié)果的相關(guān)數(shù)據(jù)進行全面考慮[15]。多模態(tài)學(xué)習(xí)分析可對學(xué)生的合作能力、學(xué)習(xí)品質(zhì)、創(chuàng)新精神等進行多維度的考察和評估，有助于促進學(xué)生高階思維的發(fā)展。通過對學(xué)生綜合素質(zhì)相關(guān)的數(shù)據(jù)進行分類采集、分析和整合，有效評測學(xué)生綜合素質(zhì)能力的發(fā)展水平。例如，Blikstein等[16]提出使用高頻率多模態(tài)數(shù)據(jù)收集和機器學(xué)習(xí)技術(shù)，通過自動化、細粒度的數(shù)據(jù)分析追蹤復(fù)雜學(xué)習(xí)環(huán)境中的學(xué)習(xí)軌跡，實現(xiàn)對學(xué)生的認知能力、情感態(tài)度、信念動機等更加細致和深入的理解。

3 保障真實性評價

智能化技術(shù)工具的廣泛應(yīng)用，為收集、分析技術(shù)豐富場景中的學(xué)習(xí)過程數(shù)據(jù)提供了極大便利。多模態(tài)學(xué)習(xí)分析可將日常真實學(xué)習(xí)環(huán)境中師生的語言、動作、眼神等數(shù)據(jù)通過高清攝像頭、拾音設(shè)備和智能化數(shù)據(jù)采集終端進行獲取，突破了傳統(tǒng)的單一數(shù)據(jù)收集研究局限，有助于評價學(xué)生運用所學(xué)知識完成復(fù)雜的開放性任務(wù)、進行知識體系的建構(gòu)等能力，真實呈現(xiàn)學(xué)生理解、思考和解決問題的過程。例如，Von Davier等[17]設(shè)計了基于多模態(tài)數(shù)據(jù)的計算模型框架，用于捕獲、分析和測量復(fù)雜真實情境下的人類行為，并使用可穿戴傳感器采集學(xué)習(xí)者的非語言行為，以此作為評估人際交往能力、自身人格特征等的重要證據(jù)和方法。

三 多模態(tài)數(shù)據(jù)類型及其評價表征

Blikstein等[18]將多模態(tài)學(xué)習(xí)分析劃分為九個范疇：①文本分析；②話語分析；③筆跡分析；④草圖分析；⑤動作和手勢分析；⑥情感狀態(tài)分析；⑦神經(jīng)生理標(biāo)記分析；⑧眼睛凝視分析；⑨多模態(tài)整合和多模態(tài)界面分析。陳凱泉等[19]根據(jù)數(shù)據(jù)特性，將這九個范疇涉及的數(shù)據(jù)歸為四類：外顯數(shù)據(jù)、生理數(shù)據(jù)、心理數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)。依據(jù)此數(shù)據(jù)劃分標(biāo)準(zhǔn)，本研究探究了多模態(tài)數(shù)據(jù)與學(xué)習(xí)評價的內(nèi)在關(guān)系映射，發(fā)現(xiàn)不同類型的數(shù)據(jù)通過特征提取可以表征不同的評價維度和內(nèi)容，如圖1所示。通過對學(xué)習(xí)者在多樣化學(xué)習(xí)情境（如自主學(xué)習(xí)、協(xié)作學(xué)習(xí)、混合學(xué)習(xí)等）中產(chǎn)生的體征數(shù)據(jù)和學(xué)習(xí)過程行為數(shù)據(jù)進行全樣本分析[20]，不僅能揭示學(xué)習(xí)者學(xué)習(xí)績效、學(xué)習(xí)軌跡的變化，還有助于解釋學(xué)習(xí)者個性化的認知、思維、情感等內(nèi)隱特征變化的機理和規(guī)律，從而為開展精準(zhǔn)學(xué)習(xí)干預(yù)、優(yōu)化教學(xué)過程提供重要依據(jù)。

1 外顯數(shù)據(jù)

外顯數(shù)據(jù)是指學(xué)習(xí)過程中可直接被觀察到或記錄的真實數(shù)據(jù)。其中，文本分析代表對學(xué)習(xí)過程的日志記錄；話語分析是指學(xué)習(xí)過程中學(xué)習(xí)者的語言，包括師生對話、人機對話和學(xué)習(xí)者之間的對話，通過提取語音、語調(diào)、語氣等可進行語音分析和韻律特征分析；筆跡分析和草圖分析常見于學(xué)習(xí)者識字、繪圖教學(xué)。采集這些外顯數(shù)據(jù)，可評價表征學(xué)習(xí)者當(dāng)前的學(xué)習(xí)狀況、問題解決能力、師生互動水平等。

圖1 多模態(tài)數(shù)據(jù)類型及其評價表征

2 生理數(shù)據(jù)

生理數(shù)據(jù)是指人體內(nèi)部結(jié)構(gòu)在接受刺激時所發(fā)生變化的數(shù)據(jù)，是學(xué)習(xí)者心理和行為的反映。來自大腦、心臟、皮膚的信息是生理數(shù)據(jù)的重要來源，如腦電圖、心電圖、電流皮膚反應(yīng)等數(shù)據(jù)。其中，腦電圖可用于提取長期或短期記憶負荷、認知工作量等深層心理過程相對應(yīng)的特征，電流皮膚反應(yīng)、心率等數(shù)據(jù)可測量學(xué)習(xí)者在不同困難水平上從事在線問題解決活動的認知負荷。通過生理數(shù)據(jù)集，可以評價表征學(xué)習(xí)內(nèi)容難度、學(xué)習(xí)者的情緒狀態(tài)等，為學(xué)習(xí)評價測量提供重要的客觀變量。

3 心理數(shù)據(jù)

心理數(shù)據(jù)是學(xué)習(xí)者自身的心理活動數(shù)據(jù)，如認知、注意、情感（如緊張、興奮）等數(shù)據(jù)。具體來說，攝像頭、肌電傳感器可采集手勢和姿態(tài)數(shù)據(jù)，來呈現(xiàn)學(xué)習(xí)者在學(xué)習(xí)過程中身體的移動軌跡；臉部肌電圖可獲取學(xué)習(xí)者的面部表情數(shù)據(jù)；而眼動儀能感知學(xué)習(xí)者眼睛的關(guān)注焦點變化。此外，通過卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督學(xué)習(xí)算法，可準(zhǔn)確獲取攝像機所捕捉圖像中學(xué)習(xí)者的骨骼關(guān)鍵點信息，并實現(xiàn)動作姿勢識別，據(jù)此可評價表征學(xué)習(xí)者的學(xué)習(xí)興趣、注意力變化等。

4 基礎(chǔ)數(shù)據(jù)

基礎(chǔ)數(shù)據(jù)是任何學(xué)習(xí)分析實踐所必備的數(shù)據(jù)。其中，學(xué)習(xí)者的學(xué)情信息（包括年齡、性別、興趣偏好、家庭背景、前期學(xué)習(xí)狀況等），可通過學(xué)籍檔案、成績單得以反映。這些基礎(chǔ)數(shù)據(jù)體現(xiàn)了學(xué)習(xí)者在學(xué)習(xí)之初就已具有的個人屬性和特質(zhì)，其必須與其他層面的數(shù)據(jù)結(jié)合起來分析才具有實際意義。例如，結(jié)合學(xué)習(xí)者的基礎(chǔ)數(shù)據(jù)對其心理、生理等進行分析，有助于個性化評價表征學(xué)習(xí)者的學(xué)習(xí)風(fēng)格和學(xué)習(xí)基礎(chǔ)，并通過挖掘基礎(chǔ)數(shù)據(jù)中存在的相關(guān)性與因果聯(lián)系，進一步揭示學(xué)習(xí)者的學(xué)習(xí)過程。

四 基于多模態(tài)學(xué)習(xí)分析的學(xué)習(xí)評價流程

多模態(tài)學(xué)習(xí)分析技術(shù)可以采集高頻、細粒度、微觀層面的學(xué)習(xí)數(shù)據(jù)，從多個維度更好地反映學(xué)習(xí)者的真實學(xué)習(xí)狀態(tài)，從而提高評價的層次和質(zhì)量，為推動學(xué)習(xí)評價從靜態(tài)的學(xué)業(yè)成就的數(shù)字化表征評價走向動態(tài)的、立體的過程性學(xué)習(xí)評價提供了新途徑。本研究從過程視角審視學(xué)習(xí)評價，構(gòu)建了基于多模態(tài)數(shù)據(jù)分析的學(xué)習(xí)評價流程，如圖2所示。該流程包括確立目標(biāo)、獲取數(shù)據(jù)、建立模型、提供反饋四個主要環(huán)節(jié)，可根據(jù)學(xué)習(xí)軌跡不斷進行自我優(yōu)化，重在為學(xué)習(xí)者提供持續(xù)的“分析—評價—反饋”之動態(tài)循環(huán)評價，并努力體現(xiàn)“評價即學(xué)習(xí)”的理念。

圖2 基于多模態(tài)學(xué)習(xí)分析的學(xué)習(xí)評價流程

1 確立目標(biāo)

在教學(xué)開始之初，教師需要了解學(xué)習(xí)者已有的知識基礎(chǔ)，確立知識或技能獲得所要達到的預(yù)期目標(biāo)，據(jù)此選擇合適的學(xué)習(xí)環(huán)境、評價指標(biāo)和評價方式。其中，學(xué)習(xí)環(huán)境包括線上、線下和混合式學(xué)習(xí)環(huán)境，不同環(huán)境下的學(xué)習(xí)動機、情感態(tài)度、認知發(fā)展等可能存在一定的特征差異。根據(jù)學(xué)習(xí)評價目的或功能的需求不同，教師可以選擇診斷性評價、形成性評價或總結(jié)性評價方式。因此，學(xué)習(xí)環(huán)境和評價方式將作為支持評價指標(biāo)建立的重要內(nèi)容。

2 獲取數(shù)據(jù)

在教學(xué)過程中需要不斷地采集學(xué)習(xí)者信息，以持續(xù)評估其學(xué)習(xí)表現(xiàn)、確定其學(xué)習(xí)狀態(tài)。為此，可以利用智能終端、傳感器、可穿戴設(shè)備、智能系統(tǒng)等工具，收集學(xué)習(xí)過程中人與設(shè)備、資源等交互所產(chǎn)生的軌跡化、序列化的多模態(tài)數(shù)據(jù)。結(jié)合已確定的評價指標(biāo)和對應(yīng)的評價表征關(guān)系，這些多模態(tài)數(shù)據(jù)將作為反映學(xué)習(xí)者當(dāng)前生理、心理等不同層面的學(xué)習(xí)狀況特征信息，并作為下一階段數(shù)據(jù)提取融合與分析建模的依據(jù)。

3 建立模型

學(xué)習(xí)環(huán)境和學(xué)習(xí)活動的多樣性將導(dǎo)致采集的多模態(tài)數(shù)據(jù)分布離散、缺乏關(guān)聯(lián)，需要整合物理和數(shù)字空間學(xué)習(xí)過程中的認知、情緒、行為等關(guān)系進行立體建模，以建立學(xué)習(xí)數(shù)據(jù)與外顯學(xué)習(xí)行為、內(nèi)隱學(xué)習(xí)特征之間的聯(lián)系。其中，數(shù)據(jù)提取融合需要研究者對所獲取的學(xué)習(xí)數(shù)據(jù)（如眼部凝視、姿勢、心率等）進行規(guī)范化處理，生成數(shù)據(jù)集，同時將不同模態(tài)的數(shù)據(jù)轉(zhuǎn)換為數(shù)字化表征并進行篩選，以保證數(shù)據(jù)質(zhì)量。當(dāng)數(shù)據(jù)符合規(guī)范要求后，便可進行數(shù)據(jù)分析建模，即根據(jù)一定的規(guī)則關(guān)系和學(xué)習(xí)算法（如機器學(xué)習(xí)、分類與聚類等）對這些數(shù)據(jù)集進行特征提取、意義建構(gòu)和融合分析等，尤其是對非結(jié)構(gòu)化數(shù)據(jù)分析過程中的關(guān)鍵發(fā)現(xiàn)加以解釋和建議。

4 提供反饋

評價結(jié)果可視化是提供反饋的首要步驟，可通過學(xué)習(xí)儀表盤、知識圖譜等將數(shù)據(jù)分析結(jié)果呈現(xiàn)給利益相關(guān)者。不同利益相關(guān)者可根據(jù)數(shù)據(jù)分析結(jié)果，利用自評、互評、他評等方式進行評價干預(yù)。人機協(xié)同下的雙重評價反饋將作用于學(xué)習(xí)者自身，幫助其確立新學(xué)習(xí)目標(biāo)、進入下一階段的動態(tài)循環(huán)。例如，教師可根據(jù)學(xué)習(xí)者的學(xué)習(xí)進展和問題，動態(tài)調(diào)整、改進教學(xué)進度和方法；學(xué)習(xí)者可及時對自己的學(xué)習(xí)水平和能力做出相應(yīng)判斷，形成合理的學(xué)習(xí)預(yù)期，完善學(xué)習(xí)計劃；教育研究者可依據(jù)學(xué)習(xí)評價分析結(jié)果，對教學(xué)內(nèi)容、方法或環(huán)境等提出優(yōu)化改進建議。

五 多模態(tài)學(xué)習(xí)分析的學(xué)習(xí)評價應(yīng)用建議

智能教育場景下的多模態(tài)學(xué)習(xí)分析拓寬了學(xué)習(xí)評價的視域。隨著物聯(lián)網(wǎng)傳感技術(shù)的發(fā)展，硬件成本逐漸降低，測量精度不斷提高，可穿戴、便攜式的手環(huán)產(chǎn)品已在日常生活中用于監(jiān)測體溫、血壓、皮電、心電等主要體征，一些可進行嵌入式開發(fā)集成的、元器件級別的傳感器在工業(yè)和教育領(lǐng)域開始廣泛應(yīng)用，多模態(tài)數(shù)據(jù)采集和分析的技術(shù)將逐步進入實用階段。結(jié)合相關(guān)探索性研究案例，本研究針對多模態(tài)學(xué)習(xí)分析的學(xué)習(xí)評價應(yīng)用提出以下建議：

1 伴隨式數(shù)據(jù)處理

過程性學(xué)習(xí)評價要求學(xué)習(xí)數(shù)據(jù)的獲取和處理能夠?qū)崟r、高頻地進行，而智能技術(shù)的發(fā)展為學(xué)習(xí)過程原始數(shù)據(jù)的伴隨式采集和實時數(shù)據(jù)匯聚提供了重要支撐[21]，使得多模態(tài)數(shù)據(jù)采集與分析得以貫穿于整個學(xué)習(xí)過程。例如，王麗英等[22]利用自動化操作行為事件監(jiān)聽、表情識別、生理特征監(jiān)測等技術(shù)，持續(xù)采集MOOC在線學(xué)習(xí)者的數(shù)據(jù)，并對其認知、情感、行為投入等數(shù)據(jù)進行自動分析融合和及時評價反饋，可為不同學(xué)習(xí)者提供個性化、實時性的提示和指導(dǎo)。

2 多場景交叉融合

智能化技術(shù)的應(yīng)用豐富了教育應(yīng)用場景，也推動多樣化教學(xué)場景與多模態(tài)學(xué)習(xí)分析的交叉融合成為實現(xiàn)精準(zhǔn)教學(xué)、科學(xué)評價的重要途徑。例如，陸吉健等[23]提出了混合現(xiàn)實（Mix Reality，MR）場域中“多模態(tài)+人機協(xié)同”教學(xué)方式，并依托MR實驗套件與智能傳感設(shè)備進行MR場域中多模態(tài)情境導(dǎo)學(xué)、智能診學(xué)、人機助學(xué)、精準(zhǔn)評學(xué)的教學(xué)實踐，實現(xiàn)了過程性評價與結(jié)果性評價相融合的全方位精準(zhǔn)教學(xué)評價，促進了多模態(tài)教學(xué)和人機協(xié)同教學(xué)的交叉融合。

3 低成本常態(tài)實踐

目前，多模態(tài)學(xué)習(xí)分析尚被限于在特定的教學(xué)或?qū)嶒灜h(huán)境中進行，而要實現(xiàn)真實學(xué)習(xí)情境下自然或非侵入式的數(shù)據(jù)獲取仍存在一定的難度。因此，基于常態(tài)化教學(xué)環(huán)境搭建或開發(fā)低成本、易操作的多模態(tài)分析系統(tǒng)將成為后續(xù)研究重點解決的問題。例如，Cornide-Reyes等[24]通過引入低成本傳感器和單板計算機、全向麥克風(fēng)等設(shè)備，結(jié)合小型平板電腦采集學(xué)習(xí)者的音頻、圖像等多模態(tài)數(shù)據(jù)，用于評估真實課堂環(huán)境下學(xué)習(xí)者的溝通和協(xié)作技能，從而證實了多模態(tài)學(xué)習(xí)分析應(yīng)用于學(xué)習(xí)者核心技能發(fā)展評估的可行性。

[1]Worsley M, Chiluiza K, Grafsgaard J F, et al. Multimodal learning and analytics grand challenge[A]. The Fourth International Conference On Multimodal Interaction[C]. New York: ACM, 2015:525-529.

[2]尚秀芬,邱曉歡.教育評價改革:紙筆測試中高階思維能力測評的可行性探析[J].教育理論與實踐,2018,(32):20-22.

[3]胡欽太,伍文燕,馮廣,等.深度學(xué)習(xí)支持下多模態(tài)學(xué)習(xí)行為可解釋性分析研究[J].電化教育研究,2021,(11):77-83.

[4]汪維富,毛美娟.多模態(tài)學(xué)習(xí)分析:理解與評價真實學(xué)習(xí)的新路向[J].電化教育研究,2021,(2):25-32.

[5]Drachsler H, Schneider J. JCAL Special issue on multimodal learning analytics[J]. Journal of Computer Assisted Learning, 2018,(4):335-337.

[6]Sharma K, Giannakos M. Multimodal data capabilities for learning: What can multimodal data tell us about learning?[J]. British Journal of Educational Technology, 2020,(5):1450-1484.

[7]Larmuseau C, Cornelis J, Lancieri L, et al. Multimodal learning analytics to investigate cognitive load during online problem solving[J]. British Journal of Educational Technology, 2020,(5):1548-1562.

[8]Olsen J K, Sharma K, Rummel N, et al. Temporal analysis of multimodal data to predict collaborative learning outcomes[J]. British Journal of Educational Technology, 2020,(5):1527-1547.

[9]Ahn B T, Harley J M. Facial expressions when learning with a queer history APP: Application of the control value theory of achievement emotions[J]. British Journal of Educational Technology, 2020,(5):1563-1576.

[10]Vujovic M, Hernández‐Leo D, Tassani S, et al. Round or rectangular tables for collaborative problem solving? A multimodal learning analytics study[J]. British Journal of Educational Technology, 2020,(5):1597-1614.

[11]Emerson A, Cloude E B, Azevedo R, et al. Multimodal learning analytics for game‐based learning[J]. British Journal of Educational Technology, 2020,(5):1505-1526.

[12]Ochoa X, Dominguez F. Controlled evaluation of a multimodal system to improve oral presentation skills in a real learning setting[J]. British Journal of Educational Technology, 2020,(5):1615-1630.

[13]李葆萍,周穎.基于大數(shù)據(jù)的教學(xué)評價研究[J].現(xiàn)代教育技術(shù),2016,(6):5-12.

[14]曹曉明,張永和,潘萌,等.人工智能視域下的學(xué)習(xí)參與度識別方法研究——基于一項多模態(tài)數(shù)據(jù)融合的深度學(xué)習(xí)實驗分析[J].遠程教育雜志,2019,(1):32-44.

[15]田愛麗.綜合素質(zhì)評價:智能化時代學(xué)習(xí)評價的變革與實施[J].中國電化教育,2020,(1):109-113、121.

[16][18]Blikstein P, Worsley M. Multimodal learning analytics and education data mining: Using computational technologies to measure complex learning tasks[J]. Journal of Learning Analytics, 2016,(2):220-238.

[17]Von Davier A A, Zhu M X, Kyllonen P C. Innovative assessment of collaboration[M]. Cham: Springer, 2017:173-184.

[19]陳凱泉,張春雪,吳玥玥,等.教育人工智能(EAI)中的多模態(tài)學(xué)習(xí)分析、適應(yīng)性反饋及人機協(xié)同[J].遠程教育雜志,2019,(5):24-34.

[20]劉清堂,李小娟,謝魁,等.多模態(tài)學(xué)習(xí)分析實證研究的發(fā)展與展望[J].電化教育研究,2022,(1):71-78、85.

[21]劉邦奇,喻彥琨,袁婷婷.智能技術(shù)賦能過程評價:目標(biāo)、路徑與典型場景[J].現(xiàn)代教育技術(shù),2022,(5):14-23.

[22]王麗英,何云帆,田俊華.在線學(xué)習(xí)行為多模態(tài)數(shù)據(jù)融合模型構(gòu)建及實證[J].中國遠程教育,2020,(6):22-30、51、76.

[23]陸吉健,周美美,張霞,等.基于MR實驗的“多模態(tài)+人機協(xié)同”教學(xué)及應(yīng)用探索[J].遠程教育雜志,2021,(6):58-66.

[24]Cornide-Reyes H, No?l R, Riquelme F, et al. Introducing low-cost sensors into the classroom settings: Improving the assessment in agile practices with multimodal learning analytics[J]. Sensors, 2019,(15):3291.

Research on the Learning Evaluation Supported by Multimodal Learning Analysis Technology

ZHANG Jia-hua HU Hui-zhi[Corresponding Author]HUANG Chang-qin

Faced with the development needs of high-quality education and innovative talents in the new era, the drawbacks of traditional learning evaluation have become increasingly prominent, and it is urgent to innovate the system and deepen reform. Multimodal learning analysis made learning evaluation oriented to process and real learning situations possible through comprehensively collecting and analyzing the dynamic data of the learning process from multiple dimensions. Firstly, based on the difficult problems analysis of current learning evaluation, this paper analyzed the intrinsic value of multimodal learning analysis applied to learning evaluation. Subsequently, this paper proposed the dimensions and contents of evaluation representations mapped by four types of multimodal data, constructed and explained the learning evaluation process based on multimodal learning analysis from four aspects of establishing goals, acquiring data, constructing models and providing feedback. Finally, combined with relevant research results, this paper put forward application suggestions of the learning evaluation of multimodal learning analysis, expecting to empower the process-oriented developmental learning evaluation reform and provide a new perspective for the higher-level learning evaluation.

multimodal data; learning analysis; learning evaluation; learning process; data representation

G40-057

A

1009—8097（2022）09—0038—08

10.3969/j.issn.1009-8097.2022.09.004

本文為浙江省哲學(xué)社會科學(xué)規(guī)劃課題“新一代人工智能支持下課堂教學(xué)改革方案構(gòu)建與策略優(yōu)化”（項目編號：22YJRC02ZD-2YB）、浙江師范大學(xué)教師教育學(xué)院開放基金項目“數(shù)據(jù)驅(qū)動的師范生智慧教學(xué)能力評測體系構(gòu)建與應(yīng)用”（項目編號：jykf22003）的階段性研究成果。

張家華，副教授，博士，研究方向為學(xué)習(xí)分析與智能教學(xué)系統(tǒng)，郵箱為zjnuzjh@zjnu.cn。

2022年1月10日

編輯：小米