面向多模態(tài)數(shù)據(jù)的學(xué)習(xí)分析應(yīng)用研究

摘要：隨著傳感器技術(shù)的日趨成熟，多模態(tài)數(shù)據(jù)的學(xué)習(xí)分析必將成為未來發(fā)展的重要趨勢(shì)。本文從個(gè)體的生理、心理和行為來探討多模態(tài)數(shù)據(jù)的層次關(guān)系，簡(jiǎn)述了這三個(gè)層次多模態(tài)學(xué)習(xí)分析的研究現(xiàn)狀，闡述了多模態(tài)數(shù)據(jù)的采集、處理、分析與可視化技術(shù)，以此提出了面向多模態(tài)數(shù)據(jù)的學(xué)習(xí)分析應(yīng)用場(chǎng)景，為推進(jìn)智能教育研究的發(fā)展提供研究參考。

關(guān)鍵詞：多模態(tài)數(shù)據(jù)；學(xué)習(xí)分析；智能教育

一、引言

在“智能+”教育時(shí)代，人工智能、可穿戴、物聯(lián)網(wǎng)等技術(shù)與教育教學(xué)的深度融合，促進(jìn)了智能教育發(fā)展的進(jìn)程，將學(xué)習(xí)者的學(xué)習(xí)情境數(shù)據(jù)作為信息表征，為研究教育現(xiàn)象和發(fā)展規(guī)律提供了新穎的方法。隨著多模態(tài)數(shù)據(jù)采集技術(shù)不斷地發(fā)展，學(xué)習(xí)者學(xué)習(xí)行為的獲取突破了原有數(shù)據(jù)采集技術(shù)的局限，如通過視頻采集設(shè)備收集學(xué)習(xí)者在課堂學(xué)習(xí)的行為數(shù)據(jù)；通過眼動(dòng)儀監(jiān)視學(xué)習(xí)者在線學(xué)習(xí)過程中的注意力；通過人臉識(shí)別設(shè)備對(duì)學(xué)習(xí)者進(jìn)行定向跟蹤來評(píng)估學(xué)習(xí)狀態(tài)[1]。尤其是，基于生理感知數(shù)據(jù)測(cè)量的學(xué)習(xí)行為及心理特征已成為智能教育研究的發(fā)展趨勢(shì)。生理感知數(shù)據(jù)是源于人體的生物活動(dòng)產(chǎn)生的電信號(hào)或磁信號(hào)，主要包括眼動(dòng)、腦電、皮膚電、心電圖等多模態(tài)數(shù)據(jù)，具有客觀性、精確性、實(shí)時(shí)性等優(yōu)點(diǎn)[2]。據(jù)此，將多模態(tài)數(shù)據(jù)進(jìn)行融合分析，突破單一模態(tài)數(shù)據(jù)無法實(shí)現(xiàn)整體關(guān)聯(lián)分析的缺陷，能夠全面地刻畫學(xué)習(xí)者的學(xué)習(xí)行為、情感投入、學(xué)習(xí)狀態(tài)等，幫助計(jì)算機(jī)更好地理解學(xué)習(xí)者真實(shí)的學(xué)習(xí)需求，為其提供精準(zhǔn)的個(gè)性化學(xué)習(xí)服務(wù)。本文通過對(duì)智能教育領(lǐng)域的多模態(tài)數(shù)據(jù)和多模態(tài)學(xué)習(xí)分析進(jìn)行闡述，將多模態(tài)數(shù)據(jù)的學(xué)習(xí)分析應(yīng)用進(jìn)一步梳理，以期為智能教育領(lǐng)域的研究提供價(jià)值參考。

二、多模態(tài)與多模態(tài)學(xué)習(xí)分析

（一）多模態(tài)數(shù)據(jù)

當(dāng)前，隨著傳感器技術(shù)、物聯(lián)網(wǎng)技術(shù)等在教育領(lǐng)域的普及，這為多模態(tài)數(shù)據(jù)的來源提供了有力的保障，也為智能教育的大數(shù)據(jù)分析提供了堅(jiān)實(shí)的基礎(chǔ)。多模態(tài)數(shù)據(jù)是指于同一現(xiàn)象、過程或環(huán)境采用兩種或兩種以上方式獲取的相關(guān)數(shù)據(jù)[3]。本文所指的多模態(tài)數(shù)據(jù)來自個(gè)體的三個(gè)層級(jí)，即生理、心理和行為。這三個(gè)層級(jí)的數(shù)據(jù)呈現(xiàn)從里到表的層次關(guān)系，生理數(shù)據(jù)在最底層，心理數(shù)據(jù)在中間層，行為數(shù)據(jù)在最外層。生理數(shù)據(jù)是指學(xué)習(xí)者在學(xué)習(xí)過程中受到刺激時(shí)個(gè)人身體結(jié)構(gòu)發(fā)生的變化，屬于個(gè)體心理和行為的內(nèi)在映射；心理數(shù)據(jù)是指學(xué)習(xí)者在學(xué)習(xí)過程中的心理活動(dòng)數(shù)據(jù)，如認(rèn)知、注意力；行為數(shù)據(jù)是學(xué)習(xí)者在學(xué)習(xí)過程中的外在行為表達(dá)，如手勢(shì)、姿態(tài)。

（二）多模態(tài)學(xué)習(xí)分析

學(xué)習(xí)分析是指通過對(duì)學(xué)習(xí)者的學(xué)習(xí)數(shù)據(jù)進(jìn)行采集、處理、分析和報(bào)告，進(jìn)而理解和優(yōu)化學(xué)習(xí)過程。相關(guān)研究論述了學(xué)習(xí)分析的發(fā)展歷程、梳理會(huì)議報(bào)告及論文集，表明多模態(tài)數(shù)據(jù)將成為學(xué)習(xí)分析研究的重要話題，這需要著重發(fā)揮學(xué)習(xí)分析在交叉學(xué)科中研究的優(yōu)勢(shì)[4]。因此，通過多模態(tài)數(shù)據(jù)采集技術(shù)捕捉學(xué)習(xí)者學(xué)習(xí)過程中的學(xué)習(xí)狀態(tài)并加以分析顯得尤為重要。

1.生理數(shù)據(jù)

相關(guān)研究利用多種傳感器采集學(xué)習(xí)者的眼動(dòng)、皮膚電、腦電等生理數(shù)據(jù)，進(jìn)行多模態(tài)數(shù)據(jù)融合分析，對(duì)學(xué)習(xí)狀態(tài)、學(xué)習(xí)投入等進(jìn)行深入的研究。在皮膚電反應(yīng)方面：盧錦運(yùn)等采集用戶瀏覽動(dòng)畫導(dǎo)航界面的皮膚電信息，對(duì)用戶的皮膚電分析得出用戶更喜歡動(dòng)畫頁(yè)面，能夠獲得更好的舒適體驗(yàn)感[5]。

在眼動(dòng)方面：文獻(xiàn)[6]從學(xué)習(xí)者在學(xué)習(xí)過程中眼動(dòng)信息入手，針對(duì)學(xué)習(xí)者的眼動(dòng)數(shù)據(jù)開展學(xué)習(xí)分析探討，為學(xué)習(xí)者提供個(gè)性化學(xué)習(xí)服務(wù)的應(yīng)用模式；文獻(xiàn)[7]闡述了眼動(dòng)跟蹤在智能教育中的應(yīng)用研究。在腦電方面：文獻(xiàn)[8]采集學(xué)生學(xué)習(xí)過程中腦電信號(hào)，用于深度分析學(xué)習(xí)者狀態(tài)，為學(xué)生提供個(gè)性化學(xué)習(xí)服務(wù)或自適應(yīng)學(xué)習(xí)界面。因此，面向生理感知的多模態(tài)數(shù)據(jù)更能客觀且真實(shí)地描述學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，廣泛應(yīng)用于智能教育學(xué)領(lǐng)域。

2.心理數(shù)據(jù)

相關(guān)研究利用傳感器技術(shù)對(duì)學(xué)習(xí)者的注意力、認(rèn)知負(fù)荷和投入感等進(jìn)行客觀地評(píng)估。注意力是評(píng)估學(xué)習(xí)者學(xué)習(xí)效果的重要因素，可以利用傳感技術(shù)收集學(xué)生的運(yùn)動(dòng)狀態(tài)、眼動(dòng)行為等數(shù)據(jù)，采用機(jī)器學(xué)習(xí)方法對(duì)學(xué)習(xí)者的注意力進(jìn)行建模，預(yù)測(cè)學(xué)習(xí)者的注意力變化，幫助個(gè)體及時(shí)調(diào)整學(xué)習(xí)狀態(tài)來提高學(xué)習(xí)的投入感。其中，投入感是評(píng)估個(gè)體注意力的核心指標(biāo)。投入感表示學(xué)習(xí)者在學(xué)習(xí)過程中理解和掌握知識(shí)的心理投入程度，如文獻(xiàn)[9]利用傳感技術(shù)收集學(xué)習(xí)者在真實(shí)寫作過程中的表情、聲音、動(dòng)作和心率，利用機(jī)器學(xué)習(xí)方法對(duì)所獲得的投入感自我報(bào)告進(jìn)行建模，結(jié)果表明融合兩種自我報(bào)告模型具有較好的準(zhǔn)確性和穩(wěn)定性。此外，認(rèn)知負(fù)荷是與學(xué)習(xí)效率存在緊密聯(lián)系的。如果學(xué)生完成任務(wù)需要消耗過多記憶容量，那么學(xué)習(xí)速度會(huì)變慢，同時(shí)學(xué)習(xí)效果也會(huì)下降，因此準(zhǔn)確且有效地評(píng)估學(xué)習(xí)者的認(rèn)知負(fù)荷顯得尤為重要。

3.行為數(shù)據(jù)

目前，智能化的學(xué)習(xí)環(huán)境所配備的傳感器能夠采集學(xué)生線上線下的全方位學(xué)習(xí)數(shù)據(jù)，有效地拓展了學(xué)習(xí)分析數(shù)據(jù)的廣度和深度。相關(guān)研究利用多模態(tài)數(shù)據(jù)采集器收集學(xué)習(xí)者的表情、手勢(shì)、姿態(tài)等行為數(shù)據(jù)。一方面是對(duì)文本、語音、視頻數(shù)據(jù)進(jìn)行融合表征，實(shí)現(xiàn)對(duì)個(gè)體情緒狀態(tài)的有效感知和識(shí)別；另一方面是對(duì)面部表情、手勢(shì)和身體姿態(tài)數(shù)據(jù)進(jìn)行融合表征，實(shí)現(xiàn)對(duì)學(xué)習(xí)者潛在狀態(tài)進(jìn)行挖掘分析。如文獻(xiàn)[10]利用傳感器采集學(xué)習(xí)者在學(xué)習(xí)環(huán)境中的表情、手勢(shì)和姿態(tài)等多種行為，能夠有效地識(shí)別學(xué)習(xí)者學(xué)習(xí)情緒和狀態(tài)。因此，行為數(shù)據(jù)是主要研究學(xué)習(xí)者主觀意識(shí)外在的行為表達(dá)，能夠較好地描述學(xué)習(xí)者當(dāng)前的情緒狀態(tài)和興趣偏好。

三、多模態(tài)數(shù)據(jù)的學(xué)習(xí)分析技術(shù)

學(xué)習(xí)分析技術(shù)重點(diǎn)挖掘?qū)W習(xí)數(shù)據(jù)的內(nèi)在規(guī)律與隱含價(jià)值，這對(duì)學(xué)習(xí)數(shù)據(jù)的采集、處理、分析及可視化起到重要的支撐作用。

（一）多模態(tài)數(shù)據(jù)的采集技術(shù)

根據(jù)數(shù)據(jù)源的分類（生理數(shù)據(jù)、心理數(shù)據(jù)、行為數(shù)據(jù)）情況，多模態(tài)數(shù)據(jù)采集技術(shù)包括12種常見的數(shù)據(jù)采集技術(shù)。生理數(shù)據(jù)采集源于生物數(shù)據(jù)采集技術(shù)、物聯(lián)網(wǎng)感知技術(shù)、可穿戴技術(shù)；心理數(shù)據(jù)采集源于網(wǎng)絡(luò)爬蟲技術(shù)、情感識(shí)別技術(shù)、語音識(shí)別技術(shù)；行為數(shù)據(jù)源于校園一卡通技術(shù)、視頻監(jiān)控技術(shù)、智能錄播技術(shù)、網(wǎng)評(píng)網(wǎng)閱技術(shù)、點(diǎn)陣數(shù)碼技術(shù)、拍照搜題技術(shù)。

（二）多模態(tài)數(shù)據(jù)的處理技術(shù)

數(shù)據(jù)處理是對(duì)數(shù)據(jù)進(jìn)行清洗去噪、化繁為簡(jiǎn)，糾正或去除“臟數(shù)據(jù)”，如缺失數(shù)據(jù)、重復(fù)數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)，獲得有效的數(shù)據(jù)集，為數(shù)據(jù)分析提供基礎(chǔ)保障。因此，多模態(tài)數(shù)據(jù)的處理技術(shù)是按照相關(guān)規(guī)則進(jìn)行學(xué)習(xí)數(shù)據(jù)處理，識(shí)別且糾正多模態(tài)數(shù)據(jù)的“臟數(shù)據(jù)”，這是學(xué)習(xí)數(shù)據(jù)分析的一個(gè)重要環(huán)節(jié)。

（三）多模態(tài)數(shù)據(jù)的分析技術(shù)

數(shù)據(jù)分析是指利用恰當(dāng)?shù)姆治龇椒▽?duì)所收集的數(shù)據(jù)進(jìn)行分析，從中提取有用的信息加以詳細(xì)研究，進(jìn)而形成概括總結(jié)的過程。據(jù)此，多模態(tài)數(shù)據(jù)分析技術(shù)通過采集學(xué)習(xí)者的多模態(tài)學(xué)習(xí)數(shù)據(jù)，運(yùn)用統(tǒng)計(jì)分析、聚類分析、分類分析、關(guān)聯(lián)規(guī)則分析等相關(guān)技術(shù)，準(zhǔn)確地分析和描述學(xué)習(xí)者學(xué)習(xí)的意圖和需求，挖掘其學(xué)習(xí)規(guī)律、習(xí)慣和偏好等，進(jìn)而有效地洞悉學(xué)習(xí)的全過程。

（四）多模態(tài)數(shù)據(jù)的可視化技術(shù)

數(shù)據(jù)可視化是關(guān)于數(shù)據(jù)視覺表現(xiàn)形式的科學(xué)技術(shù)研究，利用圖形、表格、動(dòng)畫等手段，將數(shù)據(jù)內(nèi)在的規(guī)律直觀地進(jìn)行展現(xiàn)的一種方式。多模態(tài)數(shù)據(jù)的可視化技術(shù)是利用圖形可視化的表現(xiàn)形式，有效地體現(xiàn)多模態(tài)數(shù)據(jù)的潛在規(guī)律和分析結(jié)果。因此，多模態(tài)數(shù)據(jù)可視化技術(shù)廣泛應(yīng)用在智能教育領(lǐng)域已成為重要趨勢(shì)。

四、多模態(tài)數(shù)據(jù)的學(xué)習(xí)分析應(yīng)用

隨著多模態(tài)數(shù)據(jù)與學(xué)習(xí)分析不斷地深度融合，將其歸納為五個(gè)智能教育領(lǐng)域的應(yīng)用[11]。

（一）多模態(tài)數(shù)據(jù)的人機(jī)交互分析

人機(jī)交互是指人與計(jì)算機(jī)之間使用某種對(duì)話語言，以一定的交互方式，為完成確定任務(wù)的人與計(jì)算機(jī)之間的信息交換過程。學(xué)習(xí)者擁有不同的教育背景、認(rèn)知結(jié)構(gòu)、學(xué)習(xí)習(xí)慣及行為偏好等，需要智能用戶界面實(shí)現(xiàn)人與機(jī)器之間的和諧交互。如何促進(jìn)人機(jī)協(xié)作在教育教學(xué)領(lǐng)域的開展，是智能教育應(yīng)用有待解決的關(guān)鍵問題。隨著智能教育領(lǐng)域的發(fā)展，智能用戶界面逐步進(jìn)入真實(shí)教學(xué)場(chǎng)景中，為學(xué)生和老師提供了相關(guān)的智能教育服務(wù)。智能教育界面通過收集學(xué)習(xí)者學(xué)習(xí)過程中多模態(tài)數(shù)據(jù)，更好地分析和理解學(xué)習(xí)者學(xué)習(xí)的真實(shí)意圖和需求，為其提供精準(zhǔn)的學(xué)習(xí)支持服務(wù)。

傳統(tǒng)的學(xué)習(xí)分析數(shù)據(jù)主要源于鼠標(biāo)、鍵盤等，如鼠標(biāo)點(diǎn)擊、鍵盤文本輸入，這些可以反映學(xué)習(xí)者學(xué)習(xí)過程的顯性反饋信息。然而傳統(tǒng)的數(shù)據(jù)源較為單一，難以客觀且完整地描述學(xué)習(xí)者的學(xué)習(xí)狀態(tài)。因此，融合學(xué)習(xí)者生理感知數(shù)據(jù)（如眼動(dòng)、腦電、皮膚電等）的智能教育系統(tǒng)能更好地實(shí)現(xiàn)學(xué)習(xí)者和系統(tǒng)之間的自然交互，有利于學(xué)習(xí)者進(jìn)入高效地學(xué)習(xí)狀態(tài)，為其提供精準(zhǔn)化的學(xué)習(xí)支持服務(wù)。

（二）多模態(tài)數(shù)據(jù)的學(xué)習(xí)者情緒識(shí)別

情緒識(shí)別原本是指?jìng)€(gè)體對(duì)于他人情緒的識(shí)別，現(xiàn)多指人工智能通過獲取個(gè)體的生理或非生理信號(hào)對(duì)個(gè)體的情緒狀態(tài)進(jìn)行自動(dòng)辨別，是情感計(jì)算的一個(gè)重要組成部分。當(dāng)前多模態(tài)數(shù)據(jù)的學(xué)習(xí)者情緒識(shí)別是智能教育領(lǐng)域的重要研究話題，利用電腦、眼動(dòng)、皮膚電等生理信息進(jìn)行數(shù)據(jù)融合分析，判斷學(xué)習(xí)者的情緒狀態(tài)、意圖需求等，挖掘多模態(tài)數(shù)據(jù)的學(xué)習(xí)規(guī)律，表達(dá)個(gè)體學(xué)習(xí)的動(dòng)機(jī)、目標(biāo)、興趣和風(fēng)格等，能夠?yàn)閷W(xué)習(xí)者提供滿足自身需求的自適應(yīng)界面。

（三）多模態(tài)數(shù)據(jù)的學(xué)習(xí)投入分析

學(xué)習(xí)投入是監(jiān)測(cè)學(xué)習(xí)者在學(xué)習(xí)過程中學(xué)業(yè)表現(xiàn)測(cè)評(píng)的重要指標(biāo)，體現(xiàn)了學(xué)習(xí)者的認(rèn)知深度、情感體驗(yàn)和思維靈活度。當(dāng)前多模態(tài)數(shù)據(jù)的學(xué)習(xí)投入分析是智能教育領(lǐng)域關(guān)注的熱點(diǎn)話題，重點(diǎn)利用多模態(tài)數(shù)據(jù)表征學(xué)習(xí)者學(xué)習(xí)投入狀態(tài)，對(duì)認(rèn)知投入、行為投入和情感投入進(jìn)行綜合評(píng)價(jià)，有效體現(xiàn)學(xué)習(xí)者真實(shí)參與學(xué)習(xí)的狀況，實(shí)現(xiàn)對(duì)教學(xué)效果的客觀評(píng)估。

（四）多模態(tài)數(shù)據(jù)的學(xué)業(yè)表現(xiàn)預(yù)測(cè)

學(xué)業(yè)表現(xiàn)預(yù)測(cè)主要是利用學(xué)習(xí)者學(xué)習(xí)數(shù)據(jù)預(yù)測(cè)個(gè)體的學(xué)習(xí)表現(xiàn)，并對(duì)學(xué)習(xí)者進(jìn)行有效的學(xué)業(yè)預(yù)警和學(xué)習(xí)干預(yù)。當(dāng)前多模態(tài)數(shù)據(jù)的學(xué)業(yè)表現(xiàn)預(yù)測(cè)是智能教育領(lǐng)域的又一熱點(diǎn)話題，相關(guān)學(xué)者利用學(xué)習(xí)者的外顯行為信息和生理感知信息進(jìn)行融合分析。相比傳統(tǒng)且單一的學(xué)習(xí)數(shù)據(jù)，利用多模態(tài)數(shù)據(jù)采集技術(shù)捕捉學(xué)習(xí)者在學(xué)習(xí)過程中的學(xué)習(xí)表現(xiàn)，能夠更好地對(duì)個(gè)體學(xué)習(xí)效果進(jìn)行預(yù)測(cè)。因此，多模態(tài)數(shù)據(jù)的學(xué)業(yè)表現(xiàn)預(yù)測(cè)方法具有更好的準(zhǔn)確性和穩(wěn)定性。

（五）多模態(tài)數(shù)據(jù)的學(xué)習(xí)情境感知

情境感知是通過傳感器及其相關(guān)的技術(shù)使計(jì)算機(jī)設(shè)備能夠感知到當(dāng)前的情境，獲得個(gè)體的反饋信息并對(duì)其數(shù)據(jù)進(jìn)行處理分析，這為個(gè)體提供了精準(zhǔn)的支持服務(wù)模式，有效實(shí)現(xiàn)用戶與環(huán)境的和諧交互。多模態(tài)數(shù)據(jù)的學(xué)習(xí)情境感知是學(xué)術(shù)界關(guān)注的熱點(diǎn)，利用多種傳感器對(duì)不同學(xué)習(xí)情況下的學(xué)習(xí)者進(jìn)行數(shù)據(jù)采集，建模分析學(xué)習(xí)者的學(xué)習(xí)體檢，用于還原個(gè)體學(xué)習(xí)的情境感知。

五、結(jié)束語

隨著人工智能技術(shù)、物聯(lián)網(wǎng)技術(shù)、傳感器技術(shù)等不斷地發(fā)展，這為多模態(tài)學(xué)習(xí)數(shù)據(jù)的采集提供了堅(jiān)實(shí)的基礎(chǔ)。學(xué)習(xí)分析強(qiáng)調(diào)利用數(shù)據(jù)對(duì)學(xué)習(xí)者的學(xué)習(xí)進(jìn)行狀態(tài)描述、診斷預(yù)警和預(yù)測(cè)干預(yù)，然而傳統(tǒng)設(shè)備采集學(xué)習(xí)者的學(xué)習(xí)數(shù)據(jù)較為單一，傳統(tǒng)數(shù)據(jù)源對(duì)學(xué)習(xí)分析存在諸多問題與挑戰(zhàn)。多模態(tài)數(shù)據(jù)可以有效拓展學(xué)習(xí)分析數(shù)據(jù)源的維度，同時(shí)完善數(shù)據(jù)源的準(zhǔn)確性，這為學(xué)習(xí)者的學(xué)習(xí)評(píng)估提供了有力支撐。

本文揭示了多模態(tài)數(shù)據(jù)在學(xué)習(xí)分析的研究現(xiàn)狀及相關(guān)應(yīng)用，以期為基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)分析的深入研究提供應(yīng)用參考。未來相關(guān)研究還有待進(jìn)一步突破。首先，缺乏多模態(tài)數(shù)據(jù)融合研究的探索，有待深入挖掘多模態(tài)數(shù)據(jù)之間的關(guān)系和規(guī)律；其次，缺少?gòu)闹悄芙逃I(lǐng)域中多模態(tài)數(shù)據(jù)融合進(jìn)行研究探索，有待于對(duì)多模態(tài)數(shù)據(jù)融合研究現(xiàn)狀進(jìn)行闡述；再者，缺乏對(duì)多模態(tài)數(shù)據(jù)融合方法的梳理，需要進(jìn)一步對(duì)機(jī)器學(xué)習(xí)、智能算法等進(jìn)行深度研究；最后，基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)分析應(yīng)用僅限探索階段，有待對(duì)所提出應(yīng)用場(chǎng)景加以實(shí)現(xiàn)和驗(yàn)證。

作者單位：胡文婷? ? 江蘇開放大學(xué) 商學(xué)院

參? 考? 文? 獻(xiàn)

[1]李卿，任緣，黃田田，等.基于傳感數(shù)據(jù)的學(xué)習(xí)分析應(yīng)用研究[J]. 電化教育研究， 2019，40（5）：64-71.

[2]張琪，武法提.學(xué)習(xí)分析中的生物數(shù)據(jù)表征——眼動(dòng)與多模態(tài)技術(shù)應(yīng)用前瞻[J].電化教育研究，2016， 37（9）：76-81.

[3]鐘薇，李若晨，馬曉玲，等. 學(xué)習(xí)分析技術(shù)發(fā)展趨向——多模態(tài)數(shù)據(jù)環(huán)境下的研究與探索[J]. 中國(guó)遠(yuǎn)程教育， 2018（11）：41-49.

[4]吳永和，李若晨，王浩楠. 學(xué)習(xí)分析研究的現(xiàn)狀與未來發(fā)展—2017 年學(xué)習(xí)分析與知識(shí)國(guó)際會(huì)議評(píng)析[J]. 開放教育研究， 2017，23（5）： 42-56.

[5]盧錦運(yùn)，龔春燕，禹東川. 生物大數(shù)據(jù)監(jiān)測(cè)：未來教育質(zhì)量測(cè)評(píng)新趨勢(shì)[J]. 中小學(xué)管理， 2018（5）： 14-16.

[6]胡文婷，張沫，朱咸軍. 融合眼動(dòng)信息的個(gè)性化學(xué)習(xí)服務(wù)研究. 中國(guó)教育信息化， 2021（19）：23-27.

[7]張俊杰， 孫光， 鄭鯤. 視線跟蹤及其在智能教育中的應(yīng)用研究綜述[J]. 計(jì)算機(jī)應(yīng)用， 2020， 40（11）：3346-3356.

[8]姜雷，張海，張嵐，等. 腦機(jī)接口研究之演化及教育應(yīng)用趨勢(shì)的知識(shí)圖譜分析——基于1985-2018年SCI及SSCI期刊論文研究[J]. 遠(yuǎn)程教育雜志， 2018（4）：27-38.

[9]Monkaresi H， Bosch N， Calvo R A， et al. Automated detection of engagement using video-based estimation of facial expressions and heart rate[J]. IEEE transactions on affective computing， 2017， 8（1）：15-28.

[10]Ashwin， T. S.， Guddeti， R. M. R. . AutomaticdentsAffective States in Classroom Environment Using Hybrid Convolutional Neural Networks[J]. Education and Information Technologies，2020， 25（2）：1387-1415.

[11]王一巖， 鄭永和. 多模態(tài)數(shù)據(jù)融合：破解智能教育關(guān)鍵問題的核心驅(qū)動(dòng)力[J]. 現(xiàn)代遠(yuǎn)程教育研究， 2022， 34（2）：93-102.