多模態學習分析：理解與評價真實學習的新路向

汪維富 毛美娟

[摘? ?要] 隨著物聯網、可穿戴傳感設備、人工智能的快速發展，多種模態數據的連續抓取與融合分析成為可能，促成了多模態學習分析研究的誕生，并成為學習分析領域的一個重要新興分支。多模態學習分析關注真實的學習情境與本真的學習交流方式，“返璞歸真”地聚焦更普遍的物理學習情境，克服了主流學習分析過度關注數字化學習環境的局限。研究主要采用文獻歸納法，闡述了多模態學習分析的發展動因、概念理解，重點從身體、生理視角概述了多模態的數據類型，并對多模態學習分析的過程模型進行了詳細描述。研究認為，未來要充分借助人工智能處理多模態數據，借鑒認知帶理論融合不同模態數據的意義，借力學習理論來理解真實的多模態學習交互過程，以進一步完善基于多模態數據的學習評價方法。

[關鍵詞] 多模態學習分析; 物理學習環境; 可穿戴設備; 生理數據; 數據融合; 學習評價; 認知帶

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 汪維富（1986—），男，江西鄱陽人。博士研究生，主要從事遠程開放教育、教師教育信息化研究。E-mail：wwf860127@163.com。

一、引? ?言

轉向建構主義學習范式是當下課程改革的主流方向，但是仍有不少學者對建構性學習的有效性提出質疑[1]，其潛在原因是建構性學習支持的高階學習結果是極難衡量的，在學校情境中難以實現規模化評估，特別是在小組協作、任務復雜的開放學習環境中，傳統紙筆支持的標準化測量方法往往無法展現其積極的學習影響。《深化新時代教育評價改革總體方案》提出，要“充分利用信息技術，提高教育評價的科學性、專業性、客觀性”[2]，尋求新技術支持的學習評價方法正成為教育評價改革的重要方向之一。

二、多模態學習分析的發展動因

基于大數據的教育評價是教育現代化的重要特征。近年來，大數據驅動的學習分析方法拓展了傳統標準化學習評估方法，如使用來自學習管理系統、MOOC、社交媒體環境、教育游戲等的大數據，對學習過程與結果有了更細致全面的刻畫方法。學習分析通過自動化、全樣本的大數據收集和分析，開創了一種大數據支持的非標準化學習評估形式，擴大了建構性學習評價的規模化實施范圍，使原來復雜和費力的形成性評價與個性化反饋成為可能。然而，目前大部分學習分析都集中在以計算機為中介的結構化任務上，反而忽略了更經常發生學習活動的物理學習空間。因此，如何從現實世界或混合世界的學習環境中收集多種來源的學習痕跡，成為學習分析領域亟須開拓的研究領域。

隨著物聯網技術的發展和創客運動的興起，一股新的技術創新浪潮正在發生。生物傳感器、全息攝像系統、手勢感應、紅外成像、眼動跟蹤等多模態數據收集方法正在迅速發展，特別是可穿戴傳感器的便攜性、微型化、非侵入性與低價格趨勢，讓收集高頻、細粒度、全樣本的多層次、多模態學習數據成為可能。將物理學習活動、身體運動、生理數據與數字化日志、自我報告數據結合起來，獲取更為接近學習者與群體真實表現的細顆粒數據，使研究人員能夠洞察學習者或學習群體每分每秒的發展，對復雜的認知、行為、情緒、動機等進行更全面的評估，從而促進21世紀技能與核心素養的發展。

三、多模態學習分析的概念理解

每一種知覺來源或者媒介形式，都可以稱為一種模態。例如：人有觸覺、聽覺、視覺、嗅覺;從媒介表征形式看，有聲音、視頻、文字、手勢、姿勢、眼動、表情、生理信號等。多模態融合了至少兩種模態及以上的數據來源。

（一）多模態學習分析的概念內涵

作為學習分析的一個新興分支，多模態學習分析（Multimodal Learning Analytics）于2012年在多模態交互國際會議上正式被提出[3]，旨在通過捕獲、融合和分析多種來源的數據，尤其是自然交流過程中產生的多源數據，如講話、凝視、手勢、姿勢、眼動、面部表情、皮膚電、腦電圖、心率等，以實現對學習行為、認知、信念、動機與情緒等多方面的客觀理解與深刻洞察。Worsley發現，學習研究中最常用的五種模態是語音、視頻、生理、眼動跟蹤和數字化日志[4]，其中超過一半的多模態學習分析實證研究使用了至少三種模態。

（二）多模態學習分析有利于克服當下學習分析的研究局限

目前，主流學習分析聚焦計算機支持的學習系統環境，交互數據主要來自數字化空間，學習者通常坐在電腦屏幕的正前方，數據的噪音比較少，任務的結構化和腳本化程度較高，推斷學生行為和學習構念之間的關聯較為容易。然而，多模態也是人類與計算機交互時的典型特征，人類通過面部表情、語音語調或身體動作等多種方式來表達自己的意圖和情感，如與智能導師系統交互時也可能緊鎖眉頭、打哈欠、東張西望，但現在還很少將這些因素納入學習分析。另一方面，多數學習發生在面對面的開放式物理環境中，只聚焦數字化環境明顯損害了學習分析對一般性學習的適用性。不管是基于項目的學習、具身化互動、開放式的實踐活動和協作學習活動，還是更傳統的課堂教學，都蘊含著對于學習分析來說具有重要價值的多模態數據。當下，研究人員開始嘗試對數字化學習環境之外的學習和教學經驗進行建模和分析，有學者甚至提出了“物理學習分析”（Physical Learning Analytics）概念，將學習分析引入真實的物理學習空間，并試圖利用物理空間數據來幫助改進教學實踐和學習過程[5]。因此，將研究情境轉向更加真實、復雜、開放的學習環境是多模態學習分析的主要焦點。

（三）多模態更符合人類交流與學習的現實與本質

“盲人摸象”的故事啟發人們，僅憑一種感官信息只可能獲得對事物的局部認識。人類在正常情況下感知信息時一般都會同時利用多種感官，并經過大腦整合處理之后才能形成完整的認識。在傳統的課堂上，教師會采取多種方式來傳達不同的教學意義，例如：當教師詢問是否聽懂了知識點時，學生會點頭;在強調某個主題時，教師會提高自己的聲音。同樣，學生利用多種方式來展示其對知識技能的掌握程度，如流暢的口頭闡述、持續的眼神交流、更快的答題速度、有節奏的全身運動等。此外，學生也經常通過語言、面部表情和身體姿勢參與交流互動，而教師通常會監控這些線索，并實時做出相應的回應。當然，與人類感知能力相比，計算設備感知的信號顆粒度可能會更細致、更全面。因此，多模態學習交互更符合人類交流現實的本質與需求，為了獲得更廣泛、更正式的整體學習圖景，可以把從一種模態中收集的學習證據與從其他模態中收集的學習證據進行相互補充或驗證。

（四）多模態學習分析與傳統多模態教育實驗研究的區別和聯系

在傳統的教育實驗研究中，利用不同模態數據進行學習研究比較常見，如腦電圖常用于情緒識別、大腦自我調節、動作技能習得、深度學習、聯想學習等實驗研究[6]。然而，傳統多模態教育實驗研究與多模態學習分析有很大區別。前者采用的是實驗對比研究范式，其主要問題是數據收集成本很高，只能在實驗室層面開展受控研究，不利于擴展到常態化課堂、開放式學習情境，而且研究成果一般無法直接為學生提供及時的學習反饋。多模態學習分析主張采用大數據驅動的第四研究實證范式，直接從不同數據源提取多模態特征，利用機器學習自動分析數據，試圖提供連續的、嵌入的實時反饋，以理解、改進正在或將要發生的學習。當然，傳統多模態教育實驗研究能為多模態學習分析提供重要的分析線索與理論依據。如生理低喚醒表示學習的消極狀態，而生理高喚醒則表示學習的積極或反應狀態。因此，推動多模態學習分析研究，除了要借助傳感器、人工智能、大數據等技術，也要充分借鑒學習科學、認知心理、神經科學和行為科學等理論，以啟發不同模態特征與關鍵學習構念之間建立對應關系，以及驗證通過使用多模態數據源推斷認知發展和社交進步的可能性。

四、多模態學習分析的數據分類

得益于智能化、便攜式傳感器的發展，多模態數據采集與分析才成為可能。Schneider等人分析了大量傳感器原型，并將可用于學習領域的傳感器分為24種，每個傳感器可以感知一種或多種數據類型，主要涉及活動數據、情境數據、環境數據、身體生理數據等四種[7]。類似地，牟智佳基于多模態學習分析的空間結構對數據源進行了分類，包括人機交互、學習資源、學習情境與學習體征等四種[8]。他們分類中的前三種都在教育技術領域中涉及較多，本研究重點對第四種數據（即身體生理或學習體征數據）進行闡述。

與自我報告、數字化日志、訪談、任務績效等常用數據模態相比，身體生理數據是一種更加客觀、連續的信息來源，通常要借助專業設備或傳感器來采集。例如：麥克風可以對語音信息通道進行采樣，眼動儀可以跟蹤眼睛的注視范圍和持續時間，多功能專業攝像機可以同時跟蹤語音、手勢、位置、動作和面部等多源信號，而皮膚電設備（如Empatica智能手環）可以獲取皮膚電反應信號。基于Di Mitri 等人的分析[9]，我們將身體生理數據模態分為兩種：自主可控的動作型數據模態、伴隨生成的生理型數據模態，如圖1所示。

（一）動作型數據模態

動作型數據模態可以分為身軀、頭部，這屬于自主性的信號模態，具有一定可控、外顯的觀察特征。身軀又分為軀干、腿、手臂和手。通過軀干的全身運動能捕捉個體的大動作技能嫻熟程度信息，也能為評估其他認知信息提供重要線索。例如：Raca和Dillenbourg使用多功能攝像系統來觀察全身運動（Gross Body Movements，GBM）[10]，利用身體姿勢、手勢等線索來評估課堂中的學生注意力;Botha和Africa發現，小學生的全身運動和字母識字能力呈正相關，全身運動在一定程度上是觀察兒童識字能力的有效指標[11]。計步器可以跟蹤腿部的運動，并為身體活動提供良好的指示，而手臂和手是語義更豐富的身體部位。攝像機可以檢測到手臂的運動，如微軟Kinect可以識別手勢和身體姿勢，已經被用于演講表達技巧的自動化訓練[12]。另一種手臂運動和手勢的檢測可以通過肌電圖（Electromyography，EMG）實現。例如：Hussain等人在情感檢測的研究中使用了臉部EMG、心電圖（Electrocardiogram，ECG）、皮膚電反應（Galvanic Skin Response，GSR）和呼吸率等不同模態數據[13];Ekaterina等人將前臂肌電圖用于支持衛生教育，對醫學生的手部清潔過程進行評估[14]。通過手部運動數據可以洞察學習者的認知發展，而手部運動可以通過搜索特定的手勢、跟蹤對物體的處理以及筆畫或繪畫草圖來檢測。例如：將筆畫與視頻、語音等模態結合起來，可從學生群體中發現高績效的專家型學生[15];還有學者根據具身認知理論，利用觸摸屏輔助學生使用雙手來探索數學比例的概念[16]，將學習視為學生身體動態協調模式的過程，以引發直接性或隱喻性的抽象概念化，促進學習者在手部運動與抽象概念之間建立牢固的關系。

頭部動作型模態主要包括臉部表情、眼動和語音。臉部表情是非常微妙的身體反應狀態，在學習分析中得到廣泛應用。例如：Alyuz等人用攝像機采集大量的學生表情，用于構建學生使用智能導師系統時的情感投入檢測器[17];Chikersa等人探索了群體面部表情等生理同步性與群體的集體智力、互動滿意度的關系[18];Spikol等人結合學生手勢、面部表情、音頻、視頻以及與物理計算平臺的交互模式，預測項目解決方案的質量和正確性[19]。眼動跟蹤是評價注意力的關鍵指標，如Li等人探究了不同空間視覺選擇題之間的眼動差異，并根據眼動追蹤數據預測問題難度，發現通過眼球運動（尤其是注視時間）可以很好地預測題目難度[20]。語音分析涵蓋了從副語言分析（如說話時長、關鍵詞或韻律特征）到對話情境中口語詞匯的識別[21]，具有多層次的多模態學習分析特征。語音可以從信號（如聲調）、活動（如對話輪換）、內容（如對話內容）、人際（如社會性調節）和其他層面進行融合分析。

（二）生理型數據模態

生理型數據模態屬于被動性的信號數據，是機體在活動中伴隨產生的，是當人受到某種刺激時所表現出來的潛在反應，這些反應來自中樞和自主神經系統的信號能自動地激活、調節身體機能。其中，大腦、心臟、皮膚、呼吸系統是能夠獲得生理信號的主要器官。考察大腦活躍程度的方法是使用腦電圖（EEG），可以測量大腦內部的電位差。如Dikker等人將EEG用于跟蹤正常課堂活動中小組互動的腦部信號變化，發現學生腦腦同步程度可以預測學生在課堂中的投入度和社交關系，說明腦腦同步性可能是動態社會互動的神經標記[22]。此外，多種技術可以用來計算心率和心率變異性等心臟活動的指標，包括血容脈沖（Blood Volume Pulse，BVP）、光學體積描記（Photoplethysmography，PPG）、心電圖（ECG）等。皮膚電反應（GSR）的變化被稱為皮膚電活動（Electrodermal Activity，EDA），是通過測量皮膚導電性變化來了解身體喚醒程度。例如：Alzoubi等人使用腦電圖、心電圖和皮膚電反應來檢測情感的自然表達[23];Grafsgaard等人使用EDA和從視頻、手勢和姿勢中獲得的面部表情來預測情緒[24]。呼吸量（Respiratory Volume）的測定包括呼吸的深度和速率，當呼吸速率變得不規則時，可能有更多的特定情緒，如憤怒[25]。

可以看出，通過身體生理數據可以更加客觀、深刻地洞察真實的學習狀態，特別是已有研究發現了如喚醒度、同步性、傳染性、規律性等諸多具身性的學習體征指標，為完善學習評價方法提供了重要的客觀性中介變量。

五、多模態學習分析的過程模型

過程模型對于大數據驅動的學習研究具有重要的規范性與指導性價值。構建多模態學習分析的過程模型可以幫助研究人員理解多模態支持的學習分析過程，形成多模態學習分析的操作規范。田陽等人在研究混合學習時，將多模態交互分析的主要流程總結為數據采集、加工與篩選、數據分析、數據表征可視化、反饋調節等[26]。Di Mitri等人提出了一個操作化的過程模型，主要包括傳感器捕獲多模態數據、人工注釋標簽、機器學習預測結果、反饋解釋與行為轉變四個步驟[9]，突出了人工注釋與反饋、機器建模與預測的協同機制。然而，這些過程模型并未突出多模態學習分析與主流學習分析的不同之處。Shankar等人在考察多個典型多模態學習分析應用場景之后，利用數據價值鏈（Data Value Chain，DVC）概念抽象出了多模態學習數據的過程模型[27]，具有普適性價值，如圖2所示。

DVC過程模型將多模態學習分析分為三個步驟：數據發現旨在完成不同數據的收集、注釋、清理、同步、轉換和結構化工作;數據融合旨在根據關鍵特征來集成兩個及以上的數據集，生成基于多模態數據的連貫性、對齊性與互證性的證據圖景;數據利用旨在分析與應用融合之后的多模態數據集，可視化分析報告并突出顯示關鍵發現以做出決策。從具體數據處理活動來說，多模態學習分析過程包括：（1）數據收集與注釋。需要技術人員共同部署數據收集平臺、工具與傳感器，從數字化空間、物理學習空間等情境中收集多種模態的數據，如身體姿態、腦電信號、討論文本、行為日志等。生成數據集后，對需要再處理的屬性進行人工注釋，將不同模態（如信號、動作、文本）轉換為數字化表征，因為原始的多模態數據通常非常嘈雜，具有大量屬性和低語義值。（2）數據準備。在同一參考時間下同步來自不同平臺、不同模態的數據集，并根據需要刪除無效數據（如刪除缺失值）或特定的數據屬性。（3）數據組織。對數據集進行轉換、結構化和匯總，并從中提取選擇性特征，這需要教師或研究人員提供相應的數據匯總和轉換方法，如根據平均成績來生成每個小組的觀察結果。（4）數據整合。根據一定的規則與關系對多個數據集進行重新融合，如基于多個數據屬性的時間戳，將人工觀測結果與生理信號、數字化日志集成起來，其中，多模態數據融合的方法主要有數據級、特征級與決策級。（5）數據分析。使用從基本的統計函數到高級的機器學習算法對數據集進行探索分析，包括對多模態數據進行統計分析、相關性分析、聚類和預測分析、模式識別等。（6）可視化。將分析結果以可視化的方式呈現給教師，需要選擇表現力較強的表征方式，或者直接顯示在相應的學習儀表盤中，以作出下一步的教學決策。（7）決策。對可視化分析結果中突出的關鍵發現進行合理解釋，結合學習理論、任務情境提出改進策略，或者直接將分析結果用于學習者建模，以更好地適應學習者的個性化學習需求。

六、多模態學習分析的研究趨勢

近年來，多模態學習分析研究聚焦建構性教學法而生成了一些獨特的基礎性結論。例如：非言語互動特征（同步性、個體責任感、平等性和個體動態性）可以有效地解釋協作問題解決的復雜學習過程[28];基于口頭表達質量數據語料庫，Chen等人驗證了使用多模態評估公共演講技能的可行性[29];從程序員的身體動作和手勢可以評估協作編程的質量[30]。另一方面，多模態學習分析通常還能以師生可觀察、可操作的具體特征（如姿勢、手勢、音量、頭歪、俯身、眼神、表情等）來建模、預測非可觀察性的潛在表現（如動機、信念、情緒等），有利于克服學習分析、教育數據挖掘中普遍存在的理解黑箱問題，及時開展形成性評估，以不引人注目的透明方式實時改進課堂教學、提供學習支持。可以說，現有探索性研究說明了多模態學習分析具有與主流學習分析不同的重要價值與現實意義，但未來還需要推進以下幾方面的研究：

（一）利用人工智能推動多模態數據處理水平

多模態數據的復雜性和多樣性是一項重要挑戰。當數據屬性大量增加時，研究人員就很難對數據進行系統可視化和充分性解釋。Lahat等人描述了多模態數據處理所面對的一些挑戰，包括數據的多維度、不同模態分辨率、數據噪聲、數據缺失、數據融合和計算模型的選擇[31]。相比之下，人工智能能夠更有效地處理多模態數據，如智能語音識別、表情識別等，可以被用于規模化處理大量數據。因此，多模態機器學習逐漸成為一個潛力巨大的研究方向，旨在建立能夠處理和關聯多種模態信息的模型[32]，主要內容包括：（1）表征數據，學習如何利用多模態的互補性和冗余性來表征和匯集數據，數據異構性使得構造這種表征極具挑戰性。例如：語言通常是文字符號，視頻通常是視覺符號，生理數據通常是信號，而交流互動采用的是社交信號解釋系統。（2）轉換數據，模態之間的關系往往是開放的或主觀的，需要將數據從一種模態轉換到另一種模態來分析。（3）對齊數據，確定兩種或兩種以上不同模態屬性之間的直接對應關系，找出不同模態之間的關聯性。（4）融合數據，結合兩個或更多模態的信息來執行預測。（5）協同學習，在不同模態、數據表征及其預測模型之間實現泛在遷移，當其中一種模態的數據有限時，這一點尤其重要。

（二）借助認知帶理論促進多模態數據的融合

從不同模態中提取的學習痕跡必然具有不同的特征，在時間粒度、確定程度上都可能有很大的差異，數據融合以及融合后的數據意義成為多模態學習分析中的核心問題，而認知帶理論具有很好的指導價值。按照Newell的認知帶理論（Bands of Cognition），人類行為可以在生物帶、認知帶、理性帶和社會帶等多個時間尺度上得到解釋，每個帶可以捕獲三個數量級的數據，從100微秒（10-4秒）開始，一直到數月（107秒）[33]。具體來說，生物帶集中在微秒（10-4～10-2）的時間尺度上，認知帶集中在秒（10-1～10）的時間尺度上，理性帶集中在數分鐘（102～104）的時間尺度上，社會帶集中在數周（105～107）的時間尺度上。該理論描述了每個時間尺度如何與不同的意圖層面、不同類型的活動相關聯。例如：生物帶發生的行為有時被解釋為無意識、非故意的，而任務完成通常與理性帶的人類行為相關。Anderson討論了構建跨越認知帶的融合策略，并提出了三個重要論點[34]：分解論（Decomposition Thesis）認為，發生在較長時間尺度上的行為可以分解為發生在較短時間尺度上的行為集合;關聯論（Relevance Thesis） 認為，通過改進較短時間尺度的行為可以提高較長時間尺度上的教學效果，這意味著短時間尺度行為對于診斷更長時間尺度的認知發展具有重要意義;建模論（Modeling Thesis）認為，通過對短時間尺度行為的微細顆粒數據進行建模可以直接影響教學反饋，如使用生物帶上的微秒級信號可以獲得更高層次的結果，所以建模論為短時間尺度行為和長時間尺度預期結果之間的銜接提供了基礎。借助傳感器、人類觀察、計算機，現在幾乎能獲得所有認知帶上的生理數據、認知數據、理性數據與社會數據，而每個模態均為其他模態提供了一定的信息，各模態之間存在著一定的關聯性[35]。有效融合這些來自不同時間尺度的多模態數據、構建不同認知帶之間的橋梁、挖掘不同模態之間的關鍵聯系，對于多模態學習分析研究具有重要的基礎性意義。

（三）多模態學習分析更依賴學習理論的指導

如今研究者所能抓取的大數據達到前所未有的規模，但是足夠的大數據對于理解學習的復雜性還是不夠的。事實上，數據量如此之大，數據模態如此多樣，以至于很多無關或影響很小的特征或變量匯集起來可能會產生較大的影響，那什么才算是有意義的教育發現？理論此時就扮演著十分重要的角色，譬如公認的心理構念，可以指引研究者思考關于模型中應包含哪些有意義的變量，有哪些噪音、亞組或協變量，關注哪些研究結果，解釋結果時使用什么框架，如何使結果具有泛化性和遷移性。多模態學習分析必須有一定的理論或構念作為基礎，否則將跌入沙塵暴式實證論（Dustbowl Empiricism）[36]，即側重于經驗觀察的偶然積累和研究變量之間的關系，而不關注實際邏輯或真實意義。另一方面，如何讓多模態學習分析結論具有干預可行性也很重要。例如：性別、年齡等屬性經常被用于建模預測，但問題是它們多數時候難以解釋相關結果發生的機制，或者很難指導人們設計相關干預措施。Van Der Maas和Wagenmakers發現，棋手的移動速度可以預測出棋手的專業水平[37]，但告訴新手更快地移動并不能直接幫助其改進棋藝。因此，為了確保特征變量與分析結論具有教育性意義與操作化價值，已有理論（或構念）是一個關鍵橋梁，可以指導研究者應該關注哪些學習變量并為解釋結果提供框架。

多模態學習分析側重以貼近人類本真的交流方式來研究學習，完善了大數據驅動的學習科學研究范式，為評估建構性的高階學習提供了更全面、精準、客觀的方法。然而，目前自動收集與處理不同模態數據的方法和工具仍然不成熟，可用于表征學習的顯著性特征還沒有形成體系，不同學習場景中如何有效地組合不同模態數據還缺乏基礎性探索。不過，在新一輪人工智能、教育評價改革的推動下，多模態學習分析勢必會成為驅動學習科學發展的重要力量。

[參考文獻]

[1] KIRSCHNER P A， SWELLER J， CLARK R E. Why minimal guidance during instruction does not work： an analysis of the failure of constructivist， discovery， problem-based， experiential， and inquiry-based teaching[J]. Educational psychologist，2006，41（2）：75-86.

[2] 中共中央國務院.《深化新時代教育評價改革總體方案》[EB/OL].（2020-10-13）[2020-11-05].http：//www.xinhuanet.com/politics/zywj/2020-10/13/c_1126601551.htm.

[3] WORSLEY M. Multimodal learning analytics： enabling the future of learning through multimodal data analysis and interfaces[C]// Proceedings of the 14th ACM International Conference on Multimodal Interaction. New York：ACM，2012：353-356.

[4] WORSLEY M. Multimodal learning analytics' past， present， and， potential futures[C]//Proceedings of the Second Multimodal Learning Analytics Across （Physical and Digital） Spaces. Sidney，Australia： CEUR，2018： 1-16.

[5] MARTINEZ-MALDONADO R，ECHEVERRIA V，SANTOS O C，et al. Physical learning analytics： a multimodal perspective[C]//Proceedings of the 8th International Conference on Learning Analytics & Knowledge. New York：ACM，2018：375-379.

[6] 鄭旭東，馬云飛.腦電圖技術的教育研究圖景與趨勢——基于2000—2019年國際文獻的知識圖譜分析[J].現代遠程教育研究，2020，32（4）：36-47.

[7] SCHNEIDER J，BRNER D，ROSMALEN P V，et al. Augmenting the senses： a review on sensor-based learning support[J]. Sensors，2015，15（2）：4097-4133.

[8] 牟智佳.多模態學習分析：學習分析研究新生長點[J].電化教育研究，2020，41（5）：27-32，51.

[9] DI MITRI D，SCHNEIDER J，SPECHT M，et al. From signals to knowledge： a conceptual model for multimodal learning analytics[J]. Journal of computer assisted learning，2018，34（4）： 338-349.

[10] RACA M， DILLENBOURG P. Holistic analysis of the classroom[C]//Proceedings of the 2014 ACM Workshop on Multimodal Learning Analytics Workshop and Grand Challenge. New York：ACM，2014：13-20.

[11] BOTHA S， AFRICA E K. The effect of a perceptual-motor intervention on the relationship between motor proficiency and letter knowledge[J]. Early childhood education journal，2020，48（6）：727-737.

[12] ECHEVERRA V， AVENDAO A， CHILUIZA K， et al. Presentation skills estimation based on video and kinect data analysis[C]//Proceedings of the 2014 ACM Workshop on Multimodal Learning Analytics. New York：ACM，2014：53-60.

[13] HUSSAIN M. S， MONKARESI H， CALVO R A. Categorical vs. dimensional representations in multimodal affect detection during learning[M]//CERRI S A， CLANCEY W J， PAPADOURAKIS G， PANOURGIA K.ITS 2012： intelligent tutoring systems. Berlin， Heidelberg： Springer， 2012：78-83.

[14] EKATERINA K， DAVID L， STEPHAN M J. Wearable sensors in medical education： supporting hand hygiene training with a forearm EMG[C]//Proceedings of the 12th International Conference on Wearable Micro and Nano Technologies for Personalized Health. Amsterdam：IOS Press，2015：286-291.

[15] OVIATT S， COHEN A， HANG K， et al. Multimodal learning analytics data resources： description of math data corpus and coded documents[C]// Proceedings of the 15th ACM on International Conference on Multimodal Interaction. New York：ACM，2013：1-47.

[16] LU O， ANDRADE A， ALBERTO R， et al. Using a cluster-based regime-switching dynamic model to understand embodied mathematical learning[C]//Proceedings of the 10th International Conference on Learning Analytics and Knowledge. New York：ACM，2020： 496-501.

[17] ALYUZ N， OKUR E， OKTAY E， et al. Semi-supervised model personalization for improved detection of learner's emotional engagement[C]//Proceedings of the 18th ACM International Conference on Multimodal Interaction. New York：ACM，2016：100-107.

[18] CHIKERSA P， TOMPROU M， KIM Y J， et al. Deep structures of collaboration： physiological correlates of collective intelligence and group satisfaction[C]// Proceedings of the 2017 ACM Conference on Computer Supported Cooperative Work and Social Computing. New York：ACM，2017：873-888.

[19] SPIKOL D， RUFFALDI E， DABISIAS G， et al. Supervised machine learning in multimodal learning analytics for estimating success in project-based learning[J]. Journal of computer assisted learning，2018，34（4）：366-377.

[20] LI X，YOUNES R， BAIRAKTAROVA D， et al. Predicting spatial visualization problems' difficulty level from eye-tracking data[J]. Sensors，2020，20（7）：1949-1964.

[21] D'MELLO S K， OLNEY A M， BLANCHARD N， et al. Multimodal capture of teacher-student interactions for automated dialogic analysis in live classrooms[C]// Proceedings of the 2015 ACM on International Conference on Multimodal Interaction. New York：ACM，2015：557-566.

[22] DIKKER S， WAN L， DAVIDESCO L， et al. Brain-to-brain synchrony tracks real-world dynamic group interactions in the classroom[J]. Current biology，2017，27（9）：1375-1380.

[23] ALZOUBI O， D'MELLO S K， CALVO R A. Detecting naturalistic expressions of nonbasic affect using physiological signals[J]. IEEE transactions on affective computing，2012，3（3）：298-310.

[24] GRAFSGAARD J F， WIGGINS J B， BOYER K E， et al. Predicting learning and affect from multimodal data streams in task-oriented tutorial dialogue[C]// Proceedings of the 7th International Conference on Educational Data Mining. London，UK： CEUR，2014：122-129.

[25] SOLEYMANI M J， LICHTENAUER T P， PANTIC M. A multimodal database for affect recognition and implicit tagging[J].IEEE transactions on affective computing，2012，3（1）：42-55.

[26] 田陽，陳鵬，黃榮懷，曾海軍.面向混合學習的多模態交互分析機制及優化策略[J].電化教育研究，2019，40（9）：67-74.

[27] SHANKAR S K，? RUIZ-CALLEJA A， SERRANO-IGLESIAS S， et al. A data value chain to model the processing of multimodal evidence in authentic learning scenarios[C]// Proceedings of CEUR Workshop LASI Spain. Vigo，Spain： CEUR，2019：71-83.

[28] CUKUROVA M， LUCKIN R， MILLAN E， et al. The NISPI framework： analysing collaborative problem-solving from students' physical interactions[J]. Computers & education，2018（116）： 93-109.

[29] CHEN L， FENG G， JOE J， et al. Towards automated assessment of public speaking skills using multimodal cues[C]//Proceedings of the 16th International Conference on Multimodal Interaction. New York：ACM，2014：200-203.

[30] GROVER S， BIENKOWSKI M， TAMRAKAR A， et al. Multimodal analytics to study collaborative problem solving in pair programming[C]//Proceedings of the Sixth International Conference on Learning Analytics & Knowledge. New York：ACM，2016：516-517.

[31] LAHAT D， ADAL T， JUTTEN C. Multimodal data fusion： an overview of methods， challenges， and prospects[J]. Proceedings of the IEEE，2015，103（9）：1449-1477.

[32] BALTRUAITIS T， AHUJA C， MORENCY L P. Multimodal machine learning： a survey and taxonomy[J]. IEEE transactions on pattern analysis and machine intelligence，2019，41（2）：423-443.

[33] NEWELL A. Unified theories of cognition[M]. Cambridge，MA：Harvard University Press，1994.

[34] ANDERSON J. Spanning seven orders of magnitude： a challenge for cognitive modeling[J]. Cognitive science，2002，26（1）：85-112.

[35] 王萍.人工智能在教育視頻中的應用分析與設計[J].電化教育研究，2020，41（3）：93-100，121.

[36] WISE A F， SHAFFER D W. Why theory matters more than ever in the age of big data[J]. Journal of learning analytics，2015，2（2）： 5-13.

[37] VAN DER MAAS H L， WAGENMAKERS E J. A psychometric analysis of chess expertise[J]. The American journal of psychology， 2005，118（1）：29-60.