多模態學習情感計算：動因、框架與建議

周進　葉俊民　李超

[摘? ?要] 學習情感是影響學生認知加工與學習效果的重要因素，如何利用多模態數據開展學習情感計算是當前亟待解決的問題。文章在分析情感計算源起與多模態數據融合的基礎上，闡述了多模態情感計算的發展動因，構建了多模態學習情感計算的研究框架，包括以教育場景為導向采集情感數據、依據情感模型展開建模與識別、利用可視化方式表達與反饋情感、結合情感歸因來干預與調節學習過程等。基于現有研究案例，將多模態學習情感計算的應用歸納為開發學習情感識別系統、增強智能學習工具、支持學習干預與決策、探索學習情感的作用機制等方面。未來多模態學習情感計算應平衡數據采集侵入性與真實性、提升數據模型可解釋性、綜合衡量學習狀態以及拓展教育應用探索與創新。

[關鍵詞] 情感計算; 多模態; 人工智能; 學習情感; 學習分析

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 周進（1993—），男，湖北鄂州人。博士研究生，主要從事學習分析研究。E-mail：jinzhou2019@mails.ccnu.edu.cn。葉俊民為通訊作者，E-mail：jmye@mail.ccnu.edu.cn。

一、引? ?言

人類情感與認知加工緊密關聯，對記憶、注意、思維等過程起調節作用，可以顯著影響學習結果[1]。當前人工智能與教育深度融合，賦予教學創新與教育變革前所未有的歷史機遇，但同時給學生社會情感學習帶來沖擊[2]，情感教育與情感交互的需求日益凸顯。此外，智能教育要實現全面感知和分析學習過程，情感是不可忽視的重要因素。而情感計算通過計算機系統識別、推理與表達人類情感[3]，是感知與理解學習情感、增強情感交互、促進人機協同的重要途徑，也是當前教育研究較為活躍的前沿領域。

教育智能時代，多模態數據與機器學習融合有助于理解和分析復雜的學習現象，比單一數據源更能深入刻畫學習者的相關學習行為[4]。從這個意義上講，多模態數據已成為學習分析的必要條件與發展趨勢[5]。學習情感作為學習分析的重要維度，如何利用多模態數據開展情感計算，以實現教學過程中對學習情感的準確評估與跟蹤反饋是當下亟待解決的問題。基于此，文章聚焦于多模態學習情感計算，從動因、研究框架、應用案例與發展建議四個模塊，探討多模態數據賦能情感計算的方法與趨勢，為學習情感的相關研究與實踐提供參考與借鑒。

二、多模態學習情感計算及其動因

（一）情感計算的源起

在教育領域中，情感分析研究肇始于20世紀30年代，研究對象集中于學習過程中的焦慮情緒[6]。這期間形成了分析焦慮情緒的相關方法與理論，比如考試成就焦慮的心理學分析方法、成就動機理論等。經過半個多世紀的發展，情緒動機的學習研究引起了教育領域的關注，隨后學界逐步拓展與學習過程相關的情感研究。1997年皮卡德教授的標志性著作《情感計算》正式出版[3]，直接推動了情感計算的發展及其在各領域的應用。相關研究聚焦于用技術實現情感的檢測、識別與反饋，試圖在計算機與人類情感間建立聯系，以促進人與工具間的情感交互。然而，受限于當時的技術條件等各方面因素，情感計算教育應用并未引起廣泛關注。

邁入21世紀，在智能技術與教育神經科學推動下，學習情感計算的相關研究與應用呈現快速發展態勢。國際學術界加強學習情感與認知過程的關系探索，并繼承與創新已有學習理論，形成了多媒體學習的認知情感理論（CATLM）與成就情緒的控制—價值理論（CVT）。認知情感理論認為，多媒體學習材料的情緒設計能影響學習者的認知加工、態度和動機，同時學習者自身特征也是影響多媒體學習情感的重要因素[7]。而控制—價值理論闡述了學習過程中所經歷情緒的前因與結果，能作為技術賦能環境下學習情感研究的元理論[6]。可以說，上述理論進一步推動了情感計算在教育領域的發展與應用，為后續相關研究提供了理論指導。

進入2010年后，情感計算被廣泛應用于教育領域[1]，期間各類學習系統利用情感計算技術發展起來，代表性的有情感導學系統（ATS）。該類系統通過采集學習者面部、語音等數據，利用機器學習算法分析與處理情感信息，以識別與反饋情感狀態，進而為學習者提供個性化導學策略。此外，學習情感計算也從單模態走向多模態數據融合，其中，深度學習、便攜式傳感技術以及多模態學習分析起到了主要助推作用。

（二）多模態學習情感計算概述

模態是屬于身體或情境中一種可衡量的屬性，其數據獲取與傳遞是以信號通道的方式實現，如麥克風可以對聲音（信號通道）進行采樣以檢測語音（模態），而多模態是將多信號通道的數據進行融合[8-9]。在教育領域中，將多模態數據應用于教育研究更符合人類交流的本質，滿足了跨物理與網絡環境下的建模需求，且新興技術的發展為教育數據采集與處理提供了基礎[8]。結合機器學習算法與豐富的學習數據，多模態分析有助于在各類環境下對學習行為映射的多層次信息進行推理與診斷，其中最突出的用途之一是預測學習情感[10]。一項元分析顯示，基于多模態數據的情感識別效果優于單模態數據，其平均準確度提升了9.83%[11]，因而利用多模態數據表征學習情感已成為情感計算領域的發展趨勢。

多模態學習情感計算是通過采集多模態數據，利用數據融合與建模方法整合多通道情感信息，發現學習過程中真實的情感變化過程，幫助研究者與實踐者理解復雜的學習行為，是突破教育發展瓶頸與優化學習理論的重要途徑。當前，多模態情感測量涉及心理、行為和生理層面，涵蓋文本、語音、面部表情、身體姿態、生理信息等數據維度。其中，心理測量是運用自我報告的方式獲取學習者主觀的情感體驗;行為測量是利用攝像機、麥克風、鼠標、鍵盤等工具采集相關數據來分析學習情感狀態;而生理測量則是采用傳感器捕捉學習者生理反應。通過采用多模態數據融合算法，將多通道信息融合實現對學習情感的識別，在此基礎上進行情感反饋與學習干預。

（三）多模態學習情感計算的發展動因

在過去較長時期內，教育研究常用自我報告或行為觀察的方式來測量學習情感，但分析結果存在主觀不確定性且準確率不高。隨著傳感技術與人工智能的融合應用，通過采集多模態數據來客觀挖掘學習情感已成為教育研究的發展方向。當前，傳感設備日趨微型化、智能化、集成化[12]，極大地提升了數據收集的便捷性。將傳感設備應用于教育研究中，可以實時采集學習過程中的生理數據，包括腦電、皮膚電、肌電、心率、血氧等，這為多模態情感計算提供了更多的數據通道。同時，面對大規模的多源異構數據，深度學習算法為數據處理與分析提供了技術支持。通過特征選擇、數據建模與融合策略，進一步提升多模態情感數據的識別性能。換言之，深度學習與傳感技術的發展是促進多模態學習情感計算發展的外部動因。

20世紀，受笛卡爾的身心二元論影響，學者常忽視了學習情感在認知加工中的調節作用[13]，導致教育研究陷入“重認知輕情感”的現實局面。近年來，學界逐步認識到學習情感的重要價值，并呼吁關注學習情感與優化學習理論[14]。在技術賦能學習環境下，學習情感顯著影響學生的學習投入、認知加工、學習結果等方面。例如在多媒體環境中，學習材料的情緒設計可以提高學習投入，有助于學習者的深層次加工[15]。在教育神經科學研究中，利用功能性磁共振成像（FMRI）發現情緒反應是通過激活杏仁核來增強記憶能力[16]，進一步證實了學習情感與認知加工存在緊密聯系。在學習結果方面，情感是影響學習的關鍵因素，尤其在學習決策、反思等方面起著重要作用[17]。因此，為進一步探尋學習情感在學習過程中的作用機制，真實學習環境下可靠的情感識別方法至關重要，而多模態情感計算為教育研究中的情感識別提供了有力工具與方法。可以說，學習情感的潛在作用是推動多模態情感計算發展的內在動因。

三、多模態學習情感計算的研究框架

多模態數據分析遵循數據發現、數據融合、數據利用三個關鍵步驟，涉及數據采集與標注、數據準備、數據組織、數據整合、數據分析、可視化、決策七個主要過程[18]。作為多模態數據分析的應用領域，多模態學習情感計算同樣遵循此過程。本研究在繼承情感計算研究框架[19]的基礎上，結合多模態數據分析過程，并參考多模態學習分析的概念模型[8]，構建了多模態學習情感計算的研究框架（如圖1所示）。該框架以教育場景為中心，利用相關工具采集多模態情感數據，根據情感模型識別情感狀態，并以可視化方式反饋情感信息，進而提供學習干預與服務。

（一）以教育場景為導向，采集多模態情感數據

在智能技術驅動下，情感計算已由在線場景逐步轉向課堂情境，呈現多元化應用的趨勢[20]。不同教育場景中，情感數據采集的方式有所差別。根據語言與非語言表達方式，結合教育研究中常用的傳感設備，多模態情感數據涉及文本、語音、圖像與生理層面。文本信息可以從論壇、社交平臺、測驗等途徑獲取，并利用情感分析方法[21]挖掘潛在的觀點與情感傾向;語音數據能展現教學情境下學生自然流暢的內容表達，通過分析聲學、語言、上下文信息等特征來獲取語音情感信息;圖像識別技術應用于面部表情、身體姿態、手勢等維度分析，是多模態分析中常用的方法，其數據來源是利用攝像頭采集學習過程數據;生理數據主要來源于心臟、大腦和皮膚，借助傳感設備采集心率、腦電、皮膚電等信息，獲取身體受到生理刺激時的情緒反應。

在多模態情感數據采集過程中，相關數據可以源自學習行為，也可以從學習環境中提取。比如學習過程中學生面部朝向、身體位置、注視方向等。數據采集過程需要確定合適的傳感設備與工具，以捕獲特定學習場景中選定的模態信息，并設計用于序列化多個傳感器數據流的軟件體系結構。

（二）依據情感模型，建模與識別情感狀態

情感生成于人與環境的相互作用過程，反映在多個維度的變化（神經生物學變化、生理反應、肢體表達、行為趨向等）中，并且受個體差異（如情感特質）的調節。在情感信息采集的基礎上，通過數據標注與分類，實現多模態學習情感識別，其過程如圖2所示。從數據表征的角度看，學習情感標簽可以是數值區間或離散范疇，這取決于所采納的情感模型。常用的情感模型有基本情感、維度情感與學業情感。一般而言，數據標注有專家觀察、學習者自我報告兩種方法，每種方法都存在各自的優點與不足，并且都受到主觀偏見的影響。專家觀察可以不影響學習進程，但成本高、難組織;而自我報告會產生不平衡的情感類別分布，意味著需要壓縮采樣（Down-sampling），可能會造成數據丟失[22]，但該方法即時報告的數據比回顧評估數據的可信度要高[23]。

從人工標注的學習標簽中建立數據模型，需要考慮情感特征、數據融合、情感預測與結果驗證。由于多模態數據中并非所有特征對機器學習都有意義，特征選擇與提取是降低數據噪音、提高數據質量的重要途徑，其方法有主成分分析、隨機深林、貝葉斯方法等;在數據融合階段，需要對不同模態信息進行整合，其策略包括特征融合、決策融合、模型融合等;在此基礎上，運用分類算法預測學習情感結果;最后驗證階段，將預測結果與人工標注結果進行比較，以調整與優化訓練參數，進而確定所建立的數據模型，便于后續新的原始數據的分析與處理。

（三）可視化表達與反饋學習情感

由于學習是極為復雜的過程，涉及情感、認知等層面，以可視化方式表達學習情感有助于研究者理解情感與認知的演化機制。對于學習者而言，可視化反饋能促進與學習系統的情感交互，提升系統交互友好性與學習體驗，彌合“情感缺失”的局限;同時，情感表達能對學習心理進行調整與優化，實現對學習過程的自我監督、調控與反省;可視化情感還能培養個體的情感技能，尤其在自閉癥兒童的情感教育中具有無法比擬的價值潛能。

當前，學習情感可從虛擬與實體兩個層面實現可視化表達與反饋。虛擬層面主要以儀表盤與擬人表情的方式呈現。儀表盤是采用圖示和文本將情感動態變化過程呈現出來，幫助教師全面了解學習過程;擬人表情通過模擬學習過程中的面部表情，以擬人方式實時表達情感狀態，能激發學生的學習興趣與熱情。在實體層面，教育機器人將多模態情感信息以語音和機器人表情的方式進行反饋，以促進兒童與機器人的情感交互[24]。總的來說，情感的可視化表達與反饋，架起了機器學習、情感計算與學習科學的橋梁，幫助人類理解復雜的學習過程。

（四）結合情感歸因，動態干預與調節學習過程

理解特定情感狀態的觸發原因，對于提供精準的干預措施至關重要，而在情感狀態與潛在原因不匹配的情況下提供學習干預是無效的，甚至可能起負面作用[25]。換句話說，理解與明確引發學習情感的潛在原因，對提供學習干預措施極為關鍵。一般而言，如果學習者能管理好自身的消極情感狀態，其學習效果會顯著提升[26]。因而，干預與調節學習者的消極情感，以幫助提升學習效率與學習表現，是當前研究關注的重要問題。

依據控制—價值理論，學習過程中涉及的消極情感有焦慮、沮喪、困惑、無聊等，其情感歸因包括學習任務、學習結果、個體特征與學習環境四個層面[14]。同時，該理論也提供了情感調節的常見要素，例如任務難度、先前知識、認知支持（內容提示、同伴幫助、教師輔導）、學習材料情緒設計、任務質量、歸因反饋等[6]。基于此，本研究設計了面向消極情感的學習干預機制（如圖3所示）。該機制以調節學習者消極情感為主要目標，通過情感歸因的方法理解消極情感的觸發因素，在此基礎上運用干預引擎匹配和選擇合適的干預策略，實現動態調節學習情感與學習行為。

四、多模態學習情感計算的典型應用

（一）開發學習情感識別系統

學習情感識別是多模態情感計算教育應用的基礎，依據不同測量通道與應用場景開發情感識別系統，能夠實現學習情感的客觀準確識別。在數字化學習環境中，Ray等人設計并開發了多模態學習情感識別系統[27]。該系統利用傳感器和攝像頭采集生理信號（心率、皮膚電、血壓）與面部表情，運用人工神經網絡模型與決策級融合策略對六種學習情感進行識別。數據分析顯示，該系統的情感識別準確度達71.38%。隨著深度學習技術的快速發展，課堂環境下的多模態情感識別成為研究新趨向。Ashwin等人通過攝像頭采集學生的面部表情、手勢與身體姿態數據，利用卷積神經網絡算法與特征融合策略，實現對投入、無聊和中立三種情感狀態的自動識別[28]。結果發現，真實課堂環境下學習情感識別的準確度達70%。上述研究表明，基于多模態數據的學習情感識別系統具有良好的應用前景，但其情感識別的準確度有待提升。

（二）增強智能學習工具

將多模態情感計算以模塊化的方式嵌入學習系統中，可以增強系統的情感感知能力，進一步提升學習體驗與優化學習交互。在自適應學習系統中，Lin等人整合面部表情、語義信息與皮膚電信號來提升系統的情感識別能力，并以學習儀表盤的方式呈現情感分析結果，幫助教師及時掌握學習狀態與調整教學策略[29]。薛耀鋒等人采集在線學習過程中面部表情、文本和語音信息，來賦能在線學習平臺的情感識別能力[30]。而在教育機器人中，通過采集兒童與機器人交互過程中的語言信息（文本、語音）與非語言信息（面部表情、身體位置、頭部姿態），以實現對兒童學習情感狀態的自動分析，可提升兒童與機器人之間的學習交互體驗[24]。可以說，多模態情感計算在賦能自適應學習系統、在線學習平臺、教育機器人等方面具有可觀的應用潛能。

（三）支持學習干預與決策

基于學習成績或學習行為展開教學干預存在一定局限，諸多研究嘗試從情感角度進行學習干預。Ashwin等人通過采集學生的面部表情、手勢和身體姿態來分析與預測學生的情感狀態，在此基礎上實現學習干預[31]。將該方法應用于在線學習、翻轉教學、課堂教學以及網絡研討中，發現所提出的干預策略提高了學生學習成績，并且無聊情感分別下降65%、43%、43%與53%。Standen等人利用多模態情感計算實現對投入、挫折與無聊情感狀態的自動分析，在此基礎上向學習者推薦學習內容，來保持學習者最優的情感狀態以最大限度提升學習效率[32]。結果表明，結合學習情感的內容推薦會提升學生學習投入，有助于學習者保持良好的學習狀態，但對學習成績的影響還有待證明。類似的，也有研究嘗試探討基于學習情感來制定與選擇教學策略[33]。總的來說，研究人員逐步意識到學習干預與教學決策中結合學習情感的必要性。

（四）探索學習情感的作用機制

近年來，學習理論與實踐的重大轉變是充分融合認知與學習情感，并積極探索情感在學習過程中的作用機制。Bahreini等人在教育游戲中通過識別面部與語音信號向玩家反饋情感信息，以訓練和提升學習者的社交溝通能力[34]。研究發現，游戲過程中情感的自動反饋可以提升學習者的社交溝通能力。另外，Wang 等人利用所開發的多模態情感導學系統，分析情感因素對學習者的交互滿意度與學習表現的影響[35]。結果表明，該系統通過提供情感感知與反饋提升了學生學習效果與滿意度。該研究還指出，情感計算教育應用能提升學生學習興趣與保持積極學習態度，并有望得到廣泛應用。上述研究表明，情感感知與反饋對促進學生學習具有積極作用。而最近一項研究證實，學習情感與學習表現間存在正相關關系，且相關系數為0.74[31]。然而，學習情感與認知過程的演化機制還缺乏探討，后續相關研究可圍繞該主題進行探索。

五、多模態學習情感計算的發展建議

（一）降低數據采集的侵入性，平衡數據真實性與準確性

情感數據采集需要借助相關工具或設備，如視頻監控、生理感知設備等。有調查顯示，大部分學生認為課堂環境下應用監控設備是對隱私的侵犯[36];而生理信息采集需要特定傳感設備的支持，其侵入性較大，難以保證數據的真實性[20]。可以說，相關設備的介入會引發學生的不適應，降低學習者的思維活躍度，數據真實性與準確性難以平衡，進而影響研究結果的可靠性[37]。在教育研究中，多模態情感數據采集應結合輕量型傳感設備，進行伴隨式采集多通道信息，將設備引發的干擾降到最低，力求情感數據的真實性。同時借助自我報告或專家觀察的方式，收集學習過程中的質性數據，進一步增強分析結果的準確性。對于教育裝備服務商而言，應加大輕量型傳感設備的研發，以優化情感數據采集的設備與產品。

（二）提升數據模型可解釋性，促進學習情感歸因

由于多模態數據固有的特殊性，研究人員在處理與分析情感數據時常用到機器學習算法。而算法本身存在“黑箱”，即輸入多模態情感數據，輸出是學習情感類別，研究者無法檢視算法模型是如何完成工作的，這也意味著模型的可解釋度不高。因而，無法確定何種因素是激活消極情感的主導因素，給情感歸因造成一定困難。針對上述問題，相關研究也不斷探索提升數據模型可解釋性的方法。其中，教育領域常用的解決方案是“灰盒”方法[10]。該方法認為，首先應根據相關理論與文獻分析來確定所要提取的特征，然后利用機器學習進行必要的計算分析，期間嚴格遵循機器學習的應用邊界，從而避免無法解釋情感分析結果的局面。換句話說，“灰盒”方法旨在幫助研究人員找到最優手段（算法），而非最優目標（輸出）。目前“灰盒”方法已在多模態學習分析中展現出可觀的應用潛力，未來研究可將此方法應用于多模態情感計算中，以降低學習情感歸因的難度。

（三）綜合衡量學習狀態，增強學習干預精準性

情感支持的學習干預對學習結果有重要影響。然而，僅從學習情感的角度進行干預，沒有建立學習情感與個體特征、學習行為等層面關聯，導致無法全面感知學習者的學習狀態，勢必會影響學習干預的精準性。換句話說，學習情感是學習干預的必要不充分因素，還需綜合衡量學習過程中的其他因素。未來研究一方面要將學習情感與可觀測、可干預的個體特征結合，如認知能力、認知結構、學習態度等[38];另一方面需同步情感數據與學習行為數據，構建完整的“數據鏈條”。以此突破情感或學習行為的單一視角，從多方面綜合考慮學習干預措施，以提升干預的精準性。

（四）拓展教育應用探索，推動情感計算實踐創新

情感計算教育應用是為解決在線學習中“情感缺失”而發展起來，其應用集中于在線教育場景中。在多模態分析的推動下，學習情感計算的實踐探索逐步從在線環境轉向課堂環境。但受“路燈效應”影響，多模態情感計算的應用情境仍然較為局限，其廣泛應用還存在一定距離。為滿足情感計算在多元場景中的應用需求，未來研究應嘗試物理情境、混合環境下情感數據的采集與分析，通過線上行為數據與線下情感信息結合，全面感知與持續跟蹤學習者的學習狀態。另外，多模態分析也適用于監測和分析兒童的情感反應與行為模式[39]，且兒童比成人更傾向于情感表達[40]，因而相關研究可探索低年齡段學習者的情感狀態，以充分理解學習行為的發生機制，為教育改革與創新提供有效參考。

六、結? ?語

總的來說，本研究從智能技術發展與學習情感的內在價值出發，闡述了多模態學習情感計算的發展動因，并根據多模態數據分析過程，構建了多模態學習情感計算的研究框架，為綜合分析學習情感與評估學習過程提供了方向與思路。然而，我國多模態學習情感計算尚處于起步階段，相關研究與實踐探索任重道遠。不過，隨著人工智能與教育的深度融合，多模態學習情感計算勢必會成為推動智能教育發展的中堅力量。

[參考文獻]

[1] WU C， HUANG Y， HWANG J. Review of affective computing in education/learning： trends and challenges[J]. British journal of educational technology， 2016， 47（6）： 1304-1323.

[2] 李澤林，陳虹琴.人工智能對教學的解放與奴役——兼論教學發展的現代性危機[J].電化教育研究，2020，41（1）：115-121.

[3] PICARD R W. Affective computing[M]. Cambridge： MIT Press， 1997.

[4] GIANNAKOS M N， SHARMA K， PAPPAS I O， et al. Multimodal data as a means to understand the learning experience[J]. International journal of information management， 2019（48）： 108-119.

[5] 張琪，王紅梅.學習投入的多模態數據表征：支撐理論、研究框架與關鍵技術[J].電化教育研究，2019，40（12）：21-28.

[6] LODERER K， PEKRUN R， LESTER J C. Beyond cold technology： a systematic review and meta-analysis on emotions in technology-based learning environments[J]. Learning and instruction， 2020（70）： 1-15.

[7] MORENO R. Does the modality principle hold for different media？ a test of the method-affects-learning hypothesis： modality principle[J]. Journal of computer assisted learning， 2006， 22（3）： 149-158.

[8] DI MITRI D， SCHNEIDER J， SPECHT M， et al. From signals to knowledge： a conceptual model for multimodal learning analytics[J]. Journal of computer assisted learning， 2018， 34（4）： 338-349.

[9] NIGAY L， COUTAZ J. A design space for multimodal systems： concurrent processing and data fusion[C]//Proceedings of the SIGCHI conference on Human factors in computing systems-CHI '93. Amsterdam， The Netherlands： ACM Press， 1993： 172-178.

[10] SHARMA K， PAPAMITSIOU Z， GIANNAKOS M. Building pipelines for educational data using AI and multimodal analytics： a "grey-box" approach[J]. British journal of educational technology， 2019， 50（6）： 3004-3031.

[11] D'MELLO S K，KORY J. A review and meta-analysis of multimodal affect detection systems[J]. ACM computing surveys，2015，47（3）：1-36.

[12] 李卿，任緣，黃田田，等.基于傳感數據的學習分析應用研究[J].電化教育研究，2019，40（5）：64-71.

[13] JAQUES P A， VICARI R M. A BDI approach to infer students emotions in an intelligent learning environment[J]. Computers & education， 2007， 49（2）： 360-384.

[14] PEKRUN R. The control-value theory of achievement emotions： assumptions， corollaries， and implications for educational research and practice[J]. Educational psychology review， 2006， 18（4）： 315-341.

[15] LEUTNER D. Motivation and emotion as mediators in multimedia learning[J]. Learning and instruction， 2014（29）： 174-175.

[16] MCGAUGH J L. Emotional arousal regulation of memory consolidation[J]. Current opinion in behavioral sciences， 2018（19）： 55-60.

[17] SANDANAYAKE T C， MADURAPPERUMA A P. Affective e-learning model for recognising learner emotions in online learning environment[C]// International Conference on Advances in ICT for Emerging Regions. Colombo， Sri Lanka： IEEE， 2013： 266-271.

[18] 汪維富，毛美娟.多模態學習分析：理解與評價真實學習的新路向[J].電化教育研究，2021，42（2）：25-32.

[19] TAO J， TAN T. Affective Computing： A Review[C]// TAO J， TAN T， PICARD R W. Affective Computing and Intelligent Interaction. Berlin： Springer， 2005： 981-995.

[20] 葉俊民，周進，李超.情感計算教育應用的多維透視[J].開放教育研究，2020，26（6）：77-88.

[21] 周進，葉俊民，王志峰，等.國外情感分析教育應用的進展與啟示[J].現代教育技術，2020，30（12）：34-40.

[22] HUSSAIN MD S， MONKARESI H， CALVO R A. Categorical vs. dimensional representations in multimodal affect detection during learning[G]//CERRI S A， CLANCEY W J， PAPADOURAKIS G， et al. Intelligent Tutoring Systems. Berlin， Heidelberg： Springer Berlin Heidelberg， 2012， 7315： 78-83.

[23] EDWARDS A A， MASSICCI A， SRIDHARAN S， et al. Sensor-based methodological observations for studying online learning[C]//Proceedings of the 2017 ACM Workshop on Intelligent Interfaces for Ubiquitous and Smart Learning. Limassol： ACM Press， 2017： 25-30.

[24] CHEN J， SHE Y， ZHENG M， et al. A multimodal affective computing approach for children companion robots[C]//Proceedings of the Seventh International Symposium of Chinese CHI on - Chinese CHI '19. Xiamen： ACM Press， 2019： 57-64.

[25] D'MELLO S. A selective meta-analysis on the relative incidence of discrete affective states during learning with technology[J]. Journal of educational psychology， 2013， 105（4）： 1082-1099.

[26] D'MELLO S， CALVO R A. Beyond the basic emotions： what should affective computing compute？ [C]//CHI '13 Extended Abstracts on Human Factors in Computing Systems on - CHI EA '13. Paris： ACM Press， 2013： 2287- 2294.

[27] RAY A， CHAKRABARTI A. Design and implementation of technology enabled affective learning using fusion of bio-physical and facial expression[J]. Educational technology & society， 2016， 19（4）： 112-125.

[28] ASHWIN T S， GUDDETI R M R. Automatic detection of students' affective states in classroom environment using hybrid convolutional neural networks[J]. Education and information technologies， 2020， 25（2）： 1387-1415.

[29] LIN H K， SU S， CHAO C， et al. Construction of multi-mode affective learning system： taking affective design as an example[J]. Educational technology & society， 2016， 19（2）： 132-147.

[30] 薛耀鋒，楊金朋，郭威，等.面向在線學習的多模態情感計算研究[J].中國電化教育，2018（2）：46-50，83.

[31] ASHWIN T S， GUDDETI R M R. Impact of inquiry interventions on students in e-learning and classroom environments using affective computing framework[J]. User modeling and user-adapted interaction， 2020（30）： 759-801.

[32] STANDEN P J， BROWN D J， TAHERI M， et al. An evaluation of an adaptive learning system based on multimodal affect recognition for learners with intellectual disabilities[J]. British journal of educational technology， 2020， 51（5）： 1748-1765.

[33] LIN H K， WANG C， CHAO C， et al. Employing textual and facial emotion recognition to design an affective tutoring system[J]. The turkish online journal of educational technology， 2012， 11（4）： 418-426.

[34] BAHREINI K， NADOLSKI R， WESTERA W. Communication skills training exploiting multimodal emotion recognition[J]. Interactive learning environments， 2017， 25（8）： 1065-1082.

[35] WANG C， LIN H K. Emotional design tutoring system based on multimodal affective computing techniques[J]. International journal of distance education technologies， 2018， 16（1）： 103-117.

[36] 鄭祖偉，曹陽.教室里的電子眼在看什么[EB/OL].（2013-05-27）[2020-12-05].http：//edu.people.com.cn/n/2013/0527/c1053-2162 8580.html.

[37] 晉欣泉，王林麗，楊現民.基于大數據的在線學習情緒測量模型構建[J].現代教育技術，2016，26（12）：5-11.

[38] 樊敏生，武法提.數據驅動的動態學習干預系統設計[J].電化教育研究，2020，41（11）：87-93.

[39] CRESCENZI‐LANNA L. Multimodal learning analytics research with young children： a systematic review[J]. British journal of educational technology， 2020， 51（5）： 1485-1504.

[40] BAKER R S J D.， D'MELLO S K， RODRIGO MA M T， et al. Better to be frustrated than bored： the incidence， persistence， and impact of learners' cognitive-affective states during interactions with three different computer-based learning environments[J]. International journal of human-computer studies， 2010， 68（4）： 223-241.