雙師課堂中的多模態學習情感分析：關鍵問題、邏輯理路與實施路線*

蔣艷雙 崔 璨 逯 行 祁彬斌 包昊罡

雙師課堂中的多模態學習情感分析：關鍵問題、邏輯理路與實施路線*

蔣艷雙1崔 璨2[通訊作者]逯 行3祁彬斌1包昊罡4

（1．北京師范大學互聯網教育智能技術及應用國家工程研究中心，北京 100875；2．海軍大連艦艇學院教研保障中心，遼寧大連 116018；3．浙江師范大學浙江省智能教育技術與應用重點實驗室，浙江金華 321004；4．中國教育科學研究院基礎教育研究所，北京 100088）

針對雙師教學中遠程授課名師對本地學生的學習情感感知不足、授課成效不佳等問題，文章提出通過融合情感計算和大數據分析等方法，構建多空間融合視域下多模態情感分析的理論框架，探索基于多模態數據融合的學生學習情感識別與智能評估，挖掘基于時序“學習情感-空間”聯合建模的學生群體情感演化機理。在此基礎上，建立多模態情感分析教育應用平臺，分析基于原型系統的教學驗證及干預方案。文章期望通過研究雙師課堂中多模態學習情感分析的關鍵問題、邏輯理路與實施路線，揭示學生在雙師教學視域下的學生情感發展機制，拓展學生群體情感的干預實踐，為“雙師”課后教研提供技術支撐與行動指南。

雙師課堂；情感計算；多模態數據融合；學習分析

引言

2021年，教育部等六部門發布《關于推進教育新型基礎設施建設構建高質量教育支撐體系的指導意見》，強調要推動“三個課堂”，開發基于大數據的智能診斷等應用[1]。為“三個課堂”提供個性化和智能化教學服務，推進城鄉教育優質、均衡發展，成為我國教育數字化轉型進程中的重要內容。雙師課堂作為推進“三個課堂”落地應用的新型教學形態，是一種由遠程授課名師和本地伴學教師協同完成教學活動的教學方式。但是，目前雙師課堂教學存在遠程名師對本地學生情感的感知能力不足，導致授課成效有待提升的問題[2]。學生情感是教學活動中的一種非智力因素，與認知加工息息相關，能夠顯著影響學生的思維發展和學習結果[3]。隨著情感計算技術與多模態學習分析的快速發展，計算機逐步具備感知、識別、理解、適應學生情感特征的能力，可進一步提升雙師課堂環境下對本地學生的情感感知能力。基于此，本研究面向雙師教學場域，通過多模態數據融合的方式，挖掘學生的情感傾向及其與同伴之間的情感關聯模式，以期為遠程授課名師與本地伴學教師在課后開展聯合教研提供技術支撐。

一 雙師課堂中多模態學習情感分析的適用性

1 以雙師課堂為代表的新型教學形態

伴隨著5G、虛擬現實、情感計算等新一代信息技術的快速應用，學習環境逐步由原來的單一或混合式空間結構轉變為跨越“物理空間、虛擬空間和網絡空間”的融合樣態[4]。多空間融合的樣態催生出多種新型教學形態，包括同步互動課堂和雙師課堂等。其中，雙師課堂以多維化交互、全業務協同的特征，受到了越來越多研究者的青睞。在雙師課堂中，名師以互動直播或錄播的方式開展遠程互動教學，伴學教師則負責本地課堂的內容輔導和紀律維持。然而雙師課堂的問題在于，師生之間缺乏臨場的情感交互體驗，導致本地學生的學習成效不佳，這也是雙師教學效果不理想的癥結之所在。

2 課堂情境下的多模態情感分析

（1）情感計算與情感表示

情感是影響學生的學習狀態及其學習結果的關鍵要素。1997年，麻省理工學院教授Picard[5]出版《情感計算》一書，直接推動了情感計算的發展及其在教育領域的應用。隨著人工智能和大數據技術的發展，情感計算可為識別、分析、理解學生的情感狀態提供技術支撐。一般情況下，情感以“Sentiment”和“Emotion”兩個英文術語表示，兩者均以提取一組情感標簽的方式來識別情感，不同之處在于：前者側重于情感極性分類，通常采用高度相關或相互依賴的二元分類任務，分析學生主觀感覺的傾向性[6]，也有研究以實數的形式對學生的情感狀態進行評分[7]；而后者側重于較為細粒度的情感分類，通常采用認知心理學領域的情感表示模型對學生差異化情感進行表征，具體包括OCC（Ortony,Clore&Collins）模型、PAD（Pleasure-Arousal-Dominance）模型、HMM（Hidden Markov Model）模型、情感動力模型等[8]。情感表示模型可為情感分類、極性分類和觀點挖掘等情感分析問題提供理論基礎和行動指南。

（2）多模態數據融合及群體情感分析

近年來，情感計算技術逐步應用于教育領域，受到越來越多研究者的關注。在智能技術的驅動下，深度學習和多模態學習分析助推情感計算從單模態轉向多模態數據融合，支撐教育領域中全場景數據的智能感知。有研究發現，基于多模態數據的情感識別效果優于單模態數據，其平均準確度提升了9.83%[9]。當前，多模態情緒感知主要涉及行為數據[10]、文本數據、語音數據、面部表情數據、心理數據、學習情境數據[11]、生理數據[12]等。隨著多模態學習分析的發展，情感計算教育應用已由在線學習場景拓展至真實課堂[13]。目前，有研究能夠實現課堂情境下無干擾地采集學生的面部表情、手勢和身體姿態等多模態數據，以分析學生的情感狀態與學習投入[14]；有研究采集課堂協作學習時高中生的面部表情，以識別學習過程中的意見領袖[15]；還有研究探討大學課堂環境下學生情感狀態的自動識別方法[16]，以幫助教師實時掌握課堂教學過程中學生的情感投入狀態。在群體情感分析方面，有研究采用基于情感詞匹配的方法并結合句法分析，對微博群體情感分析進行了有效探索[17]；也有研究采用細胞自動機模型比較時變特性，分析了網絡環境下用戶的群體情感[18]。

綜合上述研究，基于多模態情感分析，智能感知與計算設備已能對雙師課堂情境中的學生、教師、教學內容、教學資源、教學媒體、教學環境數據進行精準采集與智能分析[19]，形成面向學習全過程的情境感知能力。因此，本研究在雙師課堂情境下，以多模態數據融合的方式識別學生情感狀態，并從情感聚類和時空演化的視角探討學生多人情感的關聯模型，從而對學生及其群體情感狀態進行精準評估與跟蹤反饋，以期為提升雙師課堂的教學成效提供技術方案。

二 雙師課堂中多模態學習情感分析的目標旨向和關鍵問題

1 目標旨向

雙師課堂中多模態情感分析的目標取向和價值旨歸，是實現基于情境感知的全時空、多視角的學生情感建模，具體包括：①要實現雙師課堂中學生學習情感的可解釋，即基于多模態學習分析方法、學習情感分類理論和遠程教學理論，探討面向雙師教學的多模態學習情感分析的理論框架；②要實現雙師課堂中學生學習情感的可計算，即基于多模態數據融合方法，研究學生情感特征深度融合，以及面向雙師教學的、基于多模態數據融合的學生學習情感計算與智能評估；③要實現雙師課堂中學生學習情感的可辨識，即探究群體情感計算方法，挖掘個體之間學生情感的共現規律，提出雙師教學場域下學生群體情感的關聯模式與可視分析；④要實現雙師課堂中學生學習情感的可調控，即構建多模態學習情感計算應用平臺與適應性實證方案，以揭示多空間融合視域下的學生情感發展機制，拓展群體情感的干預實踐，從而促進教育質量提升和學生個性化發展。

2 關鍵問題

針對多模態學習情感分析的目標旨向，雙師課堂情境下的雙師教學研究面臨三個關鍵問題，分別是：多模態學習情感分析的理論框架構建、學習情感的多模態數據化表征、學生群體情感的關聯模式挖掘。以上三個關鍵問題，是開展雙師課堂中多模態情感分析的核心驅動力。

（1）關鍵問題一：多模態學習情感分析的理論框架構建

多模態學習情感分析的理論框架構建，是指厘清雙師課堂情境下多模態學習情感分析的基本要素和關系結構，側重于對其基本內涵和本質屬性的闡釋，可實現多空間融合視域下學生情感的可解釋。隨著5G、虛擬現實、大數據等技術的發展，以雙師課堂為代表的多空間融合視域逐步呈現出泛在感知、人機協同的特征。在此背景下，明晰學習情感類型及其影響因素成為了情緒感知進程中的基礎性工作。為此，需要結合基本情感理論和遠程教學理論，探討多空間融合視域下多維、細粒度的學習情感分類，構建系統性、層級化多模態情感分析理論框架，從而指導雙師教學實踐。

（2）關鍵問題二：學習情感的多模態數據化表征

學習情感的多模態數據化表征，是指建立雙師教學場域中的學生情感識別算法模型，動態表征個體學習情感狀態的變化情況。從學術研究視角來看，教育研究中的情感計算問題往往強調開展單一模態的模型研發和方法創新。與傳統的、基于經驗的定性研究和單模態分析相比，基于多模態數據融合的學習情感量化研究具有較高的精確性，尤其是在大數據技術的驅動下，學習情感的多模態數據化表征有利于建立起多種模態之間的數據關系[20]。為此，雙師課堂作為融合“物理—人類社會—信息”的智能學習空間，應具備能夠支撐學生心理測評數據、外在行為數據、學業測評數據等多模態數據采集和處理的能力，通過對多個單一情感通道的互補信息進行多結果擬合，來研判學生的學習情感傾向[21]，為學生提供個性化的學習支持服務，進一步探索規模化教育和個性化培養有機結合的有效路徑。

（3）關鍵問題三：學生群體情感的關聯模式挖掘

學生群體情感的關聯模式挖掘，是指通過挖掘個體之間情感行為的共現規律，探究群體情感計算方法，構建雙師課堂情境下的學生群體情感關聯模式。具體而言，從課堂活動、知識主題、遠程交互的視角出發，應利用基于時序的關聯規則運算方法挖掘學生群體情感的潛在特征，對學生群體情感的時空演化機理、共現規律和關聯模式進行系統性分析，探究雙師課堂情境的創設、學習活動的設計如何對學生及其群體情感形成適應性干預機制。適應性干預機制即在數據驅動下，探索學習情感發展所涉的影響因素、各因素的功能以及因素之間的相互關系，構建學生情感的測量與干預模型，揭示雙師課堂教學中學生情感干預的研究規律。

三 雙師課堂中多模態學習情感分析的邏輯理路

針對多模態學習情感分析的理論框架構建、學習情感的多模態數據化表征和學生群體情感的關聯模式挖掘這三個關鍵問題，圍繞情感計算教育應用和個性化學習服務的迫切需求，本研究從理論研究、個體建模、群體建模、實證研究等四個維度，開展雙師課堂情境下多模態學習情感分析的基礎理論研究和關鍵技術研發，以實現多空間融合視域下學習情感的可解釋、可計算、可辨識、可調控目標，具體的內容邏輯關系如圖1所示。

1 理論研究：多空間融合與學生情感發生的學理匯集

針對關鍵問題一，可主要開展理論研究，側重于對多空間融合視域下的學生情感分析理論框架進行探究，旨在實現學習情感的可解釋。具體來說，可以結合多模態學習分析和遠程教學理論，聚焦物理空間、資源空間、社交空間和虛擬空間等融合學習空間[22]，明晰雙師課堂的典型形態，構建面向多空間融合視域的多維、細粒度學生情感分類模型，探究學生情感與學習因素（如領域知識、認知目標、群體類型）組合的教學實驗設計規則，分析雙師教學方式對本地學生認知發展和情感發生的影響機制，為構建學習情感的量化模型提供理論支撐。

2 個體建模：雙師課堂與多模態學習情感分析雙向賦能

針對關鍵問題二，可主要開展個體建模研究，側重于對多模態數據融合策略進行研究，旨在實現學習情感的可計算。在具體的雙師教學實踐中，可以利用3D深度感知攝像頭、4K超高清攝像頭等設備對自然狀態下學生的生理、心理和行為等數據進行采集、量化與分析，建立標準數據集合，從而為多模態學習情感的建模、評估和干預提供“數據基座”。同時，可以面向雙師課堂中智能情境感知的需求，挖掘學習過程中學生的動作姿態、面部表情、聲音和文本等多模態情感特征，利用不同模態信息之間的互補機制構成最佳情感特征向量，進而建立多模態數據驅動的學習情感識別算法模型，并運用智能評估方法分析和理解雙師課堂中學生個體的“喜、怒、哀、樂”。

3 群體建模：全時空、多視角學生群體情感的關聯與可視

針對關鍵問題三，可主要開展群體建模研究，側重于對全時空、多視角的學習情感進行聯合建模，旨在實現學習情感的可辨識。在具體的雙師課堂情境下，可以探究學生群體情感的分析方法，分析學習情感的動態變化情況，開展基于時序的“學習情感—空間”聯合建模，以挖掘本地學生之間的學習情感共現規律，構建雙師課堂情境中的學生群體情感關聯機制。同時，可以增強雙師教學情境的可視感，并依據學習目標和學習任務的不同，引入可視化引擎技術對學生群體情感關聯模式進行可視化分析，從而實現學生群體情感關聯關系的可視化。

4 實證研究：基于原型系統的教學實踐反哺真實課堂

針對關鍵問題三，可主要開展實證研究，側重于多模態學習情感分析教育應用平臺的構建及效果驗證，旨在實現學習情感的可調控，具體可從以下方面著手：①結合人因知識和雙師課堂環境設備的實際情況，探究雙師教學中多感知通道信息的融合呈現；②基于數據驅動的多模態信息感知和可視分析框架，構建多模態學習情感分析教育應用平臺，以可視化支持工具來呈現多模態情感數據的處理結果；③開展基于原型系統的教學驗證及其干預實驗，評估教學應用平臺的有效性；④基于學生情感的多模態數據和學習成效數據，將學生情感算法模型應用于相關實例數據集，依據量化指標對學習情感識別的算法模型進行適應性檢驗。

四 面向雙師教學的多模態學習情感分析實施路線

根據雙師課堂中多模態學習情感分析的邏輯理路，本研究以“理論研究—個體建模—群體建模—實證研究”為全鏈條實施閉環，設計了面向雙師教學的學生多模態情感分析實施路線，具體如圖2所示。

圖2 面向雙師教學的多模態學習情感分析實施路線

1 理論研究：多空間融合視域下多模態學習情感分析的理論框架構建

多空間融合視域下多模態學習情感分析的理論框架構建是理論研究的核心議題，對學習情感分析教育實踐具有指導意義，主要包括學習情感維度確定和學習情感指標劃分兩個環節。其中，學習情感維度確定分為三個步驟：①通過文獻研究，對檢索得到的國內外學習情感的相關文獻進行梳理，分析相關情感分類理論，初步擬定學習情感維度的關鍵詞，確定影響學習情感的潛在變量；②通過半結構化訪談法和問卷調查法，收集師生的反饋意見，進而增補學習情感維度及其影響因素的關鍵詞集；③通過德爾菲法，對領域專家意見的集中度和協調度進行量化分析，增刪相關的關鍵詞集，確定多空間融合視域下學習情感維度及其影響因素的結構。之后，在此基礎上進行學習情感指標劃分，即對各個維度的測量指標進行分析，初步擬定測量指標集，并通過因子分析、信效度檢驗等數理統計方法，構建學習情感及其影響因素的測量指標體系。

2 個體建模：雙師課堂中的多模態學習情感識別與智能評估

雙師課堂中的多模態學習情感識別與智能評估是個體情感建模的主要研究內容，也為群體情感建模提供了前置方案，主要包含三個環節：①數據采集與預處理，是指對學生情感的多模態數據進行采集與預處理，是洞察與分析雙師課堂情境中學習情感現象與規律的基礎性工作。在雙師課堂中，學生的行為數據、文本數據、生理數據等多模態數據均可反映并表征其學習情感狀態。②特征提取，是指對學生情感的多模態數據進行特征值計算與提取。在雙師課堂中，可通過機器學習算法對學生的生理情感信號、面部表情信號、語音情感信號和文本情感信號分別提取情感特征，以構建情感算法模型。③特征融合與情感評估，是指結合不同模態的特點，對上一環節提取的多模態情感特征集以特征級融合或決策級融合的策略進行數據融合，進而評估相對應的學習情感類別屬性。在雙師課堂中，多模態的學習情感特征數據通過一個情感分類器，可得到學生的情感類別標簽，為后續開展群體情感關聯模式構建提供基礎。

3 群體建模：雙師課堂中的學生群體情感關聯模式及可視化分析

雙師課堂中的學生群體情感關聯模式及可視化分析是群體情感建模的關鍵任務。基于學習情感分類，結合線下真實課堂中的空間位置分布和個體情感智能評估結果，可以發現物理空間下學生群體中的情感異常個體，并在此基礎上結合時間序列，基于遠程交互、課堂活動和知識主題等不同視角，分析同伴之間的情感流動情況，開展群體學習情感的時空演化分析；同時，結合領域專家和數據分析師的領域知識，基于滯后序列分析、圖卷積神經網絡、模糊氛圍場建模等方法，挖掘學生群體情感共現規律，構建學生群體情感關聯模式。在此基礎上引入可視化引擎技術，對學生群體情感的關聯模式進行可視化分析，以實現學生群體關聯關系的可視化。

4 實證研究:多模態情感分析的教育應用平臺構建和效果驗證

多模態情感分析的教育應用平臺構建和效果驗證是實證研究的核心內容，也是干預機制構建的技術引擎。通過構建適應性干預模型，分析雙師教學互動體驗，研究學習情感對雙師課堂教學成效的影響，來驗證算法模型和干預方案的有效性。根據學生學習情感的診斷結果，干預機制可為教師提供預警策略和干預策略[23]。預警策略的實施過程是先對處于某一極值的學習情感域進行描述，分析并生成不良學習情感的成因集，然后在辨識哪些學生處于不良學習情感域的基礎上，為教師提供針對性的預警信號和建議性的干預時機。而干預策略的實施過程包括適應性呈現和個性化支持兩個環節：①適應性呈現是指通過可視化支持工具，對生成的差異化學習情感域和學生群體情感關聯關系進行內容的可視化呈現；②個性化支持是指基于適應性呈現結果，在“雙師”課后教研過程中系統地分析支持對象，并為其選擇與匹配個性化的支持策略。

五 總結與展望

本研究重在構建多空間融合視域下多模態學習情感分析的理論框架，探究學生情感狀態評估及其群體情感的關聯模式，并在此基礎上構建多模態情感分析原型系統與適應性實證方案，以期為學生情感干預提供針對性的反饋機制和技術支撐。未來，開展雙師教學場域下學生多模態情感分析需重點關注兩個方面：一是強調以問題驅動和學科交叉為導向，利用多學科優勢互補強化教育科技創新能力，共同為解決雙師教學難題提供最優解決方案；二是關注情感分析教育應用的倫理與規范考量，明確雙師教學場景中學生個人信息使用的基本原則，加強對本地學生隱私保護與數據安全的相關規范考量，以推動教育領域中情感計算技術的穩步應用和發展。

[1]教育部等六部門.關于推進教育新型基礎設施建設構建高質量教育支撐體系的指導意見[OL].

[2]乜勇,萬文靜.雙師教學三段循環模式的構建與應用研究[J].中國電化教育,2021,(2):83-88、96.

[3]Wu C H, Huang Y M, Hwang J P. Review of affective computing in education/learning: Trends and challenges[J]. British Journal of Educational Technology, 2016,(6):1304-1323.

[4]蔡蘇,焦新月,宋伯鈞.打開教育的另一扇門——教育元宇宙的應用、挑戰與展望[J].現代教育技術,2022,(1):16-26.

[5]Picard R W. Affective computing[M]. Cambridge: MIT Press, 1997:12-14.

[6]郝彥輝,王曦,陳鐸.基于BERT-BiLSTM模型的輿情監測方法及實證研究——以研究生招生考試為例[J].情報科學,2021,(8):78-85.

[7]章蓀,尹春勇.基于多任務學習的時序多模態情感分析模型[J].計算機應用,2021,(6):1631-1639.

[8]葉俊民,周進,李超.情感計算教育應用的多維透視[J].開放教育研究,2020,(6):77-88.

[9]D'mello S K, Kory J. A review and meta-analysis of multimodal affect detection systems[J]. ACM Computing Surveys, 2015,(3):1-36.

[10]Di Mitri D, Schneider J, Specht M, et al. From signals to knowledge: A conceptual model for multimodal learning analytics[J]. Journal of Computer Assisted Learning, 2018,(4):338-349.

[11]牟智佳,符雅茹.多模態學習分析研究綜述[J].現代教育技術,2021,(6):23-31.

[12]陳凱泉,張春雪,吳玥玥,等.教育人工智能(EAI)中的多模態學習分析、適應性反饋及人機協同[J].遠程教育雜志,2019,(5):24-34.

[13]周進,葉俊民,王志峰,等.國外情感分析教育應用的進展與啟示[J].現代教育技術,2020,(12):34-40.

[14]Ashwin T S, Guddeti R. Automatic detection of students’ affective states in classroom environment using hybrid convolutional neural networks[J]. Education and Information Technologies, 2020,(2):1387-1415.

[15]Dindar M, Jarvela S, Ahola S, et al. Leaders and followers identified by emotional mimicry during collaborative learning: A facial expression recognition study on emotional valence[J]. IEEE Transactions on Affective Computing, 2020,(99):1.

[16]Tongu G, Ozkara B O. Automatic recognition of student emotions from facial expressions during a lecture[J]. Computers & Education, 2020,148:103797.

[17]Ren F, Kang X. Employing hierarchical Bayesian networks in simple and complex emotion topic analysis[J]. Computer Speech & Language, 2013,(4):943-968.

[18]Wang C, Xiao Z, Liu Y, et al. SentiView: Sentiment analysis and visualization for Internet popular topics[J]. IEEE Transactions on Human-machine Systems, 2013,(6):620-630.

[19]鄭永和,王一巖.教育與信息科技交叉研究:現狀、問題與趨勢[J].中國電化教育,2021,(7):97-106.

[20]穆肅,崔萌,黃曉地.全景透視多模態學習分析的數據整合方法[J].現代遠程教育研究,2021,(1):26-37、48.

[21]鄭旭東,饒景陽,賈洋洋.“三個課堂”促進義務教育優質均衡發展:演進歷史、戰略價值、關系解析與概念框架[J].現代教育技術,2021,(6):14-22.

[22]屈躍寬.疫情背景下學校教育空間的分析與價值審視[J].現代教育技術,2020,(10):35-40.

[23]Seeber I. How do facilitation interventions foster learning? The role of evaluation and coordination as causal mediators in idea convergence[J]. Computers in Human Behavior, 2019,94:176-189.

Analysis of Multi-Modal Learning Sentiment in Dual-Teacher Classroom: Key Issues, Logical Approaches and Implementation Routes

JIANG Yan-shuang1CUI Can2[Corresponding Author]LU Hang3QI Bin-bin1BAO Hao-gang4

As for the problems of insufficient perception of local students’ learning sentiment and poor teaching results by famous remote teachers in dual-teacher teaching, this paper proposed to construct the theoretical framework for the analysis of multi-modal sentiment under the perspective of multi-space fusion, explore the recognition and intelligent evaluation of students’ learning sentiment based on multi-modal data fusion, and excavate students’ sentiment evolution mechanism based on sequential joint modeling of learning sentiment-space, through fusing affective computing and big data analysis. Based on this, the education application platform of multi-modal sentiment analysis was constructed, and the teaching validation and intervention scheme based on the prototype system were analyzed. Through analyzing the key issues, logic lines and implementation routes of multi-modal sentiment in dual-teacher teaching, it was expected to reveal students’ learning sentiment development mechanism in a dual-teacher classroom, expand the intervention practice of student group sentiment, and provide technical support and action guidelines for after-school teaching and research of “dual-teacher” classroom.

dual-teacher classroom; affective computing; multi-modal data fusion; learning analytics

G40-057

A

1009—8097（2022）04—0013—08

10.3969/j.issn.1009-8097.2022.04.002

基金項目：本文為北京市教育科學“十四五”規劃2021年度青年專項課題“雙師教學場域中的學生情感氛圍動力學模型研究”（項目編號：CECA21109）的階段性研究成果。

蔣艷雙，助理研究員，博士，研究方向為情感計算教育應用、網絡與遠程教育，郵箱為11132020051@bnu.edu.cn。

2021年9月23日

編輯：小時