在線視頻學習過程中學習者的情感狀態識別及其影響因素研究*

單美賢 張瑞陽

在線視頻學習過程中學習者的情感狀態識別及其影響因素研究*

單美賢 張瑞陽

（南京郵電大學 教育科學與技術學院，江蘇南京 210023）

學習者的情感狀態作為影響在線視頻學習質量的重要因素，一直以來受到研究者的廣泛關注。當前基于數據驅動的研究方法雖然可以提供在線視頻學習過程中學習者認知行為的重要信息，但基于數據的在線視頻學習過程中學習者情感狀態及其影響因素的研究成果非常有限，情感狀態的識別及其影響因素有待進一步研究。為此，文章首先開發了面部表情識別工具；接著通過準實驗研究，檢驗面部表情識別工具的準確率；然后根據情感狀態數據和SAM自我報告數據的分析，把握在線視頻學習過程中學習者的情感狀態變化；最后通過問卷調查和回顧性訪談，了解視頻內容對學習者情感狀態和滿意度的影響。研究結果顯示，面部表情識別工具整體上能夠高度準確地識別出學習者的情感波動，視頻內容對學習者的情感狀態和滿意度有極其顯著的影響，并且情感狀態在視頻內容與滿意度的作用過程中具有完全中介作用。通過研究，文章旨在為在線視頻內容設計提供參考，促使學習者保持較高的喚醒度與愉悅度，改善其在線視頻學習體驗。

在線視頻學習；面部表情識別；情感狀態；視頻內容；滿意度

引言

情感1“情感”一詞在學術界至今仍沒有統一的定義，情感（Affect）、情緒（Emotion）、心情（Mood）和感覺（Feeling）等術語已被用來表示或解釋一個人的情緒體驗，情感和情緒可以具有相同的含義且可以互換使用。參考：AINLEY M. Connecting with learning: Motivation, affect and cognition in interest processes[J]. Educational Psychology Review, 2006,(4):391-405.構成了人們如何學習、學習什么、何時學習以及為何學習的關鍵部分，正如Immordino-Yang所說：“從神經生物學的角度來講，在沒有情感的情況下建立記憶、進行復雜的思考或做出有意義的決定是不可能的”[1]。研究發現，學習者的情感狀態會顯著影響其學習動機、學習行為甚至學習成果[2]。而作為當下重要的學習方式，在線視頻學習環境中由于缺乏人際互動、社交存在和情感支持，更容易使學習者經常感受到無聊、沮喪等消極情緒，從而出現調節和維持動機的困難。因此，針對在線視頻學習過程中學習者情感狀態的識別及其影響因素的研究就顯得尤為重要。

然而，現有關于學習者情感狀態的科學認識，主要建立在面對面學習情境中得出的研究結果之上，許多研究發現并不適用于在線視頻學習環境。數據驅動（如腦電波、眼球運動等）的研究方法雖然可以提供在線視頻學習過程中學習者認知行為的重要信息，但基于數據的在線視頻學習過程中學習者情感狀態及其影響因素的研究成果非常有限。此外，在線視頻學習環境中學習者情感狀態的研究需要將外部可觀察數據（如可感知的面部特征、姿勢、言語和行動）與學習者個體內部數據（如自我報告）相結合，這樣才能更好地把握學習者的情感狀態。基于此，本研究擬采用面部表情識別、情感自我報告方法和回顧性訪談法來收集學習者的情感數據，分析在線視頻學習過程中的情感狀態及其影響因素，以期為在線視頻學習資源設計提供參考。

一 研究現狀

1 在線視頻學習的研究現狀

在線視頻學習的相關研究主要集中在以下兩個方面：①在線視頻的設計研究，大多基于在線視頻學習的認知因素展開，如關注如何在視頻中呈現信息[3]、如何通過讓學習者參與練習或其他學習任務來支持其從教學視頻中獲取知識[4]。②在線視頻的應用效果研究，大多采用數據驅動方法研究在線視頻學習環境中學習者的狀態，如基于學習者的在線學習日志分析其知識構建過程和學習能力[5]、根據學習者的生理數據（如腦電波、眼球運動和皮膚電）分析其參與度[6]，這些研究大多從認知維度探討了在線視頻學習環境中學習效果的影響因素。

目前，雖有研究通過自我報告或問卷調查的方式來分析學習者的滿意度、學習態度或學習行為，如在學習者可以選擇使用視頻和現場講座的描述性態度研究中，有研究者發現學生持有積極的態度，他們愿意向其他人推薦視頻支持的此類課程[7]；有研究者發現與傳統教育以及免費的基于文本的電子學習相比，視頻使用對學習成績和學習滿意度都有明顯的影響[8]；有研究者從在線視頻學習平臺特征的角度分析了學習者產生消極態度的原因[9]。但在線視頻學習環境中的情感維度尚未得到系統研究，需要將數據驅動方法與自我報告相結合，以更好地把握在線視頻學習過程中學習者的情感狀態，進而確定如何以最有效的方式使用在線視頻內容，提升學習者的學習效率。

2 情感狀態及其表示模型

情感是主觀和客觀因素之間的一組復雜相互作用，可引起情感體驗（如快樂/不快樂的感覺）、產生認知過程（如與情感相關的感知效果、評估過程）、激活對喚醒條件的廣泛生理調節。在學習過程中學習者經歷了豐富多樣的情感狀態，而目前不同研究者對在線視頻學習中學習者情感狀態的理解有所不同，如有研究者認為，情感狀態是在特定情況下在特定時間測量的學習行為狀態[10]；也有研究者將學習情感狀態定義為學習者的參與程度，并提出學習情感狀態是一種穩定且可調節的心理狀態[11]；還有研究者認為，情感狀態是學習者的認知與情感參與水平[12]。綜上，本研究認為情感狀態是由學習者的自我調節能力與具體的學習情境相互作用決定的心理狀態。

在情感計算研究中，為融合來自不同輸入渠道的情感數據，以提高情感識別的魯棒性和準確性，要求情感計算研究者使用相同的情緒表示模型或提供適當的模型映射。當前，情感狀態的表示模型一般分為兩種：①離散模型，將情感系統描述為一組基本情緒，包括憤怒、厭惡、恐懼、喜悅、悲傷和驚訝，以及由它們組合而成的復雜情緒。②維度模型，認為情感是不同心理維度的組合體，其中有代表性的是Russell[13]提出的二維情感模型，即把情感狀態表示為分布在一個包含效價度（情緒的積極與消極程度）和激活度（情緒的激烈程度）的二維空間上的點。本研究擬把實時識別的學習者情感狀態的離散維度映射到Russell的二維情感模型空間中，以直觀地反映學習者在視頻學習過程中的情感變化過程。

3 情感狀態的測量

提高學習者對自身情感狀態的認識，有助于顯著改善學習過程，然而在線視頻學習環境尤其是遠程學習、MOOC等環境中學習者情感狀態數據的收集極具挑戰性。目前，收集學習者情感數據的方法可以分為三類：①基于感知的估計，包括從面部表情、聲音和身體動作中識別情感；②情感的生理測量，使用安裝在身體上的設備（如EEG）進行測量，重點是潛意識的情感反應（如心跳、血壓和出汗）；③主觀感受，由情感的自我報告組成。其中，基于感知的估計和情感的生理測量相對客觀，更適合在實驗室條件下進行，反映的是情感意識的內隱水平。而Mejbri等[14]通過系統文獻綜述發現，無論是單模態系統還是多模態系統，目前在線視頻學習的情感狀態測量方法中，面部表情識別是最常用的方式手段，其次是自我報告方式。

面部表情被認為是表達情感的主要通道，其較為自然且直接。自Ekman等[15]提出面部動作編碼系統（Facial Action Coding System，FACS）以來，面部表情一直被用于推導學業情緒，其主要假設學習情境中面部表情與特定的情感狀態有關。利用面部表情檢測學業情緒的研究表明，使用面部表情獲取情感狀態是有意義和可靠的，但這些研究大多是在智能導學系統或者是需要高水平認知活動（如解決問題和編程）的學習環境中進行的。而在線視頻學習過程中，學習者可能沒有特定的成就目標，也可能不涉及認知要求高的任務，因此有必要研究在線視頻學習環境中的學生情感狀態及其影響因素。

常用的情感自我報告量表有積極/消極情感量表（Positive Affect and Negative Affect Scale，PANAS）、E-Learning情感自我報告工具（Emotion Report for E-Learning，EMORE-L）和自我評定量表（Self-Assessment Manikin，SAM），其中SAM[16]是較成熟的評估情感工具。SAM包含3個量表：愉悅度（愉快/不愉快）、喚醒度（緊張/放松）和控制度（抑制/不抑制），每個量表有5個象形圖。參與者可以選擇每個象形圖之間的空白處來表示中間狀態，因此每個量表的答案可以在1～9之間取值。鑒于SAM是基于維度的，因此它可以與情感的維度模型相互兼容。基于此，本研究一方面借助SAM量表對在線視頻學習的整體情感狀態進行自我評定；另一方面，利用面部表情識別軟件來實時捕捉學習者情感狀態的離散維度，并把離散數據映射到Russell的二維情感模型空間中，直觀地反映學習者在視頻學習過程中的情感變化過程及整體情感狀態，主要關注以下3個研究問題：①面部表情識別工具能否有效地識別在線視頻學習過程中學習者的情感狀態？②視頻內容對學習者情感狀態的影響是否具有顯著性？③視頻內容是如何通過情感狀態影響滿意度的？

二 研究設計

1 研究對象

本研究針對南京A大學大三和大四的30名本科生（15名女生和15名男生，專業涵蓋工科、理科、藝術學、教育學等）展開，這些學生至少有一年的在線視頻學習經歷，充分掌握了在線視頻學習的特點，具有較高的信息素養。此外，在選擇研究對象時對其都進行了先驗知識的測試，確保他們從未觀看過本研究使用的學習視頻，以減小實驗誤差。

2 研究工具

（1）視頻內容的選擇與評價

使用與滿足（Uses and Gratification，U&G）理論認為，用戶是積極的消費者，他們對自己的媒體消費有控制能力，并對自己的媒體使用、興趣和動機有足夠的自我意識，進而能夠解讀媒體并將其融入自己的日常生活中[17]。將U&G理論應用到教育媒體的視角中，可以認為學習者有意識地選擇能夠滿足其學習需求的媒體。為了促使在線視頻學習過程中學習者獲得三種類型的滿足（內容滿足、過程滿足和社會滿足）[18]，本研究對在線學習視頻內容的選擇經過了三輪預實驗，第一輪和第二輪預實驗依據“內容滿足和過程滿足”進行篩選，第三輪預實驗依據“社會滿足”（當視頻使用能夠形成和加深社會聯系時獲得的滿足）進行篩選：第一輪通過訪談的方式（訪談對象為南京A大學進行視頻資源研究的4名教師），確定在線學習視頻內容為科普類的紀錄片，時長為15～25分鐘。第二輪通過初步篩選的方式確定紀錄片主題，隨機挑選南京A大學的4名碩士研究生觀看各科普類紀錄片，包括《局部》《家園》《地球脈動》《但是還有書籍》等，本研究根據U&G理論中三種滿足類型設計了訪談題綱（訪談題目包含“您覺得視頻內容呈現效果怎么樣？”“視頻中情節沖突設計的怎么樣？”“看完后最想與誰分享？”等），4名碩士研究生一致認為《但是還有書籍》（共11集）紀錄片更合適。第三輪預實驗邀請另外10名碩士研究生觀看這11集內容，并填寫根據U&G理論設計的相應問卷，最后確定《成為漫畫家》和《繪本中的奇妙世界》作為在線學習視頻資源（每個視頻時長30分鐘）。

為了解學習者對視頻內容的評價，本研究基于U&G理論設計“視頻內容對情感狀態影響的調查問卷”。問卷采用7分制李克特量表，共計25題，包含視頻內容、情感狀態、滿意度3個因子。其中，視頻內容包括知識性（視頻內容豐富、視頻內容翔實嚴謹、視頻內容實用、補充完善自己的知識水平）、可理解性（貼近生活、直觀形象、生動有趣、情節變化）、視聽性（視覺感受、色彩搭配、音效效果、畫面特效）3個維度；情感狀態包括情感共鳴、愉悅程度和直觀感受3個維度；一般來說，滿意度是對先前期望和感知成就之間差異的感覺，依據Keller[19]對學習滿意度的定義，本問卷中的滿意度包括持續學習愿望、好奇&動機和感興趣程度3個方面。通過KMO和Bartlett檢驗（KMO=0.755，＜0.000）及載荷因子分析，發現問卷收斂效度良好；整體信度系數是0.929，各維度信度系數均大于0.7（如表1所示），表明問卷具有較好的信效度。

表1 調查問卷各因子的信度系數及描述性分析

（2）面部表情識別

為了實現在線視頻學習環境中學習者面部表情數據的實時識別，本研究開發了基于Web的在線實時面部表情識別軟件系統，系統中嵌入了Affectiva公司提供的面部識別插件Affdex SDK，并將面部表情識別的數據可視化。其中，Affdex SDK可以實時識別人臉的面部表情數據，并返回檢測到的一組離散情緒的置信度值，它可以檢測7種基本的離散情緒，即快樂、悲傷、驚訝、憤怒、恐懼、厭惡、蔑視。系統將識別到的情感狀態數據存儲于數據庫，為后續可視化呈現及相關研究服務。為了讓學習者了解自身在學習過程中的情感狀態，系統借助Echarts庫（使用JavaScript實現的開源可視化庫）設計并實現了可視化功能模塊，情感狀態可視化的目的在于為學習者提供其時間趨勢的情感狀態變化圖。

本研究自主開發的面部表情識別軟件是非侵入式的，可以借助低成本的攝像頭（如筆記本電腦內置攝像頭）方便地部署于在線學習環境中，不會干擾學習者的學習過程。本研究根據在線視頻學習過程中面部表情識別獲得的數據，分析學習者的情感狀態及相關的情感參數（情緒的效價、喚醒度及情緒轉化閾值等）。

3 研究過程

考慮到每個視頻時長約30分鐘，本研究分兩個階段進行，各階段除了視頻內容不同，其他過程一致（如圖1所示），具體為：①把研究對象隨機分為兩組（每組15人），每組觀看的視頻順序不一樣，以檢驗視頻觀看順序對情感狀態的影響是否有差異。②為收集學生在視頻學習過程中的實時情感狀態，本研究使用自主開發的軟件并借助筆記本電腦內置攝像頭實時記錄其情感狀態。③視頻觀看結束后，使用SAM量表請學生評估自身體驗的效價水平和喚醒度。同時，對面部表情識別的情感狀態數據進行相應處理后，結合SAM量表數據分析回答研究問題2。④通過“視頻內容對情感狀態影響的調查問卷”數據分析回答研究問題3。⑤根據識別到的情緒波動點，對學生進行訪談：“這一時間段情緒有波動，您看到這段視頻時是什么樣的情感狀態？為什么會有這樣的情感？”，結合情緒波動點的情感狀態值和訪談數據的分析回答研究問題1。

圖1 研究過程

三 研究結果

1 面部表情數據分析

本研究通過面部表情識別工具，共捕捉到2084個情感波動點（30名學生都觀看了兩個視頻內容，每個視頻內容時長30分鐘左右）。根據情感波動點截取有效視頻片段進行訪談，被試確認在此視頻片段處存在情感波動的有效視頻片段為1885個，情感波動識別錯誤的片段為199個，面部表情識別工具的準確率約為90.4%。

①進行歸一化處理。根據有效情感波動點之時間節點對應的7種基本情感狀態，將面部表情識別收集到的學習者實時的離散情感數據進行歸一化處理，計算方法如公式（1）所示。

②將離散情感數據映射到二維模型空間中。依據Baldassarri等[20]提出的情感狀態離散數據映射到Russell空間的方法，每條離散情感數值的效價與喚醒度坐標(,)的計算如公式（2）所示。

其中，()為歸一化處理的結果，x是類二維坐標中情感效價的標準數值，y是類二維坐標中情感喚醒的標準數值。x與y的確定借鑒了中國科學院心理研究所設計的PAD情感量表（含7種離散情感的愉悅度與喚醒標準數值）[21]，如表2所示。其中，P(x)表示愉悅度，A(y)表示喚醒度。

表2 離散情感對應的愉悅度與喚配度標準值

將所有數據代入上述公式，得到離散情感數據在Russell二維情感模型中的映射，《繪本中的奇妙世界》（視頻1）的情感二維坐標如圖2所示，《成為漫畫家》（視頻2）的情感二維坐標如圖3所示。

圖2 《繪本中的奇妙世界》的情感二維坐標

圖3 《成為漫畫家》的情感二維坐標

由圖2和圖3可以看出，視頻1的面部表情識別結果集中于第一和第三象限，視頻2的面部表情識別結果集中在第一、第二和第三象限，說明兩個視頻內容的整體喚醒度中等、愉悅度較高。根據Kort等[22]提出的認知-情感四象限空間模型，可得在線視頻學習過程中的第一象限表明學習者對視頻內容感到好奇和著迷，第二象限表明學習者在主動構建知識，而第三象限表明學習者解構原來的知識以保持學習的順利進行。

2 SAM自評量表結果

根據描述性統計分析和相關性檢驗分析，得到愉悅度、喚醒度與控制度的相關結果如表3所示。表3顯示，愉悅度、喚醒度和控制度的均值都超過了6分（滿分為9分），表明視頻內容學習過程中學習者的整體情感狀態較好，這與面部表情數據分析的結果一致。相關性檢驗發現，愉悅度與喚醒度極其顯著相關，愉悅度與控制度顯著相關。

表3 愉悅度、喚醒度與控制度的相關分析結果

注：***表示＜0.001，**表示＜0.01，*表示＜0.05，下同。

3 情感狀態的作用機制分析

為了回答研究問題3，本研究首先進行了相關性分析，結果表明：視頻內容、情感狀態與滿意度間都存在非常顯著的正相關關系（＜.01）。在此基礎上進行回歸分析，以探索情感狀態對視頻內容和滿意度的中介作用，結果如表4所示。

表4 情感狀態對視頻內容和滿意度的中介作用

表4顯示，在第一步回歸分析中，視頻內容對滿意度有極其顯著的影響（β=0.522，＜0.000）；在第二步回歸分析中，情感狀態對滿意度有極其顯著的影響（β=0.655，＜0.000）；在第三步同時引入視頻內容和情感狀態后，視頻內容對滿意度的影響不顯著（β=-0.038，＞0.05），但情感狀態對滿意度的影響極其顯著（β=0.684，＜0.000），表明視頻內容影響滿意度的過程中情感狀態具有完全中介作用。根據表4的內容，本研究繪制出視頻內容、情感狀態、滿意度的結構方程模型，以便清晰地呈現三者間的關系，如圖4所示。

圖4 視頻內容、情感狀態、滿意度的結構方程模型

四 研究結論

本研究探討了在線視頻學習過程中學習者的情感狀態變化，以及視頻內容、情感狀態和滿意度三者間的關系。研究結果表明，面部表情識別工具整體上能夠高度準確地識別出學習者的情感波動；視頻內容對學習者的情感狀態和滿意度有極其顯著的影響，并且視頻內容影響滿意度的過程中情感狀態具有完全中介作用。

1 面部表情識別工具可以較好地識別在線學習者的情感狀態變化

本研究面部表情識別工具的準確率約為90.4%，表明非侵入式的面部表情識別工具借助低成本的攝像頭可以方便地部署于在線學習環境中，不會干擾學習者的學習過程。借助面部表情識別工具獲得的實時數據，一方面可以讓學習者了解自身的參與情況和學習狀態，另一方面也可以開發相應的工具（如適時反饋工具、定制學習體驗工具等）以改善學習者體驗，真正拓展學習空間。此類工具的應用意味著更多創新即將產生，如用于監控和檢測遠程學習者認知和情緒狀態的人工智能工具，英特爾和Classroom Technologies正在合作開發的新型虛擬學校軟件Class Collaborate，就可以分層應用于Zoom會議室，有望通過評估學生的面部表情和互動來檢測他們是否感到無聊、分心或困惑[23]。Grafsgaard等[24]通過對學習者的微表情研究發現，通過表情強度和面部動作運動頻率可以對學生學習情感狀態進行有效性觀察和檢測，這為進一步提高學習過程中的面部情感識別應用提供了基礎。

2 視頻內容對學習者情感狀態有極其顯著的影響

問卷調查數據的回歸分析表明，視頻內容對學習者情感狀態有極其顯著的影響。同時，訪談過程中，98%的參與者表示，視頻內容引發了他們強烈的情感共鳴、無論是視頻內容還是視頻呈現方式（如動畫、配音、節奏感等）在吸引其注意力的同時也引發了一定的聯想。這與當前針對基于視頻學習的研究方向一致，即在擴展“傳統”設計原則的同時，探索新穎的設計原則，并充分考慮學習者情感狀態在視頻學習中的作用。本研究的面部表情識別數據表明，視頻內容中引起情感波動的時間大多集中于視頻的開始階段和中間階段，結合參與者的回溯性訪談數據可知，視頻開始階段的講述方式激發了學習者的好奇心，加之背景音樂和畫面給人帶來愉悅感，吸引了學習者的注意力，而視頻中間階段無論是視頻內容還是視頻呈現方式，都能較好地引起情感共鳴或聯想。

此外，本研究的面部表情識別數據還表明在線視頻學習者的整體喚醒度與愉悅度較高，這與SAM自評數據一致。過高或過低喚醒的情感狀態都會干擾學習過程，而Lee等[25]的研究發現，基于視頻異步學習的學習者反饋無聊的根源來自其與視頻內容本身的互動，靜態的呈現模式會使學習者處于低喚醒狀態（如放松），進而很容易感到無聊。因此，視頻內容的設計需要從維持學習者學習動機的角度考慮。通過教學視頻改善學習成果的有效方法有兩種：一是分段，即將視頻分成更小且有意義的片段；二是混合視角，即從第一人稱和第三人稱混合拍攝[26]。本研究在視頻內容選擇的過程中，充分考慮了視頻內容的分段（30分鐘的視頻分為三個小故事片段）和拍攝的混合視角（漫畫家/繪本創作者的第一人稱敘述及解說者第三人稱視角）。

3 視頻內容影響滿意度的過程中情感狀態具有完全中介作用

表4和圖4的結果表明，在線視頻學習過程中的視頻內容對滿意度有極其顯著影響，視頻內容影響滿意度的過程中情感狀態具有完全中介作用，這與荷蘭對730名國際新生群體的調研結果“成就情緒在學生參與在線教育中起著重要的中介作用”一致[27]。訪談內容也表明，參與者與視頻中的創作者產生了很強的同理心，“每個創作者都是值得被尊重的”；參考者紛紛表示后期會把《但是還有書籍》全集看完并且非常愿意推薦給他人，“視頻的每一秒都長著翅膀，輕盈又落在地上”。

在遠程和異步學習中，學習者的情感狀態更為重要，是成功教育的關鍵因素。在線視頻內容的設計與組織需要超越現有的用于程序學習的多媒體演示設計原則，“朝著更好地調整教學方法、學習材料、過程測量和學習結果測量的方向發展”[28]。一方面，可以通過激發學生對某一主題的興趣和想象力來促進學習與創造，學習者的興趣感可以將他們的注意力引導到對認知要求更高的信息尋求和問題解決行為上，幫助他們擺脫低喚醒的被動狀態；另一方面，可以在視頻講座中插入更多認知要求更高的活動（如提出復雜的問題、自我解釋）和有趣的例子，在最小化低喚醒狀態（如放松、無聊、疲倦）的同時，引起一定程度的焦慮和興趣，以獲得積極的激活情緒（如好奇心和注意力）。

五 結語

在面對面的教學環境中，教師和學習者在教學空間中相遇，識別學習者的無聊、沮喪等情感狀態，可以幫助教師解決學習者大部分的學習動機和興趣問題。本研究開發的面部表情識別工具可以用于探索在線視頻學習過程中的學習者情感狀態，旨在為在線視頻內容設計提供參考，但不足之處在于：①研究樣本較少，導致結果的可推廣性較低，下一步會嘗試將其部署于本研究已創設的MOOC平臺視頻學習環境中以獲取更多的數據；②雖然使用了面部表情識別數據分析學習者的情感狀態，但面部表情識別因其自身的局限性無法很好地檢測學習者的注意力變化過程，后續研究可以結合多模態數據（如眼動追蹤、腦電信號）獲得更客觀的學習者學習狀態數據；③僅從情感狀態的角度探討了在線視頻學習過程中視頻內容對滿意度的影響，而沒有考慮認知因素（如認知方式、任務難度等），后續研究需要進一步探討在線視頻學習過程中認知與情感的交互作用機制。此外，后續研究還可以收集非侵入性生理數據，如面部表情、眼動追蹤、身體姿勢等，開發情感狀態識別和適應性系統，檢查學習者的行為模式和情感狀態，并借助相關反饋技術調整學習者的動機和注意力。

[1]Immordino-Yang M H. Emotions, learning, and the brain: Exploring the educational implications of affective neuroscience[M]. New York: W. W. Norton & Company, 2016:18.

[2]Ou C, Joyner D A, Geol A K. Designing and developing video lessons for online learning: A seven-principle model[J]. Online Learning Journal, 2019,(2):82-104.

[3]De Koning B B, Hoogerheide V, Boucheix J M. Developments and trends in learning with instructional video[J]. Computers in Human Behavior, 2018,89:395-398.

[4]Poquet O, Lim L, Mirriahi N. Video and learning: A systematic review(2007-2017)[A]. Proceedings of the 8th International Conference on Learning Analytics and Knowledge[C]. New York: Association for Computing Machinery, 2018:151-160.

[5]Wang Y, Liu Q, Stein D, et al. Measuring students affective states through online learning logs-an application of learning analytics[J]. International Journal of Information and Education Technology, 2019,(5):356-361.

[6]Akcapinar D, Bayazit A. Investigating video viewing behaviors of students with different learning approaches using video analytics[J]. Turkish Online Journal of Distance Education. 2018,(4):116-125.

[7]Soong S K A, Chan L K, Cheers C, et al. Impact of video recorded lectures among students[OL].

[8]Nagy J T. Evaluation of online video usage and learning satisfaction: An extension of the technology acceptance model[J]. International Review of Research in Open and Distance Learning. 2018,(1):160-185.

[9]Oluwalola F K. Effect of emotion on distance e-Learning——the fear of technology[J]. International Journal of Social Science and Humanity, 2015,(11):966-970.

[10]Schmitz B, Klug J, Schmidt M. Assessing self-regulated learning using diary measures with university students[A]. Handbook of Self-regulation of Learning and Performance[C]. London: Routledge, 2011:251-266.

[11]Ansari A, Montoya R, Netzer O. Dynamic learning in behavioral games: A hidden Markov mixture of experts approach[J]. Quantitative Marketing and Economics, 2012,(10):475-503.

[12]Pardos Z A, Baker R S J D, San P M O C Z, et al. Affective states and state tests: Investigating how affect throughout the school year predicts end of year learning outcomes[J]. Journal of Learning Analytics, 2014,(1):107-128.

[13]Russell J A. A circumplex model of affect[J]. Journal of Personality and Social Psychology, 1980,(6):1161-1178.

[14]Mejbri N, Essalmi F, Jemmi M. et al. Trends in the use of affective computing in e-learning environments[J]. Education and Information Technologies. 2022,(27):3867-3889.

[15]Ekman P, Friesen W V. Facial action coding system: A technique for the measurement of facial movement[M]. Palo Alto, CA: Consulting Psychologists Press, 1978:45-60.

[16]Bradley M M, Lang P J. Measuring emotion: The self-assessment manikin and the semantic differential[J]. Journal of Behavior Therapy and Experimental Psychiatry, 1994,(1):49-59.

[17]Levy M. The concept of audience activity[A]. Media Gratifications Research: Current Perspectives[C]. Beverly Hills, Calif: Sage Publications, 1985:109-122.

[18]Stafford T F, Staffor M R, Schkade L L. Determining uses and gratifications for the Internet[J]. Decision Sciences Journal of Innovative Education, 2004,(2):259-288.

[19]Keller J M. Motivational design of instruction[A]. Instructional Design Theories and Models: An Overview of Their Current Status[C]. New York: Routledge, 1983:386-434.

[20]Baldaasrri S, Hupont I, Abadia D, et al. Affective-aware tutoring platform for interactive digital television[J]. Multimedia Tools and Applications. 2015,(74):3183-3206.

[21]李曉明,傅小蘭,鄧國峰.中文簡化版PAD情緒量表在京大學生中的初步試用[J].中國心理衛生雜志,2008,(5):327-329.

[22]Kort B, Reilly R, Picard R W. An affective model of interplay between emotions and learning: Reengineering educational pedagogy -building a learning companion[OL].

[23]劉聰.硬幣的兩面——人工智能助推職場歸屬感的前景探討[OL].

[24]Grafsgaard J F, Wiggins J B, Boyer K E, et al. Automatically recognizing facial expression: Predicting engagement and frustration[A]. Educational Data Mining[C]. NY: IEEE, 2013:159-165.

[25]Lee J, So H, Ha S, et al. Unpacking academic emotions in asynchronous video-based learning: focusing on Korean learners’ affective experiences[J]. The Asia-Pacific Education Researcher, 2021,(30):247-261.

[26]Fiorella L, Mayer R E. What works and what doesn’t work with instructional video[J]. Computers in Human Behavior, 2018,89:465-470.

[27]Tempelaar D T, Niculescu A, Rienties B, et al. How achievement emotions impact students’ decisions for online learning, and what precedes those emotions[J]. The Internet and Higher Education, 2012,(3):161-169.

[28]Fiorella L, Mayer R E. What works and what doesn’t work with instructional video[J]. Computers in Human Behavior, 2018,89:465-470.

Study on the Recognition of Learners’ Affective States during Online Video Learning Process and the Influencing Factors

SHAN Mei-xian ZHANG Rui-yang

As an important factors affecting the quality of online video learning, learners’ affective states have been widely concerned by researchers. Although current data-driven research methods can provide important information about learners’ cognitive behaviors during online video learning process, the number of studies on learners’ affective state based on data during online video learning process and the influencing factors are very limited. Therefore, this paper firstly developed the facial expression recognition tool and examined the accuracy of the facial expression recognition tool. Then, according to the analyses of affective state data and SAM (Self-Assessment Manikin) self-report data, the changes of learners’ affective state during online video learning were grasped. Finally, questionnaire surveys and retrospective interviews were conducted to understand the influence of video content on learners’ affective states and satisfaction. The research showed that the facial expression recognition tool could identify learners’ emotional fluctuations with high accuracy on the whole, and video contents had a significant effect on learners’ affective states and satisfaction, and the affective states had a full mediation effect on video content and satisfaction. Through the research, this paper aimed to provide reference for online video content design, promote learners to maintain a high level of arousal and pleasure, and improve their online video learning experience.

online video learning; facial expression recognition; affective states; video content; satisfaction

G40-057

A

1009—8097（2023）12—0065—11

10.3969/j.issn.1009-8097.2023.12.007

本文為2023年度江蘇省高校哲學社會科學研究重大項目“iVR學習環境中學習者的認知與情感交互作用機制研究”（項目編號：2023SJZD030）、2022年江蘇省研究生教育教學改革課題“高校研究生課程思政有效教學的實證研究”（項目編號：JGKT22_C021）的階段性研究成果。

單美賢,教授，博士，研究方向為學習過程中的情感狀態分析，郵箱為shanmx@njupt.edu.cn。

2023年6月22日

編輯：小時