課堂場景下學習者情感識別研究

蘇 超，王國中

（上海工程技術大學 電子電氣工程學院，上海201600 ）

0 引言

近年來，隨著互聯網技術的快速發展以及大數據、云計算、AI（人工智能）等新技術的發展，智能化教育成為一種新的教育趨勢。在《計算神經科學前沿》雜志中提到：“智能化教育中一直被忽略的詞就是情感”［1］，而情感作為一種非智力因素，能夠影響和調節認知活動。心理學研究表明：積極的情感有助于激發學習者的學習動力、培養學習興趣，促進認知過程；而消極的情感則會影響學習者的耐心度、注意力，阻礙認知過程［2-3］。

人對情感的表達是復雜且微妙的，同樣對情感的識別和解讀也是多通道協同完成的，包括表情、姿態、語言和聲調等［4］。當前，針對情感識別，研究者們主要圍繞生理信號、心理測量以及外顯行為展開研究［5］。

其中，又以基于面部表情的情感識別居多。雖然面部表情能夠表達人的大部分情感，但也存在一些不可避免的問題，如：面部遮擋、表情微妙以及姿態改變等，因此，基于面部表情的單模態情感識別方法并不足以準確的識別出情感狀態。現實生活中，人們往往也是綜合語音、面部表情、肢體動作等多種信息來判斷一個人的情感狀態，利用信息之間的互補性，從而準確識別出情感狀態［6］。

在過去的十幾年里，關于課堂中學習者的情感識別研究逐漸多了起來，如：文獻［6］中提出一種基于遺傳算法的多模態情感特征融合方法，利用遺傳算法對單個模態的情感特征進行選擇、交叉以及重組；文獻［7］中提出一種基于皮膚電信號與文本信息的雙模態情感識別系統；文獻［8］中提出了基于雙邊稀疏偏最小二乘法的表情和姿態雙模態情感識別方法。于此同時，國外學者們也進行了相關研究，如：Ray A，Chakrabarti A［9］指出，情緒在人的認知過程中起著重要的作用，因此提出一種新的情感計算模塊，采用生物、物理（心率、皮膚電和血容量壓）和面部表情方法，用來提取學習者的情感狀態；Li C，Bao Z，Li L［10］等人提出了基于生理信號的情感識別方法。通過將原始生理信號轉化為光譜圖像，利用雙向長短期記憶循環神經網絡（LSTM-RNNS）學習特征，最后利用深度神經網絡（DNN）進行預測。

經研究發現，上述諸多方法本質上并不完全適合于中國課堂上學習者的情感識別，主要有以下原因：

（1）?數據集。目前關于情感識別研究的數據集都是國外的一些大學或者研究機構采集的，一是不符合課堂場景，其次受地域文化以及膚色人種的影響，國外采集的那些數據集表情與國內的人臉表情相差很大。

（2）情感分類。在情感識別領域，關于情感的分類有很多種，其中最基本的是Ekman 等［11-12］提出的6 種基本情感：高興、憤怒、厭煩、恐懼、悲傷以及驚訝。研究發現，在學習過程中這6 種基本情感并非全部起到關鍵作用［12］。因此，針對課堂上學習者的情感分類，需要定義一種符合課堂場景的情感類別。

因此，本文提出一種基于表情和姿態的雙模態學習者的情感識別模型，以解決課堂上學習者情感識別存在識別準確率低、特征提取困難等問題。研究中將課堂學習者的面部表情定義為專注、厭煩、困惑、疲憊和走神5 種表情；將課堂中學習者的上身姿態定義為抬頭、低頭、趴下和左顧右盼4 種姿態。通過最終的決策融合，定義課堂上學習者的學習狀態主要包括認真聽講、不感興趣、疑惑／沒聽懂、犯困／疲勞、開小差、睡覺、交頭接耳和不確定等8 種狀態。

1 模型設計

1.1 方法概述

基于表情和姿態的雙模態學習者情感識別模型的整體流程如圖1 所示。主要包含2 個模塊，分別是情感識別模塊和決策融合模塊。首先，利用自主采集的數據集作為訓練集和測試集，通過改進Tiny_YOLOv3 目標檢測算法得到ER_Tiny_YOLOv3，從而進行面部表情和姿態識別。然后，針對課堂教學環境，將表情識別結果和姿態識別結果在決策層面進行融合，生成課堂評價，判斷出學習者當前的學習狀態。

圖1 基于表情和姿態的雙模態情感識別模型圖Fig.1 Diagram of a dual-modal emotion recognition model based on expressions and gestures

1.2 Tiny_YOLOv3

Tiny_YOLOv3 是目標檢測算法YOLOv3 的一種輕量化版本，采用Tiny Darknet 網絡結構，如圖2 所示。

Tiny_YOLOv3 的損失函數主要包括3 個部分，分別是目標位置損失、目標置信度損失和目標分類損失。Tiny_YOLOv3 的損失函數如式（1）所示：

其中：lbox表示目標位置損失；lobj表示目標置信度損失；lcls表示目標分類損失。如式（2）所示：

其中：S2表示13×13，26×26；B表示box，表示如果在i，j處的box有目標，其值為1；否則為0；而反之。λcoord表示lbox權重；xi，yi，wi，hi為真實框的中心位置和長寬值；表示預測框的中心位置和長寬值；（2-wi×hi）表示根據真實框的大小對lbox權重進行修正；λnobj表示lobj權重；λclass表示lcls權重；ci表示真實框置信；c＇i表示預測框置信。

Tiny_YOLOv3 的損失函數首先計算預測框和真實框的交并比（Intersection over Union，IoU），示意如圖3 所示。將IoU 最大的預測框與真實框相匹配，通過匹配的預測框所預測的結果與真實框相比較，得出目標位置損失、目標置信度損失以及目標分類損失。IoU 表達如式（3）所示：

其中：I表示真實框與預測框的交集；U表示真實框與預測框的并集。

圖2 Tiny_YOLOv3 網絡結構圖Fig.2 Tiny_YOLOv3 network structure diagram

圖3 IoU 示意圖Fig.3 Schematic diagram of IoU

2 模型改進

雖然Tiny_YOLOv3 作為輕量化模型，很適用于實際工程項目中，但是檢測效果并不是很好。原因在于 Tiny _ YOLOv3 的 backbone 是淺層網絡Darknet19，且Tiny_YOLOv3 只融合了13x13、26x26兩個尺度上的檢測結果。然而，正是由于Tiny_YOLOv3 的網絡結構淺，因而時效性比較好。為了提升課堂中學習者情感識別的準確性，本文從卷積結構、錨框聚類以及損失函數3 方面對Tiny_YOLOv3 進行了改進。

2.1 卷積結構改進

注意力機制（Attention Mechanism）是一種聚焦于局部信息的機制，目前已廣泛應用于計算機視覺領域。注意力機制可以分為：通道注意力機制、空間注意力機制以及混合域注意力機制。SEnet（Squeeze-and-Excitation Networks）［13］是典型的通道注意力機制，其通過建模各個特征通道的重要程度，針對不同的任務增強或者抑制不同的通道，從而提升精度。SEBlock 結構如圖4 所示。

圖4 SEBlock 結構圖Fig.4 SEBlock structure diagram

在圖4 中，X∈RH＇*W＇*C＇表示網絡的輸入，Ftr表示一系列卷積操作的集合，V＝［v1，v2，…，vc］表示卷積操作，U∈RH*W*C表示經過一系列卷積操作的輸出，U＝［u1，u2，…，uc］其表達如式（4）所示：

Fsq（·）操作是將U的輸出壓縮成Z∈R1*1*C。傳統的卷積操作大多集中于局部信息，無法提取整體信息。因此，通過Fsq（·）操作來實現，如式（5）所示：

Fex（·，W）主要利用非線性的sigmoid 激活函數，保證非線性的前提下進行通道選擇，如式（6）所示：

最后，通過Fscale（·，·）操作將學習到的通道權重應用到原有的特征上，如式（7）所示：

SEBlock 可以作為一種子模塊插入到不同的卷積結構中，本文通過加入SEBlock 對Tiny_YOLOv3網絡結構進行改進，得到一種適用于學習者情感識別的模型ER_Tiny_YOLOv3，網絡結構如圖5 所示。

圖5 ER_Tiny_YOLOv3 網絡結構圖Fig.5 ER_Tiny_YOLOv3 network structure diagram

2.2 損失函數改進

在目標檢測中，評價一個目標物體是否正確的被檢測出，IoU 是一個重要的度量標準［14］。但IoU有其不可避免的缺點，如果預測框和真實框二者沒有相交，則IoU 的結果為0，此時便無法進行學習訓練。

針對上述問題，Hamid 等人提出了廣義IoU 的概念（Generalized Intersection over Union，GIoU）［15］，解決當前的問題，如式（8）所示：

其中：Ac表示預測框和真實框最小閉包區域面積，U表示預測框和真實框的并集。根據圖3，Ac的表達如式（9）所示：

本文在添加注意力機制SEBlock 改變網絡結構的基礎上，將GIoU loss 作為損失函數的一部分，用來改進目標位置損失lbox。改進后的目標位置損失lbox＇為：

則改進后的ER_Tiny_YOLOv3 損失函數為：

2.3 k-means 錨框聚類

Tiny_YOLOv3 和YOLO v3 一樣，引入了錨框（anchor）的概念，通過K-means 聚類算法［16］得到anchor 的數量和大小。但Tiny_YOLOv3 模型是通過在VOC 或COCO 數據集上聚類而得到anchor 的數量和大小的，不適合課堂中學習者的情感識別。因此，本文采用K-means 算法在自制的數據集上進行重新聚類，得到適合于學習者情感識別的anchor。

k-means 算法采用距離作為相似性指標，其中K 表示聚類的類別數，算法流程圖如圖6 所示。

由圖6 可見，在重新聚類之前，需要先確定K值。而在先驗知識缺乏的情況下，要想確定K 值是非常困難的。通常確定K 值的方法有二種：肘部法和輪廓系數法。本文采用肘部法用來確定K 值，肘部法的核心指標是通過SSE（sum of the squared errors）來描述，如式（12）所示：

其中：Ci表示第i個簇；p表示Ci中的樣本點；mi是Ci的質心，即所有樣本的均值；SSE表示所有樣本的聚類誤差，代表了聚類效果的好壞。實驗結果如圖7 所示。

大氣氧化性OX（OX=O3+NO2）表征大氣的氧化能力（安俊琳等，2007），同時可以很好地反映O3的化學生成潛勢（Shiu et al.，2007）。OX區域貢獻和局地貢獻存在明顯的季節變化，主要受區域背景O3的影響，一般是夏季最強。

圖6 K-means 算法聚類流程圖Fig.6 K-means algorithm clustering flowchart

從圖7 可以看出，在K值為6 時，曲率最高。因此，選取K＝6。

K值確定后，利用K-means 算法對自制的數據集進行重新聚類，實驗結果如圖8 所示。最終聚類得到的anchor 值為：10，18、12，23、13，28、16，35、20，45、30，63，用來替換Tiny_YOLOv3 的anchor 值：10，14、23，27、37，58、81，82、135，169、344，319。

圖7 利用肘部法確定K 值實驗圖Fig.7 The experimental diagram of using the elbow method to determine the K value

圖8 K-means 算法重新聚類結果圖Fig.8 K-means algorithm re-clustering result graph

3 多模態融合方法

本文針對課堂中學習者的情感識別，采用決策層融合的方法。定義課堂上學習者的表情有：“專注”、“走神”、“疲憊”、“困惑”和“厭煩”5 種表情，而上身姿態有：“抬頭”、“低頭”、“左顧右盼”和“趴下”4 種行為。在實際場景中，只有當學習者處于“抬頭”狀態下才能完整觀察到學習者的面部表情。因此，本文只針對“抬頭”這種情況進行最后的決策融合。而其它3 種行為對于課堂學習者來說，很容易判別出學習狀態。4 種上身姿態對應的決策融合圖分別對應圖9 中（a）、（b）、（c）、（d）圖。

圖9 4 種不同上身姿態對應的決策融合圖Fig.9 Decision fusion diagram corresponding to 4 different upper body postures

由圖9 得知，當學習者處于抬頭情況下，此時才能比較完整的檢測出學習者的面部表情，從而進行面部表情識別，進而結合上身姿態和面部表情判定此時學習者的情感狀態。而當學習者處于低頭時，由于檢測不到完整的面部表情，所以決策融合歸結為不確定狀態。同理，針對趴下和左顧右盼的上身姿態，在決策融合時不必考慮面部表情，直接歸結為睡覺／犯困和開小差／交頭接耳狀態。

4 實驗結果及分析

實驗環境為：

軟件環境：Windows 10 下的Pytorch 平臺；

硬件環境：處理器是Intel（R）Xeon（R）W-2123 CPU＠3.60GHz；

運行內存：16.0GB；

4.1 數據集

當前，人臉表情數據庫的種類有很多，最常用的主要有日本女性人臉表情數據庫（JAFFE）、卡內基梅隆大學的CK（Cohn-Kanade）人臉表情數據庫及其擴展數據庫CK+人臉表情數據庫等［17］。而目前唯一公開的表情和姿態雙模態情感數據庫只有FABO 數據庫［18］。但是，由于FABO 數據庫ground truth label 很繁瑣，且每個人的樣本和情感類別數目不一致，同時外國人的臉部表情特征和中國人的人臉表情特征明顯不同，且數據庫的采集環境并不是針對課堂環境，因此訓練出來的模型并不適合課堂學習者的情感識別。因此，本文以安徽省池州市東至三中高一某班的全體學生為采集對象，自主構建數據集。

4.2 網絡訓練和超參數設置

ER_Tiny_YOLOv3 在訓練時采用Tiny_YOLOv3提供的權重參數作為網絡訓練的初始化參數，通過在自主構建的數據集上進行訓練，并進行相應的網絡參數微調，使得檢測效果達到最優。實驗參數見表1。

表1 實驗參數說明Tab.1 Description of experimental parameters

4.3 評價指標

目標檢測模型一般采用準確率（Precision）、召回率（Recall）以及均值平均精度（Mean Average Precision，mAP）等指標來評價模型的效果。其中，準確率表示所有檢測出的目標中，正確檢測出的目標所占的比例；召回率表示所有待檢測目標中正確檢測出的目標所占的比例。

對于課堂中學習者的情感識別，如果對于一類表情或行為能正確的被檢測出，則為真正類（True Positive，TP），相反，如果對于一個既不是表情又不是行為的位置檢測為某類面部表情或行為，則為假正類（False Positive，FP）。假設學習者的情感識別中表情和行為的總數為N，則：

但是，準確率和召回率是相互影響的，一般情況下準確率高、召回率就低，而準確率低，召回率就高。因此，需要在準確率和召回率之間進行權衡。一種方式是畫出準確率-召回率曲線，計算AP 值，另一種方式是計算Fβ分數。如式（14）所示：

其中，當β＝1 時，稱為F1分數，是最常用的指標之一。

4.4 模型對比

本文通過將改進后的模型ER_Tiny_YOLOv3 與Tiny_YOLOv3 以及YOLO 系列最新算法YOLOv4 進行對比，以此來說明此模型的有效性，實驗結果見表2。

從表2 的結果可以得知：改進后的模型ER_Tiny_YOLOv3 相比于原模型Tiny_YOLOv3，mAP＠0.5 提升了17%，Precision 提升了35%，而F1 分數提升了22.6%。相比于YOLOv4，mAP＠0.5 提升了19%，Precision 提升了27%，F1 分數提升了21.4%。但是由于ER_Tiny_YOLOv3 在Tiny_YOLOv3 的基礎上加入了注意力機制SEBlock，所以參數比Tiny_YOLOv3 多了1／10，檢測時間比Tiny_YOLOv3 慢了約1／100，二者幾乎沒有區別。但相比于深層網絡YOLOv4，檢測時間大幅縮短，只有YOLOv4 檢測時間的1／20。同時，ER_Tiny_YOLOv3 的參數只有YOLOv4 的1／10，可見，網絡參數大幅度減少。

實驗結果表明，改進后的ER_Tiny_YOLOv3 模型是一種兼顧速度和精度的模型。YOLOv4、Tiny_YOLOv3 和改進后的模型ER_Tiny_YOLOv3 的檢測結果對比如圖10 所示。

圖10 各模型檢測結果對比圖Fig.10 Comparison of test results of various models

從圖10 可以看出，對于課堂上學習者的情感識別，檢測效果最好的是ER_Tiny_YOLOv3 模型。而作為YOLO 系列最新的檢測算法YOLOv4，檢測效果反而一般。雖然Tiny_YOLOv3 檢測速度最快，但是檢測效果明顯不如ER_Tiny_YOLOv3，漏檢的情況比較多。ER_Tiny_YOLOv3 在檢測速度上與Tiny_YOLOv3 相差無幾的情況下，檢測效果明顯好于Tiny_YOLOv3，且識別效果比YOLOv4 效果更好。可見，本文提出的學習者情感識別模型是一種兼顧速度和精度的模型，適用于課堂場景下學習者的情感識別。

5 結束語

針對當前智能化教育環境中的“情感缺失”問題，本文提出了一個快速、準確、輕量的學習者情感識別模型。通過對Tiny_YOLOv3 的卷積結構、損失函數以及錨框值進行改進，經過訓練得到一個適合于課堂中學習者情感識別的模型ER _Tiny _YOLOv3。同時，針對最終的課堂評價，采用決策層融合方法用來判斷學習者的學習狀態。實驗結果表明，相比于Tiny_YOLOv3 和YOLOv4，識別效果更好。當然，還有很多問題需要進一步研究，比如：決策層融合的方法不具有完整的代表性。如學習者在低頭的情況下，也有可能在思考問題，而本文章將其歸結于不確定狀態。同理，針對趴下和左顧右盼的情況，也有同樣的問題。因此，下一步將重點研究更具代表性的融合方法。