王嘉豪,徐 敏,孫 眾,周修莊

1(首都師范大學 信息工程學院,北京 100048)

2(北京郵電大學 人工智能學院,北京 100876)

0 引 言

在線課堂是一種不同于傳統線下課堂的全新教學形式,它的所有教學活動包括授課、答疑以及作業提交與反饋都轉移到互聯網上進行.在線課堂最大的優勢是不受時空限制,在新冠疫情流行的背景下它逐漸成為了目前的主流教學形式.此外,線上教學還可以提供更為豐富的教育內容,現有的一些MOOC平臺包含許多學校的課程資源,學生可以選取適合自己的課程資源進行補充學習.在線課堂相較于傳統的線下課堂具有時空不限、多樣性和靈活性等諸多優勢,因而受到了越來越多的關注.

但是,在線課堂也存在一些明顯的問題,例如其缺少傳統課堂中師生之間的實時互動,因而學生在線學習過程中容易出現注意力不集中等情況,導致在線教學的教學效果普遍不如傳統課堂[1].在面對面的傳統課堂里,教師可以時刻關注每一位學生的表情與反應,通過直接觀察獲取學生的學習專注參與狀態[2,3],然后及時調整當前教學節奏、教學方式、教學內容和教學態度.但是,在線課堂上學生不能隨著課堂進度實時反饋自身的狀態信息,只能在課后通過網絡提交方式反饋聽課效果,無法實現班級以及學生個性化跟蹤與反饋.師生無法面對面交流造成的反饋延時性,是當前在線教學亟待解決的問題[4].

如何應用人工智能和大數據技術助推在線教學,真正形成智能時代教育新模式,還面臨著諸多困難與挑戰,國內外相關研究仍處于起步階段.近年來,國內外學者對參與度自動識別問題開展了一些探索和研究.其中,采用人臉表情、肢體姿態和動作行為等情感數據,基于計算機視覺技術和機器學習方法研究參與度評估模型,逐漸成為該領域的主流技術路線.在國外,英國諾丁漢大學、麻省理工學院、英國布魯爾大學等研究機構為該領域的研究發展做出了重要貢獻,包括參與度自動評估視頻數據庫的建設、參與度自動評估系列挑戰賽和研討會的組織等[5-7].在國內,中國科學院計算技術研究所、中國科學院深圳先進技術研究院、中國科技大學等高校和科研機構,在基于人臉表情、身體姿態動作的學習參與度智能評估方向開展了有益的探索和研究[8].

據統計無論在真實課堂還是在線課堂的教學場景,大部分學生課上都能保持注意力集中,只有少部分學生出現專注度不夠和聽課走神的情況.這種現象在課堂參與度識別任務中的表現形式是樣本類別分布不平衡,即極低參與和低參與的樣本數據量非常少,絕大部分樣本都屬于一般參與和高參與這兩個類別.因此,本文使用計算機視覺特征分析相關技術,對學習參與度自動識別這一任務展開了研究,自動實時分析和識別在線課堂的學習參與度.并且,重點針對參與度自動識別任務中樣本類別分布不均衡的問題,在模型層面提出方法以改善該問題帶來的負面影響.具體地,研究利用雙邊分支網絡模型對特征學習和分類器兩個部分解耦,通過發揮兩個模塊各自優勢以提升不平衡類別樣本的分類性能.

本文工作主要包含以下內容:

1)采用視頻分段的方式,通過VGGFace、C3D網絡分別提取視頻片段的面部表情特征和身體姿態特征,并提出基于注意力機制的聚合模塊CTAB,對視頻片段特征進行融合,使得參與度高度相關的幀序列獲得更大的權重.

2)針對參與度數據類別不均衡問題,提出基于雙邊分支網絡的課堂參與度識別模型,將特征學習和分類器學習進行解耦,以提升模型對類別不平衡數據的分類能力.

3)在課堂參與度數據集DAiSEE上進行了大量實驗,實驗結果驗證了本文提出方法的有效性,尤其對少樣本類別的識別性能提升比較顯著.

1 相關研究

學生參與度分析一直以來都是教育領域關注的重點研究內容.早期,對學生參與度評估的傳統方法主要包括自身報告和觀察評測兩種方法.Vanneste等人[9]曾在比利時一所中學通過自身報告的方式對學生參加講座的參與度進行測評,他們在講座過程中每隔5～12分鐘發送電子彈窗收集學生的參與度水平.Alyuz等[10]收集了17名學生的在線學習數據,邀請三位教育學專家對學生在視頻學習過程中的鼠標移動以及學習互動內容進行標注,通過投票等方式形成參與度的評價.但是上述方法依賴于人為主觀評價,參與度評價結果不夠客觀準確.

隨著智能設備的普及和機器學習技術的發展,人工智能教育領域開始關注參與度自動識別這個新興研究方向[11].Monkaresi H等[12]和Khedher AB等[13]使用心率、腦電等生理信號進行參與度的自動識別,但是使用生理信號進行參與度測量需要學生佩戴外部儀器,對學生的活動造成干擾,因而難以應用在教學實踐中.計算機視覺領域研究參與度識別任務的方法,主要先通過手工提取的方法進行面部特征提取,然后利用分類器或回歸器對特征進行參與度評估.Kamath等人[14]通過提取HOG特征,利用實例加權多核向量機對參與度進行預測.Sanerio等人[15]結合面部活動單元(AUs)、二維面部關鍵點、三維頭部特征以及身體運動姿態等進行參與度分析.Whitehill 等人[16]從受試者視頻中進行手工特征提取,并且使用支持向量機SVM 和GentleBoost對參與度進行預測,并且達到了與人工標注相接近的水平.Monkaresi等人[12]結合面部活動、LBP-TOP以及受試者心率等特征構造出分類模型,在小樣本數據集中進行參與度識別研究.

近年來隨著深度學習技術的深入研究和廣泛應用[17],各種計算機視覺任務包括參與度自動識別任務取得了顯著進展.Yun等人[18]在兒童參與度自動識別任務中,首先采用預訓練的VGG網絡提取視頻幀的低層視覺特征,然后將連續幀的低層特征輸入空間動態模塊提取高層特征.該方法通過微調預訓練的VGGFace網絡,克服參與度訓練數據量較少的不足.Wu等人[19]提出一種多特征工程和保守優化的多實例學習方法用于參與度預測,首先從視頻中手工提取面部特征和受試者上半身姿態特征,之后結合LSTM和GRU對特征進行分類,檢測參與度水平.Khine等人[20]使用預訓練的VGG16人臉模型,通過不同的峰值幀和中性幀,提取人臉突出的基本特征并消除不相關的特征,在DAiSEE數據集上的實驗結果達到了50%的準確率.Zhang等人[21]對用于動作分類的I3D模型進行了改進和優化,并將其應用于參與度識別任務,在DAiSEE數據集上取得了52.35%的準確率.Liao等人[22]提出了深度人臉時空網絡(DFSTN),首先通過預訓練的SE-ResNet-50網絡進行人臉特征的提取,然后采用基于全局注意力機制的LSTM生成注意力隱藏狀態,該方法通過捕獲面部時空信息,有助于感知細粒度的參與狀態,有效提高了參與度預測性能.Ali Abedi等人[23]提出了一個端到端的由殘差網絡(ResNet)和時間卷積網絡(TCN)組成的混合神經網絡架構,其中ResNet網絡提取連續視頻幀中的空間特征,TCN則分析時間維度的變化,在DAiSEE數據集分類準確率達到了60%以上的準確率.

但是,現有的參與度自動識別公開數據集都存在嚴重的數據分布不平衡問題.對于解決不平衡樣本的分類難題,Mateusz Buda等人[24]和Jona Byrd等人[25]嘗試使用過采樣策略,對數量較少的樣本進行重新采樣,但是過度重復的樣本在模型訓練的過程中容易發生過擬合,降低泛化能力.Cao等人[26]設計了一種對標簽分布感知的損失函數,使得在少數樣本在訓練優化中獲得更大的關注.Yin Cui等人[27]以及Ouyang等人[28]嘗試使用微調策略解決長尾數據集分類問題,將訓練的過程拆分為兩個階段:第1階段采用傳統方法,第2階段則通過減小學習率并微調網絡進行重新平衡,整個訓練過程相對復雜.在2020年,由BoyanZhou等人[29]提出了雙邊分支網絡結構(Bilateral Branch Network,BBN),從網絡結構的角度解決類別不平衡數據分類,通過增加一條分支達到重平衡;在解決類別分布不平衡的同時,另一條傳統學習分支仍然能夠在表征學習方面取得較好效果.該方法應用在不同的不平衡數據集上,均獲得了顯著的效果.

2 本文方法

2.1 特征提取

本文使用預訓練的VGGFace,對受試者的面部特征進行特征提取.VGGFace網絡包含5個模塊,每個模塊包含2或3個卷積層和1個最大池化層.輸入數據的維度是[16,224,224,3],其中16表示每次輸入到模型的圖像數量,224和224表示圖像的寬與高的像素值,3表示彩色圖像RGB顏色的3個通道,網絡輸出的數據維度為[16,1000],表示16個樣本、每個樣本的特征維度為1000.VGGFace網絡結構如圖1所示.

圖1 VGGFace網絡結構圖Fig.1 VGGFace network structure

考慮到課堂參與度特征除了與面部表情有關,受試者的參與度水平與當前的身體姿態也有著密切關聯,因此本文使用C3D網絡提取受試者的身體姿態特征.由于DAiSEE數據集樣本是用視頻形式表示的,通過連續的視頻幀判定受試者的身體姿態參與度狀態,不同于常規的卷積神經網絡采取的是2維卷積運算,C3D網絡中的3維卷積在2維卷積的基礎上增加一個維度,用來對時序信息進行處理.本文使用的C3D網絡結構共計包含8個卷積層,5個最大池化層以及2個全連接層.數據的輸入維度為[8,16,112,112,3],其中8表示每次訓練的樣本數量,16表示每個樣本包含16幀圖像,112和112表示圖像的寬和高,3表示圖像RGB顏色的3個通道.網絡輸出是數據維度為[8,1000]的特征向量.C3D網絡結構如圖2所示.

圖2 C3D網絡結構圖Fig.2 C3D network structure

通過VGGFace網絡和C3D網絡提取受試者的特征后,將特征向量進行串行拼接,合并為整體的特征.之后將特征輸入到視頻特征融合模塊進行視頻特征融合.

2.2 視頻特征融合模塊

對于特征融合技術,目前主要采用均值融合法[30]和最大融合法[31],但兩種方法均存在一些不足.考慮到注意力機制能夠對輸入信息中的重要部分給予更多的關注.因此,本文引入基于注意力機制的聚合模塊,通過加權求和的方式對多個子視頻進行視頻特征融合.將注意力機制引入視頻特征融合模塊,對視頻中參與度相關度高的部分賦予更大的權值,由此得到的特征有利于在后續的分類任務中獲得更好的效果.

Yang等人[32]提出包含特征嵌入和特征聚合的神經聚合網絡(NAN).在此研究基礎上,本文提出雙層級聯聚合模塊(Cascaded Two Aggregation Blocks,CTAB)對視頻特征進行融合,雙層級聯聚合模塊結構如圖3所示.

圖3 聚合模塊CTAB結構圖Fig.3 Structure diagram of the aggregation module CTAB

圖4 提出的參與度識別網絡結構Fig.4 Network architecture for our engagement recognition method

圖5 DAiSEE數據集中不同參與度樣本示例Fig.5 Examples of different samples from DAiSEE

雙層級聯聚合模塊包含兩個相同的子模塊,每個子模塊包括一個過濾層(Filter kernel)和一個線性層(Linear),模塊采用tanh函數作為激活函數.將一組視頻特征f=[f1,f2,…,fn]輸入到CTAB中,在過濾層中視頻特征f與過濾層權值計算內積,經過一個線性層處理,之后使用tanh函數進行非線性映射.

相關計算公式如式(1)～式(3)所示:

(1)

y1=W1a1+b1

(2)

z1=tanh(y1)

(3)

其中h1表示第一個模塊中過濾內核的參數,a1表示經過過濾層處理后的結果,y1表示經過線性層后的結果,z1為經過激活函數后的結果.在第2個模塊中輸入部分替換成第一模塊的輸出z1,后續計算過程與模塊一中的計算過程類似.經過兩個模塊處理后,將結果輸入到Softmax層,得到權值w.將視頻特征經過權重w進行融合,最終得到聚合視頻特征F,相關計算公式如式(4)和式(5)所示:

(4)

(5)

2.3 數據分布不平衡的參與度識別

在分類任務中,數據集類別分布不平衡會很大程度上影響樣本分類的準確性,在多樣本的類別分類準確率高,而少樣本的分類準確率相對較低.在DAiSEE數據集中4類樣本的分布比例約為1∶8∶73∶67,其中參與度較低的樣本(標簽為0和1)數量明顯少于參與度高的樣本(標簽為2和3).本文采用雙邊分支網絡(BBN),用來解決參與度自動識別任務中樣本類別分布不平衡的問題.

在深度學習中,特征學習和分類器學習通常是耦合在一起進行的,在樣本極度不平衡的狀態下,特征學習和分類器學習的效果均會受到一定程度的干擾.而雙邊分支網絡模型包括了特征學習和分類器學習兩條支路,減小了兩個部分的相互影響,共同收斂到很好的效果.

本文在雙邊分支網絡的基礎上,結合參與度識別具體任務,提出了一種用于自動識別學習參與度的雙邊分支網絡結構.該網絡結構包括特征學習、分類器學習和累加學習這3個模塊.在特征學習部分,使用均勻采樣的方式對數據集進行采樣,在均勻采樣的過程中,每一類的抽樣概率與該類別樣本數量成正比,保留了數據原始的分布.在分類器學習部分中,采取反向采樣的策略.在反向采樣策略中每一類的抽樣概率與樣本數量的倒數成正比,樣本數量越少的類別抽樣概率越大,達到重點關注少數類別樣本的效果.反向采樣公式如式(6)和式(7)所示.其中Nmax表示所有樣本的數量,Ni表示第i類樣本的數量,pi表示第i類樣本被抽樣的概率.

(6)

(7)

將從數據集中采集到的數據分別輸入到VGGFace網絡模型和C3D卷積網絡模型中提取特征,之后將特征輸入到CTAB聚合模塊中進行加權融合,得到了兩條支路的特征fc和fr.然后將兩條支路的特征通過適配器(Adaptor)進行融合.適配器的融合過程通過控制訓練過程中比重λ,對兩條支路得到的特征加權.在訓練的初期,對特征學習給予更多的關注,在訓練的中后期逐漸過渡到分類器部分的學習,在這個過程中會逐漸對分類小樣本數據更為有利.總訓練周期數表示為Tmax,當前周期表示為T,λ參數的數值隨著訓練周期的增加而遞減,具體計算公式如式(8)所示.

(8)

模型的預測結果Y,計算公式如式(9)所示.Y=[Y1,Y2,…,Yn]T,n為對應的類別數.

(9)

輸出的結果Y經過Softmax處理后,得到p=[p1,p2,…,pn]T,模型采用權重相結合的交叉熵函數作為損失函數.損失函數如式(10)和式(11)所示:

(10)

L=λLCE(p,yc)+(1-λ)LCE(p,yr)

(11)

其中LCE(p,y)表示交叉熵損失函數,yi表示的是第i的樣本的標簽,pi表示經過模型計算輸出后第i個結果.最終模型的損失函數L按照適配器參數λ,對兩條網絡分支計算出的交叉熵損失函數進行分配.

3 實驗部分

3.1 數據集

目前面向參與度自動識別研究任務的大規模公開數據集,包括DAiSEE數據集[5]和EmotiW數據集[7],這兩個公開數據集的提出為相關研究提供了一個公共的研究平臺.

DAiSEE數據集收集了112名受試者在圖書館、宿舍、實驗室等場景中進行在線學習的視頻,共計包含有9068個時長為10秒鐘的視頻.該數據集先后采用眾包法、以及心理專家制定的黃金分割標準,對無聊、困惑、參與和沮喪4種情感狀態的等級進行標注.其中受試者的參與情感狀態,共分為極低參與、低參與、一般參與和高參與4個等級,分別對應標簽0、1、2和3,每種標簽對應的樣本數量分別為61、440、4312和3758.

EmotiW(Emotion Recognition in the Wild Challenge)是由ACM多模態交互國際會議(ACM International Conference on Multimodal interaction,ICMI)舉辦,面向自然環境中不同情感計算任務的挑戰賽,其中一個子任務是學生參與度預測(Student Engagement Prediction,EngReco).該任務提供的數據集,收集了78名受試者在實驗室、宿舍以及露天場所等地點在線學習的視頻記錄,共計包含262個時長約為5分鐘的視頻.每個視頻由5名人員共同標注,將學生參與度分為不參與、低參與、高參與和極高參與4種類別,參與度從低到高的四類樣本數量分別為:9、45,100和48.

與相比DAiSEE數據集,EmotiW數據集在數據量上明顯少于DAiSEE數據集且同樣存在數據分布不平衡現象.因此本文的實驗部分選擇DAiSEE數據集.

3.2 數據預處理

數據預處理階段主要采用OpenCV庫,對DAiSEE數據集中的每個視頻大約為300幀,以1/3的采樣率進行取樣,則每個視頻采樣100張圖片.之后,將單個視頻分割為4個子序列,子視頻序列之間有2秒的重疊部分,以保證子視頻含有時序信息.每個子視頻序列長度4秒,每秒采樣4幀,則每個子視頻包含16幀圖像.

3.3 評價指標

在分類任務中常用的評價指標包括混淆矩陣(Confusion Matrix)、準確率(Accuracy)、召回率(Recall)、F1值等.

表1 DAiSEE數據集分類任務混淆矩陣Table 1 Classification confusion matrix on the DAiSEE dataset

準確率表示為預測正確的樣本數量在總樣本數量的占比.準確率計算公式如式(12)所示:

(12)

對于不平衡樣本的分類問題,分類的準確率會受到大樣本數據類的影響,難以反映出小樣本的分類效果.因此,還需要結合精確率、召回率和F1值對模型進行評估.

精確率表示的是對于每一個類別中分類正確的樣本數占所有被分到該類別中的樣本的比例.第i類的精確率計算公式如式(13)所示:

(13)

召回率反映的是該類樣本中被正確預測的占比.第i類的召回率計算公式如式(14)所示:

(14)

F1值是該類的召回率和精確率的平均值,取值范圍在0～1之間.當F1值越大時,模型的分類能力越強.第i類的F1值計算公式如式(15)所示:

(15)

3.4 實驗結果與分析

首先,將本文方法與參與度識別主流方法進行了對比實驗,具體實驗結果如表2所示,其中:

表2 不同算法在DAiSEE數據集的分類準確率Table 2 Classification accuracy of different algorithms on DAiSEE

I3D網絡[21]:通過對3維的卷積層和3維的池化層對視頻的RGB流進行時序特征的提取,再利用光流進一步提升網絡性能.在參與度分類任務中達到52.4%的準確率.

C3D網絡[5]:主要采用了3維卷積,更加擅長學習時空特征,使用交叉熵作為損失函數.在DAiSEE數據集的分類準確率達到48.6%.

C3D(Ordinal metric)[33]:在C3D網絡的基礎上通過引入困難四元組,通過樣本對嵌入向量距離與標簽距離一致性有序原則,構造出有序度量損失,再與交叉熵損失結合,形成聯合優化損失函數.將聯合優化損失函數應用在C3D網絡中得到58.9%的準確率.

LRCN算法[34]:輸入連續16幀圖像,首先經過卷積神經網絡提取圖像特征,之后經過LSTM融合時序信息,得到預測結果.最終在參與度分類問題上的準確率為57.9%.

DFSTN算法[22]:使用MTCNN進行面部的裁剪,使用SE-ResNet-50作為骨干網絡進行特征提取,并且采用基于全局注意力的LSTM對面部特征生成隱藏狀態.在DAiSEE數據集分類準確率達到58.9%.

DERN算法[35]:采用OpenFace捕獲受試者的特征,將特征輸入到結合時間卷積、雙向LSTM以及注意力機制的模型中.在DAiSEE數據集上參與度分類準確率達到60.0%.

本文方法:訓練周期設置為200,動量設置為0.9,學習率設置為0.0001,權重衰減2e-4,采用SGD優化器.在參與度識別任務中達到了63.6%的準確度,相比于其他算法具有一定優勢.

其次,為了驗證本文提出方法各個模塊的有效性,本文以參與度識別的準確率為評價指標設計了一組消融實驗,具體實驗結果如表3所示.實驗A:采用VGGFace+C3D作為實驗設置,分類準確率為52.8%.實驗B:采用VGGFace+C3D+CTAB作為模型架構,是本文進行驗證的網絡結構,與最終模型相比沒有加入雙邊分支網絡,分類準確率達到54.7%.實驗C:采用C3D+BBN的模型結構,是雙邊分支網絡在參與度識別任務中的驗證結構,分類準確率達到55.8%.實驗D即本文提出參與度自動識別方法,采用VGGFace+C3D+CTAB+BBN的實驗設置,準確率達到了63.6%.實驗D和以上3種實驗設置相比,具有最好的識別性能,進一步驗證了各個模塊在參與度識別任務中的有效性.

表3 本文方法在DAiSEE數據集的消融實驗結果Table 3 Ablation studies on DAiSEE

然后,為了進一步驗證提出方法對少數類樣本分類能力的提升,本文采用精確率、召回率以及F1值對DAiSEE數據集參與度的每一個類別標簽上的分類效果進行更為細致的評估.具體實驗結果如表4～表6所示.實驗1,只采用單一的C3D網絡進行參與度識別.實驗2,使用VGGFace和C3D網絡對參與度進行識別.實驗3,使用VGGFace和C3D網絡進行特征提取,聚合模塊 CTAB用來特征融合的整體架構.實驗4,在實驗3的基礎上將雙邊分支網絡加入到整體網絡架構中,驗證該方法對不平衡樣本的具體分類效果.

表4 不同方法在DAiSEE數據集的分類精確率Table 4 Precision of different methods on DAiSEE

表5 不同方法在DAiSEE數據集的分類召回率Table 5 Recall of different methods on DAiSEE

表6 不同方法在DAiSEE數據集的分類性能(F1分值)Table 6 F1 score of different methods on DAiSEE

從上述結果可以看出,實驗1由于網絡結構較為簡單,沒有對不平衡樣本分類進行過特殊設計,因此在標簽0和標簽1這樣的少數類樣本的精確率、召回率和F1值都非常不理想.在實驗2和實驗3中,結果指標總體接近,實驗3的結果略優于實驗2,兩組實驗在標簽0的識別效果依舊非常不理想,但在標簽1的識別效果略有提升,精確率、召回率以及F1值分別達到7.56%、22.64%以及11.34%.實驗在實驗3的基礎上加入了雙邊分支網絡結構,在實驗3與實驗4的對比中,實驗4的精確度、召回率以及F1值相較于實驗3的指標高出約10%.實驗驗證了雙邊分支網絡結構對于提升不平衡樣本的分類是有效的.實驗結果顯示,本文方法不僅提高了參與度識別的準確率,并且對不平衡樣本中的低參與度樣本(標簽0和標簽1)的分類效果具有明顯的提升作用.

4 總 結

本文提出雙邊分支網絡參與度自動識別模型,將特征學習和分類器訓練分開進行,降低傳統模型中兩部分的相互影響,使得對少數類別樣本的分類能力得到提升.通過在DAiSEE數據集上的對比和消融實驗,驗證了本文提出方法的有效性,為后續參與度自動識別研究提供了新的思路.

然而,目前參與度識別的識別精度仍存在較大的提升空間.首先,本文僅對受教育者的面部表情和身體姿態的時序變化進行研究,后續工作可以結合音頻、日志數據等多模態數據對參與度進行研究.其次,在特征提取部分,可以嘗試與其它更有效的網絡結構相結合,比如時間卷積網絡(TCN),以增強對視頻時序信息的理解.最后,近年來對比學習方法在眾多計算機視覺任務上表現優異,后續將進一步探索對比學習在參與度識別任務中的應用.