基于表情識別的課堂專注度實時反饋系統設計與實現

周新一， 應文豪， 龔聲蓉

（1.東北石油大學 計算機與信息技術學院， 黑龍江 大慶 163318；2.蘇州大學 計算機科學與技術學院， 江蘇 蘇州 215000；3.常熟理工學院 計算機科學與工程學院， 江蘇 常熟 215500）

0 引 言

隨著“互聯網+”時代的到來，在線教育、人工智能、智慧課堂等成為了教育教學的熱點話題，傳統教學方式受到嚴重沖擊[1]。2020 年受疫情影響，為確保疫情防控的同時也能順利完成教學任務，全國各地的教學任務都開始由線下改到線上進行，在線教學迎來了高光時刻，成為疫情期間課堂教學的主要方式。安東尼奧·里卡拉多等人更是稱在線教育為“兩百年來最重要的教育技術”。然而隨著在線教學的展開，這種方式的弊端也逐漸展露，在線教育是利是弊引發教育研究者深思。線上教學使教師處于課堂視覺盲區，盡管教師可以通過設置隨堂考核[2]或者課堂提問[3]等方式了解學生課堂專注狀態，但是教師并不能實時跟蹤學生在整個課堂教學過程中的注意力狀態[4]。例如：部分學生自控力差，不能一直在屏幕前聽課[5]，或者雖然在計算機前聽課，但注意力不集中，時常走神[6]，這就使得教師講課時不能確保課堂上大部分學生掌握知識點。

在線上教學模式下，學生完全脫離了教師的實景視線[7]，教師因無法掌握課程動態而嚴重影響教學質量。計算機視覺的發展給在線課堂提供了解決問題的方向。目前，表情識別技術已經日趨成熟，具有廣泛的應用前景。殷樂章等人將學生表情與環境監測結合，設計了適合在線課堂的學生課堂專注度檢測系統[8]。鐘馬馳等人通過頭部偏轉角、疲勞度和面部表情識別進行模糊綜合評價，從而實現專注度識別[9]。陶溢等人將表情與頭部姿態結合進行專注度評價[10]。袁霞提出將學生表情、人體姿態、頭部姿態多維度相結合，識別專注度[11]。張璟提出一個輕量級卷積神經網絡的表情識別算法，將學生面部完整度、是否低頭扭頭、學生群體表現和學生表情相結合，可以更準確地評估學生的學習狀態[12]；G.Tonguc 等人借助微軟情感識別API，對在整個講座過程中學生的情緒進行自動監測，統計分析表情變化是否有意義[13]。P.Sharma 等人將眼睛和頭部運動信息與面部情緒相結合，用非常投入、名義投入和完全不投入3 個指標進行判別，實驗不僅正確識別3 個指標的時間段，還得出得分最高的學生也具有較高的專注度指標[14]。何秀玲等人提出一種結合眉毛、眼睛、嘴巴的局部特征與CLBP 淺層紋理、CNN 深度網絡的全局特征的學習表情特征提取方法，實驗證明該方法適用于自發的學習表情數據庫識別[15]。唐康將抬頭聽課率和學生表情相結合來評價課堂效果，實驗結果與人的注意力保持規律相一致，具有一定理論意義[16]。徐振國通過實驗探討學習畫面自適應調整對學習者情感的影響，設計情感自動評估系統，從而有助于教學設計，促進學習者輕松專注于課堂[17]。先前工作中所做的課堂表情研究都是基于常見的六七種傳統表情，見表1，這在真實的課堂場景中效果并不理想。因此，本文考慮將學業表情外顯情緒作為表情分類，對課堂專注度進行實時計算并呈現給教師和學生。

表1 課堂學生表情研究分類表

學業情緒的概念最早是由Pekrun 提出的，是指學生在學習環境中會體驗到各種各樣的自我參照情緒、任務相關情緒和社會情緒，是一個心理學的概念，它的外顯表情一定程度上能反映學生的課堂狀態。本文將深度學習算法應用于表情識別，通過模糊綜合評價將表情與專注度關聯來設計系統，利用表情數據分析師生行為，輔助教師教學，滿足學生個性化需求，提高教學效果。本文利用表情識別技術讓教師掌握學生課堂表情變化情況，跟蹤其上課專注度，從而分析課堂動態，實時調整教學方法。

1 系統的設計

首先對課堂專注度實時反饋的業務過程進行詳細分析，根據教師和學生的上課需求，設計與實現了表情專注度識別模塊，實現對課堂主體專注度分析的數據支持；然后，在此基礎上進行數據可視化，以圖表方式為教師和學生提供數據依據。

1.1 系統組成模塊

為了輔助教師線上教學，本文提出一種課堂專注度實時反饋系統，其主要分為表情識別、數據庫存儲、統計分析三大模塊，如圖1 所示。

圖1 課堂專注度實時反饋系統的結構

1.2 表情識別模塊

表情識別模塊主要負責通過分析一個人的面部表情來檢測他的情緒。

1.2.1 數據集和預處理

本系統根據學業情緒和相關課堂表情研究，將表情分類細化為困惑、沮喪、難過、生氣、害怕、厭惡、無聊、昏昏欲睡、驚訝、開心、無表情、看其他地方等12 種。這里采 用 公 開 的JAFFE、NIR KMU-FED、kaggle 競 賽 中Student-engagement 的表情數據集，表情圖片以“.jpg”格式保存，通過人工標注成“.xmls”格式，共3 084 張作為深度學習模型訓練模型，提高表情識別率。

1.2.2 表情識別模型

YOLOv4 是當前最先進的目標檢測算法之一，不僅識別速度快，精確度還高。為了取得最好的學生面部表情識別性能，本模塊將通過YOLOv4 算法完成人臉檢測和表情分類。

圖2 是YOLOv4 的網絡架構，相比于之前的YOLO系列，YOLOv4 性能表現更加優異。在主干網絡部分，它將之前研究者已經寫好的方法技巧應用于DarkNet-53 網絡中構成新的CSPDarkNet-53 的主干網絡來對目標進行特征提取，同時使用允許負值不截斷還有較小負梯度流入的激活函數Mish 替換原來的負值過于絕對的激活函數ReLU，以確保訓練時的穩定和準確率的提高等；在中間層部分，結合路徑聚合網絡PANet 和特征金字塔進行參數特征拼接聚合，以提高檢測效果，同時通過空間金字塔池化SPP 網絡將規范不同尺寸的輸入圖像最大池化，以增大感受野。

圖2 YOLOv4 網絡架構

1.2.3 訓練與結果

訓練隨機抽取測試集的20%作為驗證集，剩余部分為訓練樣本，且訓練集與驗證集數據無交叉。參數具體設置見表2。

表2 訓練參數設置

mAP 指的是多個類別平均精確率AP 的算術平均值，是目標識別任務中常用的指標，可以用來衡量模型識別效果的好壞[18]。通過訓練模型識別的mAP 達到了80.42%，如圖3 所示，結果已經達到人眼判別的性能。由于學生課堂表情大多以中性為主，為了深度分析學生心理，數據集采用中性表情數量相對較少，對應識別精度并不高；另一方面，厭惡表情與生氣表情有點相似，精確度也相對較低。這說明了表情識別是一種復雜且模糊的任務。

圖3 訓練結果圖

1.3 數據庫存儲模塊

本系統數據庫包括學生、教師、專注度信息三個實體。教師主體屬性有教工號、姓名、登錄密碼，學生主體屬性有學工號、姓名、登錄密碼，專注度信息主體屬性有專注度信息號、時間、表情、專注度分、表情標簽。圖4為系統主要內容的E-R 圖。圖中表述了實體之間的聯系：一位教師可以給多名學生授課，一名學生只能聽一位教師的課，因此教師和學生之間是一對多的聯系；一個專注度信息可以存放多名學生的信息，一名學生只能存放在一個信息庫中。因此，信息庫與學生之間是一對多的聯系。

圖4 E-R 圖

數據庫主要是用于存儲學生的課堂表情專注度信息，如表3 所示。

表3 專注度信息表

1.4 統計分析模塊

統計分析模塊是本文的核心模塊，主要負責學生課堂表情專注度計算。

1.4.1 專注度評估方法

模糊綜合評價法是一種基于模糊數學理論的評價方法，用于評估多個因素對某一目標的影響程度。通常這種方法是在沒有數據情況下生成數據的典型方法。本文研究的專注度是一個持續性過程，單張圖片、單個表情都并不能說明學生學習的專注情況，因此通過邀請100 名高校老師填寫自制的高校教師針對課堂表情專注度模糊綜合評價問卷，來進行專注度評估研究，具體步驟流程如下：

1） 確定評價指標。本研究因素集V為12 種表情，評語集U為5 個評判等級。

2） 確定權重。指標層權重A為階段時間內對應表情數量與總表情數量的占比。

3） 構建評價矩陣。通過問卷結果計算出評價矩陣R為：

4） 模糊合算。按照一定的模糊運算規則進行模綜合評價，求得模糊綜合評價集合B，具體為：

5） 決策。先將上述模糊綜合評價集B進行歸一化，再采用加權平均原則進行數據轉化，得出階段時間內該學生的決策專注度評分。

本文將學生表情按照階段時間專注度評分，作為分析該學生上課情況的數據依據，將每分鐘所有學生專注度評分平均分作為分析課堂評分的數據依據。專注度評分的數據以圖表的可視化形式展現，使得數據更為直觀、更容易理解。通過系統實時獲得專注度評分，給學生提供了自我監督和自我審查功能。當檢測出不想聽課的學生時，本系統會向該同學發出警報，提醒學生學習狀態。

1.4.2 實驗對象與分析

以本校5 名學生作為實驗對象，選取研究對象自己感興趣的課程視頻作為課程內容，進行時長45 min 的線上教學并對實驗對象進行錄屏。研究將視頻默認設置1 s 一張表情截取，5 min 之后計算專注度分。將5 min 內對應表情的占比默認為該表情的權重。根據模糊綜合評價相關計算，獲得45 min 內該學生的專注度得分。為了驗證研究結果的合理性，針對這5 名學生上課過程的錄像視頻，請5 名高校教師通過觀察對這5 名學生課堂表情專注度進行打分，打分標準參照學生課堂專注度量表，該量表是陶溢的專注度評價量表的表情包部分內容，量表的信度和效度符合評判標準[10]。表4 是教師評價與本文專注度評價的分數。

表4 教師和本文研究專注度評分表 分

皮爾遜相關系數（Pearson Correlation Coefficient）是一種衡量兩個變量之間線性關系強度的統計量，通常用于描述兩個連續型變量之間的關系。它可以幫助大家了解兩個變量之間的線性關系，從而進行更深入的數據分析和預測。它的取值范圍在-1～1 之間，其值越接近于1 或-1，則說明兩個變量之間的關系越強；如果其值越接近于0，則說明兩個變量之間的關系越弱或者不存在線性關系。皮爾遜相關系數的計算公式為：

式中：x和y分別表示兩個變量的值；n表示數據點的個數。如果兩個變量的皮爾遜相關系數為正，說明兩個變量之間存在正相關關系；如果皮爾遜相關系數為負，則說明兩個變量之間存在負相關關系；如果皮爾遜相關系數為0，則說明兩個變量之間不存在線性關系。為測定教師評價結果與本研究專注度評價結果的相關性，選用皮爾遜相關系數進行測量，計算結果為0.989，其絕對值接近1，由此可知本研究的評價方式是合理可行的。

2 系統實現

本系統涉及兩種用戶界面，分別對應學生和教師。

2.1 學生界面

學生專注度反饋的界面將學生自身的課堂狀態及時記錄評分，并通過專注度折線圖方式知曉，以促進該生的學習動機。當學生長期處于消極狀態時，界面開始彈窗警報以規范該生上課行為；當學生重新回到正常狀態時，界面重新記錄課堂狀態。警報功能圖如圖5 所示。

圖5 學生界面警報功能圖

2.2 教師界面

教師專注度反饋的界面將課堂主體的學習經歷以數據的形式提供反饋，教師通過學生專注度評分排名了解學生個體的學習狀況，據此教師可以及時調整課堂進度、教學風格，滿足了教師的課上需求，也給學生提供了高質量的學習體驗。在課程后，通過系統輔助教師分析學生的學習態度以及時調整學生學習心理，從而整體了解學生對知識點的掌握情況，分析課程的教學效果，有利于其對下一節課的課前回顧的重點突出。教師主界面圖如圖6 所示。

圖6 教師主界面圖

3 系統實驗結果

為了驗證系統的可行性，繼續將之前的5 名同學作為研究對象進行線上授課實驗，圖7、圖8 分別為個體、全體學生專注度反饋結果。結果表明，系統能夠對學生專注度狀態進行檢測并實時反饋給教師和學生，通過反饋內容，學生可以及時調整課堂狀態，教師也能及時調整課程。

圖7 個體學生專注度反饋

圖8 全體學生專注度反饋

4 結 語

課堂教學是一項需要情感賦能的工作，本質是師生互動，師生關系融洽的課堂環境有助于學生的深度學習。針對傳統表情不適用于現實課堂，本文設計一種基于表情識別的課堂專注度實時反饋系統，將可識別的學業表情作為課堂表情識別類別更具有可靠性，教師可以更加細致地觀察和分析學生在課堂中的情緒變化，從而更好地促進學生的學習和發展。

注：本文通訊作者為龔聲蓉。