課堂學情態勢感知輔助教學系統的設計與實現

王殿林

摘要：為解決班級授課制課堂中個別學員學習投入不佳問題，設計實現了一個基于人臉表情識別的課堂學情態勢感知輔助教學系統。系統實時獲取學生面部照片信息并使用VGGNET進行表情識別，通過獲取到的知識點難易度指標數據和課堂授課進度信息，挖掘出指征學生學習投入水平的面部表情時序關系，并應用于系統對教師進行“干預信息”提示。系統在真實教學場景應用效果較好，能夠根據表情時序關系模式及時向教師提示需要干預的學生，提升了課堂中學生整體的學習效率。

關鍵詞：課堂學情態勢感知；表情時序關系模式；干預提示

中圖分類號：TP18? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）34-0026-03

1 概述

課堂教學是各類學校培養人才的基礎環節和重要組成部分。課堂教學作為學校教學的基本組織形式，學生能否深度學習達成預期教學目標是關鍵，研究學生在課堂學習中的學習投入問題具有一定現實意義。學習投入指的是學生在學習活動中的認知、行為和情感投入[1]。本研究關注的是學生的學習情感態度投入，也就是學生在課堂學習過程中的情感體驗，需要考察積極的情感體驗、消極的情感體驗以及一些中性的情感體驗。

研究表明，情緒對感知、注意、記憶、學習、推理及其問題解決等認知加工過程具有重大影響[2]?；诖?，采用智能硬件及攝像設備實時捕捉課堂授課中學生的面部表情照片，通過部署于智能硬件中的深度學習模型VGGNET[3]分析學生的面部表情，結合課前依據課堂講授內容知識點設置的難易度指標，分析面部表情與學情態勢的相關性，進而挖掘出學生學習投入的指向性面部表情組合關系指標，反過來應用于教學指導和教師介入，便于教師對學習投入不佳學生進行積極干預，主動幫助學生“回歸”課堂，提升課堂學習的總體效率。

本文的研究內容主要是設計實現課堂學情態勢感知輔助教學系統，基于部署于智能硬件的VGGNET對捕獲的學生面部照片進行表情識別，關聯知識點難易度指標，推理出幾個指征學生學習投入水平的面部表情時序關系，應用于教學指導。

2 背景概要

現代社會，隨著教學內容的增加和人才需求的加大，為了提高教學效率，院校的教學組織形式一般采用班級授課制。班級授課制很好地順應了工業時代經濟快速發展的潮流，符合現代學校發展和普及大眾教育的基本需要。隨著第三次科技革命浪潮的推進，諸如網絡教學、虛擬教學、線上線下混合式教學等新的教學組織形式也逐漸被人們所接受，開始得到應用。新冠肺炎疫情在全球肆虐后，更加速了新教學組織形式的應用和推廣。

盡管新的教學組織形式有利于提升教學質量，但傳統的班級授課制仍是主要的教學組織形式，仍是院校組織教學活動各要素完成教學任務的主要形式。在課堂中組織教學活動，一方面便于學校實施教學計劃，便于教學管理和評價，提高教學效率，各類學習活動可以穩步推進；另一方面，也存在難以滿足學生的個性化特異化需求，學生學習狀態難以整體掌控分類干預，學生主體性創新性受限制等問題。其中，學生學習狀態差異化明顯問題在傳統的傳授知識課中尤其明顯。

從學習體驗角度分析，學生在傳授知識課中一旦出現學習狀態不佳問題，想通過自我調節的方式回歸課堂，回到教師的講課思路上來，往往比較困難。即使能夠回歸，由于存在一定時間的偏移，再次進入課堂，可能存在“與前序知識銜接不上”“跳過關鍵知識點”等問題，可能導致再次思緒偏離甚至自我放棄。因此，在學生剛出現“學習狀態不佳”傾向性狀態之前就進行干預，可以幫助學生快速回歸課堂，提高學習效率。

學生“學習狀態不佳”的狀態可以通過肢體動作、情緒等外在表現反饋。研究關注情緒與“學習狀態”“學習投入”的關系，期望通過技術手段獲取學生情緒信息與“學習狀態”的關聯，進而對授課中的教師進行提示以便進行人工干預。已有研究關注于使用人工智能技術進行學情分析：一種方法[4]是在課堂教學中采用人臉識別技術識別抬頭率，分析學生的學習專注度，進而為后續實施教學分析提供參考；另一種策略[5]針對教師不能及時掌握學生情緒變化而及時調整課程進度問題，歸納學生7種表情與對應“學習狀態”理解，設計實現了一個學生情緒識別系統，可以為教師提出針對性教學建議。

為了更有效實時地幫助教師識別“學習投入”不佳學生，研究設計實現了課堂學情態勢感知輔助教學系統，應用VGGNET深度學習模型識別學生情緒特征，并不是簡單地將這些特征與“學習狀態”關聯，而是將時序情緒特征看作是“學習狀態”的特征，進而挖掘出反應“學習狀態”差的時序情緒序列，并與當前授課進程中知識點難易度進行關聯分析，以便更好地為教師干預學習投入不足的學生提供指導。

3 課堂學情態勢感知輔助教學系統設計概況

課堂學情態勢感知輔助教學系統分為硬件和軟件兩部分。硬件采用NVIDIA Jetson Xavier NX SUB開發板套件。Jetson Xavier NX是一款英偉達設計生產的嵌入式主板，搭載了6核ARM架構的64位CPU和384核Volta架構的GPU以及48個向量計算核心，AI算力達到21 TOPS，適用于嵌入式系統和邊緣計算開發，可被視為一臺適合部署深度學習模型的強算力計算機。

軟件部署于硬件之上，主要是基于VGGNET模型的Python程序，用于進行人臉表情識別。同時，實時獲取教師正在講授的知識點和難易度指標信息?；诮y計學原理，挖掘學生面部表情時序關系，從而指導教學實踐。圖1為系統架構圖，主要是獲取人臉圖片數據和實時知識點授課進度和知識難易度指標數據，經由“課堂學情態勢感知輔助教學系統軟件分析子系統”處理，最終完成輔助教學指導任務。

圖2為“課堂學情態勢感知輔助教學系統軟件分析子系統”的模塊關系圖，由四個模塊構成：知識點難易度獲取模塊、表情識別模塊、表情特征模式分析提取模塊、輔助教學指導模塊。知識點難易度獲取模塊接收智慧屏中當前課程講次的知識點實時進度和預先設定的知識點難易度指標數據，交由表情特征模式分析提取模塊使用；表情識別模塊收集攝像頭定期拍攝到的人臉照片后，采用VGGNET深度學習模型識別出學生的表情信息并進行標記交由表情特征模式分析提取模塊使用；表情特征模式分析提取模塊收集前述兩方面數據后，綜合分析數據，使用統計學方法抽取與知識點難易度強相關的表情時序關系并保存；輔助教學指導模塊根據成熟的表情時序關系模式結合表情識別模塊的實時數據，對學生學習投入情況進行判定，選擇最需干預的學生，并通過智慧屏進行預警，教師根據課堂情況自主決定干預方法。

4 表情時序關系模式

根據美國心理學家Ekman等人的研究結論[6]，情緒包括：高興、驚訝、悲傷、擔憂、生氣、厭惡6種基本情緒，同時加入中性情緒作為非6類情緒的補充?；谥仉y點知識學生學習狀態普遍不佳的假設，反應“學習狀態”差的時序情緒序列模式由上述6種基本情緒構成。為了挖掘出上述時序情緒序列模式，使用已構建好的課堂學情態勢感知輔助教學系統針對信息系統設計與應用課程進行探索性研究。信息系統設計與應用課程是信息系統工程專業的專業背景課程，學生在學習了大學計算機基礎、程序語言、計算機網絡、數據庫系統等方面的知識后，通過該課程的學習進一步從系統規劃分析設計的角度審視信息系統的構建過程，具備抽象和逐步求精的設計理念，從而為形成系統思維打下基礎。

以“結構化的分析”這堂課為例，共有39名學生聽課學習。在探索挖掘時序情緒序列模式時，課前，通過課程教學組集體備課研究，選定了12個知識點和3個知識難點，并在課件的相應位置進行了標注。表1展示的是知識點難易度以及在課程進度中的位置關系。課中，與智能硬件連接的攝像頭以10秒為間隔實時捕獲學生的情緒信息，結合智慧屏中教師講解課件的進度信息，生成39組與知識點信息關聯的學生基本情緒序列。針對難、中、易得知識點信息進行基于統計的相似時序情緒序列模式識別，最終挖掘出的表情時序關系模式如表2所示。

5 教學應用效果及前景

系統識別出情緒序列模式后，應用到后續課堂教學中，發現對教師有一定的輔助作用，序列模式觸發系統報警并篩選出最需干預學生一般出現在重難點知識講解的中后段，且序列模式持續觸發多名學生告警。針對上述情況，教師及時調整設計好的授課安排，將時間線往回撥，通過提問、課堂小練習、小討論等方式緩解學生的擔憂焦慮甚至是悲傷情緒，從疑問點出發進行回溯，幫助學生理清思路，查找問題癥結，跳出誤區，實現知識的理解。因此，在系統調優中，針對此類成規模地觸發系統告警的問題，系統及時做修正，不再提示干預某一個學生，而是提示采用集體干預策略。

由于不同類知識的學習存在顯著的差異性，在后續研究中將針對不同的課程進行針對性的情緒序列提取工作。期望系統能夠應用于更多的課程中，協助教師開展授課活動。同時，學習活動是雙向的，既需要老師的教授過程，更需要學生的積極參與其中，因此系統的提示性信息是否可以公開展示在課堂中或以某種方式悄悄地提示學生本人也是未來需要研究的方向。

6 結束語

本文設計實現了一個課堂學情態勢感知輔助教學系統，系統通過智能硬件上的攝像頭捕獲學生課堂面部表情照片，采用VGGNET深度學習模型分析表情信息，結合智慧屏傳輸的課程進度信息和知識點難易度指標信息，挖掘出一組關于學生“學習狀態”差的時序情緒序列，應用于系統進一步實時監測學生學習狀態，輔助教師進行人工干預。系統可用于真實教學場景，輔助教學工作，提升班級授課制教學組織形式中學生整體的學習效率。

參考文獻：

[1] 何佳.碩士研究生學習投入現狀的實證研究——以J大學為例[D].南昌：江西師范大學，2015.

[2] Tyng C M，Amin H U，Saad M N M，et al.The influences of emotion on learning and memory[J].Frontiers in Psychology，2017（8）：1454.

[3] Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition[EB/OL].[2021-10-20].2014：arXiv：1409.1556.https：//arxiv.org/abs/1409.1556.

[4] 湯雙霞.基于改進神經算法在課堂人臉識別學情分析應用研究[J].信息系統工程，2019（11）：122-123.

[5] 李鵬.輔助大學課堂教學的端到端學生情緒識別系統的研究[D].成都：電子科技大學，2020.

[6] Ekman P.Emotions Revealed： Recognizing Faces and Feelings to Improve Communication and Emotional Life[M].Glasgow：Times Books，2003.

【通聯編輯：王力】