基于深度學習的線上教學學情監測系統研究

韓毅 王旭彬 郭圓輝

摘 要：線上教學在疫情期間得到廣泛應用，但是在授課過程中，教師沒有精力關注每一位學生對講授內容的實時反應，無法針對性地調整授課方案，導致教學效果不佳。因此，本文開發了基于深度學習的線上教學學情監測系統。該系統采用Yolov3算法，結合攝像頭實時采集的視頻畫面，對學生進行檢測定位，計算學生在線時間。同時，其使用Dlib開源庫檢測學生面部特征點，對學生進行困倦狀態識別，并生成課堂學情報告，分析學生出勤、學習狀態數據。測試表明，該系統響應迅速，可靠性較高，能準確判斷學生的學習狀態，具有較好的實際應用價值。

關鍵詞：學生監測;深度學習;人臉特征點檢測

中圖分類號：G434;TP391文獻標識碼：A文章編號：1003-5168（2021）03-0019-03

Study on Monitoring System of Learning Situation in Online

Teaching Based on Deep Learning

HAN Yi WANG Xubin GUO Yuanhui

（Department of Computer Science and Information Engineering， Anyang Institute of Technology，Anyang Henan 455000）

Abstract： Online teaching has been widely used during the epidemic， but in the course of teaching， teachers did not have the energy to pay attention to the real-time response of each student to the content of the lecture， and could not adjust the teaching plan in a targeted manner， resulting in poor student learning. Therefore， this paper developed an online education monitoring system based on deep learning. The system uses the Yolov3 algorithm， combined with the real-time video images collected by the camera， detects and locates students， and calculates the online time of students. At the same time， it uses the Dlib open source library to detect student facial feature points， recognize students' sleepiness status， and generate classroom learning reports， and analyze all students' absenteeism and learning status data. Tests show that the system responds quickly， has high reliability， can accurately judge the learning status of students， and has high practical application value.

Keywords： student monitoring;deep learning;face feature point detection

2019年底，新冠肺炎疫情暴發，為了避免學生聚集，多所學校于2020年初采用線上教學代替線下教學。線上教學模式在帶來便捷的同時，也存在一些問題，例如，學生在學習過程中存在困倦、睡覺甚至中途離開的情況。教師在進行線上教學時主要關注教學內容及學生提問，不能兼顧學生的實時聽課狀態。因此，如何在線上教學過程中讓教師實時查看學生學習狀態成為亟待解決的問題。

基于人工智能技術與計算機視覺技術的快速發展，相關學者將這兩種技術應用于學情監測，如基于CNN深度學習模型的大學生課堂行為檢測研究[1]、改進的多目標回歸學生課堂行為檢測方法等[2]。本文開發出基于深度學習的線上教學學情監測系統，旨在對線上學習的過程中學生行為進行監督統計，并通過可視化方式反饋給教師，從而使教師實時了解學生的學習狀態，提高教學效果。

1 系統概述

本系統主要面向學生、教師群體。其采用模塊化設計，并分為五個模塊。一是面部定位，在攝像頭獲取實時視頻數據后快速對學生面部進行定位，并將學生面部圖像傳至后端模塊，同時對學生是否中途離開進行監測;二是特征提取，通過對面部定位模塊獲取的面部圖像進行學生面部特征點提取，并將面部特征點數據保存;三是狀態分析，基于獲取的特征點數據對學生當前狀態進行分析;四是行為響應，根據系統分析出的學生狀態做出指定的響應;五是生成課堂學情報告，將課堂內學生狀態生成可視化圖表報告。

2 系統結構

如圖1所示，系統主要分為五個模塊，即學生定位、特征提取、狀態分析、行為響應以及統計生成。

2.1 學生定位

系統通過學生上網課時攝像頭采集的視頻數據，使用Yolov3算法訓練出人臉識別模型來對學生面部進行識別，采用多尺度融合方法，在3個尺度上進行融合，并提出了全新的特征提取器Darknet-53，添加了殘差網絡，進一步提高了目標檢測的性能。

2.2 特征提取

監測系統中的特征提取模塊采用開源庫Dlib進行68個面部特征點的提取，采用基于回歸樹的人臉對齊算法[3]。在已知的人臉矩形選框中，該算法以準確定位其形狀為目標，主要分為基于優化的方法和基于回歸的方法兩大類。本文采用后者，通過級聯的殘差回歸樹使人臉逐步對齊，從而準確檢測出人臉的68個特征點。Dlib方法對姿態變動較小的人臉有非常好的定位效果，而且學生使用的攝像頭像素參差不齊，故采用該方法進行面部特征點檢測。

在接收到學生面部圖像后，系統將通過以上算法標記出學生面部的68個特征點，如圖2所示。若根據學生面部圖像信息無法獲取學生面部特征點，系統會提示學生調整攝像頭位置，以將面部納入取景框內。

2.3 狀態分析

2.3.1 學生出勤情況分析。系統將根據學生定位模塊來分析學生的出勤情況，模塊內含有計時器，對學生定位模塊傳出的信號進行統計，若學生定位模塊持續1 min無法檢測到人臉，計為“缺勤”。

2.3.2 學生頭部姿態估計。系統基于特征提取模塊采集面部特征點，假設[d1]為瞳孔水平位置到采集圖片的上邊緣距離，[d2]為嘴角的水平位置到采集圖片的下邊緣距離。在學生低頭時，[d1]增大，[d2]減小。系統將以此估計學生頭部姿態，并判斷學生是否長期低頭狀態。

2.3.3 學生困倦、睡覺狀態識別。困倦時，學生具有打哈欠、眨眼頻率降低、不斷點頭等特征;睡著時，眼睛處于閉合狀態，學生保持低頭。基于特征提取模塊采集到的面部特征點，取眼部特征點、嘴部特征點求得[EAR]（Eye Aspect Ratio，眼部縱橫比）與[MAR]（Mouth Aspect Ratio，嘴部縱橫比）。當學生兩眼[EAR]的均值低于設定的閾值時，判定閉眼;當[MAR]高于設定的閾值時，判定打哈欠。然后，系統將通過單位時間內學生的[EAR]計算[PERLOCS]（眼睛閉合時間占單位時間的百分率），通過[MAR]計算單位時間內的[YAWNFRE]（打哈欠頻率），同時結合頭部姿態計算[DOWNFRE]（單位時間內低頭時間的百分率）來判斷學生是否困倦、是否睡著，如式（1）所示。其中，[α]、[β]和[γ]為[PERLOCS]、[YAWNFRE]和[DOWNFRE]對狀態評判的權重;[Points]為單位時間內學生的狀態分，系統將據此判斷學生狀態。

[Points=α×PERLOCS+β×YAWNFRE+γ×DOWNFRE]（1）

2.4 行為響應

對于學生的實時狀態，系統將做出對應響應。在開始判定學生缺勤時，系統會及時向教師反饋;在學生困倦、睡著或是長期低頭時，將會在屏幕上進行提示。教師也可實時查看學生的狀態記錄、缺勤記錄。

2.5 統計生成

系統將在課堂結束后生成一份統計報告，以展示學生課上狀態。其中包括缺勤時長、困倦時長、低頭時長以及睡覺時長，并把數據可視化處理，將學生的課上行為按比例劃分，以便分析學生的學習狀態并幫助調整。同時，系統也會生成以班級為單位的課堂報告，呈現整個班級的課堂狀態。

3 系統試驗

為測試系統的有效性、可靠性以及準確性，試驗以7位測試員在不同學習環境下模擬上課的錄制視頻數據為樣本，課堂使用釘釘視頻會議的形式共進行50 min，7位測試員根據指令在不同時間段內做出相應的行為。系統應用示例如圖3所示。

將系統采集模擬上課視頻數據的測試結果與學生實際行為進行對比，如圖4所示。系統對學生缺勤的識別準確率為96.1%，對學生睡覺的識別準確率為90.7%，對學生困倦的識別準確率為93.7%，對學生低頭的識別準確率為90.1%。測試數據表明，該系統可有效對學生課上行為進行監測，基本滿足線上教學中對學生不良習慣監測的要求，而且具有實時監測、響應速度快、準確性高等優勢。

4 結語

本文開發基于深度學習的線上教學學情監測系統，可以很好地解決線上教學中出現的問題，有利于線上教學效果的提高。該系統具有較高的可靠性和實用性，不足的是，睡覺和低頭兩種狀態的識別具有復雜性，其檢測準確率還有待提高。未來，人們仍需要進一步深入研究，不斷改進檢測算法。

參考文獻：

[1]左國才，蘇秀芝，王海東，等.基于CNN深度學習模型的大學生課堂行為檢測研究[J].智能計算機與應用，2020（2）：158-160.

[2]劉新運，葉時平，張登輝.改進的多目標回歸學生課堂行為檢測方法[J].計算機工程與設計，2020（9）：2684-2689.

[3]KAZEMI V，SULLIVAN J.One millisecond face alignment with an ensemble of regression trees[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2014.