基于人工智能技術(shù)的學(xué)生課堂學(xué)習(xí)行為監(jiān)測系統(tǒng)設(shè)計(jì)

摘要：人臉識(shí)別技術(shù)作為當(dāng)前計(jì)算機(jī)視覺中的研究熱點(diǎn)，被廣泛應(yīng)用在各個(gè)領(lǐng)域。計(jì)算機(jī)技術(shù)的發(fā)展和智能設(shè)備的普及，反而讓高校學(xué)生曠課、上課遲到、課堂學(xué)習(xí)精力不集中等問題加重。而現(xiàn)有的學(xué)生課堂學(xué)習(xí)行為管理方式以及行為監(jiān)測技術(shù)在應(yīng)用課堂學(xué)習(xí)環(huán)境中應(yīng)用時(shí)，受易遮擋、學(xué)生人體姿態(tài)多樣等問題的影響，無法充分滿足對(duì)學(xué)生課堂學(xué)習(xí)行為進(jìn)行監(jiān)測的要求。為了解決這一問題，本文結(jié)合人工智能技術(shù)提出了一種學(xué)生課堂學(xué)習(xí)行為監(jiān)測系統(tǒng)的設(shè)計(jì)方案，該系統(tǒng)能夠?qū)崿F(xiàn)個(gè)性化無痕監(jiān)測，且對(duì)學(xué)生課堂學(xué)習(xí)沒有任何影響。具體來說，該監(jiān)測系統(tǒng)的設(shè)計(jì)主要包含了注冊(cè)模塊、攝像模塊、存儲(chǔ)模塊、數(shù)據(jù)處理中心、體型檢測模塊、學(xué)生行為軌跡合成模塊以及課堂行為識(shí)別模塊等。經(jīng)驗(yàn)證明，該系統(tǒng)的設(shè)計(jì)，能夠高效、智能地實(shí)現(xiàn)對(duì)學(xué)生課堂學(xué)習(xí)行為進(jìn)行監(jiān)測。

關(guān)鍵詞：人工智能；學(xué)生課堂學(xué)習(xí)行為；監(jiān)測系統(tǒng)；行為識(shí)別；計(jì)算機(jī)視覺

一、引言

課堂教學(xué)作為高職院校教育教學(xué)的重要陣地，學(xué)生在課堂學(xué)習(xí)行為及表現(xiàn)是實(shí)現(xiàn)課堂教學(xué)評(píng)價(jià)的重要部分之一。因此，對(duì)學(xué)生的課堂行為狀態(tài)進(jìn)行監(jiān)測和管理顯得極為重要。對(duì)于課堂學(xué)習(xí)過程中、哪部分學(xué)生相對(duì)活躍、哪部分學(xué)習(xí)區(qū)域比較活躍以及學(xué)生的課堂學(xué)習(xí)行為等，任課教師無法實(shí)時(shí)進(jìn)行觀測，同理，對(duì)于學(xué)生的課堂學(xué)習(xí)行為坐姿以及學(xué)習(xí)狀態(tài)等，也無法得到科學(xué)合理地監(jiān)測?，F(xiàn)有的課堂學(xué)習(xí)行為監(jiān)測系統(tǒng)需要學(xué)生在課堂學(xué)習(xí)過程中穿戴特定的設(shè)備，才能夠采集與定位學(xué)生的行為數(shù)據(jù)。然而，這些穿戴設(shè)備對(duì)學(xué)生的坐姿以及課堂行為軌跡等無法實(shí)現(xiàn)無痕監(jiān)測，而且還會(huì)對(duì)學(xué)生的正常課堂學(xué)習(xí)體驗(yàn)造成一定程度的影響[1]。基于此，本文提出了一種基于人工智能的學(xué)生課堂學(xué)習(xí)行為監(jiān)測系統(tǒng)設(shè)計(jì)方案，通過利用人工智能技術(shù)對(duì)學(xué)生的課堂學(xué)習(xí)行為進(jìn)行分析，以此促進(jìn)課堂教學(xué)質(zhì)量和管理水平得到提高。

二、學(xué)生課堂學(xué)習(xí)行為識(shí)別技術(shù)概述

基于人工智能技術(shù)提出的學(xué)生課堂學(xué)習(xí)行為識(shí)別方法，可以對(duì)學(xué)生在課堂中的不同課堂行為進(jìn)行全方位地采集與識(shí)別，具體學(xué)生課堂行為分類見圖1所示。

三、基于人工智能的學(xué)生課堂學(xué)習(xí)行為監(jiān)測系統(tǒng)設(shè)計(jì)研究分析

（一）系統(tǒng)總體框架設(shè)計(jì)

通過人工智能并結(jié)合高校學(xué)生的課堂行為分類模型，本文設(shè)計(jì)了學(xué)生課堂學(xué)習(xí)行為監(jiān)測系統(tǒng)，該監(jiān)測系統(tǒng)主要由注冊(cè)模塊、攝像模塊、存儲(chǔ)模塊、數(shù)據(jù)處理中心、人體監(jiān)測模塊和虛擬機(jī)器人模塊共六個(gè)部分組成。該系統(tǒng)利用課堂現(xiàn)場圖片或者拍攝的視頻作為輸入，記錄和分析學(xué)生的課堂出勤率、課堂學(xué)習(xí)專注度等，并為高校學(xué)生的課堂學(xué)習(xí)行為監(jiān)測和促進(jìn)行為改善提供了有效工具，具體監(jiān)測流程如圖2所示[2]。

注冊(cè)模塊用于在監(jiān)測系統(tǒng)中填寫學(xué)生的姓名、學(xué)號(hào)、班級(jí)等個(gè)人信息，并進(jìn)行人臉圖像的錄入、身份信息認(rèn)證綁定等。攝像模塊通過攝像頭裝置實(shí)現(xiàn)對(duì)整個(gè)教室的攝像，實(shí)時(shí)采集課堂中所有學(xué)生的面部和教室圖像，并對(duì)成功識(shí)別的學(xué)生進(jìn)行整體圖像采集。存儲(chǔ)模塊用于存儲(chǔ)攝像模塊采集的圖片或視頻。數(shù)據(jù)處理中心通過對(duì)攝像模塊提供的圖片或視頻進(jìn)行特征參數(shù)計(jì)算，進(jìn)行人臉識(shí)別和身份確認(rèn)對(duì)比，并識(shí)別已經(jīng)成功識(shí)別的學(xué)生的坐姿。人體監(jiān)測模塊依據(jù)學(xué)生在官方部分體驗(yàn)的檢測數(shù)據(jù)獲取學(xué)生的體形信息，并與學(xué)生的身份進(jìn)行綁定。虛擬機(jī)器人模塊作為監(jiān)測系統(tǒng)與外部交互的接口連接[3]。

（二）主要系統(tǒng)功能模塊設(shè)計(jì)

1.課堂行為分類及圖像采集模塊

根據(jù)調(diào)研的高職院校學(xué)生的課堂學(xué)習(xí)行為基本情況，可以將其劃分成玩手機(jī)、睡覺、做筆記和聽課等四種行為類型。根據(jù)采集的學(xué)生課堂學(xué)習(xí)行為的圖片或視頻，并按照行為類型進(jìn)行分類處理，可以形成學(xué)生課堂學(xué)習(xí)行為分類圖片庫。然后，結(jié)合圖片或視頻的用途，可以構(gòu)建學(xué)生人臉數(shù)據(jù)庫和課堂現(xiàn)場圖像采集庫，在對(duì)采集的圖片和視頻進(jìn)行分割預(yù)處理后，為后續(xù)分析學(xué)生課堂學(xué)習(xí)行為的專注度和考勤等提供基礎(chǔ)依據(jù)[4]。

2.學(xué)生信息數(shù)據(jù)庫設(shè)計(jì)

該數(shù)據(jù)庫主要由兩個(gè)部分組成：學(xué)生人臉數(shù)據(jù)庫和學(xué)生信息數(shù)據(jù)庫。其中，學(xué)生人臉數(shù)據(jù)庫主要存儲(chǔ)學(xué)生課堂學(xué)習(xí)行為分析的基礎(chǔ)樣本；而信息數(shù)據(jù)庫，主要存儲(chǔ)學(xué)生的基本個(gè)人信息（學(xué)號(hào)、班級(jí)、姓名及其他備注等）和課堂學(xué)習(xí)行為信息（學(xué)號(hào)、課堂編號(hào)、課程名稱、到課標(biāo)識(shí)、專注度、上課時(shí)間以及其他說明等），并且數(shù)據(jù)庫的結(jié)構(gòu)可以根據(jù)具體實(shí)際情況進(jìn)行拓展。

3.課堂位置圖片處理模塊

該模塊主要利用拍攝的圖片對(duì)學(xué)生人臉識(shí)別和標(biāo)簽備注，將識(shí)別成功后的學(xué)生基本信息與圖片關(guān)聯(lián)起來。

4.學(xué)生課堂行為軌跡合成模塊

該模塊主要針對(duì)監(jiān)測系統(tǒng)中每個(gè)成功注冊(cè)的學(xué)生，在預(yù)設(shè)的合成時(shí)間中進(jìn)行圖片合成處理，結(jié)合實(shí)際的需求設(shè)置合成時(shí)間段。而被用于合成的圖片主要來源于課堂位置圖片處理模塊，該模塊完成了學(xué)生基本信息的識(shí)別。同時(shí)，在預(yù)設(shè)合成的圖片上，如果存在超過設(shè)定閾值的重疊區(qū)域如果，需要對(duì)這部分進(jìn)行顏色標(biāo)記處理，以此得到學(xué)生在預(yù)設(shè)時(shí)間段內(nèi)的課堂學(xué)習(xí)行為軌跡圖。

5.坐姿匹配模塊

該匹配通過結(jié)合坐姿模型庫中的坐姿參數(shù)與監(jiān)測系統(tǒng)預(yù)設(shè)的坐姿參數(shù)進(jìn)行匹配，并輸出學(xué)生對(duì)應(yīng)的身體比例，由此計(jì)算得到關(guān)于學(xué)生的頭部、手部以及肩頸部等尺寸的比例值，再與系統(tǒng)預(yù)設(shè)的參數(shù)進(jìn)行匹配。

6.課堂行為識(shí)別與監(jiān)控模塊

學(xué)生課堂行為監(jiān)控模塊的設(shè)計(jì)實(shí)現(xiàn)了對(duì)學(xué)生課堂學(xué)習(xí)行為的實(shí)時(shí)監(jiān)控，并起到了督促作用，使得任課教師或教務(wù)處、系部檢查人員不再受到時(shí)間和空間的制約，都能夠?qū)W(xué)生課堂學(xué)習(xí)情況進(jìn)行檢查、判斷和評(píng)價(jià)。學(xué)生課堂學(xué)習(xí)行為識(shí)別模塊作為監(jiān)測系統(tǒng)的核心部分，主要利用計(jì)算機(jī)技術(shù)、圖像識(shí)別技術(shù)，對(duì)采集到的圖片或視頻進(jìn)行處理和分析。然而，在實(shí)際過程中，圖像識(shí)別和現(xiàn)實(shí)之間還存在較大差別，如端正坐姿的睡覺行為、遮擋類型的玩手機(jī)行為等情況，都會(huì)對(duì)監(jiān)控系統(tǒng)的識(shí)別造成很大的影響。因此，只有對(duì)比海量的原型才能夠得到正確可靠的數(shù)據(jù)資源。本文主要利用基于人工智能的監(jiān)測方法，對(duì)數(shù)據(jù)庫中的信息進(jìn)行檢測、分析和處理，以此來判斷學(xué)生的課堂學(xué)習(xí)行為，從而促進(jìn)課堂教學(xué)質(zhì)量的提升[5-6]。

7.虛擬機(jī)器人與信息反饋模塊

虛擬機(jī)器人與信息反饋模塊主要為學(xué)生課堂行為監(jiān)測系統(tǒng)和外部交互提供連接接口。同時(shí)，虛擬機(jī)器人的設(shè)計(jì)還包含了一個(gè)虛擬形象，將其和數(shù)據(jù)處理中心進(jìn)行連接，當(dāng)接收到相關(guān)查詢指令后，監(jiān)測系統(tǒng)就能夠及時(shí)調(diào)取數(shù)據(jù)處理中心所設(shè)定時(shí)間段內(nèi)的學(xué)生身份以及行為軌跡和坐姿異常情況，并匯報(bào)給用戶。通過虛擬機(jī)器人，還可以實(shí)現(xiàn)對(duì)任意學(xué)生的坐姿比例進(jìn)行異常閾值配置，并對(duì)超過閾值范圍的部分進(jìn)行對(duì)比，從而判斷學(xué)生的人體坐姿是否異常最后，通過智慧班牌進(jìn)行交互提醒，并向任課教師發(fā)送信息提醒。

四、實(shí)驗(yàn)與結(jié)果分析

（一）學(xué)生課堂學(xué)習(xí)的行為分析

為了進(jìn)一步驗(yàn)證基于人工智能的學(xué)生課堂學(xué)習(xí)行為監(jiān)測系統(tǒng)的可行性，本文以學(xué)生課堂學(xué)習(xí)專注度為例進(jìn)行驗(yàn)證分析。首先，通過對(duì)課堂中所有學(xué)生進(jìn)行集中人臉?biāo)阉鳎源诉_(dá)到考勤的目的，并將當(dāng)前課堂中每名學(xué)生的狀態(tài)都設(shè)置為課堂狀態(tài)變量，初始值為False。然后，借助學(xué)生課堂學(xué)習(xí)行為監(jiān)測模型，對(duì)目標(biāo)圖像進(jìn)行人臉?biāo)阉髯R(shí)別，包括人臉區(qū)域的監(jiān)測和學(xué)生身份的識(shí)別[7]，完成對(duì)某個(gè)學(xué)生的搜索后，將該學(xué)生的到課狀態(tài)變量更改為True。其次，利用間隔人臉?biāo)阉鞯姆绞浇y(tǒng)計(jì)學(xué)生課堂學(xué)習(xí)的專注度行為，為每名學(xué)生設(shè)置對(duì)應(yīng)的計(jì)數(shù)器，并設(shè)置系統(tǒng)每間隔一段時(shí)間（如2分鐘）采集上一組上課學(xué)習(xí)期間的圖片或視頻，將圖像按照每3張為一組的方式進(jìn)行組合，每張圖像間隔3秒。再借助學(xué)生課堂學(xué)習(xí)行為監(jiān)測模型，對(duì)每組圖像中的目標(biāo)進(jìn)行人臉?biāo)阉髯R(shí)別，在成功搜索到某個(gè)學(xué)生后，停止對(duì)該組圖像中該名學(xué)生的搜索，并將該名學(xué)生的計(jì)數(shù)器變量增加1。完成對(duì)所有學(xué)生的搜索后，根據(jù)公式計(jì)算得出每個(gè)學(xué)生的課堂學(xué)習(xí)專注度。

A = B/C×100% （1）

其中，A代表了當(dāng)前學(xué)生在課堂學(xué)習(xí)中的專注度，B代表了監(jiān)測系統(tǒng)統(tǒng)計(jì)后得到的該學(xué)生上完本節(jié)課之后的計(jì)數(shù)器變量的數(shù)值，C則代表了本節(jié)課該學(xué)生的專注度統(tǒng)計(jì)次數(shù)（圖像采樣分組數(shù)）。

（二）結(jié)果生成與分析

在完成對(duì)學(xué)生的課堂學(xué)習(xí)行為監(jiān)測分析后，可以從數(shù)據(jù)庫中獲取某一節(jié)課中學(xué)生的考勤統(tǒng)計(jì)數(shù)據(jù)和專注度數(shù)據(jù)，結(jié)合后續(xù)需求對(duì)其進(jìn)行統(tǒng)計(jì)和分析，計(jì)算該節(jié)課中學(xué)生的專注度數(shù)據(jù)，并輸出結(jié)果進(jìn)行評(píng)價(jià)。這不僅有助于學(xué)生及時(shí)了解自己在課堂學(xué)習(xí)過程中的具體情況，進(jìn)而調(diào)整學(xué)習(xí)方式，還能夠幫助任課教師及時(shí)了解課堂教學(xué)情況，優(yōu)化教學(xué)方式，提高教學(xué)質(zhì)量[8]。

五、結(jié)束語

綜上所述，課堂教學(xué)質(zhì)量是高校非常重視的問題，學(xué)生的課堂學(xué)習(xí)行為是教學(xué)質(zhì)量的重要表現(xiàn)之一。然而，傳統(tǒng)的行為監(jiān)測技術(shù)受限于易遮擋和學(xué)生人體姿態(tài)多樣性等問題，無法準(zhǔn)確監(jiān)測學(xué)生的課堂學(xué)習(xí)行為，而將人工智能技術(shù)和行為識(shí)別檢測技術(shù)相結(jié)合，構(gòu)建學(xué)生課堂學(xué)習(xí)行為檢測系統(tǒng)，并通過大量的樣本圖片構(gòu)建模擬訓(xùn)練，可以更好地實(shí)現(xiàn)對(duì)學(xué)生的課堂學(xué)習(xí)行為進(jìn)行智能化監(jiān)測。同時(shí)，該系統(tǒng)的設(shè)計(jì)還能夠幫助任課教師實(shí)時(shí)了解學(xué)生的課堂學(xué)習(xí)情況，必要時(shí)進(jìn)行干預(yù)，并對(duì)每個(gè)學(xué)生的情況進(jìn)行分析與反饋，從而實(shí)現(xiàn)個(gè)性化監(jiān)測。

作者單位：劉曉 廣西機(jī)電職業(yè)技術(shù)學(xué)院

參? 考? 文? 獻(xiàn)

[1]吳麗娟，任海清，關(guān)貴明，等.基于人臉姿態(tài)識(shí)別的課堂學(xué)習(xí)狀態(tài)反饋系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].沈陽師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，40（2）：127-132.

[2]胡亮.基于情緒識(shí)別的大學(xué)生課堂學(xué)習(xí)狀態(tài)監(jiān)控系統(tǒng)[J].現(xiàn)代電子技術(shù)，2022，45（21）：140-144.

[3]張鑫褆.基于多維特征融合的學(xué)生課堂行為識(shí)別研究[D].陜西：西北大學(xué)，2021.

[4]趙春，舒杭，顧小清. 基于計(jì)算機(jī)視覺技術(shù)的學(xué)生課堂學(xué)習(xí)行為投入度測量與分析[J].現(xiàn)代教育技術(shù)，2021，31（6）：96-103.

[5]何秀玲，楊凡，陳增照，等.基于人體骨架和深度學(xué)習(xí)的學(xué)生課堂行為識(shí)別[J].現(xiàn)代教育技術(shù)，2020，30（11）：105-112.

[6]黃侃，朱業(yè)求.基于機(jī)器視覺及深度學(xué)習(xí)的學(xué)生課堂行為檢測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)產(chǎn)品與流通，2022（4）：268-270.

[7]黃冠.基于深度學(xué)習(xí)的學(xué)生課堂行為識(shí)別研究[D].江蘇：中國礦業(yè)大學(xué)，2021.

[8]李加軍.基于大數(shù)據(jù)的網(wǎng)絡(luò)學(xué)習(xí)行為監(jiān)測系統(tǒng)設(shè)計(jì)[J].信息與電腦，2022，34（19）：251-253.

項(xiàng)目：數(shù)字化轉(zhuǎn)型背景下高職學(xué)生學(xué)習(xí)能力的監(jiān)測系統(tǒng)構(gòu)建研究，2023年度廣西高校中青年教師科研基礎(chǔ)能力提升項(xiàng)目（編號(hào)：2023KY1117）。

劉曉（1989.10-），女，瑤族，廣西南寧，在職研究生，中級(jí)講師，研究方向：平面設(shè)計(jì)、網(wǎng)頁設(shè)計(jì)、數(shù)據(jù)庫管理系統(tǒng)。