教學(xué)場景下的學(xué)生課堂狀態(tài)識別方法研究與應(yīng)用

劉志剛，韓鵬婧

（1.東北石油大學(xué)應(yīng)用技術(shù)研究院博士后工作站，黑龍江大慶 163318；2.東北石油大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，黑龍江 大慶 163318）

近年來，智能化教育以人工智能為核心驅(qū)動力進(jìn)行智能化教育環(huán)境與生態(tài)建設(shè)[1]。智能感知是智能化教育的關(guān)鍵技術(shù)，旨在利用智能教學(xué)系統(tǒng)了解學(xué)習(xí)者行為、教師的教學(xué)、教學(xué)環(huán)境等物理狀態(tài)信息，開展教育大數(shù)據(jù)的分析與決策[2]。在人工智能賦能教育變革的背景下，很多學(xué)者對識別學(xué)生狀態(tài)進(jìn)行了探索性研究。早期主要采用光流[3]、方向梯度直方圖HOG[4]等手工設(shè)計(jì)算子提取學(xué)生特征，根據(jù)支持向量機(jī)[5]等識別行為狀態(tài)。隨后很多學(xué)者將卷積神經(jīng)網(wǎng)絡(luò)用于學(xué)生狀態(tài)識別，避免手工設(shè)計(jì)算子的難度[6-13]。這些方法要求視頻采集到單個(gè)學(xué)生具有理想的人體姿態(tài)，然而，現(xiàn)實(shí)教學(xué)場景中學(xué)生人體遮擋現(xiàn)象非常明顯。因此，研究分布密集的學(xué)生狀態(tài)識別是智能教學(xué)評價(jià)的關(guān)鍵問題。

1 學(xué)生課堂狀態(tài)識別模型

1.1 學(xué)生位置檢測模型

開展學(xué)生課堂狀態(tài)識別的研究，要將學(xué)生個(gè)體從視頻中分離，因此個(gè)體位置的準(zhǔn)確檢測是狀態(tài)識別的首要問題。針對視頻中普遍存在的遮擋現(xiàn)象，該文首先設(shè)計(jì)多尺度注意力模塊MAM，抑制學(xué)生人體局部遮擋區(qū)域的特征噪聲；其次，為提高檢測速度，引入文獻(xiàn)[11]的中心點(diǎn)尺度預(yù)測模型（Center and Scale Prediction，CSP）作為嵌入MAM 的基礎(chǔ)架構(gòu)，并將嵌入MAM 的模型記為CSP-MAM；最后，構(gòu)建聯(lián)合損失函數(shù)進(jìn)行學(xué)生位置檢測模型訓(xùn)練。

1.1.1 多尺度注意力模塊MAM

注意力機(jī)制是一種通過模擬人類視覺系統(tǒng)，聚焦興趣區(qū)域獲得細(xì)節(jié)信息的方法。該文引入注意力機(jī)制，在構(gòu)建的多尺度注意力模塊MAM 中，通過外部監(jiān)督的方式增強(qiáng)學(xué)生人體可見區(qū)域的特征提取，抑制遮擋區(qū)域的噪聲干擾。MAM 模塊結(jié)構(gòu)如圖1所示。

圖1 MAM模塊結(jié)構(gòu)圖

1）空間特征圖Matt：對輸入MAM 的不同尺度特征圖fn，在通道上進(jìn)行混合池化，利用3×3 卷積核進(jìn)行濾波，通過非線性前向計(jì)算輸出Matt；

2）區(qū)域增強(qiáng)特征圖Mvis：增加可見區(qū)域注意力聚焦分支，通過數(shù)據(jù)集標(biāo)注作為外部監(jiān)督信息計(jì)算輸出Mvis，增強(qiáng)特征圖的可見區(qū)域特征響應(yīng)；

3）全局特征圖Mglobal：為抑制遮擋區(qū)域、增強(qiáng)可見區(qū)域特征提取，對Mvis和Matt進(jìn)行空間疊加構(gòu)建Mglobal，通過內(nèi)積作用輸入特征圖fn，構(gòu)建可見區(qū)域特征增強(qiáng)的全局特征圖Fn。

1.1.2 學(xué)生位置檢測模型

首先，CSP-MAM 利用ResNet-50 作為目標(biāo)檢測模型的特征提取網(wǎng)絡(luò)，為綜合淺層特征圖的圖像細(xì)節(jié)特征和深層特征圖的抽象語義特征，使用多尺度注意力模塊MAM 對ResNet-50 的第3、4、5 層特征圖進(jìn)行特征融合；其次，對增強(qiáng)后的特征圖進(jìn)行L2 Normalization 標(biāo)準(zhǔn)化，使用反卷積統(tǒng)一特征圖尺寸；最后，對不同分辨率的特征圖進(jìn)行通道融合，通過三個(gè)全卷積分支計(jì)算學(xué)生人體的目標(biāo)中心位置、高度和中心位置偏移量。

1.2 學(xué)生骨架信息提取模型

根據(jù)CSP-MAM 檢測的學(xué)生位置進(jìn)行學(xué)生個(gè)體圖像的視頻分離，此時(shí)若直接通過深度學(xué)習(xí)進(jìn)行狀態(tài)識別，易受到教室背景、學(xué)生服飾等干擾噪聲的影響，降低識別精度。針對該問題，該文根據(jù)學(xué)生人體關(guān)節(jié)點(diǎn)骨架信息特征開展行為識別。提取學(xué)生人體關(guān)節(jié)點(diǎn)骨架信息的方法主要有兩種：1）通過穿戴設(shè)備或深度傳感器提取。該方法具有較高的準(zhǔn)確率，但在課堂多人環(huán)境下成本較大，易受距離限制；2）采用深度學(xué)習(xí)的姿態(tài)估計(jì)技術(shù)，提取人體圖像的關(guān)節(jié)點(diǎn)骨架信息。該方法不受設(shè)備、人數(shù)和距離的限制，具有更好的適用性。該文選用第二種方法，通過姿態(tài)估計(jì)模型OpenPose 對分離出的學(xué)生人體提取骨架信息，包括25 個(gè)人體關(guān)節(jié)點(diǎn)的點(diǎn)位坐標(biāo)和連接關(guān)節(jié)點(diǎn)的骨架信息，如圖2 所示。

圖2 OpenPose檢測的人體關(guān)節(jié)點(diǎn)骨架信息

1.3 學(xué)生課堂狀態(tài)識別模型

該文將學(xué)生狀態(tài)分為四種積極行為和兩種消極行為，其中積極行為包括端坐、書寫、舉手、起立，消極行為包括趴桌子、玩手機(jī)。根據(jù)OpenPose 提取的學(xué)生關(guān)節(jié)點(diǎn)和骨架信息，為提高學(xué)生課堂狀態(tài)識別的準(zhǔn)確率，采用不同的機(jī)器學(xué)習(xí)模型進(jìn)行狀態(tài)自動識別，包括支持向量機(jī)、極限學(xué)習(xí)機(jī)和卷積神經(jīng)網(wǎng)絡(luò)VGG-16、ResNet-50[16]。最后，根據(jù)實(shí)驗(yàn)對比選擇準(zhǔn)確率最高的識別模型進(jìn)行實(shí)際應(yīng)用。

1.3.1 經(jīng)典機(jī)器學(xué)習(xí)模型

支持向量機(jī)（Support Vector Machine，SVM）是由Vapnik 等人提出的經(jīng)典機(jī)器學(xué)習(xí)模型。極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）是新加坡國立大學(xué)黃廣斌教授提出的一種快速神經(jīng)網(wǎng)絡(luò)模型。由于SVM 和ELM 具有分類速度快、精度高的特點(diǎn)，廣泛應(yīng)用于相關(guān)領(lǐng)域的分類識別問題中。采用二者識別學(xué)生狀態(tài)時(shí)，輸入特征是離散的學(xué)生人體關(guān)節(jié)點(diǎn)坐標(biāo)。為提高行為識別精度，特征工程階段包括：1）由于學(xué)生受到桌椅、前排學(xué)生的局部遮擋，多數(shù)學(xué)生在課堂視頻中僅出現(xiàn)上半身。為保持所有學(xué)生的骨架特征一致，降低干擾特征影響，綜合考慮“站立”行為的識別，去除膝蓋以下的關(guān)節(jié)點(diǎn)（圖2 中第11、14、19～24 點(diǎn)）；2）關(guān)節(jié)點(diǎn)預(yù)處理時(shí)，采用關(guān)節(jié)點(diǎn)坐標(biāo)與1號關(guān)節(jié)點(diǎn)的相對坐標(biāo)，避免關(guān)節(jié)點(diǎn)位置受課堂視頻圖像幀的絕對位置影響。

1.3.2 卷積神經(jīng)網(wǎng)絡(luò)

相對于傳統(tǒng)的機(jī)器學(xué)習(xí)模型，深度學(xué)習(xí)理論在近年來的人工應(yīng)用研究中獲得了更大的成功。該文選用卷積神經(jīng)網(wǎng)絡(luò)識別學(xué)生狀態(tài)行為，采用VGG-16 和ResNet-50 模型。與SVM 和ELM 不同，二者的輸入特征是根據(jù)學(xué)生人體關(guān)節(jié)點(diǎn)截取區(qū)域圖像。為增強(qiáng)VGG-16 和ResNet-50 特征提取的魯棒性，將圖像分別縮放為224×224 像素和448×448 像素。

2 仿真實(shí)驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)環(huán) 境：CPU Intel Xeon(R) E5-2640、內(nèi)存8 GB、GPU 顯卡NVIDIA RTX2070Super。模型訓(xùn)練驗(yàn)證的實(shí)驗(yàn)數(shù)據(jù)集包括目標(biāo)檢測數(shù)據(jù)集和行為識別數(shù)據(jù)集，具體包括：

1）目標(biāo)檢測數(shù)據(jù)集：為進(jìn)行學(xué)生位置檢測模型CSP-MAM 的訓(xùn)練與測試，使用遮擋檢測數(shù)據(jù)集CityPersons。訓(xùn)練集和測試集分別包含2 975 張和500 張圖像，每張圖像分辨率為2 048×1 024，具有豐富的遮擋形式，并提供人體目標(biāo)全身邊界框和可見部分邊界框。

2）行為識別數(shù)據(jù)集：在實(shí)際應(yīng)用前，需對學(xué)生狀態(tài)識別模型進(jìn)行訓(xùn)練和測試。由于目前國內(nèi)外沒有標(biāo)準(zhǔn)公共數(shù)據(jù)集，該文選取某大學(xué)400 名志愿者為數(shù)據(jù)來源，拍攝每名同學(xué)的舉手、聽課、看書、站立、趴桌子、玩手機(jī)六個(gè)課堂狀態(tài)動作，通過數(shù)據(jù)標(biāo)注構(gòu)建數(shù)據(jù)集NEPU-300。

2.2 實(shí)驗(yàn)步驟

1）學(xué)生目標(biāo)位置檢測：首先，使用CityPersons 數(shù)據(jù)集完成學(xué)生位置檢測模型CSP-MAM 的訓(xùn)練與測試，通過遷移學(xué)習(xí)應(yīng)用到本實(shí)驗(yàn)中；其次，按照視頻幀采集頻率，獲取實(shí)時(shí)視頻流中的圖像幀，根據(jù)CSP-MAM 對教學(xué)視頻中的學(xué)生位置進(jìn)行目標(biāo)檢測；

2）學(xué)生骨架信息提取：將檢測后的單個(gè)學(xué)生人體目標(biāo)從視頻圖像中分離出來，通過OpenPose 完成學(xué)生骨架信息提取，保存除11、14、19-24點(diǎn)外的17個(gè)關(guān)節(jié)點(diǎn)的相對坐標(biāo)，以及17個(gè)關(guān)節(jié)點(diǎn)的骨架區(qū)域圖像；

3）學(xué)生課堂狀態(tài)識別：首先，根據(jù)OpenPose 對NEPU-300 數(shù)據(jù)集識別的學(xué)生關(guān)節(jié)點(diǎn)、骨架區(qū)域特征完成行為識別模型的訓(xùn)練，包括SVM、ELM、VGG-16 和ResNet-50。其 中，VGG-16 和ResNet-50 在ImageNet 上完成預(yù)訓(xùn)練；其次，為避免模型訓(xùn)練過擬合，訓(xùn)練過程中采用旋轉(zhuǎn)、平移、翻轉(zhuǎn)的方法對NEPU-300 數(shù)據(jù)集進(jìn)行增強(qiáng)；最后，將訓(xùn)練好的狀態(tài)識別模型應(yīng)用到學(xué)生狀態(tài)識別任務(wù)中。整體流程圖如圖3 所示。

圖3 學(xué)生課堂狀態(tài)識別流程圖（以ResNet-50為例）

2.3 實(shí)驗(yàn)分析

為實(shí)驗(yàn)對比有效，在相同實(shí)驗(yàn)條件下進(jìn)行五組獨(dú)立隨機(jī)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果為多次實(shí)驗(yàn)的平均識別準(zhǔn)確率。根據(jù)實(shí)驗(yàn)環(huán)境，將Epoch 設(shè)為50，Mini-batch設(shè)為30，并對比該文所提的CSP-MAM 與其他主流檢測模型YOLOv5、SSD 在四種狀態(tài)識別模型上的性能。觀察表1 可知：①在對比的三種目標(biāo)檢測模型中，通過引入CSP-MAM 檢測模型，相對于YOLOv5、SSD，四種機(jī)器學(xué)習(xí)模型的學(xué)生狀態(tài)識別精度均有提升，結(jié)果表明，CSP-MAM 有效提高遮擋學(xué)生的位置檢測能力，降低課堂視頻分離后的學(xué)生個(gè)體圖像中干擾噪聲對模型提取特征的影響；②在對比的行為識別模型中，ResNet-50 和VGG-16 的狀態(tài)識別準(zhǔn)確率均高于傳統(tǒng)的機(jī)器學(xué)習(xí)SVM、ELM，并以ResNet-50 的識別精度最為理想。實(shí)驗(yàn)表明，采用深度學(xué)習(xí)方法進(jìn)行學(xué)生課堂狀態(tài)識別具有更好的識別準(zhǔn)確率和泛化能力。

表1 學(xué)生狀態(tài)識別準(zhǔn)確率的實(shí)驗(yàn)結(jié)果對比

如圖4 和圖5 所示，分別為使用SVM 和ResNet-50 進(jìn)行六種課堂狀態(tài)識別的混淆矩陣圖。對于“舉手”“站立”“趴桌子”三種骨架關(guān)節(jié)點(diǎn)特征較為明顯的行為，識別準(zhǔn)確性較高，對于“聽課”“看書”“玩手機(jī)”三種關(guān)節(jié)點(diǎn)特征區(qū)別度較低的行為，準(zhǔn)確性略低。同時(shí)，ResNet-50 相對于經(jīng)典機(jī)器學(xué)習(xí)SVM 模型在六種狀態(tài)的識別準(zhǔn)確性上均明顯提升。

圖4 使用SVM進(jìn)行六種課堂狀態(tài)識別的混淆矩陣圖

圖5 使用ResNet-50進(jìn)行六種課堂狀態(tài)識別的混淆矩陣圖

3 系統(tǒng)設(shè)計(jì)與教學(xué)評價(jià)應(yīng)用

3.1 學(xué)生狀態(tài)智能輔助分析系統(tǒng)

為輔助教師及時(shí)掌握學(xué)生學(xué)習(xí)狀態(tài)、快速分析教學(xué)效果和有效提高課堂教學(xué)質(zhì)量，該文在所提研究方法的基礎(chǔ)上，設(shè)計(jì)學(xué)生課堂狀態(tài)智能輔助分析系統(tǒng)，實(shí)現(xiàn)課堂教學(xué)信息反饋實(shí)時(shí)性、傳遞高效性和處理智能性。該系統(tǒng)包括五大模塊，具體如下：

1）課堂錄像模塊：采用固定攝像機(jī)完成課堂教學(xué)場景的實(shí)時(shí)錄制，將視頻信號通過專用線路傳輸?shù)街骺胤?wù)器；

2）圖像采集模塊：構(gòu)建RSTP 流媒體服務(wù)器，設(shè)置視頻分幀采集頻率，提取課堂視頻圖像幀，將圖像輸入給目標(biāo)檢測模塊；

3）目標(biāo)檢測模塊：通過CSP-MAM 模型對采集的課堂教學(xué)場景圖像進(jìn)行學(xué)生目標(biāo)位置檢測，從場景圖像中分離出檢測后的每個(gè)學(xué)生個(gè)體圖像；

4）行為識別模塊：通過OpenPose 提取學(xué)生人體骨架信息，獲取關(guān)節(jié)點(diǎn)區(qū)域像素特征，采用ResNet-50 進(jìn)行學(xué)生狀態(tài)識別；

5）數(shù)據(jù)分析模塊：根據(jù)模型識別結(jié)果進(jìn)行教學(xué)過程的統(tǒng)計(jì)分析，包括抬頭率、低頭率、課堂參與度、互動活躍度四種評價(jià)指標(biāo)。

3.2 課堂教學(xué)效果評價(jià)

該研究中的課堂教學(xué)評價(jià)包括即時(shí)評價(jià)和總體評價(jià)兩部分，其中，即時(shí)評價(jià)采用學(xué)習(xí)率、低頭率兩個(gè)常用指標(biāo)實(shí)時(shí)反映學(xué)生聽課狀態(tài)，總體評價(jià)則采用課堂參與度、互動活躍度兩個(gè)指標(biāo)衡量整體教學(xué)過程。綜合考慮計(jì)算速度與分析效果，設(shè)視頻分幀采集頻率τ=12 秒/幀。為方便描述，記課堂學(xué)生總數(shù)為N，課堂互動次數(shù)為P，學(xué)生在各時(shí)刻狀態(tài)依次記為“端坐”：Ai(t)、“看書”：Bi(t)、“舉手”：Ci(t)、“站立”：Di(t)、“趴桌子”：Ei(t)、“玩手機(jī)”：Fi(t)。其中，Ai(t)為第i個(gè)學(xué)生在t時(shí)刻是否處于“端坐”狀態(tài)，若是取1，反之取0，其他同理。

1）學(xué)習(xí)率η(t)：根據(jù)采集頻率τ獲取的課堂視頻圖像進(jìn)行學(xué)生行為識別，以“端坐”“看書”“舉手”“站立”四種積極狀態(tài)為依據(jù)，實(shí)時(shí)反映聽課人數(shù)比例，具體如式（1）。

2）低頭率μ(t)：主要統(tǒng)計(jì)“趴桌子”“玩手機(jī)”兩種消極狀態(tài)，實(shí)時(shí)反映教學(xué)中消極學(xué)習(xí)的學(xué)生比例，具體如式（2）。

3）課堂參與度γ：主要反映學(xué)生群體在教學(xué)時(shí)長內(nèi)的積極行為、參與學(xué)習(xí)的比例情況。按照圖像采集頻率τ，將教學(xué)監(jiān)測視頻時(shí)長T分內(nèi)的教學(xué)過程離散成60T/τ個(gè)視頻場景序列，依據(jù)四種積極狀態(tài)計(jì)算全體學(xué)生的課堂參與度。為降低學(xué)生“端坐”“看書”時(shí)的心不在焉現(xiàn)象，設(shè)置權(quán)重因子λ1=0.3、λ2=0.7 調(diào)節(jié)“端坐”“看書”與“舉手”“站立”之間的比例關(guān)系。當(dāng)τ=12 時(shí)，參與度計(jì)算見式（3）。

4）互動活躍度κ：互動活躍度主要反映學(xué)生群體在提問、互動等教學(xué)過程中的活躍情況。根據(jù)互動環(huán)節(jié)時(shí)長離散后的P個(gè)圖像場景序列，在“舉手”“站立”行為識別的基礎(chǔ)上計(jì)算活躍度，設(shè)置權(quán)重因子λ3=0.45，λ4=0.55 調(diào)節(jié)兩種行為對κ的貢獻(xiàn)，具體如式（4）。

4 結(jié)論

近年來，以深度學(xué)習(xí)為主導(dǎo)的人工智能理論取得了很大發(fā)展，智能視頻分析技術(shù)逐漸引起研究者的關(guān)注。由于攝像機(jī)角度、座位前后排、學(xué)生密集和人體柔性等因素的影響，人體遮擋問題是學(xué)生狀態(tài)自動識別的難點(diǎn)問題。針對該問題，該文對位置檢測、特征提取、狀態(tài)識別和系統(tǒng)實(shí)際應(yīng)用進(jìn)行研究，最終實(shí)現(xiàn)了利用教學(xué)評價(jià)指標(biāo)自動完成教學(xué)效果評價(jià)。該文的研究能夠有效助力于課堂為主體的智能化教育評價(jià)，從而促使教師改革教學(xué)方法，優(yōu)化教學(xué)策略，不斷提高教學(xué)效率。