基于改進(jìn)YOLOV5算法的學(xué)生課堂行為識別研究

楊明遠(yuǎn)，左 棟

（華北水利水電大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院 河南 鄭州 450046）

0 引言

在智慧教育相關(guān)的課題研究中，學(xué)生課堂行為識別問題一直是研究的重點內(nèi)容。隨著計算機存儲和計算技術(shù)的發(fā)展，人工智能融入教育領(lǐng)域，為學(xué)生課堂行為量化分析提供了可能。疫情以來，線上課堂已成為教學(xué)中不可或缺的一部分，如何在線上課堂掌握學(xué)生的學(xué)習(xí)狀況，為教師提供客觀的課堂情況是亟待解決的問題。因此，將深度學(xué)習(xí)引入教學(xué)活動，了解學(xué)生的上課狀態(tài)，對教學(xué)改革具有積極意義[1-2]。在針對學(xué)生行為識別的研究中，對于學(xué)生相似動作難以區(qū)分識別的情況，張鑫褆[3]基于人體2D骨架提出多維融合的LSTM網(wǎng)絡(luò)，在克服梯度彌散的條件下，提高了對相似動作的識別率；周葉[4]在經(jīng)典的實例分割算法Faster R-CNN的基礎(chǔ)上，利用特征金字塔解決不同尺度學(xué)生課堂行為檢測的同時，將視頻中上一幀的檢測結(jié)果作為當(dāng)前幀的目標(biāo)候選框，實現(xiàn)了比較準(zhǔn)確的學(xué)生身份關(guān)聯(lián)；柯斌等[5]用Inception V3網(wǎng)絡(luò)對學(xué)生行為進(jìn)行識別，但模型忽視了手機，筆和課本等重要信息的特征，使得看書，低頭玩手機行為容易混淆；Abdallah等[6]對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強，通過深度遷移學(xué)習(xí)的方法，在學(xué)生課堂表情識別中取得79.4%的準(zhǔn)確率；Lin等[7]使用OpenPose框架收集骨骼數(shù)據(jù),提出一種基于姿態(tài)估計和人物檢測技術(shù)的誤差校正方案，以減少骨架數(shù)據(jù)中的錯誤連接，構(gòu)建表示人體姿勢的特征向量。采用關(guān)節(jié)位置、關(guān)節(jié)距離和骨角度等特征對學(xué)生行為分類。上述方法雖然對學(xué)生行為進(jìn)行識別，但模型識別準(zhǔn)確率不高、魯棒性較差、有效特征的提取不足。本文在YOLOV5模型的基礎(chǔ)上改進(jìn)，加入CA注意力模塊從空間和通道兩個維度提升網(wǎng)絡(luò)的特征提取能力，提高特征提取的有效性，增加模型的魯棒性，在保證模型實時檢測的情況下，實現(xiàn)了對學(xué)生課堂抬頭聽課、玩手機、睡覺等七種行為識別率的提高。

1 目標(biāo)檢測算法

1.1 YOLOV5目標(biāo)檢測模型

YOLOV5是Ultralytics公司2020年5月發(fā)布的目標(biāo)檢測網(wǎng)絡(luò)模型。YOLOV5輸入端有自適應(yīng)縮放，Mosaic數(shù)據(jù)增強，目的是為了增加數(shù)據(jù)的多樣性，使模型的泛化性能更好。Backbone有Focus、CSP、SPP等網(wǎng)絡(luò)模塊，主要目的是提取特征圖。Neck部分是特征融合階段，采用FPN+PAN（特征金字塔和路徑聚合網(wǎng)絡(luò)）網(wǎng)絡(luò)。Prediction部分使用三個大小不同的候選框分別預(yù)測小、中、大物體。其網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：

圖1 YOLOV5網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2 注意力機制

注意力機制最早是自然語言處理中為了使模型更注重語言中的關(guān)鍵詞提出的，后來被應(yīng)用在計算機視覺中，簡單來說，注意力機制就是模仿人類在觀察這個世界，接受視覺信息時的處理方式。當(dāng)閱讀一篇論文時，一般會把注意力放在眼睛看到的這句話上，而周圍的其他信息會被過濾掉，注意力機制就是源于這種思想。在特征提時，給有用的信息更高的權(quán)重，無用的信息對應(yīng)更小的權(quán)重。

1.3 坐標(biāo)注意力機制（coordinate attention，CA）

CA使用信息嵌入和注意力生成的方式[8]，不僅提取到不同特征圖的重要性，還獲取到特征圖上的位置信息。CA注意力模塊如圖所示：

信息嵌入階段：

為了使注意力模塊能夠獲得具有精確的位置信息和通道信息，CA對全局池化進(jìn)行分解，轉(zhuǎn)化為兩個一維特征編碼操作：給定輸入X，先使用大小為（h,1）和（1,w）的池化單元沿水平方向和垂直方向?qū)γ總€通道進(jìn)行編碼。高度為h的第c通道的輸出可以表示為：

同樣，沿垂直方向?qū)挾葹閣的第c通道的輸出可以表示為：

編碼后得到沿兩個方向聚合特征的一對方向感知的特征圖，這種特征編碼可以獲得沿著一個空間方向的通道信息，并保存沿著另一個空間方向的位置信息，這有助于網(wǎng)絡(luò)更準(zhǔn)確地獲取感興趣的目標(biāo)。

注意力生成階段：

注意力生成主要利用捕獲到的位置信息和通道信息，使感興趣的區(qū)域被準(zhǔn)確地捕獲。根據(jù)圖2所示，信息嵌入后的特征圖先進(jìn)行concatenate操作，然后進(jìn)入卷積變換得：

圖2 CA注意力機制模塊

然后沿著空間維數(shù)將x分解為兩個單獨的張量xh和xw，再利用兩個卷積變換將他們變?yōu)榫哂邢嗤ǖ罃?shù)的張量得：

最后，CA注意力機制模塊的輸出為：

2 基于注意力機制的課堂姿態(tài)識別

2.1 網(wǎng)絡(luò)結(jié)構(gòu)選擇

YOLOV5有四種網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)構(gòu)的框架是一樣的，網(wǎng)絡(luò)寬度和深度越來越大，模型的檢測準(zhǔn)確率不斷增加，但檢測速度在不斷下降。本文研究的主要目的是在保證模型檢測速度的情況下，提高模型的魯棒性，因此選擇了YOLOV5s，在此基礎(chǔ)上加入注意力機制模塊。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖所示：

圖3 YOLOV5s+CA網(wǎng)絡(luò)結(jié)構(gòu)

2.2 數(shù)據(jù)集獲取及標(biāo)注

本文的數(shù)據(jù)來源于真實的課堂場景，在課堂上拍攝真實的學(xué)生課堂視頻數(shù)據(jù)，將數(shù)據(jù)轉(zhuǎn)換為圖片格式后，把學(xué)生行為動態(tài)分為抬頭聽課，低頭，玩手機，記筆記，舉手，睡覺，交頭接耳等七類，然后對圖片進(jìn)行標(biāo)注，標(biāo)注后的數(shù)據(jù)輸出為YOLO格式。把數(shù)據(jù)按4：1的比例劃分為訓(xùn)練集和測試集。

2.3 模型參數(shù)

2.3.1 學(xué)習(xí)率調(diào)整相關(guān)參數(shù)

表1 學(xué)習(xí)率調(diào)整相關(guān)參數(shù)

模型采用不同的策略來學(xué)習(xí)不同的權(quán)重，對網(wǎng)絡(luò)的權(quán)重參數(shù)使用權(quán)重衰減來優(yōu)化，偏置和BN層的權(quán)重用基于梯度的移動加權(quán)平均（SGD + Momentum）優(yōu)化，這種方法可以解決SGD優(yōu)化算法更新擺動幅度大的問題，同時可以使網(wǎng)絡(luò)的收斂速度加快。學(xué)習(xí)率的更新使用預(yù)熱和余弦退火算法，當(dāng)損失函數(shù)值較大時，以較大的學(xué)習(xí)率來訓(xùn)練模型；損失函數(shù)值接近全局最優(yōu)損失值時，余弦退火算法會給一個較小的學(xué)習(xí)率來接近全局最優(yōu)。

2.3.2 損失函數(shù)相關(guān)參數(shù)

如表2所示，設(shè)置預(yù)測框損失、分類和回歸損失的比例，分類和回歸的正樣本權(quán)重都設(shè)置為1，同時聚焦損失函數(shù)，增加對難負(fù)樣本的訓(xùn)練。

表2 損失函數(shù)相關(guān)參數(shù)

2.3.3 算法訓(xùn)練

在RTX3060的顯卡下，配置完成YOLOV5s模型的環(huán)境，在模型的backbone中加入CA注意力機制，根據(jù)硬件配置及數(shù)據(jù)集特點，設(shè)置訓(xùn)練參數(shù)：迭代次數(shù)300次，輸入圖片大小為640×640，batch-size為8，聚焦損失函數(shù)，標(biāo)簽平滑正則化設(shè)置為0.1。

從表3看出，加入CA注意力機制后的模型識別效果最好，與YOLOV5s相比提升了2%的mAP。這是源于CA不僅關(guān)注淺層和深層的特征圖之間信息重要性的不同，還關(guān)注了同一特征圖上不同位置的信息重要性的不同。這種方式會使模型訓(xùn)練時更加注重特征信息的不同。加入CA注意力模塊后模型訓(xùn)練結(jié)果如下：

表3 改進(jìn)后模型與YOLOV5s對比

從圖4可以看出，隨著訓(xùn)練次數(shù)的增多，模型很快收斂，訓(xùn)練集和測試集上的損失函數(shù)基本減小到10-2以下，準(zhǔn)確率達(dá)到了90%以上，mAP0.5最高達(dá)到0.91，與YOLOV5s相比，加入CA注意力機制后的模型mAP0.5提升了2%左右。

圖4 YOLOV5+CA注意力機制模型的訓(xùn)練結(jié)果

3 結(jié)論

本文的模型在YOLOV5s的基礎(chǔ)上加入CA注意力模塊，通過實驗對比CA注意力機制對本文的學(xué)生課堂行為識別的效果最好，與原模型相比提升了2%左右的mAP。CA注意力機制效果最好的主要原因是因為，CA不僅考慮通道的信息同時也考慮空間的信息，并認(rèn)為兩者是同樣重要的。模型在滿足識別準(zhǔn)確率的前提下，同時滿足對學(xué)生課堂行為識別實時性的要求，該算法的識別速度達(dá)到142/s，這完全滿足實時性的要求，可在學(xué)生課堂行為識別系統(tǒng)中應(yīng)用，實現(xiàn)對學(xué)生課堂聽課水平，專注度的智能化處理，對獲取疫情下線上課堂學(xué)生學(xué)習(xí)狀態(tài)，為老師提供客觀的課堂數(shù)據(jù)提供有力支持。對大力發(fā)展人工智能尤其是深度學(xué)習(xí)與教育評價領(lǐng)域的融合發(fā)展具有重要意義。