基于人臉識別的課堂教學監控系統分析

王艷玲

（長春光華學院，吉林長春，130031）

0 引言

本文主要講述了在現代化教學的背景下，給予人臉識別的堂課教學效果以及教學質量，該系統的出現可以節約教師的時間，將更多的精力放在教學上，而且使用人工智能技術可以分析學生的課堂情況，通過攝像設備可以更加直觀的看到每一個學生的變化是否集中注意力聽課，以提高教學效果，并且也可以評估學生的學習情況。該系統的優勢在于：首先，基于攝像設備的人臉檢測方法，以提高學生上學的人數。其次，基于攝像設備的圖像分析可以提高課堂的教學質量和教學效率。

1 系統架構

此系統的應用可以更好地觀察學生的變化，通過教室的視頻監控設備可以滿足學生的需求，對一些上課不積極的學生或者是搗亂的學生也是一種制約，還可以通過手機圖像來評估教學質量。而此系統主要分為四部分：視頻采集、面部檢測、面部識別和統計反饋，子系統的劃分如圖1所示。

如圖1所示，視頻采集子系統包含兩個部分：視頻采集和存儲以及圖像預處理。其中，視頻采集儲存模塊的功能是將學生在課堂上的視頻采集到后保存到硬盤上。圖像預處理的功能是將采集的視頻進行相應的處理和校正。人臉校測子系統包括三方面，即：圖像分割、人臉檢測、人臉去重，其主要的目的是更好的切割或者檢測薛恒的面部表情，將面部檢測的結果傳遞到子系統。面部識別子系統使用百度AI開放平臺界面提供面部識別和面部情感識別。在此模塊中，可以查看當前教室中的學生是否在聽。統計反饋子系統包括兩個部分，即對教育和反饋的總體質量的評估，這樣不僅可以將學生的實際情況更清楚、更直觀的反饋給教師，讓老師可以觀察到學生的變化。

圖1 子系統劃分

2 系統關鍵技術

2.1 圖像分割

面部檢測子系統的目的是更好的、更全面的檢測學生的面部情況，但是面部子系統也有其弊端，其缺點在于如何確保測試召回率，換句話說，如何將教室中每一個學生都不落下。這些人臉檢測方法并不是因為當前的人臉檢測方法無法保證當有很多人臉時的召回率。圖像遞歸切割的示意圖如圖2所示。

圖2 圖像遞歸切割

如圖2所示，根據半重疊原理沿長邊切割圖像，并將每個圖像切割成三個子圖像。沿長邊裁切可防止裁切圖像破壞長度和寬度之間的平衡，并且一半的重疊使裁切的子圖像具有盡可能完整的臉部。深度表示剪切的數量，可以根據圖像中人臉的數量動態調整此值。 對于具有大量面部的圖像，將N設置為較大的值將在子圖像中的原始圖像中顯示較大比例的較小面部，從而提高了測試的召回率。

2.2 人臉檢測

圖像分割完成后，對每幅圖像執行人臉檢測。基于圖像遞歸切割的人臉檢測算法如算法1所示。

算法1基于圖像遞歸切割的人臉檢測算法

該算法首先使用OpenCV庫中的CascadeClassifier分類器檢測當前節點圖像中的面部，然后將檢測到的面部添加到面部集。在相加過程中，根據圖像中臉部的位置，刪除重復的臉部。最后，對每個子圖像進行算法處理，直到對圖像進行分割并達到設置的圖像分割深度為止。面部檢測完成后，將獲得一個包含所有面部的面部集合，用于面部識別和情感識別。

2.3 人臉識別

該系統使用百度AI開放平臺在線人臉識別界面來識別人臉。 與其他公眾面部識別界面相比，該界面具有更高的識別率，并提供諸如情感識別的功能。在識別面部之前，必須將所有學生面部上載到百度AI開放平臺以構建學生面部數據庫。在識別過程中，面部經過Base64編碼并發送到指定的URL。課堂人臉信息數據表設計如表1所示。

表1 人臉信息數據表

數據庫中的每個記錄都存儲信息，例如面部所屬的學生的姓名，三維空間中面部的角度，面部表情，圖像收集時間和識別可靠性。

2.4 課堂教學分析

該模塊在課程中為所有學生捕獲面部信息，評估學生的學習狀態，并以兩種格式顯示統計結果：網頁和手機APP。統計信息包括班上所有學生的檢出率的變化，特定學生的檢出率，所有學生的面部角度分布和變化趨勢，特定學生的面部角度分布以及面部情感分布。包括變化趨勢，缺少面部警報等。

所有學生的檢出率變化趨勢主要用于分析在課堂上所有學生的檢出率。統計結果將幫助學生認真聆聽并確定他們是否在學習中。特定學生的檢出率是指在整個班級中檢測到的特定學生的百分比，其結果與特定學生在班上的熱情有關。可以分析學生面部的角度分布和趨勢，以查看檢測到面部時頭部是否朝下。在課堂中，學生面部表情的變化可以直觀的看到學生的變化，學生是否在學習，課堂是否活躍，如果面部丟失警報響起就證明學生沒有集中注意力，或者學生可能在睡覺，或者早退。

3 系統性能分析

3.1 系統運行效果

該系統已在大學軟件學校的智能教室中開發和測試。教室可容納50名學生，每堂課30至40名學生。

為了測試該系統的面部檢測方法的召回率，在教室監視過程中隨機捕獲了100張圖像進行測試。四個班級中有20個捕獲了100張圖像，每個班級的學生座位分配各不相同。消除了在特殊情況下未檢測到學生的臉部（例如學生在上課時鞠躬）后，面部總數為3143。系統的面部檢測算法在這100張圖像上運行，以計算去除重復面部后的面部召回率，以及切割的圖像深度與面部召回率之間的關系。可以看出，圖像中的切入深度越大，面部的召回率就越高。圖像深度為5時，面部回憶率達到99.8%，足以滿足課堂教學監控的需求。

3.2 系統性能分析

隨著圖像切割數量的增加，需要以指數方式檢測面部的圖像數量也會增加。如果圖像的裁剪深度為5，則檢測到的圖像數量為364。在這些圖像中，根節點具有最大的圖像大小，并且使用OpenCV進行面部檢測大約需要80毫秒。隨著切割深度的增加，圖像尺寸呈指數減小，并且耗時的人臉檢測也急劇減小，一張圖像的總面部檢測時間少于4秒。

面部檢測后，將調用BaiduAI的在線面部識別界面來執行面部識別。企業級應用程序的此接口的QPS限制為10。也就是說，每秒最多允許10個呼叫。該系統使用多線程方法來調用此接口。憑借良好的帶寬，可以始終如一地每秒實現9-10個呼叫。對于一個大約有40名學生的課程，考慮到20%的冗余度，面部識別的總時間少于6秒。該耗時完全滿足了課堂教學監控系統的耗時要求。

4 結論

隨著經濟的發展以及我國綜合國力的增強，我國在計算機領域有了很大的突破，本文主要講述了課堂教學的監控系統，在未來的教學中將慢慢普及，成為課堂教學不可或缺的一部分，但是在教學中由于課堂學生較多，多人場景下人臉檢測的召回率較低，成為了主要的問題之一，針對此問題，我們提出了基于圖像遞歸切割和OpenCV的人臉檢測方法，以了解學生的學習情況。此外，我們通過視頻采集的方式，可以分析面部檢測召回結果，以及面部檢測所需的時間。其中，需要改進的地方包括：首先，如何將課堂上的學生更好的、更全面的識別，以及學生分布不均勻的問題。其次，在攝像頭拍攝的過程中陽關的光線和其他的一些因素也對其有一定的影響。