基于云端人臉識別技術的智慧課堂框架研究

李昕昕，趙 春，嚴張凌

（四川大學 錦城學院 計算機與軟件學院，四川 成都 611731）

隨著智慧校園概念的提出，各類新興信息技術，如云計算、大數據、人工智能等在高校得到了廣泛應用。高校信息化由管理信息化發展為教育教學全面信息化，信息技術與教育教學的關系從組合、整合演進到融合創新[1]。課堂教學作為高校生活最核心的組成部分，其信息化程度直接影響到學生的學習效率和教師的教學效果。但是，目前國內很多高校在課堂教學方面仍然延續傳統的教學手段和教學管理方法。課堂信息化更多局限于多媒體教學工具的使用和部分翻轉課堂的應用。而這些并不能從根本上解決傳統課堂教學中存在的問題：

（1）課堂管理效率低。傳統的課堂管理主要依靠老師點名或者抽查的方式。當學生人數較多時，傳統考勤的效率和準確度將會大大降低；同時，大規模考勤也不利于提高課堂效率。因此我們需要更高效的課堂管理體系。

（2）非個性化的教學過程管理。傳統的課堂教學過程中，教師無法關注到每個學生的學習狀態，無法根據學生的實際學習情況進行調整，只能按照教學大綱的進度授課。因此，我們需要制定個性化的學習方案以提升學生的學習積極性。

（3）非全面、客觀的學生評價機制。傳統意義上學生成績主要由平時成績和期末考試成績兩部分構成。而平時成績因為登記繁瑣、匯總困難，以及可能存在學生不誠信行為等問題，使得占比較少。同時，由于平時成績更多取決于教師的主觀評價，因此也存在打分隨意的情況。所以為了避免僅僅依靠考試分數作為評價手段所帶來的不全面性以及主觀評價所帶來的非客觀性等問題，我們需要一個能真實記錄學生日常表現的機制，以達到全面、客觀評價學生的目的。

在這種情況下，智慧課堂逐步成為運用信息化技術提高課堂教學管理水平、完成高質量教學模式創新的發展訴求。

1 智慧課堂的特征分析

相關研究表明，智慧課堂應具備以下一些特性。如自主性、思維性、探究性、多元性等[2-6]。本文立足于智慧課堂的自主性、多元性的特點，提出了一種基于云端人臉識別技術的智慧課堂框架。該框架具有以下特征。

1.1 智慧化管理

利用云端人臉識別技術，通過持續的采樣取幀，增強系統識別性能的準確性，實現自動化考勤，同時利用云平臺技術將考勤數據實時傳輸教務，節約課堂管理評估時間，方便老師，便捷教務管理。

1.2 個性化教學

利用自動化考勤返回的圖像信息，關注每個學生的學習狀態（包括出勤率、抬頭率、課堂活躍度等），并對收集到的數據進行挖掘和分析，根據學生的實時反應合理調整教學進度，結合個體情況通過課堂互動及課后練習完成個性化教學。

1.3 智慧化評價

利用自動化考勤采集的每節課學生的出勤率與個性化學習體系中利用數據挖掘技術獲取的學生分類屬性相結合，運用強大的數據分析和可視化技術幫助教師完成平時成績考核體系的建立，也可以幫助教務進行教學評估。

2 智慧課堂的框架模型

本文所提出的基于人臉識別技術的智慧課堂是一種利用云端部署人臉識別系統的架構模式。該系統是通過深度學習技術對人臉大數據進行學習獲得高精度的識別模型，進而實現教室集群環境下大規模人臉識別和數據分析的新型課堂。其框架模型主要由圖像處理平臺、云平臺、分布式處理平臺和應用平臺構成，其框架如圖1 所示。

圖1 基于云端人臉識別的智慧課堂框架

2.1 分布式處理平臺

該平臺利用分布式處理創新性地將每間教室的視頻數據流在該教室內閑置的多媒體電腦上進行運算，多間教室并發點名而互不干擾，大幅降低服務器負荷，提高系統運行效率的同時也充分利用了教室閑散資源，提高了教育資源的利用效率。

2.2 圖像處理平臺

圖像處理平臺是整個智慧課堂框架的基礎平臺。該平臺需要利用教室里面的攝像頭和多媒體電腦，攝像頭將固定時間間隔采集的圖像傳到當前教室的多媒體電腦上，電腦進行自動人臉識別和實時數據反饋，為云平臺上的數據挖掘提供基礎數據。

2.3 云平臺

云平臺主要負責數據挖掘。它對從分布式平臺上收集到的數據進行聚類分析，而后給出針對學生學習狀態和學習行為的學生分類屬性，以此幫助教師在后期利用數據制定個性化學習方案和評價學習效果，提升教學方法。

2.4 應用平臺

應用平臺由教師端、教務端和學生APP 端組成。主要是利用Web 和手機終端對通過云平臺收集整理出的數據進行查閱和管理。同時還可以進行相關教學資源的查找、信息查詢和互動練習等。

3 智慧課堂核心技術分析

3.1 人臉檢測

人臉檢測可以被認為是一種特定的物品檢測。它的主要任務是通過特定的算法在指定圖像（包括靜態和動態）中準確定位人臉。在智慧課堂框架中應用人臉檢測主要是幫助自動考勤模塊實時確定學生人數以及對學生學習狀態（如抬頭率、課堂活躍度等）進行判斷。但是由于教室場景下存在角度、采光和遮擋等環境因素的影響，因此如何在不需要主體配合的情況下準確高效地進行人臉檢測是本文要解決的關鍵問題之一。針對這一問題，本框架將采用MTCNN（級聯的深度卷積神經網絡）[7]技術，對攝像頭采集的幀圖像進行多人臉檢測，然后對檢測出現的人臉框進行人臉判斷和人臉框的裁剪，最后對每個人的剪切框進行處理后送入到人臉識別部分。

3.2 深度學習

深度學習是機器學習中一種基于對數據進行表征學習的算法。深度學習的好處是用非監督或半監督的特征學習和分層特征提取高效算法來替代手工獲取特征，可以有效提高識別準確率[8]。因此被廣泛應用于人臉識別領域。自2012 年6 月Andrew Ng 教授和Jeff Dean 等人提出深度神經網絡（DNN，deep neural networks）[9]的機器學習模型，并在語音識別和圖像識別等領域獲得巨大成功后，2014 年香港中文大學的湯曉鷗教授團隊提出的DeepID 深度學習模型[10]更是在LFW（labeled faces in the wild）數據庫上獲得了99.15%的識別率，首次超過了人臉在LFW 上97.25%的識別率。2016 年Yandong Wen 等人通過使用Center Loss 函數替代原來的sigmoid 損失函數使得模型在LFW 上的識別準確率提高到了99.28%[11]。證明以深度學習進行特征提取輔助人臉識別是可行且高效的。在智慧課堂框架中應用深度學習技術可以有效幫助人臉識別模塊提高識別的準確度和效率。因此，本框架將采用文獻[11]中的caffe-face 模型進行訓練，實現人臉深度特征生成。

3.3 人臉識別

人臉識別是實現智慧課堂、智慧化管理和個性化教學的核心技術：利用深度學習提取出來的深度特征在標準人臉特征庫做對比，選取出相似度最高的特征，通過支持向量基（SVM）[12]分類找到對應的人臉ID，實現對人臉的識別。通過上述自動化考勤過程可以實現考勤的實時性、高效性和準確性，有效地預防各種不誠信的考勤行為，同時還可以對學生的學習過程進行監督管理，及時作出反應，最終實現智慧化管理。

3.4 數據挖掘

數據挖掘（DM, data mining）是通過仔細分析大量數據來揭示有意義的新關系、趨勢和模式的過程。[13]數據挖掘涉及異常檢測、關聯規則學習、聚類、分類、回歸和匯總六類任務。本文所提出的智慧課堂框架將采用數據挖掘中的聚類算法對通過云平臺收集到的學生出勤率、課堂抬頭率、課堂活躍度等信息進行學生學習狀態分類。教師可以通過不同學生的學習狀態科學制定符合學生興趣的個性化學習方案，改進教學方法；同時還可以綜合分析一個時間段內學生學習行為的變化，為構架科學、全面、公平的評價體系提供依據。

4 仿真實驗

4.1 數據集

LFW 的測試數據庫中包含6000 對測試比對，其中3000 對為同一個人的比對，另外3000 對為不同人之間的比對。

4.2 訓練模型

本文仿真實驗采用文獻[11]的caffee-face 網絡進行訓練調參，并得到自己的模型，如圖2 所示。

圖2 訓練模型參考圖

訓練模型采用5 層卷積+池化+全連接的方式。其中卷積核大小采用3×3，步長為1；池化層的核大小為2×2，步長為2；隱藏層損失函數采用ReLu 函數，全連接到輸出層的損失函數采用Softmax Loss+Center Loss。

為得到不同人臉的相似度，本文采用了余弦相似度作為比對標準。

假設將圖片X 表示為向量

圖片Y 表示為向量

則其計算公式為：

由公式（1）可見，向量夾角余弦的取值范圍在0~1，可以直接作為圖像相似度的閾值標準。向量夾角余弦越小，不同的人臉圖像越相似；向量夾角余弦越大，不同的人臉圖像越不相似。

4.3 實驗結果

最終實驗結果如圖3 所示，不同閾值（0~1）下的識別率差異明顯，閾值范圍在0.43~0.45 之間的識別率最佳。當cos 閾值為0.438 時，測試識別率最高達到99.2%。

為了進一步驗證模型在課堂上的識別率，將LFW的比對人臉，多次隨機分為20、50、70、100、120個人每組（每組的數值代表課堂的人數）。分別對每個分組進行了50 組測試分析，其平均結果見表1。

圖3 不同閾值下的識別率

表1 分組測試識別率表

從表1 可見，在50 組仿真實驗中，雖然識別人數增加到120 人時系統識別率有所降低，但是其識別準確度仍然能夠達到99.43%。

5 結語

為了更好地提升高校課堂信息化水平、改進課堂管理效率、解決學生日常評價難題、激發學生學習興趣，本文立足人臉識別、深度學習、數據挖掘等多種新興信息化技術，提出了基于云端人臉識別技術的智慧課堂的特征、體系架構和關鍵技術。經仿真實驗證明該框架可以有效提升人臉識別的準確率，從而優化課堂管理效率。