基于深度學習人臉識別的智慧課堂考勤系統

吳祥美

(福州軟件職業技術學院 智能產業學院，福州 350299)

0 引言

隨著信息產業的高速發展，教學系統信息化已被廣泛應用于各大院校的教學實踐，如何在人工智能應用及信息化的基礎上，提高課堂的管理效率，減少學校設備投資的成本，構建智能化的課堂管理體系，一直是困擾各高校的重要問題。因此，開展基于人工智能的智能課堂考勤管理系統的研究與探討，具有重大的價值和現實意義。

李昕昕等[1]利用云端人臉識別技術，通過研究深度學習、人臉識別和數據挖掘等技術，采樣和取幀來增強識別準確率，實現自動化考勤；李書欽等[2]研究校園無線上網及信息化技術在高校課堂智能考勤系統上的實踐，提高了考勤工作效率；孫玥等[3]設計了一套能快速獲取人臉圖像信息，運用深度殘差網絡進行提取定位和人臉識別的自動考勤系統;姚靜姝[4]探究深度學習和人臉識別技術在課堂考勤管理中的應用,設計并實現自動化課堂考勤系統;項新建等[5]通過WIFI技術與指紋終端進行數據通信，設計并實現指紋簽到的自動化考勤管理系統;李雄等[6]基于B/S架構，結合Keras框架，采用Java語言和MySQL數據，開發實現人臉識別考勤系統；方書雅等[7]基于Mask R-CNN目標檢測、MTCNN 人臉檢測，FSA-Net頭部姿態識別等算法設計了一套無感知課堂考勤系統。基于以上研究，以課堂考勤信息化和智能化為目標，結合SSM、VUEJS等框架技術，設計一套基于深度學習人臉識別技術的高校智能考勤系統，督促學生上課，提高課堂管理效率。

1 方案設計

1.1 總體思路

基于深度學習人臉識別技術的智慧課堂考勤系統將人臉識別技術與學校監控設備相結合，利用教室中原有的高清監控攝像頭多角度、多時段地進行采集課堂視頻，或者上課教師通過手機App平臺進行人臉圖像采集，分別通過深度卷積神經網絡學習提取特征向量，然后通過拼接等方式形成新的組合特征向量，與教務系統中采集的學生人臉庫，進行1：N比對。通過特征向量之間的歐式距離計算是否屬于同一人臉，若相同，則該學生考勤成功，相應的數據庫則記錄相關課程的考勤信息，并匯總分析出相應的考勤報表并將考勤數據傳送給教務系統。教學管理者可在管理平臺實時查看并確認最終缺課學生名單，若存在簽到遺漏的，教學管理者可進行調整相應考勤數據。通過智能考勤系統進行人臉識別考勤結果準確率高，識別過程可以做到學生無感知、動態的、多次的，系統可幫助上課教師自動進行考勤管理，從而解決學生逃課、代簽、替課等問題的發生。

1.2 功能體系設計

圖1 系統功能設計圖

系統功能模塊設計如圖1所示，考勤系統主要分為前后臺部分，后臺主要完成與教務系統的數據接口、后臺管理、智能考勤分析、人臉識別引擎功能，前端考勤管理主要有學生App和教師App兩個部分，包括上傳考勤圖片、課程、考勤查看、考勤通知、考勤確認、考勤查詢等功能。

其中我的課堂提供給教師查看當天的課程安排信息，包括課程名稱、所在班級、上課節次、學生清單及其考勤狀態等；考勤查詢包括查看自動考勤的結果信息和手動提交考勤照片信息功能；自動考勤指系統自動通過智能監控攝像機獲取相關的教室監控照片，進行考勤智能分析，生成對應課程的考勤結果；考勤通知包括主動通知和查看考勤數據；考勤確認包括考勤數據調整、考勤數據確認、提交考勤數據、同步考勤數據到教務系統。

智能考勤分析模塊基于人臉識別引擎，結合課堂考勤場景，對考勤視頻數據進行預處理，同時對臉部圖形進行檢測、剪裁和人臉預處理，輸出課堂上學生的高質量人臉頭像。然后系統提取學生的人臉特征，通過人臉匹配技術，將課程班級的里每個學生人臉與采集到的人臉頭像集進行1：N匹配，最終得出該課程班級的所有學生的考勤情況。

人臉識別引擎模塊基于深度學習人臉識別技術，深度學習是模擬人腦進行神經網絡的認知學習，學習速度快，分析圖像規律，完善模型，實現對臉部圖形進行檢測和剪裁，輸出人臉頭像。人臉預處理是基于檢測結果，通過對檢測出的人臉圖像進行過濾噪聲、校正灰度等優化處理、形成高質量的人臉圖像，從而更準確地提取人臉特征。然后基于人臉匹配技術，通過計算特征向量之間的歐式距離來判斷是否屬于同一人臉。

1.3 考勤流程設計

首先,將學校的學生系統及考勤系統的數據進行預處理，得到每次課堂的學生信息(包括學生頭像)。接著，系統在課堂的上課時間范圍內隨機截取監控視頻片段，通過深度學習人臉檢測提取人臉特征值，并包圍剪裁得到本課堂的完整人臉庫。并將課堂的每個學生人像同人臉庫進行1：N的搜索比對人臉特征，若搜索到小于設定的閾值的人臉，則表示該學生考勤成功；依次完成每個學生的1：N人臉搜索匹配，最終得到每次課堂的學生考勤數據。 由于教室存在未安裝攝像頭的可能性，且攝像頭的成像質量也有存在不足的情況，為了解決個別學生存在全程未露臉或側臉、遮擋、低頭等采集不到位的情況，教師可在移動端的考勤系統上進行查看，再確認是否有遺漏的同學，可以及時通過上傳同學的人像數據完成考勤數據的調整。

圖2 考勤流程圖

2 開發實現

軟件代碼部分主要有系統應用和人臉識別引擎，系統應用是用JAVA編程語言編寫，用Mysql數據庫存儲數據；人臉識別引擎是使用Python編程語言實現，兩大模塊之間通過API接口進行通信。

2.1 系統開發實現

系統應用功能分為考勤管理系統、學生App、教師App模塊。其中考勤管理系統模塊是采用SSM框架，即整合了Spring 、Spring MVC和Mybatis三個框架，其中Spring MVC輕量級框架是用來解耦數據層、展現層和控制層，簡化web開發，完成HTTP請求的轉發和視圖管控；Spring容器框架則基于IOC和AOP實現業務對象生命周期進行管理；Mybatis則基于持久化框架完成數據的映射和存儲操作。同時通過SQL JOB方式且按一定的格式準備將現有的教務系統及學生系統的數據同步到考勤后臺管理系統，快速完善排課計劃、教師、班級、學生及頭像信息、課程表等數據庫表數據，簡化數據采集的工作流程。學生App和教師App接口的實現采用原生應用+VUEJS前端框架+MUI 框架的混合編程方式，這種開發模式只編寫一套核心代碼，減少重復開發提高效率，同時能保證用戶體驗和系統性能。其中App的接口主要使用后臺系統暴露的Restful API接口，使用 JSON數據格式完成前后端的通訊，數據傳輸快，性能好。

圖3 技術框架圖

2.2 人臉識別引擎實現

該模塊主要基于深度學習來實現圖像預處理、人臉檢測、人臉匹配等功能。圖像預處理有兩個作用：一個是提高編碼視頻的質量，降低環境、噪聲、光照、運動等影響。另一個作用是提高編碼效率和有利于碼率控制。其次，針對視頻每幀圖像都進行人臉目標檢測，利用更高效的深度學習模型YOLO，YOLO將檢測任務當作回歸問題處理，分析圖像像素得到bounding box坐標、圖像的置信度和類概率。通過YOLO，每張圖像能迅速分析出圖像中的人臉及其位置。然后提取68個關鍵特征點，基于基準人臉的鼻子，眼睛和嘴唇特征點進行相似變換，在不改變面部重要五官的基礎上進行對齊。在得到每張人臉的特征點之后，通過特征點形成矩形，實現人臉的精確定位并裁剪出來，再運用Resnet深度學習算法來獲得一個128維的特征向量。最后，人臉匹配實現是通過計算特征向量之間的歐式距離，如果該距離小于設定的閾值，則匹配成功為同一人臉，否則不匹配，為不同的人臉。

圖4 人臉識別流程圖

3 功能實現

3.1 教師App的功能

教師App可查看教師的個人信息，當日課堂信息，包括課程名稱、教室、時間、班級記入學生的考勤數據，允許教師補錄學生的出勤信息并提交。同時可從課程信息列表入口進入查詢對應課程的歷史課堂考勤信息。

圖5 教師App的當日課程考勤界面

圖6 教師App的教師課程信息界面

圖7 教師App的歷史考勤數據查詢界面

3.2 學生App的功能

學生App可顯示學生的個人信息、考勤信息，具體包括姓名、學號、所在班級、專業、日期、周次、出勤情況等信息，但不能進行新增、編輯操作。

3.3 考勤后臺管理的功能

在考勤系統的后臺上，教師可查看本人的課程信息、考勤數據、考勤統計等信息；有權限人員可查看相關課程或學生的考勤數據、考勤統計等信息。同時系統管理員可對課程、排課、教師、學生等信息進行新增、刪除、修改等管理操作。

圖8 考勤數據展示

4 結語

本文基于深度學習算法，結合人臉檢測、識別、匹配技術，結合課程安排信息，實時對課堂上的學生進行人臉掃描識別匹配，真正做到動態識別考勤。基于深度學習人臉識別的智能課堂考勤系統，成本低，識別結果準確率高，識別過程無感知、多次的，高效地解決課堂考勤問題，并為教師的課堂管理提供保障。