基于MTCNN的FaceNet架構的人臉識別考勤系統設計與實現

李林峰 李春青 田博源 廖曉霞

摘要：該文設計并實現了一個基于MTCNN的FaceNet架構的人臉識別考勤系統。在系統中，將多級聯CNN模型（MTCNN）應用于人臉檢測里，可以提高對光照陰影等自然變化因素存在的魯棒性，對于人臉識別部分采用FaceNet網絡架構。實驗證明，基于MTCNN的FaceNet架構相較于傳統的人臉檢測與識別具有更好的效果。最后，在保證識別速度和識別精度的前提下對數據的計算量進行了優化。

關鍵詞：MTCNN：FaceNet架構;人臉識別

中圖分類號：TP37 文獻標識碼：A

文章編號：1009-3044（2020）27-0181-03

開放科學（資源服務）標識碼（OSID）：

現如今隨著教育力度的大力發展和學生人數的逐漸增多，傳統的考勤點名考勤或者簽名考勤存在著虛假簽到的弊端，極大影響了學生平時成績獲取的公平性[1]，而且，這些傳統的考勤方式拖慢并影響了課堂的連續性和統一管理，無法滿足現如今快速的學生增長趨勢所帶來的考勤弊端。近年來，隨著人工智能和互聯網的滲入，指紋考勤和人臉考勤應運而生，這些新式的考前系統可以幫助考勤管理流程化并提高效率。但是在市面上出現的這些考勤系統都是商用的，對于普通的班級上課考勤來說，價格不菲。因此，本論文主要是設計并實現一個具有人臉數據添加、人臉識別的通用考勤系統。該系統將能快速地進行人臉圖像訓練、獲取人臉圖像特征、特征提取和人臉識別，從而生成學生考勤打卡表格，讓教師考勤變得更智能、更高效。

1 系統功能結構

人臉識別系統功能如下圖1所示，包括：添加新用戶、人臉錄入、提取人臉特征、人臉識別、考勤數據管理等功能。整個系統界面設計圖如圖1所示。

1.1添加新用戶

本學生考勤系統服務定位于高校的課堂考勤管理，因此設置有兩種權限的角色：管理員和普通用戶。管理員擁有全部的權限，可以對整個系統信息進行管理。而添加新用戶的工作則是管理員添加使用本系統進行考勤的教師用戶，這個每一位系統中的教師用戶就可以使用本系統考勤并期末導出考勤數據。

1.2人臉錄入

人臉識別的前提是人臉數據錄入并進行訓練。新建的人臉數據表包括院系、班級和學號屬性。錄入過程為：首先選擇人臉數據表與對應的學號，點擊打開攝像頭，利用OpenCV庫調用攝像頭進行，獲取人臉圖像數據。人臉錄入界面如圖2所示。

1.3提取人臉特征

上一步獲取人臉圖像數據后，點擊“特征提取”，系統將會對人臉圖像數據獲取，然后送人Facenet進行訓練得到128維的特征向量，然后遍歷特征值數據庫中的數據進行對比檢測，如果數據中的數據與被識別的數據相似度高于閩值，則表示該人臉數據已經存在，不再保存人臉特征數據，反之，則需要保存新的人臉特征數據。

1.4人臉識別

人臉識別過程就是考勤打卡過程，與人臉識別過程類似，可以用來檢驗本系統的準確性和魯棒性。其識別過程為：通過攝像頭獲取學生面部數據，然后獲得128維的特征向量，然后遍歷特征值數據庫中的數據進行對比檢測，如果數據中的數據與被識別的數據相似度高于閾值，則表示該人這是同一個人臉數據，更新考勤數據表，反之，則檢測不到這個人，無法進行考勤。

1.5 考勤數據管理

本系統創建采用有人臉特征表、學生考勤表等數據表，管理員對人臉特征數據表和學生考勤表進行增、刪、改、查的操作。

2 基于多任務級聯卷積神經網絡的人臉檢測

基于多任務級聯卷積神經[2]網絡（MTCNN）檢測是在CNN網絡模型上的改進。在2016年的時候Kaipeng Zhang，Zhan-peng Zhang，Zhifeng Li，Yu Qiao提出了人臉檢測模型：MTCNN（Multi-task Cascaded Convolutional Net works）。這個模式是一種Multi-task的人臉檢測框架，使用3個CNN級聯算法結構，將人臉檢測和人臉特征點檢測同時進行，MTCNN人臉檢測方法對自然環境中光線，角度和人臉表情變化更具有魯棒性。本文多任務級聯卷積神經網絡采用FaceNet網絡架構。

2.1 MTCNN人臉預處理

在對模型進行訓練之前，往往需要對圖片進行預處理，如濾波處理，尺寸變換，色彩空間變換等，目的是為了減少因為光照，旋轉，遮擋等自然因素的干擾，以提高檢測準確率。目前人臉檢測的引用場景越來越多，從單一限定場景發展到廣場、車站、地鐵口等場景，人臉檢測面臨的要求也越來越高，比如：人臉尺度多變、姿勢多樣包括俯拍人臉、戴帽子口罩等的遮擋、表情夸張、化妝偽裝、光照條件惡劣等。其次為了在檢測過程中，能檢測到不同大小的人臉，需要把圖片進行多次尺寸變換，即對圖像進行圖像金字塔變換，以便為模型提供足夠多的不同尺寸圖片數據。圖像金字塔變換如圖3所示。

同時為了處理過度曝光或低曝光的圖片，需要對圖片進行預白化，改變圖像的平均像素值為0，改變圖像的方差為單位方差1，保證訓練圖片均處于理想狀態。一般的計算公式如公式（1）：

2.2 MTCNN人臉檢測

MTCNN中每一層都采用P-NET檢測模型。對于P-NET的模型來說，是用單尺度[12，12]的圖片訓練出來的，所以在推斷的時候，想要識別各種尺度的人臉更準，需要把待識別的人臉的尺度先變化到接近模型尺度[12，12]。經過多次試驗，設置縮小因子為：√2/2≈0.709，即為每次縮放都為上一次圖片面積的1/2。圖像經過3次卷積和1次池化操作后，原來[12，12，3]的矩陣變為[1，1，32]，然后利用這個[1，1，32]的向量，再通過一個[1，1，2]的卷積，再通過二分類，從而得到了“是否存在人臉”的分類結果。其流程圖如下圖4所示。

在二分類的問題中，本文選擇交叉熵作為損失函數，具體公式如公式（2）：

2.3MTCNN檢測效果

本系統進行了單人人臉檢測和多人人臉檢測檢測，單人人臉檢測效果如圖5所示，多人臉檢測效果如圖6所示：

3 系統數據優化

本文主要從圖像數據優化和數據庫表中數據優化進行系統的數據優化。

3.1 尺度變化

MTCNN是多級聯卷積神經網絡，如果輸入圖片規模太大，那么在進行模型推理的時候往往會很耗費時間。為了能夠檢測多尺度的人臉，那么在設置minsize的時候minsize越小，re-size的的金字塔層數也就越多，PNET的計算量也就越多，消耗的時間也就越長。所以在第一階段，可以通過增大mlnsize來減少pnet部分的計算量。其次，在產生圖像金字塔時，resize的選擇的縮放算法不同，運行時間也不同。所以在使用MTCNN進行人臉檢測完成后，需要單獨把人臉裁剪出來，并縮放成合適的大小，在測試時，重新縮放大小為[200，200]-[140-140]的區間內。經測試，這種方法對FaceNet影響范圍在可接受范圍。

3.2 計算數據優化

在傳統的人臉識別中，往往會把許多人的人臉混合在一起進行訓練，那么就會造成當在一個比較大的數據中再次添加一個人臉圖像的時候，存在需要重新把之前的數據再訓練一次的問題。因此，在本系統中，在MTCNN進行人臉檢測的時候，可以選擇當前圖像中最大的人臉，并進行裁剪縮放然后送入Facenet中進行訓練比對，這樣每次進行Facenet訓練時候都可以達到最小的訓練量。解決了再次訓練問題，同時對每個人的人臉特征模型進行分類保存，從而大幅度地提升了系統運行效率。

4 結束語

本文實現了一個的通用的人臉識別考勤系統，能夠穩定、快速地幫助老師進行課堂考勤和考勤管理，大大提高了校園信息化管理能力和課堂工作效率。

參考文獻：

[1]孫玥，楊國為.基于人臉識別的學生考勤系統的研究[J].現代電子技術，2020，43（10）：116-118，123.

[2]龍海強，譚臺哲.基于深度卷積網絡算法的人臉識別方法研究[J].計算機仿真，2017，34（1）：322-325，371.

【通聯編輯：唐一東】

作者簡介：李林峰-（1998-），男，學生;李春青（1983-），通訊作者，女，講師，主要研究方向為數據挖掘技術與計算機應用技術;田博源（1998-），男，學生;廖曉霞（1999-），女，學生。