基于人臉識別的移動終端身份認證系統的設計與實現

韋智勇 曹之浩 覃穎忠

【摘 要】傳統的人臉識別技術已在各類應用系統身份驗證中得到廣泛應用，由于移動智能終端的計算及存儲資源有限，不適合大規模的運算，基于深度學習的人臉識別技術在移動終端的應用還不夠成熟。文章通過分析人臉識別的關鍵技術，通過合理分布身份認證系統的計算資源，在移動客戶端采用Adaboost算法完成人臉的檢測、預處理和CNN卷積神經網絡提取人臉特征，在服務端上采用CNN完成人臉模型訓練，在移動客戶端加載模型并提取人臉特征比對識別任務，測試證明系統具有良好的實時性能和較高的識別率。

【關鍵詞】人臉識別；身份認證；移動智能終端；CNN卷積神經網絡；人臉模型訓練

【中圖分類號】TP391.41 【文獻標識碼】A 【文章編號】1674-0688（2018）06-0042-04

0 引言

人臉識別技術主要利用人臉的特征進行身份識別，傳統的人臉識別技術主要是提取圖像的表面特征進行匹配，人臉圖像的識別率容易受到圖像質量的影響?；谏疃葘W習的人臉識別已在很多領域得到廣泛的應用，更是推動了人臉識別在移動信息安全領域的發展。本文設計基于CNN卷積神經網絡人臉識別的移動終端身份認證系統，用卷積神經網絡提取人臉特征取代傳統的特征提取算法，獲得更好的識別性能。

1 人臉識別關鍵技術相關工作

人臉識別的特征提取算法目前主要有基于子空間映射和基于深度學習的特征提取算法?；谧涌臻g映射方法嘗試將高維度的人臉特征映射到一個低維子空間去，然后嘗試在子空間中完成人臉特征匹配，利用部分子空間映射方法具有相對平移、尺寸等不變性，然后經過降維操作和分類器設計進行人臉識別，優點是人臉認證的精度有所提高，缺點是對人臉變化的抑制性不高且提取的特征不具備普適性。常見的基于子空間映射的方法有特征臉法、LBP特征法、Garbor特征法和HOG特征法?；谏疃葘W習的人臉特征提取方法是通過搭建具有一定深度的網絡結構和海量的訓練數據，將人臉圖片經過多層的卷積和非線性映射操作，可以模仿人腦的多級信息提取過程和視覺感知機制提取出有效的特征信息。實驗證明，基于深度學習的人臉識別在各類人臉識別測試集合上取得識別率大大優于傳統的基于子空間映射的人臉識別技術。學者孫祎等人通過CNN學習出人臉特征[1]，湯曉鷗教授等人提出了Deep ID[2]網絡模型，Facebook公司提出了一種叫Deep Face的網絡結構[3]，“谷歌”提出了一個Face Net網絡結構及相關的算法[4]，VGG小組提出了一個人臉識別的CNN網絡結構[5]，Qiao等人提出多任務級聯卷積神經網絡算法（Multi-task Cascaded Convolutional Networks，MTCNN）[6]。

2 人臉識別算法設計

2.1 基于Adaboost算法與Haar特征的人臉圖像檢測

2.2 基于CNN網絡提取人臉圖像特征

2.2.1 CNN卷積網絡結構

卷積神經網絡是一種深層的神經網絡模型，基本結構都是在 LnetNet-5的基礎上改進而來的，通常包含輸入層、卷積層C、池化層S和全連接層，以及在全連接層里面的隱藏層（如圖1所示）。輸入層用來接收經預處理后的人臉圖像，并且在該網絡中只有一個輸入層。在卷積和池化的過程中嵌套了人臉特征的提取過程，實現分類的過程主要是在全連接層。

在輸入層里，我們可以將經過預處理的人臉圖像輸入到網絡當中，除去人臉圖像的噪聲，提高識別率。在卷積層里，將輸入的人臉圖像經過濾波器進行卷積，在C1層生成3個特征的映射圖，用神經元的激活函數sigmoid來提取人臉圖像局部特征。經過C1層后，得到3個S2層的特征映射圖，對每個特征映射圖中的4個像素的值求和、加上權值及偏置，最后對神經元的激活函數sigmoid進行計算，特征映射圖像經過濾波器得到C3卷積層和C5卷積層，S2池化層產生S4池化層。在全連接層里面，最終會將C5層輸出的特征圖拉成一條向量X，并于全連接層進行全連接，最后在輸出層輸出結果。

2.2.2 人臉圖像特征訓練

卷積神經網絡的訓練過程主要包括2個部分、前向傳播和反向傳播。前向的特征提取、分類計算的過程是前向傳播過程主要完成的任務，而誤差的反饋和權值的更新是反向傳播主要完成的任務（如圖2所示）。

（1）向前傳播階段。①從樣本集中取人臉圖像樣本輸入CNN卷積神經網絡，人臉圖像樣本要經過預處理，并初始化CNN網絡參數，采用多個卷積和下采樣提取人臉圖像中的特征信息，然后采用前向反饋提取的人臉特征信息進入全連接層；②在全連接層經過變換計算相應的實際輸出值，對輸出層的數據進行邏輯回歸分類，若符合預期的結果（精度控制內）則輸入對應結果。

（2）向后傳播階段。①將相應的期望輸出值與計算出來的實際輸出值的差進行比較，判斷是否在網絡的精度閾值范圍內，若不符合期望輸出則進行向后的傳播過程；②按極小化誤差的方法調整權矩陣，即將權值和偏差反向傳播回去，從輸出層反向依次傳遞到全連接層和卷積抽樣層，直至每一個網絡層都最終得到自己相應的梯度才開始新的一輪的訓練。

3 身份驗證系統的總體設計

3.1 身份驗證系統架構設計

由于移動智能終端的計算及存儲資源有限，在身份驗證系統中采用C/S架構，在設計架構時，將比較耗時的模型訓練和檢索操作放在服務端，而將簡單的人臉采集、人臉檢測、預處理等模塊放在移動客戶端，本系統的架構圖如圖3所示。

3.2 功能模塊設計

基于人臉識別的身份驗證系統分為智能移動客戶端和服務器端2個部分，智能移動客戶端包含人員信息錄入模塊、圖像采集模塊和人臉檢測模塊，服務端包含圖像預處理、特征提取與檢索和人臉數據存儲等模塊（如圖4所示）。

3.2.1 圖像采集模塊

智能移動客戶端人臉圖像采集模塊是整個身份驗證系統的入口，需要使用客戶端的人臉圖像采集模塊采集人臉樣本庫，在本系統中主要通過OpenCV調用移動終端攝像頭拍照采集人臉樣本和Android SDK讀取本地相冊中的人臉圖像樣本。為保證人臉圖像樣本的質量和后續檢測模塊的通過率，在采集人臉圖像時應調整屏幕并盡可能確保整個面部區域在攝像頭的有效范圍內。通過攝像頭采集的人臉圖像樣本利用SQLite嵌入式數據庫保存至本地。

3.2.2 人臉庫錄入模塊

當人臉識別不成功時，系統需提示用戶輸入個人信息建立個人人臉樣本庫，并將樣本庫被持久化存儲到本地SQLite數據庫的人員信息表中及服務端的人臉數據庫。

3.2.3 人臉檢測模塊

移動客戶端的人臉檢測模塊是檢測圖像中是否存在人臉區域，如果在規定時間內未檢測到人臉區域則轉到圖像采集模塊并提示用戶重新采集人臉圖像，如果檢測到人臉區域則用標注框標注，為減少后臺數據傳輸量，并將只有人臉的區域圖片進行剪裁保存到本地后，傳輸到服務端用于后續的驗證，這些保存與獲取的函數直接可以通過SQLite提供的API調用接口進行調用處理。作為人臉預處理和特征提取的先前模塊，人臉檢測中人臉圖像的大小、姿態、清晰程度及位置會影響到驗證的識別率。本文系統是基于OpenCV的Adaboost算法與haar特征的級聯分類器實現人臉檢測，在移動客戶端上的運算效率和檢測效果上取得了良好的效果。

3.2.4 圖像預處理模塊

預處理模塊是服務端接收來自移動客戶端經過人臉檢測處理后的圖片，預處理是盡量減小姿態、角度及光照等外在因素影響采集人臉圖像的質量。整個流程主要分為關鍵特征點的標注、人臉圖像的對齊及灰度處理3個過程，最后將經過預處理模塊的人臉圖像直接輸入CNN卷積神經網絡模型進行人臉特征的提取。

3.2.5 特征提取模塊

本文采用CNN卷積神經網絡模型提取人臉特征及訓練人臉模型。模塊分為2個過程，首先加載調用CNN模型對經過人臉采集、檢測、預處理后的人臉圖像作為人臉特征向量。其次，由于人臉特征提取的CNN模型涉及大量的矩陣預算，對實時性要求高，本模塊的技術實現是采用C/C++程序實現CNN模型，然后利用NDK工具在Windows平臺下開發CNN模型的C/C++動態鏈接庫，將CNN模型的特征提取組件轉化成Android的動態鏈接庫.so文件，實現C/C++鏈接庫在Android平臺下的直接調用，從而提升CNN模型的實時運算性能。

3.2.6 檢索模塊

檢索模塊是通過計算特征向量的余弦相似度判斷人臉特征向量之間的相似度。本模塊的技術實現也是基于C++實現，與特征提取模塊類似，將相似度判斷的組件轉化成Android的動態鏈接庫.so文件，實現C/C++鏈接庫在Android平臺下的直接調用。

3.2.7 數據存儲模塊

數據存儲模塊的本地存儲使用嵌入式SQLite關系數據庫，服務端使用MYSQL關系數據庫，用來存儲人員信息和人臉圖像樣本信息，人臉圖像樣本信息主要存儲經人臉檢測及預處理后裁剪的人臉圖像的信息、未經處理的人臉圖像存儲路徑和經CNN模型提取的人臉特征向量文件存儲路徑。

4 移動終端身份驗證系統的測試與分析

4.1 測試環境

實驗所用的測試移動終端為“華為”P9手機，型號是EVA-AL00，處理器為Hisilicon Kirin955，Android 版本是6.0，Opencv2.4.11，NDK采用android-ndk-r10，JNI，數

據庫使用SQLlite。服務端使用windows2008R2，Opencv

2.4.11，Android studio，MYSQL。

4.2 系統測試與分析

本文采用移動智能終端進行系統的功能測試，首先通過人臉圖像采集模塊采集初始的人臉圖像樣本，經過人臉區域檢測及裁剪保存只有人臉區域的圖像，將只有人臉區域的圖像進行預處理，然后通過CNN卷積神經網絡進行人臉特征提取，得到采集人臉圖像的人臉特征向量文件，最后與本地的特征向量文件匹配，經測試人臉識別時間在毫秒級。如圖5所示，通過功能和性能的測試，系統的功能和運算效率達到預期目標。

5 結語

本文提出以成熟的Adaboost人臉檢測算法和CNN卷積神經網絡人臉特征提取算法完成系統的核心設計，通過在移動客戶端和服務端分布身份認證系統各個模塊的計算資源，在移動客戶端加載調用CNN模型并提取人臉特征完成識別任務，經系統測試證明具有一定的實時性能，該人臉采集、檢測、預處理、特征提取、模型訓練、檢索等模塊可以成為獨立組件，為其他應用系統利用人臉識別實現身份驗證應用提供可靠的應用程序接口。

參 考 文 獻

[1]SUN Y，WANG X，TANG X.Hybrid deep learning for face verification[C].Proceedings of theIEEE International Conference on Computer Vision，2013：1489-1496.

[2]TAIGMAN Y，YANG M，RANZATO M，et al.Deep-face：Closing the gap to human-level per-formancein face verification[C].Proceedings of the IEEE C-

onference on Computer Vision and Pattern Recognition，2014：1701-1708.

[3]SUN Y，WANG X，TANG X.Deep learning face re-presentation from predicting 10，000 classes[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2014：1891-1898.

[4]SCHROFF F，KALENICHENKO D，PHILBIN J.Facenet：A unified embedding for face recognition and clustering[C].Proceedings of the IEEE Conferenceon Computer Vision and PatternRecognition，2015：815-823.

[5]PARKHI O M，VEDALDI A，ZISSERMAN A.Deep Face Recognition[C].BMVC ：Vol 1，2015：6.

[6]Zhang K，ZhangZ，LiZ，et al.Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks[C].In IEEE International Conferen-ce on Computer Vision and Pattern Recognition（CVPR），2016.

[責任編輯：鐘聲賢]