基于TensorFlow的人臉識別系統(tǒng)設計

李慧穎 李薇 邢艷芳 何光威

摘要：介紹了基于TensorFlow的人臉識別系統(tǒng)的設計過程。該系統(tǒng)采用深度學習的理論以及Google開發(fā)的人工智能框架TensorFlow來實現(xiàn)人臉識別。系統(tǒng)調(diào)用OpenCV計算機視覺庫中的功能函數(shù)從一段離線視頻幀里截取人臉圖像幀，用MTCNN模型進行人臉檢測，再與通過數(shù)據(jù)集VGGface2里訓練的Inception模型進行識別，輸出特征向量，并與選好的圖片庫內(nèi)圖片對比。結果表明，該系統(tǒng)可較好的實現(xiàn)人臉識別功能。

關鍵詞：人臉識別;深度學習;人工智能;TensorFlow; OpenCV計算機視覺庫

中圖分類號：TP311

文獻標識碼：A

文章編號：1006-8228（2020）09-61-03

Design of face recognition system based on TensorFlow

Li Huiying， Li Wei. Xing Yanfang， He Guangwei

（Com，nun.ication University of China， Aranjing， Jiang.su 211100. China）

Abstract： Developed a face recognition system based on TensorFlow. The system uses deep learning theory and artificialintelligence framework TensorFlow developed by Google to realize face recognition. The system calls the function in the OpenCVcomputer vision library to intercept the face image frame from an offline video frame， uses the MTCNN model for face detection.and identifies the face detected with the Inception model trained in the data set VGGface2， then outputs the feature vector andcompared it with pictures selected from the gallery. The results show that the system can realize the face recognition function.

Key words： face recognition; deep learning; artificial intelligence; TensorFlow; OpenCV computer vision library

0引言

許多早期普遍使用的身份驗證方法隨著時代演變已不具有完整的安全性，因為這類信息極易被偽造。本文研究基于TensorFlow的人臉識別技術，先應用一種較好的MTCNN模型進行人臉檢測，它是一種既考慮面部關鍵點檢測又考慮面部邊界回歸深度的學習模型[1]。從OpenCV庫中調(diào)用函數(shù)進行面部檢測并識別被輸入圖像信息，并從視頻數(shù)據(jù)中截取圖像幀數(shù)據(jù)。然后程序從MTCNN網(wǎng)絡讀取截取的人臉圖像，并通過Inception框架對圖像進行識別和確認。人臉檢測和識別過程使用TensorFlow來構建網(wǎng)絡完成系統(tǒng)設計。

1CNN的基本網(wǎng)絡結構

CNN的基本網(wǎng)絡結構由卷積層、池化層、全連接層、Softmax層組成。而計算機所理解的輸入層就是由許多的輸入矩陣組成。在這一層上是跟DNN有很大相同點的。它的第一個網(wǎng)絡是CNN結構獨有的卷積層，其后是池化層，它也是CNN的獨特部分。卷積層和池化層的組合在結構中出現(xiàn)多次。卷積層和池化層的組合模型可靈活使用所需的任意組合。在這些組合層后面出現(xiàn)的是有著DNN結構的全連接層（Fully Connected Layer，簡稱FC）。而輸出層主要是使用Softmax激活函數(shù)來做圖像識別的分類。

2MTCNN的研究與應用

在執(zhí)行到人臉檢測和特征點定位的任務時，將會使用多任務級聯(lián)的卷積神經(jīng)網(wǎng)絡（MTCNN）。該網(wǎng)絡是實現(xiàn)人臉檢測和五點校準的模型，主要通過CNN模型級聯(lián)實現(xiàn)多任務學習網(wǎng)絡。該模型利用檢測和對齊之間的通用關系來提高其性能，并且從細致任務到粗糙任務的替換基本上是由三階級聯(lián)卷積神經(jīng)網(wǎng)絡完成的。這也是其特殊性能的體現(xiàn)。三階段可大致分為：

（1）使用全卷積網(wǎng)絡（P-Net）快速發(fā)布一系列候選窗口;

（2）通過使用更復雜的CNN網(wǎng)絡（R-Net）過濾掉大多數(shù)非面部候選窗口;

（3）使用一個能力稍作加強的網(wǎng)絡（O-Net）監(jiān)測出人臉上面的五個標記點。

3TensorFlow系統(tǒng)結構

TensorFlow是一個可以使用數(shù)值類計算的開源軟件庫，它可以穩(wěn)定在Python的語言環(huán)境中運行[2]。該程序在實施運行的基礎上，兼顧一定的準確性和穩(wěn)定性。TensorFlow還具備完全開源性，可在智能手機或數(shù)據(jù)服務中心集群上運行，重要的是基于數(shù)據(jù)流圖（data flow graphs），并可以廣泛的應用于語音或圖像分類的機器學習和深度學習領域[3]。TensorFlow代表將張量從流程圖的一個部分運動到另一端所需要進行的計算過程，分解來看就是Tensor表示著張量（由N維數(shù)組成），以及流表示了基于數(shù)據(jù)流程圖的運算。

CAPI（Computer Assisted Personal Interviewing）即計算機輔助面訪，是作為本系統(tǒng)的界線，分出兩個子系統(tǒng)：前端系統(tǒng)和后端系統(tǒng)。前端系統(tǒng)主要工作是負責構造建成計算圖并為其提供實現(xiàn)編程所需要的模型;后端系統(tǒng)主要負責執(zhí)行（出計算圖）并在系統(tǒng)運行時提供穩(wěn)定的環(huán)境。本系統(tǒng)中需關注四個基本組件，因系統(tǒng)是采用分布式運行機制，那么這四個組件就是關鍵。①客戶端是構成前端系統(tǒng)的重要部分，該系統(tǒng)可以支持多語言的客戶端，不僅如此，還提供基于計算圖上的編程模型，可為用戶構建造出各種類的計算圖而提供了便利，從而實現(xiàn)所需的模型沒計。客戶端以會話為橋梁連接后端的運行，同時啟動計算圖的運行過程。②在分布式的運行環(huán)境中，分布式Master承擔從計算圖中找到最小子圖的責任，并將其分成多個子圖，以便在多種進程和設備上運行。③TensorFlow將為每個不同的任務啟動相應的工作者服務。Worker Service在計算圖的節(jié)點之間存在依賴關系的前提下完成圖的計算，然后在硬件環(huán)境（例如CPU/GPU）中移動OP內(nèi)核，并且還需要接受其他工人服務或工序的計算結果將結果發(fā)送到其他工人服務。④OP（operator）以特殊方式在硬件設備上實現(xiàn)，以表示數(shù)據(jù)操作層。它負責執(zhí)行OP操作，每個OP都有一個優(yōu)化的內(nèi)核實現(xiàn)，但要考慮設備的類型[4]。

4系統(tǒng)設計與分析

4.1獲取被識別人臉特征向量

由于本設計并沒用到攝像頭獲取人臉圖像，而是自主構建圖片庫。初次系統(tǒng)識別公眾人物周杰倫，建立出一個名為jaychou的文件夾。在該文件夾內(nèi)保存為獲取人臉特征向量進行對比而截取的三張圖片。

為了與系統(tǒng)運行后從離線視頻端檢測到的人臉特征向量進行對比，首先要在圖片庫里已獲取的圖片上進行檢測，獲取特征向量。

4.2基于OpenCV讀取視頻

該程序使用OpenCV截取視頻數(shù)據(jù)流中的圖像幀數(shù)據(jù)來提供輸入圖像以供之后的面部檢測和面部識別[5]。OpenCV，也就是計算機視覺接口可以用在許多類型的操作系統(tǒng)上實現(xiàn)運行，例如更常用的Windows，MacOS和Linux。OpenCV是使用C++類與C函數(shù)構成的，具有高效特性與輕量化優(yōu)勢，此外在架構上還規(guī)劃了一些接口提供給Python、Ruby、MATLAB等使用。該程序調(diào)用OpenCV庫中的函數(shù)從離線視頻端截取到視頻幀，它內(nèi)部的視覺處理算法變化多端，且C語言編寫占用它的絕大多數(shù)功能，可以說在DSP系統(tǒng)包括ARM嵌入式系統(tǒng)中的運行代碼都會在OpenCV中簡略的重寫過，考慮其開源特性前提下處理穩(wěn)妥，不加額外的非內(nèi)部支持也是能完整的編譯鏈接并產(chǎn)生運行程序的，可以極其方便的做算法的移植。該步驟會影響后面程序對人臉檢測的效果，所以必須嚴謹，其實現(xiàn)流程圖如1所示。

4.3MTCNN人臉檢測

人臉檢測首先必須檢測圖片中是否含有人臉，這是其主要工作。其次，確定是否存在人臉邊界的關鍵點。該系統(tǒng)的面部檢測模塊是使用多任務級聯(lián)卷積神經(jīng)網(wǎng)絡（MTCNN）深度學習模型實現(xiàn)的，該模型專注于對面部框架回歸和面部關鍵點檢測。MTCNN主要存在三層網(wǎng)絡，分別是P-Net層、R-Net層和O-Net層。首先P-Net用在初步確認人臉的邊框范圍，使用R-Net層精準的確定人臉邊框范圍，最后用O-Net層檢測并確認五個人臉關鍵點。首先將12*12尺寸的圖像輸入到P-Net網(wǎng)絡層，然后使用在訓練之前生成的訓練數(shù)據(jù)將其轉換為12*12*3的結構。然后，R-Net可以更準確地調(diào)整P-Net生成的邊界框的坐標。由P-Net生成的回歸幀和由其生成的面部輪廓關鍵點構成R-Net訓練數(shù)據(jù)，其中R-Net生成的回歸幀變?yōu)?4*24大小，其面部輪廓關鍵點所用生成數(shù)據(jù)的方法與P-Net相比沒有變化。在MTCNN中用作輸出的最后一個網(wǎng)絡是O-Net。與R-Net的訓練數(shù)據(jù)生成方式相類似是O-Net網(wǎng)絡的特點，其中包含面部輪廓關鍵點數(shù)據(jù)和通過P-Net和R-Net后檢測出來的每個圖片中的bounding boxes。

4.4 Inception人臉識別

人臉識別的步驟使用Inception模型，該模型在VGGface2數(shù)據(jù)集里進行了訓練，在這里是形成了pb文件，直接進行使用。人臉識別是檢測到人臉后的關鍵步驟，嵌入特征向量（embedding）是通過Inception網(wǎng)絡識別獲得的。獲得到人臉特征向量的代碼： embs=sess.run（embeddings， feed_dict=feed_dict）

從pb文件中找到模型的入口輸入、出口輸出并加載，其工作代碼如下： images_placeholder=tf.get_default_graph（）

.get_tensor_by_name（"input：0"） embeddings = tf.get_default_graph（）

.get_tensor_by_name（"embeddings：0"） phase_train_placeholder = tf.get_default_graph（）

.get_tensor_by_name（"phase_train：0"）

4.5特征向量的比對

以上步驟進行完，這時獲得了兩種人臉的特征向量，分別是自己創(chuàng)建的圖片庫里的人臉特征向量和離線視頻里截取到的人臉特征向量，比較這兩者，當特征向量之間比對的余弦距離較大時，就可以識別出人臉[6]。

4.6結果展示

在確認識別結果之后，用OpenCV畫框將識別人的名字打上去，顯示在視頻中。這樣，整個系統(tǒng)的操作完成。設計完成后，該系統(tǒng)的運行結果如圖2所示。

這組圖片中，第一、二張為設計所需的結果，在視頻中識別周杰倫的臉，并顯示名字jaychou在畫框里。第三張為對比顯示圖，其中，程序中獲得人臉特征向量的人物得到識別，而另一個人沒有獲取特征向量識別為unk無信息。最后一張也為未獲取特征向量的人物，故識別為unk。

5結束語

該系統(tǒng)設計的完成，具有一定的實用價值。系統(tǒng)依賴深度學習的發(fā)展，其在人臉識別技術上的運用，使得在短時間內(nèi)刷新了大眾對傳統(tǒng)識別方式的認知[7]。但同時也存在著不可忽略的問題，如在完成度上由于缺少大量的訓練，造成一些環(huán)境下存在識別誤差，這也是人臉識別技術未來需要攻克的難題。

參考文獻（References）：

[1]朱秀娟，盧琳，鐘洪發(fā)，人臉識別技術在考試身份驗證中的應用[J].激光雜志，2016.37（6）：90-93

[2]章敏敏，徐和平，王曉潔，等.谷歌TensorFlow機器學習框架及應用.微型機與應用[J].2017，36（10）：58-60.

[3]黃睿，陸許明，鄔依林.基于TensorFlow深度學習手寫體數(shù)字識別及應用[J].電子技術應用，2018.44（10）：6-10

[4]嚴嚴，章毓晉.基于視頻的人臉識別研究進展[J].清華大學電子工程系計算機學報，2009.32（5）：879-885

[5]方玫.OpenCV技術在數(shù)字圖像處理中的應用[J].北京教育學院學報（自然科學版），2011.6（1）：7-11

[6]黃琳，蔣為，楊鐵軍.基于Caffe框架的人臉定位與識別系統(tǒng)的設計[J].計算機時代，2019.6：56-58，62

[7]陳果，周志鋒，楊小波，王成，歐陽純萍，基于人臉識別的商品推薦系統(tǒng)的設計與實現(xiàn)[J].計算機時代，2018.11：52-55

收稿日期：2020-05-26

基金項目：2019年江蘇省大學生創(chuàng)新創(chuàng)業(yè)訓練項目“基于深度學習的上班打卡系統(tǒng)”（201913687002Y）

作者簡介：李慧穎（1998. 10-），女，江蘇鹽城人，本科在讀，主要研究方向：深度學習。

通訊作者：邢艷芳（1981. 10-），女，江蘇南京人，副教授，主要研究方向：人工智能。