基于卷積神經網絡的人臉識別研究綜述

鮑睿棟 趙敏

摘 要：人臉識別是目前計算機技術研究的熱門領域，廣泛應用于人們的日常生活，如門禁系統、攝像監視系統、相機以及智能手機等。傳統的人臉識別技術需要經過人工特征提取、特征選擇以及分類器選擇等一系列復雜步驟，然而識別效果卻并不理想。隨著數據量的激增以及GPU高性能計算的發展，卷積神經網絡在人臉識別上有了重大突破。文章回顧了傳統人臉識別方法，闡述了卷積神經網絡的基本結構及其改進和優化方法，介紹了基于卷積神經網絡的人臉識別技術及典型應用，展望了人臉識別技術的發展方向。

關鍵詞：卷積神經網絡；人臉識別；深度學習；特征提取；分類器

DOIDOI：10.11907/rjdk.172518

中圖分類號：TP301

文獻標識碼：A 文章編號：1672-7800（2018）004-0006-03

Abstract：Face recognition is a hot research field of computer technology， and has been widely used in peoples daily life， such as entrance guard system， camera monitoring system， cameras and smart phones， etc. The traditional face recognition technology requires a series of complex steps， such as artificial feature extraction， feature selection and classifier selection， but the recognition effect is not ideal. With the emergence of large data sets and the rapid development of GPU high performance computing， convolutional neural networks have made breakthroughs in face recognition. Firstly， this paper briefly reviews the traditional face recognition method and describes the effectiveness of convolution neural networks. Secondly， it introduces the basic structure some improvement and optimization methods of convolutional neural networks. Thirdly， this paper mainly analyzes some typical applications for convolutional neural networks in face recognition. Finally， it concludes the CNN-based face recognition and the future direction.

Key Words：convolution neural networks； face recognition； deep learning； feature extraction； classifier

0 引言

人臉識別技術是利用計算機進行人臉圖像分析，并從圖片中提取出有效的識別信息進行身份驗證的一種技術，廣泛應用于門禁系統、攝像監視系統、學生考勤系統以及智能手機等領域。然而，對于人臉來說，個體之間結構相似，人臉會由于個體喜怒哀樂的情緒變化帶來臉部形狀的變化，并且光照條件、遮擋物、拍攝角度等都使人臉識別變得困難。

傳統的人臉識別算法主要有：①Bledsoe[1]提出的基于幾何特征的人臉識別方法。該方法將人臉表征為一個特征向量，特征向量的分量可以是眼、鼻、嘴等形狀以及相互之間的幾何關系，利用此特征向量匹配出相似的人臉；②Turk和Pentland[2]提出的特征臉方法。主要思想是從人臉圖像提取全局特征，將這個高維圖像映射到低維子空間，完成人臉圖像統計特征的提取，在子空間中進行識別； ③基于支持向量機的人臉識別。Osuna[3]最早將支持向量機用于人臉檢測，其基本思想是把一個低維線性不可分的問題轉換成高維線性可分問題。

傳統人臉識別方法難以滿足精度需求，其繁瑣的特征提取工作以及分類器的選擇降低了效率，有一定的局限性，如提取的特征如果是低層特征，顯然無法充分表征原始圖像。另外，如果提取的特征維度不可分，會導致識別率低。

近年來，由于訓練數據的增加以及GPU高性能計算的發展，卷積神經網絡在圖像領域獲得了廣泛關注。相比傳統人臉識別算法，它避免了對圖像復雜的前期預處理過程，可直接輸入原始圖像，自動提取高維特征。和傳統神經網絡神經元之間進行全連接相比，卷積神經網絡的權重共享機制使神經網絡結構變得更加簡單。

1 卷積神經網絡

1.1 卷積神經網絡基本結構

卷積神經網絡是一個層級結構，主要包含輸入層、卷積層、池化層、全連接層以及輸出層。網絡一般使用多個卷積層和池化層組合，在末端使用多層全連接的前饋神經網絡，訓練過程使用反向傳播算法，其基本結構如圖1所示。

1.1.1 輸入層

輸入層是整個網絡的輸入部分，在人臉識別問題上一般代表待訓練或待預測的人臉圖片像素矩陣。如圖1所示的輸入圖片，長和寬代表了圖片的大小，深度代表圖片的色彩通道。例如一張彩色圖片，是RGB三個通道，則圖片深度為3。由于網絡的輸入節點個數是固定的，所以一般在將圖片作為輸入提供給網絡之前，需要對圖片大小進行調整。有時為了使訓練得到的模型盡可能小地受到噪聲影響，會對圖像做增強處理，如圖像翻轉、色彩調整等。

1.1.2 卷積層

卷積層對輸入層或采樣層輸出的特征圖進行卷積操作，經過激勵函數的作用得到特征圖。卷積層的作用是提取一個局部區域特征，而每一個卷積核相當于一個特征提取器，第l層卷積層中第j個特征圖的計算公式如下：

1.1.3 池化層

池化層往往設置在兩個卷積層之間，用以對上一層的特征圖進行降采樣處理，可以非常有效地縮小矩陣的尺寸，減少參數的數量，一定程度上加快了計算速度，防止了過擬合的問題。

假設第l層為池化層，該層的某個特征圖計算公式如下：

式（4）中，g（x）表示池化操作，常用的池化操作有Max Pooling和Average Pooling。對于Max Pooling，其操作主要是將輸出特征圖劃分為若干個矩形區域，對每個區域取最大值。而Average Pooling是將區域內的值取平均進行采樣。

1.1.4 全連接層

圖像經過一系列卷積和池化操作之后，將前一層的所有神經元與全連接層的所有神經元相連接。全連接層依據具體任務對高層特征進行映射。由于第一個全連接層之前是池化層或卷積層，因此需要將這些特征圖預先拉成特征向量。

1.1.5 輸出層

輸出層一般用作分類器，常用的分類器有Sigmoid函數和Softmax函數。以Softmax為例，輸出的值代表各個樣本屬于各個類別的概率，并且概率值之和為1，公式如下：

1.2 網絡改進與優化方法

傳統網絡卷積層采用線性濾波器和非線性激活函數。Szegedy[4]等提出了Inception網絡，在同一個卷積層中設置不同大小的卷積核，從而提取上一層特征圖中不同尺度的特征。

由于網絡權重的更新用的是反向傳播算法，所以代價函數需要對各層的權值求梯度。傳統的Sigmoid和tanh函數會出現梯度消失（Gradient Vanish）和梯度爆炸（Gradient Explosion）問題，導致權重的更新難以進行。Nair[5]等提出了ReLu函數，其公式如下：

顯然，此函數在正半軸上緩解了梯度消失問題，但是在負半軸上依然存在這種問題。相比較Sigmoid和tanh函數，權重更新快，加快了網絡的訓練速度。He等[6]又提出了PReLU，對負半軸的問題進行抑制，公式如下：

池化層方面，Zeiler等[7]提出了Stochastic Pooling，何凱明等[8]提出了空間金字塔池化，都可以防止網絡過擬合，增強網絡的泛化能力。

對于全連接層，其參數眾多，對這一部分要進行權值優化防止過擬合。Hinton等[9]提出了Dropout，主要思想是在模型訓練階段，隨機讓網絡的某些隱含層節點的權值不工作，只有部分權值得到更新。

在小樣本量時代，網絡權值的更新可以使用批量梯度下降法。這種方法在進行一次權值更新時會遍歷所有樣本，隨著訓練圖片的激增，這種方法顯然不太現實。現在通常使用隨機梯度下降法，即權重的一次更新只關注一小批圖片樣本，相比原來的方法顯然加快了訓練速度。常用的訓練技巧主要有權值初始化、學習率衰減、滑動平均模型、權值衰減、Batch normalization[10]等。

2 卷積神經網絡在人臉識別中的應用

傳統的人臉識別方法需要經過特征提取、特征選擇和分類器選擇這一系列繁瑣操作，并在特征提取、特征選擇過程中有很大的局限性，比如提取的低層特征對目標的表達能力不足。而卷積神經網絡可以提取高層特征，提高特征的表達能力。人臉識別的關鍵是提出有效的特征來縮減同一人的差異并增大不同人之間差異，將人臉識別和人臉驗證信號作為監督，設計深度卷積網絡學習到深度識別-驗證特征（DeepID2）[11]。卷積神經網絡在人臉識別問題上的重點在于怎樣提高網絡的特征提取能力。

DeepFace[12]模型在常規人臉識別流程（人臉檢測-對齊-表達-分類）中，通過3D模型對人臉對齊進行改進，之后用大量的人臉圖像訓練一個九層網絡，最終在LFW數據集上可以達到97.35%的準確率。

DeepID[13]用于人臉驗證領域，在LFW數據集上可以達到97.45%的準確率。它的結構和普通卷積神經網絡結構類似，但其倒數第二層的隱藏層和前一層的卷積層以及這個卷積層之前的池化層相連接，這種連接方式可以同時考慮局部特征和全局特征，其高準確率的另一個原因是用了大量的數據進行訓練。

FaceNet[14]在LFW數據集上準確率可以達到99.63%，在YouTube Faces DB數據集上，準確率可以達到95.12%。其基于深度卷積神經網絡，直接將人臉圖像映射到歐幾里得空間，人臉圖像的相似性由這個空間的距離表示。一旦歐幾里得空間形成，就可很容易地進行人臉識別。

百度[15]提出了結合muti-patch deep CNN和deep metric learning的方法，在120萬的訓練集上進行訓練，在LFW數據集上準確率可達到99.77%。其思想主要是通過卷積神經網絡對人臉不同區域分別進行特征提取，之后再將提取的特征經過metric learning降到128維進行識別。

3 結語

本文對基于卷積神經網絡的人臉識別進行了詳細的介紹。簡要回顧了傳統人臉識別算法并介紹了卷積神經網絡的基本結構以及一些網絡的改進和優化方法，詳細分析了卷積神經網絡在人臉識別領域的應用。雖然基于卷積神經網絡的人臉識別取得了突破性進展，但仍存在一些亟待解決的問題，如目前卷積神經網絡中涉及到的超參數都是憑借經驗和實踐確定，如何對其量化，使得在面對實際問題時有理論指導，從而訓練出高效有用的網絡，以及如何在大數據量、深層次網絡結構背景下進行高效的數值計算等，都是值得深入研究的課題。

參考文獻：

[1] BLEDSOE W W. A ManMachine facial recognition system—some preliminary results （1965）[EB/OL]. http：//citeseerx.ist.psu.edu/showciting？cid=605724.

[2] TURK M A， PENTLAND A P. Face recognition using eigenfaces[J]. Proc.ieee Conf， computer Vision & Pattern Recognition，2011，84（9）：586-591.

[3] OSUNA E， FREUND R， GIROSI F. Training support vector machines： an application to face detection[C]. Computer Vision and Pattern Recognition， 1997 IEEE Computer Society Conference，1997：130-136.

[4] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions[C]. Computer Vision and Pattern Recognition. IEEE，2015：1-9.

[5] NAIR V， HINTON G E. Rectified linear units improve restricted boltzmann machines[C]. International Conference on International Conference on Machine Learning. Omnipress，2010：807-814.

[6] HE K， ZHANG X， REN S， et al. Delving deep into rectifiers： surpassing human-level performance on ImageNet classification[EB/OL]. https：∥www.computer.org/csdl/proceedings/iccv/2015/8391/00/8391b026-abs.html.

[7] ZEILER M D， FERGUS R. Stochastic pooling for regularization of deep convolutional neural networks[M]. Eprint Arxiv， 2013.

[8] HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2014，37（9）：1904-1906.

[9] HINTON G E， SRIVASTAVA N， KRIZHEVSKY A， et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer Science，2012，3（4）：212-223.

[10] IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate Shift[J]. Computer Science，2015（2）：448-456.

[11] SUN Y， WANG X， TANG X. Deep learning face representation by joint identification-verification[J]. 2014（27）：1988-1996.

[12] TAIGMAN Y， YANG M， RANZATO M， et al. Deepface： closing the gap to human-level performance in face verification[C]. IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society，2014：1701-1708.

[13] SUN Y， WANG X， TANG X. Deep learning face representation from predicting 10，000 classes[C]. IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society，2014：1891-1898.

[14] SCHROFF F， KALENICHENKO D， PHILBIN J. FaceNet： a unified embedding for face recognition and clustering[C]. IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society，2015：815-823.

[15] LIU J， DENG Y， BAI T， et al. Targeting ultimate accuracy： face recognition via deep embedding[EB/OL]. https：∥arxiv.org/abs/1506.07310.

（責任編輯：杜能鋼）