基于深度學習的人臉識別方法研究進展

黃怡涓，左劼，孫頻捷

（1.四川大學計算機學院，成都610065；2.上海政法學院，上海200000）

0 引言

在身份認證場景中，人臉已經成為顯著的生物特征，近幾年對于人臉識別的研究也越來越多。人臉識別廣泛應用于金融、安防、通行和手機解鎖等場景。在計算機視覺領域，人臉識別已經是一個研究了很長時間的話題。基于深度學習的方法近幾年取得了突破性進展，在LFW 等公開數據集上性能遠遠超過了傳統的手工特征方法。深度學習方法的動機在于學習一個從輸入到特征空間的映射函數，從而獲得人臉圖像在高維特征空間中的表達。特征在高維空間中的性質嚴重依賴于損失函數的設計，為了使得人臉圖像的特征表達對于身份具有很強的可分性，基于多分類的方法主要對分類損失函數進行不同的改進，基于度量學習的方法主要探索如何使得類間距離大于類內距離。

1 相關工作

1.1 卷積神經網絡

在神經網絡中，卷積神經網絡（Convolutional Neural Network，CNN）廣泛應用于圖像重建、圖像分類、目標檢測和人臉識別等。雖然卷積神經網絡在20 年以前已經被提出[1]，最近幾年硬件的提升才讓訓練深度卷積神經網絡成為可能。最初的LeNet5[2]僅有5 層卷積、VGG19[3]增加到19 層，最近幾年高速神經網絡[4]和殘差神經網絡[5]才超過100 層卷積層。卷積神經網絡通常由卷積層、采樣層、激活函數和批歸一化[6]等組成，常見的網絡結構如圖1 所示。卷積層利用采用卷積核滑窗的方式獲取下一個特征圖的神經元的值，每一次卷積的計算都是一個線性操作。為了讓網絡具有非線性表達能力，卷積層之后通常接一個非線性函數也叫激活函數，常用的激活函數有Relu、Tanh 和Sigmoid 等。當特征圖的空間尺寸過大時，一次卷積的計算時間比較高且神經元的感受野較小。為了獲得更大的感受野和減少特征計算時間，激活函數之后會增加一個采樣層，常用的采樣層有最大值采樣和均值采樣。對于一個分類任務，網絡最后會接一個全連接層，全連接層的維度和類別數一致。最后通過Softmax 獲得每個類別的概率分布。

圖1 卷積神經網絡PipeLine[3]

1.2 度量學習

度量學習是學習一個距離函數直接作為相似度的度量，學習的目標是使得在特征空間中相似的目標離得近、不相似的離得遠。而深度度量學習主要是利用深度神經網絡提取輸入的特征表達，在特征所在的高維空間定義一個度量，例如L2 距離、Cosine 距離等，根據定義的度量性質設計損失函數進行端到端學習。度量學習常用于人臉識別等任務中，如圖2 所示，學習的目標是使得網絡收斂后相似的目標在定義的度量下（以L2 距離為例）離得更近。

圖2 度量學習在人臉識別中的應用

2 研究進展

2.1 基于多分類的人臉識別方法研究

多分類的方法是在閉集上訓練一個多分類器，設計分類損失讓閉集上的特征能具有強可分性。在測試階段，底庫和查詢利用閉集上訓練的模型來獲取圖像的特征表達。由于測試集是開集，基于多分類思路的識別性能具有如下缺陷：①更多的類別訓練效果更好，但是更多的類別嚴重受限于硬件計算資源，網絡最后一層全連接層的參數W ∈Rd×n隨著ID 數量n 的增加而增加；②基于閉集學習到的特征可分性不一定在開集識別中足夠的可分。

多分類方法廣泛運用的損失函數是Softmax loss，最近有很多工作提出如何讓Softmax loss 學習到的特征據有更強的可分性質[7,8,9,10,11,12,13,14,15]。Wen等人提出Center loss[7]，利用L2 約束讓Batch 中每個樣本“離類別中心盡可能的小”，也即是減少類內距離。這個方法存在一個明顯的缺陷就是訓練階段更新類別中心時間成本太高。觀察基于Softmax loss 訓練的模型，最后一個全連接層的參數近似等于每個類別的類中心特征。基于這個結論，文獻[10,16]提出對分類的角度添加間隔來增大類間間隔并減少類內間隔，但是這些方法為了計算做了很多的近似，訓練過程中并不穩定。CosFace[11]直接對Cosin 值添加間隔，在公開數據集上獲得了比SphereFace 更好的人臉識別性能。

目前在多個公開數據集上獲得最佳性能的方法是ArcFace[17]，網絡框架如圖3 所示。對特征和最后一層全連接層的參數做了模長歸一化之后，參數和特征的點積等價于Cosine 相似度。利用Arc-Cosin 函數計算出特征和參數（近似為類中心）的夾角，然后直接對角度增加間隔，從而獲得更好的類間可分性。

圖3 ArcFace網絡框架[17]

廣泛使用的分類損失函數Softmax loss，其計算如公式（1）：

xi∈Rd表示第i 個樣本的特征，yi表示分類結果。在文章里面d=512，Wj∈Rd表示最后一層全連接層參數W ∈Rd×n的第j 列，bj∈Rn是偏置項。N 和n 分別是Batch size 和類別數。傳統的Softmax loss 廣泛應用于深度人臉識別任務中[18,19]。傳統的Softmax loss 函數并不能讓學習到的特征具有更小的類內方差和更大的類間方差，當類內方差變大的時候（姿態、光照和年齡等變化），識別性能會嚴重下降。

為了簡潔，固定bj=0 ，然后對點積做恒等變換=||Wj||||xi||cos θj，其中θj是參數Wj和特征xi之間的夾角。通過歸一化，使得||Wj||=1、||xi||=1，對特征做Re-scale 使得模長是s。對特征和參數做歸一化使得分類只依賴于特征和參數之間的夾角，學習到的特征被約束到一個半徑是s 的超球面上。特征和參數歸一化之后的損失函數定義如公式（2）。

每個樣本的特征都是在類別中心的長球面附近，對參數和特征的夾角添加一個懲罰因子m 來增強類間差異和類內一致性，添加懲罰因子m 后的損失函數定義如公式（3）：

作者選擇了8 個不同的ID，每個ID 包含1500 張圖像，訓練了Softmax loss 和ArcFace，最后降維可視化后發現ArcFace 可分性更好，對比見圖4。在多個公開數據集上，ArcFace 獲得了最佳的識別性能。

圖4 Softmax和ArcFace特征降維可視化對比圖

2.2 基于度量學習的人臉識別方法研究

度量學習方法主要包含三個部分：特征提取網絡、采樣策略和損失函數。特征提取網絡對于人臉識別任務主要是基于卷積神經網絡，不同的計算平臺可以根據需求選擇或者設計合適backbone。常用的損失函數有Contrastive loss[20]和Triplet loss[21]。Contrastive loss 的定義如公式（4）：

其中i 和j 分別表示樣本i 和j，yij表示i 和j 是否為相同ID；0 表示不是同一個人，1 表示是同一個人；Dij表示樣本i 和樣本j 之間L2 距離。對比損失優化的目標使得同一個ID 的距離更小，不同ID 之間的距離區域常數?。對比損失沒有充分考慮到正負樣本距離之間的大小關系，F.Schroff 等人[21]提出將Triplet loss作為度量學習的損失函數。Triplet loss 定義了anchor、正樣本點和負樣本點，學習的目標是使得anchor 和正樣本點之間的距離小于anchor 和負樣本點之間的距離，直觀的理解可以參考圖5。

圖5 Triplet 優化目標[21]

Triplet loss 定義如公式（5）：

其中N 是mini-batch 的大小；i 表示第i 各樣本。Triplet loss 的優化目標是使得類間距離大于類內距離加上要給間隔?。相比Contrastive loss，Triplet loss 增加了類內距離和類間距離的大小關系，最后在公開的人臉數據集上的1:1 和1:n 的識別性能均超過了Contrastive loss。其中1:1 表示人臉驗證，1:n 表示人臉識別。雖然三元組有很多優點，但是三元組的采樣和Semi-hard 挖掘依然是影響模型性能的重要超參。

3 結語

基于多分類和度量學習的人臉識別方法從優化的目標上可以分為兩種不同的方法。多分類的思路是利用大量的閉集數據訓練Softmax loss 等損失函數，讓網絡學習到的特征具有很強的可分性從而能泛化到開集識別數據集上。多分類方法學習到的人臉特征，其可分性質嚴重受限于閉集上類別數量，由于網絡的參數量和ID 數量成正比，其類別數量嚴重的被計算能力限制住。基于度量學習的方法不管是訓練還是測試都是面向開集，當訓練集中樣本較小的情況下依然可以訓練。多分類和度量學習各有優勢，針對人臉識別任務，不管是多分類還是度量學習的方法都能在公開benchmark 上獲得不錯的識別性能。雖然在公開的數據集上多分類方法獲得了最佳的識別性能，但是當需要解決的問題規模很大的時候，例如工業界安防、通行和手機解鎖等場景，可能度量學習更具有優勢，這些場景天生就是開集識別問題。未來可以考慮將多分類和度量學習做多任務學習一起優化，利用多任務學習的方法優化模型。開集上的識別問題，往往需要模型推薦一個閾值，當兩張比對的人臉分數超過閾值認為是同一個人、低于閾值則不是同一個人。當樣本分布變化很大的時候，例如多光照、多姿態、不同年齡和遮擋變化等，這些場景會導致類內和類間的距離方差過大。當類內和類間距離方差過大閾值便不能對齊，表現為正常光和暗光場景的thr@far 差異過大，目前還沒有閾值對齊方面的研究，未來可以考慮增加這方面的工作。