一種改進的殘差網絡的人臉識別方法?

唐風高 伍雪冬

（江蘇科技大學電子信息學院 鎮江 212000）

1 引言

人臉識別作為非入侵式的生物特征識別方法，在國防安全、視頻監控、人機交互等方面具有廣泛的應用。雖然在過去幾十年中人臉識別研究取得了較大成果，但是隨著訓練樣本的不斷增加，傳統的基于淺層機器學習人臉識別算法已經滿足不了人們的需求。當今時代迫切需要一種新的技術來彌補這一空缺，而深度學習的出現讓人臉識別的研究進入了新的時代，也對模式識別、人工智能、計算機視覺等多個領域產生了重要影響［1］。

2 國內外研究現狀

針對人臉識別的研究，國外學者提出了許多可行有效的算法。Taigman 等［2］提出了DeepFace 網絡，首次應用深度學習來進行人臉識別，使用了3D對齊方法來解決傳統2D對齊不能解決的面外旋轉（out-of-plane rotations）問題，取得了97.25%的準確率，首次接近了人類肉眼水平，但是網絡計算量大，容易陷入過擬合，因此Christian Szegedy等［3］提出了“inception”的深度卷積神經網絡結構，該結構優化了網絡內部計算資源的利用率，它既能保持稀疏的網絡結構，又能有高性能密集矩陣的計算能力，從而極大地避免了人臉訓練中容易陷入過擬合的情況；通過引入改進的監督懲罰L2范數，Angshul Ma?jumdar 等［4］提出了一種基于類稀疏的監督自編碼器算法，有效地提高了人臉識別率；Iacopo Masi等［5］提出了解決人臉大姿態變化的算法，該算法使用多特點姿態模型和渲染人臉圖像來解決人臉姿態變化而造成準確度降低的問題；Schroff 等［6］提出了FaceNet 人臉識別算法，該算法使用三元組損失函數來進行網絡訓練，通過空間的距離代表了人臉圖像的相似性的特點直接將人臉圖像映射到歐幾里得空間，在LFW上取得了99.63%的精度。

國內學者對人臉識別也做了大量研究。張凱鵬等［7］提出一個深度級聯的多任務框架（MTCNN），通過級聯三個深度卷積網絡來對人臉進行檢測和對齊，實現了人臉對齊更高的準確度；孫祎等［8］提出DeepID網絡結構，與DeepFace不同的是，該網絡先對圖片進行切分，然后對每一個patch 進行訓練最后融合成整體人臉圖像的特征向量，在LFW 的準確度為97.45%；溫研東等［9］提出Center Loss 損失函數，能夠增大類間距離，對新數據有著良好的泛化能力；劉維揚等［10］提出大裕量損失函數（Large-Margin Softmax Loss），可以有效地指導網絡學習類內距離較小、類間距離較大的特征，并且能夠避免過擬合；劉金托等［11］提出了一種兩步學習算法，首先利用multi-path 深度CNN 網絡在人臉不同區域進行特征提取，然后利用深度度量學習（Deep Metric Learning）將前一階段學到的特征向量降到128 維，在LFW 數據集上取得了99.17%的準確率；張亞楠等［12］構造了多分支CNN 來通過patch 策略學習每個裁剪圖片的特征，更好地利用了模型中全局和局部特征之間的相互作用。栗科峰等［13］通過提取人臉高維特征應用最大間距準則減小最小二乘估計產生的重建誤差，提出了融合深度學習與最大間距準則的人臉識別方法，實現有效的面部識別分類。

近幾年，隨著深度卷積網絡在人臉識別中取得的重大突破，人們熱衷于深度神經網絡的設計，從最初的Alexnet［14］、VGGnet［15］，再到Googlenet，網絡層數從當初十幾層到二十幾層，人臉識別的精確度也越來越高，但是過深的網絡不僅會造成梯度爆炸或者消失，而且也會造成訓練誤差的增大，而ResNet［16］殘差神經網絡很好地解決了這些問題。這種網絡比以前的網絡層數更深，網絡每層輸入通過學習殘差函數，而不是學習未知的函數，因此網絡的深度雖然增加了，但它仍具有較低的復雜度。但是以傳統的Softmax 函數來對樣本進行分類，樣本的決策面不明顯，分類效果不理想，本文提出一種改進的ResNet 殘差網絡的人臉識別算法，用An?gular Softmax（A-Softmax）Loss 來代替傳統Softmax Loss損失層，利用A-Softmax具有良好的決策邊界，能夠最小化類內距離并且最大化類間距離。

3 殘差網絡基本原理

殘差網絡（ResNet）的提出是深度網絡的一場革命，是何凱明等［16］于ILSVRC（ImageNet Large Scale Visual Recognition Competition）2015上提出并且將神經網絡層數提升到152 層，并且證明了它的有效性。ResNet 的出現意味著神經網絡模型開始往深度方面發展。

在深度神經網絡結構中，假如想以增加網絡的深度來提高準確度，那么會出現網絡梯度消失或爆炸和準確率下降的問題。針對梯度消失或爆炸問題，采取BatchNorm［17］可以得以緩解；對于準確率退化問題，何凱明等人提出通過殘差學習來解決。

一般情況下，構造更深層次的網絡模型的措施之一就是對所增加的網絡層采用恒等映射（Identi?ty Mapping），而對原來的網絡層則采用已經學習好的網絡模型。這種方法的意義在于加深后的網絡模型訓練誤差應低于其淺層網絡模型，但是這種構造方法通常情況下很難找到。因此何凱明等人提出一種深度殘差學習框架，應用多層網絡擬合一個殘差映射解決了準確率退化的難題。如果用H(x)來代表所期望得到的實際映射，即利用堆疊的多層非線性網絡來表示映射關系的擬合，那么這個多層網絡可以逐漸逼近某個復雜函數的假設可以等價于它可以漸進地逼近殘差函數F(x)：

其中x為這些層中第一層的輸入，F(x)表示殘差函數。那么實際映射關系可以表示為

假如目前有一個工作狀況很好的網絡X，但是現在需要一個比它更深的網絡Y，只要將Y的前一部分與X完全相同，只要后面一部分實現一個恒等映射，這樣理論上Y的性能與X相當，而且不至于更差。深度殘差學習的思想也由此產生，由于Y較X后面不同部分完成的是恒等映射，那就可以在訓練網絡模型的時候加上這一先驗，于是構造網絡的時候加入了捷徑連接（shortcut connec?tions），式（2）可以通過添加捷徑連接的前向神經網絡實現，即每層的輸出不是傳統神經網絡當中輸入的映射，而是映射和輸入的疊加，如圖1所示。

圖1 殘差網絡結構

4 改進的Softmax函數和余弦相似度

4.1 改進的Softmax函數

4.1.1 Softmax函數

卷積神經網絡在經過卷積池化等處理會將特征送入全連接層，人們往往會把特征從多維轉換成一維，這樣不僅能夠簡便計算，而且還有助于網絡的分類。Softmax 就是將多個神經元的輸出，映射到( 0，1) 區間內，從而來進行多分類，以二分類的Softmax為例，二分類下的Softmax的后驗概率為

其決策邊界是當p1=p2時，所以決策界面是(W1-W2)x+b1-b2，如果p1＞p2，則輸入數據屬于類別1，反之屬于類別2。對于輸入xi，Softmax Loss可以定義為

4.1.2 A-Softmax函數

A-Softmax 就是將傳統的Softmax 函數引入角度 函 數 ， 可 以 把+bi表 示 成cos(θi)+bi，其中θi為Wi與xi的夾角，則二分類下修改后的Softmax后驗概率可以表示為

對于輸入xi，損失函數為

cos(θyi，i)是樣本特征與類中心的余弦值，它的值越大，樣本特征與類中心的角度越小，值越小損失函數值越大，即對偏離優化目標的懲罰越大。對于特征xi，該損失函數優化的方向是使得其向該類別yi中心靠近，并且遠離其他的類別中心；二分類決策界面為，則它只取決于角度。

其中m≥2，m∈N。m≥2 表明該決策平面與該分類的最大夾角要比其它類的最小夾角還要小m倍。如果m=1，那么類別1 與類別2 的決策平面是屬于同一個平面，如果m≥2，那么類別1 與類別2 則具有兩個決策平面。則A-Softmax Loss可以由修改后的損失函數得出：

超參m控制著懲罰力度，m越大，懲罰力度越大。

4.2 余弦相似度

余弦相似度度量主要是讓特征在特征空間中分布的更加合理，使得相同類別類內距離更小，同時不同類別類間距離更大，這樣樣本的類別才能夠更好地區分。余弦相似度度量方法遵循這樣的相似度準則：以特征樣本對之間的余弦距離作為相似度準則。兩個向量的余弦距離公式定義如式（13）所示：

根據Nguyen 等［18］提出的余弦相似度度量學習方法，假設xi和yi的類別標簽為li，并且li∈0，1，需要一個空間變換矩陣A，使得在經過空間變換之后的子空間內xi和yi特征向量滿足類別標簽為li這樣的關系。具體的相似度度量公式為

基于式（14），我們需要求得空間變換矩陣A使得樣本誤差最小化，定義目標函數如式（15）所示：

其中α和β是兩個系數，且滿足α≥0，β≥0，A0是任意初始化的變換矩陣。

4.3 算法實現流程

該算法首先對人臉圖像檢測并且對齊，然后將圖像進行卷積等處理，在全連接層得到人臉特征，再將圖像特征送入到A-Softmax Loss 層根據圖像標簽計算訓練誤差，最后得到訓練模型；測試階段首先對測試圖像進行特征提取、驗證得出準確度，網絡模型如表1所示。

表1 網絡模型結構表

其中，Conv1.x，Conv2.x，Conv3.x，Conv4.x 表示卷積單元，其包含多個卷積單元和殘差單元，［3×3，64］×2 表示卷積層包含2 組具有64 個卷積核大小為3×3的濾波器，S2表示步長為2，FC1為全連接層。

算法流程如圖2所示。

圖2 算法流程圖

5 實驗結果及分析

本文用到CASIA-WebFace 和LFW 人臉庫，其中CASIA-WebFace人臉庫包含10575個人，每個人的圖片數量從幾十到幾百不等，總共494414 張人臉圖像；LFW 人臉庫包含5749 個人，總共13233 張人臉圖像。首先對CASIA-WebFace和LFW人臉數據庫的圖像進行檢測對齊，得到112×96 的圖像，接著將對齊好的CASIA-WebFace 人臉庫圖像送到改進后的殘差網絡進行訓練直至收斂得到訓練模型，然后根據LFW 的view2 協議：測試的人臉圖像分為10 組，每組600 人，每組300 組正樣例，300 組負樣例，總共6000 人，將測試圖像送入訓練好的模型進行特征提取，歸一化，應用10折交叉驗證，9組圖像作為訓練集，1組作為測試集，分別取得9次的測試精度，最后取其平均作為最終的準確度。

本文還在Youtube Face（YTF）數據集進行了測試，Youtube Face（YTF）數據集含有1595 個不同身份下的3425 個視頻序列，平均每個人有2.15 個視頻，使用不限制額外數據協議來測試，該協議使用了5000 對視頻，其中2500 對視頻來自同一個人，2500 對視頻來自不同人，每對視頻都可以計算得到一個相似度，最終的識別率就由這5000 個相似度計算得來。

圖3 從兩組視頻中得到相似度直方圖特征的示意圖

本文算法是在深度學習框架Caffe（Convolu?tional Architecture for Fast Feature Embedding）上進行，batchsize 設置為192，基礎學習率為0.1，在迭代16000 和24000 次處學習率分別下降10 倍，總共迭代28000次，其訓練誤差曲線如圖4所示。

圖4 訓練誤差與迭代次數曲線

圖5 余弦相似度閾值對準確度的影響

本實驗應用余弦相似度來表示兩張圖像的相似度，閾值的選定決定著分類的準確度，在［-1，1］出選定20000 個值，分別來計算準確度，如圖5 所示。

由圖5 可知，當閾值在0.2365 處分類效果最好；當模型收斂，將測試圖像輸入到模型進行測試，通過10折交叉驗證，其準確率如表2所示。

表2 10折交叉驗證

最后得出準確率為：99.27%。與文獻［2］、［6］［8～10］實驗結果對比如表3所示。

表3 各算法在LFW的識別率

由表3 可得出：改進的殘差網絡不但能使網絡更深，而且提取的角度特征更具區分性，在LFW 和YTF人臉庫上取得了更好的效果。

6 結語

針對普通卷積神經網絡會隨著網絡層數加深而造成訓練精度退化，本文提出了一種改進的殘差網絡人臉識別算法。在殘差網絡的基礎上，利用A-Softmax 具有良好的角度分辨特征解決了Soft?max層分類效果不理想的問題，在LFW和YTF人臉庫上取得了比較好的效果。超參m雖然能夠控制分類決策間隔，但是隨著m的增大，模型也變得難以訓練，這些方面還需有待進一步深入研究。