應用于課堂場景人臉驗證的卷積網絡方法研究

吳江林，劉堂友，劉 釗

(東華大學 信息科學與技術學院，上海 201620)

0 引言

高校的課堂考勤嚴重擠壓了實際上課時間，考場人員審核考生身份增加了監考人員的工作量，且容易出錯，如果把人臉識別的技術應用于課堂、考場，則學生考勤、考生身份識別都可以用監控攝像頭和后臺計算機自動實現，因而具有巨大的優勢。近幾年，深度學習在不同的技術層面都取得了明顯的突破，在計算機視覺中，卷積神經網絡不需要人工建立特征，通過非線性模型自主學習圖片特征，因而基于深度學習的人臉圖像分類技術應用于課堂考勤、考生身份識別完全可行，本文正是針對這一問題進行研究。

課堂點名和考生身份識別主要側重在人臉驗證，也就是判別待核實身份與登記身份是否為同一人的過程，人臉識別是預測待判別人臉是誰的過程。然而，人臉識別與驗證容易受姿勢、光照、表情、遮擋等環境因素的影響，學到能夠分辨不同學生的判別性特征是建立模型的目標。

在人臉視覺領域，比較典型的研究有：文獻[1]建立若干層的卷積網絡結構，使用3D人臉矯正等預處理方式，將圖片分類輸出的前一層的全連接層作為固定長度的人臉特征向量。香港大學團隊[2-4]提出了一系列人臉圖片分類模型——DeepID系列，DeepID1[2]是基于四層卷積網絡，損失函數前一層為學習到的圖片特征向量，采用多任務分塊學習方法，將每個模型訓練得到的人臉特征表達拼接組合成一個高維的身份特征向量，稱之為DeepID向量；DeepID2[3]在原先基礎上增加了驗證和識別信號，使特征更具判別性；DeepID3[4]建立兩個深層的網絡模型。谷歌[5]用三元組損失函數替代原始損失函數，在超球面空間優化參數，人臉特征表達向量的維度簡化為128維。三元組對樣本有一定的要求，后續的學者都在損失函數上進行創新性改進，在目標函數上添加了一個特征類中心，使學習到的特征靠攏所屬的類中心[6]。為學習到判別性特征，有文獻直接對損失函數做了改進，通過人為加入一個間距來提高學習的難度[7]，歸一化了權重[8]，對樣本進行歸一化處理[9]。

1 模型設計框架

應用于人臉識別或人臉驗證需要三個模塊。首先，人臉檢測用于定位圖像或者視頻中的人臉；其次，使用關鍵點檢測，基于各關鍵點坐標人臉對齊；最后建立圖像分類模型。人臉圖像分類架構如圖1所示。

圖1 人臉圖像分類架構

本文采用文獻[1]中的學習思想，搭建若干層卷積網絡，將圖片分類輸出的前一層全連接層作為身份的特征向量。本文建立了兩個模塊：卷積模型和殘差網絡模型。

1.1 卷積模型的搭建

在采集到的數據樣本數量條件不夠充足的時候，可先設計一些輕量級的卷積模型。本文中的卷積模型含有四個卷積模塊，卷積模塊結構如圖2所示，包含以下結構。

卷積層(Convolution Layer)：用來對上一層的特征圖(feature map)進行特征提取，卷積的過程為輸入的特征圖與卷積核在對應位置相乘并且求和，最后加上偏置項，輸出新的特征圖。

批量歸一化(Batch Normalization，BN)：隨著網絡的深度加深，在訓練過程中，數據分布逐漸發生偏移與變動，導致網絡收斂變慢，批量歸一化通過一定手段把輸入值分布規范到正態分布，使激活值落入非線性函數的敏感區域，提高收斂速度。

激活函數：這里采用線性整流函數(Rectified Linear Unit,ReLU)作為激活函數：f(x)=max(0,x)。激活函數的作用是激活神經元，通過函數保留并映射特征，去除數據冗余，使得到的特征圖在高維空間保持一定距離的判別性，這使神經網絡能夠解決非線性問題。

最大池化層(Max Pooling)：在卷積層之后，通過池化層來降低卷積層輸出的特征向量，使特征圖變小，不容易出現過擬合。

圖2 卷積模塊

疊加四個卷積模塊，第一個卷積模塊中的卷積核數量為32，第二個為64，第三個為128，第四個為128。連接1 024×1、512×1和128×1的三個全連接層。最后一層的128×1維的向量視作人臉身份特征向量表達，總體卷積模型如圖3所示。

圖3 總體卷積模型

1.2 殘差網絡模型的搭建

隨著數據集增多，加深網絡層數可以在高層次網絡中學習更復雜的特征。但是網絡的加深容易造成梯度彌散和網絡退化，使得網絡正確率逐漸飽和或者下降，梯度下降的過程受到阻礙，網絡優化的過程變得緩慢。殘差網絡(ResNet)使用殘差學習的方法解決梯度退化的問題，使得網絡的層數得到提升。

殘差網絡使用了捷徑(shortcut)模塊，主要思想是把需要學習逼近的映射函數H(x)恒等映射，變成學習逼近F(x)=H(x)-x。捷徑模塊分為兩種，分別為恒等模塊(identity block)與填充映射的卷積模塊(convolution block)，恒等捷徑模塊為零填充，如圖4(a) 所示；卷積模塊填充特征映射，如圖4(b)所示。

圖4 捷徑模塊

殘差網絡模型由恒等捷徑模塊與卷積捷徑模塊組成，參數與卷積模型相似，殘差網絡模型如圖5所示。

圖5 殘差網絡模型

2 目標損失函數的選擇

為了讓模型學習到更具有判別性的特征，提高模型的泛化能力，還需要讓模型有意識地去學習困難樣本，如果采用谷歌的三元組[5]方法，可能會產生樣本爆炸的問題，在隨機選取三元組時不一定會遍歷所有的樣本，而且對于怎么選取困難樣本形成三元組是一個難題，所以，在一些非海量數據集上，可以根據文獻[9]的思想，通過修改目標函數約束模型的優化方向。

一般來說，第i類的損失函數為：

(1)

那么，損失函數為:

(2)

將偏置項設為0：

(3)

但是，在分類樣本與訓練網絡參數權重時，更希望人臉表達映射到高維空間中的同時，能夠讓不同類別的人臉特征更具有判別性，更加緊湊。通過修改目標函數[7-9]，在非海量級數據，也可以訓練出緊湊的人臉特征表達。

2.1 加入余弦間距

將原本的cosθ變成cos(mθ)，這里的m為整

(4)

2.2 權重歸一化

(5)

也可以寫成：

(6)

其中，φ(θyi,i)=(-1)kcos(mθyi,i)-2k。

從幾何意義上來說，權重W歸一化，意味著將W映射到單位超球面的表面，在訓練過程中，同一類會向各自球表面的類中心逐漸聚攏，m控制類的密集程度。式(4) 是對權重長度和角度都進行優化，這樣損失函數在優化時沒有只精準地優化角度，而式(6)明確是以只優化角度為目標,僅從角度上區分類別。

2.3 特征歸一化

(7)

也可以寫成：

(8)

其中，φ(θ)=cosθ-m。

特征的歸一化會使網絡注意那些圖像質量差的人臉圖片，類似于困難樣本挖掘，也一定程度上避免了模型的過擬合。

3 實驗與分析

3.1 圖像采集與圖像預處理

實驗樣本通過教室內的攝像頭錄像采集，在視頻流中隨機抽取大場景圖片，通過OpenCV函數庫中的級聯檢測器進行人臉檢測，對檢測后的圖片進行分類，分類后的圖片分別存至以學號命名的文件夾，一共含有60個學號的人臉圖像文件夾，每個學號文件夾有500張照片，統一將圖片格式規定在128×128的RGB圖像。

在建立模型之前，需要對圖像進行一定的處理以提高圖片的質量。圖像處理方法有直方圖均衡、銳化、增強圖像對比度等。直方圖均衡可以減弱光照的影響，增強銳化可以增強圖像紋理細節。針對人臉角度變化過大，通過開源函數庫dlib進行人臉68個特征點檢測，基于關鍵點進行人臉對齊。

3.2 實驗參數設置

實驗采用隨機梯度下降(Stochastic Gradient Descent，SGD)算法進行參數優化，學習率采用隨著迭代輪數增加學習率動態衰減的方法，初始學習率設置為0.05，設置單個學習批次為64。兩個模型都使用式(8)作為損失函數，其中根據文獻[9]，設置縮放因子參數s=30，控制類內間隔參數m=0.4。

在不同數量的圖像集上對模型效果進行評估，圖像集A為60位學生，每人500張圖片，共30 000張圖片；圖像集B是在圖像集A中，每人隨機抽取50張圖片，共3 000張圖片。圖像集A迭代30次，大約迭代10次就可以達到收斂狀態；圖像集B迭代100次，大約迭代30次可以達到收斂狀態。使用正確率與F1分數作為評估標準。

人臉驗證采用余弦相似度計算，人臉驗證閾值設置為0.5，兩張圖片通過模型計算得到兩個人臉特征表達向量，兩個向量經過余弦相似度計算，若結果大于0.5，則認為是同一人，否則認為是不同的人。人臉驗證閾值是人為設定參數，在圖像環境好的場所，可以提高人臉驗證的閾值，人臉驗證要求可以更加嚴格；在圖像采集環境比較差的情況下，可以降低人臉閾值，放寬人臉驗證要求。

3.3 實驗結果與實驗分析

圖6(a)、(b)為在數據集A上兩個模型的結果，可以看出卷積網絡和殘差網絡都可以達到不錯的效果，殘差網絡模型準確率為99.97%，卷積模型準確率為99.93%，在充足一點的數據集中，殘差網絡模型比卷積模型準確率更高一點。殘差網絡比卷積網絡更快收斂，殘差網絡模型可以解決梯度彌散，讓梯度得到更有效的衰減更新，收斂更加快速。

圖6 殘差網絡和卷積網絡在大圖像集上結果對比

圖7(a)、(b)為圖像集B的實驗結果，殘差模型正確率為98.78%，卷積模型正確率為98.89%，在小數據集中，卷積模型比殘差模型準確率略高一點。在驗證集中，可以明顯看出圖像集B沒有圖像集A的精度高，提高數據量一定程度上可以提升模型的精度。在數據量較少情況下，可以明顯地看出卷積模型在收斂過程中有著更激烈的震蕩，殘差網絡模型更穩定，依然保持更快速的收斂。

圖7 殘差網絡和卷積網絡在小圖像集上結果對比

圖8(a)、(b)為各個模型使用原始損失函數在圖像集A的結果，模型訓練迭代30次，殘差網絡模型結果的正確率僅為2.77%，卷積模型正確率僅為1.77%，模型不收斂。這是因為采集到的圖像質量不高，同一類的圖像內部差異很大，方差過高，很難收斂，原始的目標函數劃定的是決策邊界，它的目的是盡量提高分類的正確率，盡可能去擬合高質量圖片，而忽略圖像質量差的樣本，而修改過的損失函數對特征歸一化，低質量圖像會產生較大的梯度，參數可以得到有效的更新，這就意味著修改過的損失函數會特地學習低質量的圖像樣本，促使模型能夠快速收斂。

圖8 兩模型使用原損失函數在數據集A上結果

4 結論

本文通過攝像頭采集圖片，對圖片進行圖像增強與人臉對齊；基于課堂場景的人臉圖像數據，設計了卷積網絡圖像分類模型與殘差網絡圖像分類模型；同時，結合使用前沿的損失函數[9]，訓練緊湊的人臉特征表達；實驗分析了兩個模型在不同數量的圖片數據集上的表現效果，對損失函數的作用進行實驗分析，通過實驗證實方法的有效性。后續工作可通過余弦相似度計算實現課堂場景人臉匹配。