多姿態的人臉識別算法研究

顧立春 雷鳴

摘要：隨著當前計算機軟硬件和物聯網等相關產業的進步，智能識別正向著無接觸、智能化的方向發展，客觀上推動了人臉識別技術的快速發展和普及。然而在實際應用場景中，人臉識別技術還存在一些問題和挑戰，如拍攝角度、姿態表情變化等對識別精度會產生很大影響。本文提出了一種基于多姿態的人臉識別算法，通過將不同角度和姿態的人臉圖像進行歸一化處理，對面部的關鍵特征點進行變換得到人臉的正面圖像，再將變換后的圖像與數據庫比對完成人臉識別，算法在多個公開數據集均得到了較高的識別準確率。

關鍵詞：人臉識別;卷積神經網絡;多姿態;仿射變換;魯棒性

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）21-0070-03

開放科學（資源服務）標識碼（OSID）：

人臉識別是計算機圖像處理領域一個重要的研究方向，在智能安檢、案件偵查、移動支付等領域得到了廣泛應用。在身份鑒定方面，相比于指紋識別和虹膜識別等，人臉識別對人體姿態配合度的要求低，檢測方便快捷，具有非侵入式，遠距離且方式友好等優勢;人臉識別技術難度更大，首先人臉的特征復雜度相對更高，而且圖像特征容易受到光線明暗、表情變化、成像角度、交叉遮擋等多種因素的影響，因此人臉識別是一項非常具有挑戰性的課題。

1 研究現狀

早期的識別主要是基于靜態圖像識別技術，從圖像中提取特征信息。隨著視頻技術的發展，在靜態圖像的識別基礎上引入時間序列信息，利用視頻連續幀的時間空間延續性，提高了識別的準確率。人臉識別技術主要包括以下幾個方面：

1.1 基于幾何特征的人臉識別技術

人的面部輪廓特征和器官位置相對固定，不同人關鍵點之間的框架結構也基本一致。因此，早期人臉識別的研究階段，將人臉面部的幾何特征作為特征向量數據存儲于模型庫中，在進行人臉識別時，只需要將待識別人臉的幾何特征向量與模型庫中的特征向量進行比對，滿足設定閾值的一致性即為對應結果。

Kanada[1]提出了一種基于不同角度灰度投影技術，測定出投影的數值，根據數值的范圍判定人臉圖像，完成面部特征的標記，面部標記的結果進行歸一化，得到特征向量形成標準的結構數據。進行面部識別時，計算人臉信息的特征點之間的距離、夾角和空間信息，得到面部圖像中各器官之間的歐式距離，最后得到判定的結果，其在一組20人的實驗中，有效識別率達到了75%。Cox[2]利用了同樣的原理，延伸面部特征點的數量，提取30維的特征向量，采用圖像模板匹配的算法，描繪出面部器官的特征信息，僅用一幅圖像訓練樣本的情況下，算法的識別率達到95%。Kakadiaris[3]將面部幾何特征的算法推廣到側影圖像，實現了對車輛駕駛人員的面部識別。

1.2 基于局部特征的人臉識別技術

局部特征信息主要是分割出人臉圖像的明顯特征區域，如傷痕、紋身等，這些明顯區別于他人的特征信息，就可以作為面部識別的判別依據。另外，不同人臉具有不同的局部特征結構，如眼睛間距、眼睛鼻子角度等，統計模型記錄人臉中這些相對固定的特征量和受外界影響較小的特征量，同樣是人臉識別的判定手段。

Kotropoulos[4]采用了Gabor小波技術提取人臉特征，通過Gabor濾波器在不同尺度和方向上對樣本圖像的每個像素作卷積操作，利用彈性約束匹配采用全局特征描述，基于采樣局部的關鍵采樣點實現算法識別。Gabor算法特征位數較高，算法復雜度大，對硬件要求高，難以實現實時識別。Liu[5]對該算法進行了改進，選取少量關鍵點并進行了下采樣的方式實現算法特征降維處理，大大減低了算法的復雜度，特征關鍵點的選取保證了算法準確率。Timo[6]使用了LBP算子得到圖像局部紋理特征信息，并通過對各像素點的灰度值與周圍相鄰點的關系來描述人面部圖像的局部特征，該算法在人臉識別中得到了較好的效果。

1.3 基于子空間的人臉識別技術

基于子空間的識別是通過線性或非線性的算法變換，將人臉圖像特征的高維信息進行降維操作，把人臉的特征點和特征向量等映射到低維子空間，在子空間中進行特征分類識別。

基于子空間的識別算法中以Eigenfaces[7]和Fisherfaces[8]應用最為廣泛。Eigenfaces算法是通過基于主成分分析的方法對人臉圖像的各種特征進行表達，任意的人臉圖像均可以采用特征量組合的方式進行呈現，特征向量就是特征臉譜組合的關系系數。Fisherfaces算法是針對Eigenfaces的改良，Eigenfaces算法對樣本標簽的信息利用有限，高階信息存在一定的缺失。而Fisherfaces算法采用了子空間映射投影的方法，將同一類信息通過映射的方式投影到一個維度，而不同類的數據信息投影到不同的算法維度，這樣實現了數據的有效分類，解決了樣本數據的高效分類利用。

1.4 深度學習的人臉識別技術

隨著計算機硬件資源的發展，深度學習的算法得到了快速發展，并應用在各種學科領域，深度學習也成了近年來人臉識別的主流算法。

Taigman[9]提出了DeepFace算法，該算法基于深度卷積神經網絡，使用了200萬張不同姿態、光照等人臉圖像的數據訓練集，其結果在人臉評測數據庫LFW上達到了99%以上的識別精度。谷歌提出的FaceNet[10]網絡，該算法的數據結構使用了27層網絡，在2億的超大規模人臉數據庫訓練數據，其算法識別精度已經遠遠超過人類的識別極限。深度學習算法性能優異，但是往往數據集龐大，對資源消耗也是巨大的。

上述的四種人臉識別技術，通常都需要一定量的圖像信息，圖像的質量對識別效果起到了關鍵的作用。當圖像數量樣本較少，低分辨率的情況下，識別難以達到令人滿意的效果。文章采用改進的特征提取算法，實現在復雜環境下多姿態的低分辨率人臉圖像的識別。

2 多姿態的低分辨率人臉識別

人臉識別主要包括人臉檢測，關鍵特征提取和人臉識別幾個主要步驟。首先，通過視頻采集設備獲取人臉的圖像信息，通過人臉檢測技術識別出圖像中人臉的數量、大小和位置等信息，并通過特征提取獲取面部的關鍵點，再進行歸一化處理獲得人臉特征，將得到的圖像特征與數據庫進行特征匹配，進而對圖像的人員身份進行判別，識別的原理框圖如下：

2.1 人臉檢測

人臉檢測是指提取圖像中所有人臉的信息，包括數量、位置和大小等。在無約束圖像中人臉的位置是隨機的，且一般很難有正面的完整圖像，通常存在一定的遮擋、角度變化、表情變化、光線陰影等，這些問題給準確地判定人臉區域帶來了一定的困難。

檢測首先是在輸入圖像上進行候選區域的匹配，按照一定的判別規則，選擇一個矩形區域作為候選的人臉區域;其次在候選的人臉區域中提取關鍵特征作為初判的特征描述;最后根據區域的特征描述與閾值的比較，判定是否包含人臉。本文采用的是基于多任務的級聯卷積神經網絡人臉檢測算法，算法由三級的卷積神經網絡組成，如圖2所示。第一級是候選網絡，屬于全卷積網絡，生成候選窗口和邊框的回歸向量，并使用回歸的方法來進行候選區域的校準，用逼近算法合并去重得到第一步輸出。第二級網絡是對第一層網絡的候選區域進行進一步分析，使用非極大抑制和回歸算法對候選區域進行分類，去除弱相關的候選人臉區域，這一步通常能去除大量的錯誤候選區域。第三級網絡是對剩余的候選人臉區域甄選，添加監督信息，得到最后的人臉目標圖像。

2.2 人臉關鍵特征提取

為了提高人臉識別的準確率，通常會對圖像進行歸一化處理，核心思想就是關鍵點檢測，通過關鍵點定位人臉，關鍵點可將人臉表示為一系列的特征向量，這時通過關鍵點的坐標就得到了輸入圖像的人臉形狀[P]，歸一化處理后與數據庫P進行對比，得到最小化的期望誤差：

[Er=minP-P]

其中[Er]作為數據的訓練目標。

本文關鍵點提取算法是基于深度卷積的神經網絡。算法將人臉圖像作為卷積神經網絡的輸入，獲取圖像的全局特征，在第一層卷積網絡提取出圖像中的特征關鍵點，而全局特征對關鍵點的精確提取提供了支撐。第一層網絡使用了三個深度卷積網絡，分別對應全局人臉區域、眼部和鼻子區域、鼻子和嘴巴區域三個網絡輸入，每個網絡都進行特征點的預測和提取，再將預測結果作為三個網絡的輸出。第二層和第三層卷積神經網絡將前面的特征點作為輸入，包括眼睛中心點、鼻尖、鼻子左右下緣、左右嘴角共七個關鍵點，以這七個關鍵點的局部區域進行精細處理，并將結果進行修正，得到最終的人臉關鍵點。

2.3 人臉識別

上述得到的人臉特征點是不規則的，需要將人臉的特征信息規則化，得到正面圖像，并對齊到一個規則的框架中進行識別。本文采用姿態引導的損失函數來監督深度神經網絡學習，得到正面人臉信息特征。用[If]表示數據庫注冊的正面人臉圖像，[Ip]表示輸入的人臉圖像，[xf1、xf2······xfn]表示數據庫注冊的正面人臉圖像的關鍵點向量，[xp1、xp2······xpn]表示輸入人臉圖像的關鍵點向量。輸入的人臉圖像按照眼睛中心點、鼻尖、鼻子左右下緣、左右嘴角七個關鍵點的相對位置、角度、距離等通過加權仿射變換，得到轉換后的正面人臉圖像[Ip]，正面人臉的關鍵點向量為[x'p1、x'p2······x'pn]。人臉識別通過對比數據庫和轉換后的正面人臉圖像關鍵點向量的距離[DisIf，I'P]，來判定相似度。當輸入圖像多于一張時，采用多組距離平均值進行人臉識別的判定[1N1n-1Disi]，判別流程如圖3所示。

算法的優勢在于少樣本時，同樣能夠達到較高的精度，在低分辨率的圖像中，關鍵點會進行多次提取比對。算法在ORL、GT、AR、YaleB和LFW等數據集均取得了不錯的效果，算法識別率均達到了97.8%。低分辨率圖像的識別效果如圖4所示，可以看出，算法有效地提取了人臉關鍵點，不同角度圖像實現了準確識別。

3 結語

文章對人臉識別技術的主流算法進行了分析總結，提出了一種基于多姿態的人臉識別方法。針對不同角度和表情的人臉輸入圖像，首先進行人臉檢測，利用三級卷積神經網絡完成人臉候選區域的初步判定;然后通過深度卷積神經網絡，在人臉候選框內選取全局特征點，再利用兩層網絡得到眼睛中心點、鼻尖、鼻子左右下緣、左右嘴角等局部七個關鍵點;最后利用仿射變換進行人臉姿態的引導轉換，實現人臉識別。

算法在多個數據集的試驗結果均得到了令人滿意的效果，魯棒性和穩定性也得到了驗證，特別在多角度多個圖像輸入時，人臉識別精度顯著提高。后續多姿態人臉識別算法將在處理遮擋、多人面部交錯等方面進行研究。

參考文獻：

[1] Kanade T.Picture processing system by computer complex and recognition of human faces[D]. Kyoto University， Japan， PhD. Thesis，1973.

[2] Cox I J，Ghosn J，Yianilos P N.Feature-based face recognition using mixture-distance[C]//Proceedings CVPR IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Francisco，CA，USA.IEEE，：209-216.

[3] Kakadiaris I A，Abdelmunim H，Yang W，et al.Profile-based face recognition[C]//2008 8th IEEE International Conference on Automatic Face & Gesture Recognition.Amsterdam，Netherlands.IEEE，2008：1-8.

[4] Kotropoulos C，Tefas A，Pitas I.Frontal face authentication using morphological elastic graph matching[J].IEEE Transactions on Image Processing，2000，9（4）：555-560.

[5] Liu D H，Lam K M，Shen L S.Optimal sampling of Gabor features for face recognition[J].Pattern Recognition Letters，2004，25（2）：267-276.

[6] Timo A， Abdenour H， Matti P. Face recognition with local binary patterns[C]//In proceedings of the 8th European Conference on Computer Vision（ECCV2004）， Prague： Czech Republic，2004：469-481.

[7] 程正東，賈慧星，李樂.基于子空間的人臉識別[M].北京：清華大學出版社，2009.

[8] Rao C R.Linear Statistical Inference and its Applications[M].Hoboken，NJ，USA：John Wiley & Sons，Inc.，1973.

[9] Taigman Y，Yang M，Ranzato M，et al.DeepFace：closing the gap to human-level performance in face verification[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus，OH，USA.IEEE，：1701-1708.

[10] Schroff F，Kalenichenko D，Philbin J.FaceNet：a unified embedding for face recognition and clustering[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston，MA，USA.IEEE，：815-823.

【通聯編輯：唐一東】