一種基于多特征融合的二維人臉欺詐檢測方法

袁海聰 李松斌 鄧浩江

(中國科學院聲學研究所 北京 100190)

一種基于多特征融合的二維人臉欺詐檢測方法

袁海聰 李松斌*鄧浩江

(中國科學院聲學研究所 北京 100190)

針對當前人臉識別系統易受欺詐攻擊的問題，提出一種基于圖像分析的人臉欺詐檢測方法。該方法融合了LBP、Gabor小波及像素特征，通過非線性SVM分類器區分人臉和欺詐圖像。相較于現有人臉欺詐檢測方法，該方法無需用戶配合，具有很強的實用性。此外，提出的融合紋理特征也適用于人臉識別，為處理人臉欺詐檢測和人臉識別提供了一個獨特的特征空間。實驗結果表明，該方法優于現有的人臉欺詐檢測方法，具有更高的識別準確率。

人臉欺詐檢測 紋理分析 多特征融合 LBP Gabor小波 像素特征

0 引 言

欺詐攻擊是攻擊者試圖通過偽造數據偽裝成他人來獲取非法訪問的行為。傳統的人臉識別系統依賴平面圖形進行身份檢測，系統很容易受到來自于打印照片或者電子照片的欺詐攻擊。解決欺詐攻擊問題來提高人臉識別系統的安全性和健壯性成為一項迫切需求。由于人臉照片可以很方便地通過網上下載、偷拍獲取，使得照片攻擊成為最常見的欺詐攻擊類型。因此本研究主要針對照片攻擊進行人臉欺詐檢測研究。目前的二維人臉欺詐檢測方法主要基于圖像質量分析、運動分析、紋理分析以及多特征融合分析。

在圖像分析的方法中， Zhang等通過采用SVM檢測高頻成分信息來檢測打印照片和電子照片的欺詐攻擊[1]。Galbally等通過從一張圖片提取25種常用的圖像質量特征(如峰值信噪比和結構相似性索引等)進行人臉欺詐檢測[2]。Garcia等通過搜索條紋圖案進行二維人臉欺詐檢測，條紋圖案在頻域中表現為高頻區域會出現峰值，通過檢測峰值來區分人臉和照片[3]。

在基于運動分析的方法中，Marsico等根據幾何不變性，通過檢測不同幀人臉面部關鍵點進行欺詐檢測[4]。Kollreider等提出一種光線檢測的方法跟蹤和捕獲不同面部部位的細微動作，以此區分人臉和欺詐圖像[5]。

在基于紋理分析的方法中，Pinto等通過在頻域搜索二次采集視頻產生的噪聲信號區分攝像頭前面的是人臉還是照片[6]。M??tt?等基于人臉和欺詐圖像的LBP(局部二值模式)信息的差異性進行欺詐檢測，對圖像分塊后利用LBP統計直方圖提取LBP特征，最后經過SVM(支持向量機)分類器進行分類判斷[7]。Bharadwaj等在運動放大序列中應用紋理分析進行欺詐檢測[8-9]。Pereira等通過分析LBP特征在X-Y、X-T和Y-T維度的時間和空間紋理進行人臉欺詐檢測[10]。

在多特征融合分析方法中，Pereira等通過融合人臉的運動不一致特征和LBP特征進行圖像和視頻的人臉欺詐檢測[11]。M??tt?等結合了紋理特征和局部形狀分析來進行人臉欺詐檢測，融合了LBP、Gabor小波、HOG(梯度直方圖特征)三種紋理特征，取得了不錯的效果[12]。

然而，現有的人臉欺詐檢測方法還無法實用，主要原因如下：算法較為復雜，無法快速處理；需要采用一些非常規的成像系統(多頻譜成像)和高分辨率攝像頭；需要用戶刻意配合。為此，本文基于高區分性紋理和局部特征提出一種基于多特征融合的人臉欺詐檢測方法。該方法只需要一個普通的攝像頭，算法簡單且無需用戶刻意配合。

1 一種基于多特征融合的人臉欺詐檢測算法

1.1 總體框架

本研究目的是發現人臉和相應照片的細微不同，并設計一個特征空間來突出該差異。由于人臉是一個復雜的非剛性物體而照片只是一個平面的剛性物體，二者在光線反射、表面屬性(色素)等方面存在差異。此外，人臉照片經常含有一些印刷特征，比如抖動和條紋，可以通過對均勻或平滑區域進行文理和局部特征分析檢測出來。另外，用照片進行人臉欺詐攻擊時通常會產生一些整體上的圖像模糊。圖1顯示了一些可以用來進行人臉欺詐檢測的線索。

圖1 可用來欺詐檢測的照片特性，如整體像糊，低對比度，顯著的鏡面反光以及其他的一些照片瑕疵

受此啟發，本文提出一個特征空間以捕獲人臉和照片的差異。本文在基于LBP的微紋理特征[7]的基礎上進行了擴展，引進兩種特征，像素和Gabor小波特征。圖2顯示了本文方法的流程圖。本文方法采用了兩種強大且互補的紋理特征：LBP和Gabor小波。其中，LBP描述微紋理信息，Gabor小波描述宏觀信息。此外，本文方法還引入像素特征，用以描述圖像全局信息。本文方法首先從圖片中提取三種特征空間中對應的特征向量，并將這三種特征向量合成一個最終的特征向量，然后將該特征向量送入非線性SVM分類器進行分類，最后由分類器判定輸入圖像是人臉還是欺詐圖像。

圖2 多特征提取流程圖

1.2 LBP特征提取

LBP是Ojala等[14]提出的一個灰度不變的紋理描述算子，記錄像素點與其周圍像素點的對比信息，或者說差異。LBP是一種非常有效的紋理描述算子，能夠度量和提取灰度圖像局部的紋理信息，對光照具有不變性，能很好地描述圖像微紋理信息和空間信息。

本文方法為了充分地捕獲面部差異，首先將人臉圖像分成若干小塊，然后分別從各小塊提取LBP統計直方圖特征，最后將各分塊的特征向量合成為一個特征向量。此外，多個LBP算子可以更好地檢測差異信息，因此本文采用了多個尺度級別的LBP算子。

圖3 LBP特征提取流程圖

1.3 Gabor小波特征提取

Gabor小波對圖像的邊緣很敏感，能夠提供良好的方向選擇和尺度選擇特性，而且對于光照變化不敏感，對光照變化具有良好的適應性。同時， 二維Gabor函數可以增強面部關鍵部件(眼睛、鼻子、嘴巴等)的信息，從而使得在保留總體人臉信息的同時增強局部特性成為可能。它的小波特性說明了Gabor濾波結果是描述圖像局部灰度分布的有力工具。因此，可以使用Gabor濾波來提取圖像的紋理信息[15]。

Gabor小波變換之后，圖像中每個像素會得到40個幅值特征。它們反映了以該點為中心的局部區域在不同頻域內的能量分布特征。這40個Gabor幅值特征級聯起來通常被稱為一個Jet[16](J)，則圖像中像素點的Jet為：

J(z0)= (M0,0(z0),…,M0,7(z0),…,M4,0(z0),

…,M4,7(z0))

(1)

對于圖像I，如果將所有像素點的Gabor幅值特征級聯起來，就得到其Gabor特征表示：

S={J(z0):z0∈I}

(2)

本方法采用40(5尺度，8方向)個Gabor核函數對整個人臉圖像卷積，得到的Gabor幅值級聯起來形成人臉的特征向量。然而，基于整體人臉的Gabor變換會導致極高的人臉特征空間，給計算機的識別帶來了困難。例如，大小為64×64的原始圖像經Gabor小波變換后，特征維數達到64×64×40=163 840。為了降低特征的維數，本方法先將圖像縮小到32×32大小，再經下采樣[17]和PCA降維[18]到500維。Gabor小波特征提取的流程如圖4所示。

圖4 Gabor小波特征的提取流程圖

1.4 像素特征提取

圖像像素包含了人臉全局特征，有很多有用信息，從中提取的像素特征在人臉識別和人臉欺詐檢測方面可以取得很好的效果。本方法首先將灰度歸一化圖像縮放到一定大小，再將二維圖像結構轉化為一維的像素特征向量。令縮放后的圖像I(x,y)的寬高為w、h，則圖像的像素特征表示：

P={I(x,y):x∈{0,…,h-1},y∈{0,…,w-1}}

(3)

實驗結果顯示，圖像縮放的程度越小效果越好，本方法采用將灰度歸一化圖像縮小到8×8大小，再根據式(3)提取相應的像素特征。

1.5 分 類

本文方法基于機器學習框架，主要分為兩部分：特征提取和特征分類。特征提取采用了上面三種特征的提取方法，其中將LBP特征向量表示為L，Gabor小波特征向量表示S，像素特征向量表示P，則三種紋理特征融合而成的最終特征向量表示為：

D=(L,P,S)

(4)

其中L的維度是833維，P的維度是64維，S的維度是500維，所以D的維度：833+64+500=1397維。

特征分類檢測的目的是判定在攝像頭前面的是人臉還是其他，因此本節基于非線性SVM構建了一個人臉欺詐檢測器。該人臉欺詐檢測器通過學習某一類別的樣本訓練得到，使用該人臉欺詐檢測器能實現對未知種類樣本的分類。通常樣本數據位于低維空間的點無法使用線性分類器進行區分，非線性SVM將這些點映射到高維空間中，使其線性可分，再判斷分類邊界。

2 實驗結果分析

本研究在三個不同的數據集上驗證本文方法的健壯性，即NUAA數據集[19]、ReplayAttack數據集[20]、人臉欺詐檢測數據集。其中，人臉欺詐檢測數據集是為了檢測方法在實際生活場景的效果而收集的數據集。本節選取了三個在目前二維人臉欺詐領域比較突出有代表性的方法作為參考比較方法，分別是基于LBP紋理描述的人臉欺詐檢測算法[7]、基于LBP、Gabor和HOG的人臉欺詐檢測算法[12]以及基于條紋圖案分析的二維人臉欺詐檢測方法[3]。實驗中主要對比了不同方法的AUC(AreaUnderCurveofROC)、ERR(EqualErrorRate)、FAR(FalseAcceptanceRate)、FRR(FalseRejectionRate)、HTER(HalfTotalErrorRate)等指標，其中AUC越大表示方法的識別率越高，ERR和HTER體現了方法的總體性能(越低性能越好)，FAR反映了方法對負樣本的漏檢率，FRR則反映了方法對正樣本的錯檢能力[21]。

2.1 在NUAA公共數據集上的分析

NUAA人臉數據集是南京航空航天大學提供的一個權威開放的公共人臉照片數據集。該數據集由兩部分組成，一部分是由采集自真實用戶人臉的正樣本圖片組成，另一部分由采集自真實用戶照片的負樣本圖片組成，如圖5所示。

圖5 采集自人臉的圖片(第一行)和采集自照片的圖片(第二行)

在該數據集上的實驗分為兩個獨立的階段，訓練階段和測試階段。其中，訓練集包含9個用戶1743張正樣本圖片和1748張負樣本圖片。測試集由9個用戶第三階段的3362張正樣本圖片和5761張負樣本圖片組成。為了公平比較，數據集里的人臉圖片統一灰度化歸一化為64×64大小的圖片。

表1、表2和圖6顯示了本文方法和文獻[3,7,12]方法在相同協議下(相同的實驗條件)的性能比較。

表1 本文方法和文獻[7,12]方法 在NUAA數據集的相關性能比較

表2 本文方法和文獻[3,7,12]方法 在NUAA數據集的相關性能比較

圖6 本文方法(LBP+Gabor+Pixel)和文獻[7](LBP)、文獻[12](LBP+Gabor+HOG)在NUAA數據集下的ROC曲線

從表2和圖6中，可以看到本文方法要比文獻[7,12]方法要好，AUC和ERR指標有很大改善，總體性能優于對比方法。表3顯示了本文方法和文獻[3,7,12]方法相關性能比較，可以看到本文方法的HTER、FAR、FRR指標維持在很低的水平，總體識別率可以達到97.8%。文獻[3]方法由于只能在足夠高分辨率的情況下才能產生條紋圖案，NUAA數據集的圖片都是以640×480的常規攝像頭采集，因此該方法在NUAA數據集的效果不好。

2.2 Replay Attack數據集上的結果分析

Replay Attack數據集是由瑞士的Idiap研究所提供的一個公共開放數據集，這是一個視頻數據集。在該數據集上的實驗同樣分為兩個獨立的階段，訓練階段和測試階段。其中，訓練集包含60個正樣本視頻和60個負樣本視頻(手持、固定各30)，測試集包含80個正樣本視頻和80個負樣本視頻(手持、固定各40)。每個子集的用戶是隨機劃分以保證子集之間的身份不重疊，這樣對欺詐檢測算法的性能要求更嚴格，更具有挑戰性和實際應用性。

ReplayAttack數據集與前面的NUAA數據集不同，它不是由分割歸一化的人臉圖像組成，而是由包含整個認證場景的視頻組成。這里本文先采用opencv自帶實現的Viola-Jones算法檢測人臉，使用2d級聯adaboost分類器進行人眼跟蹤。人臉圖像根據檢測到的人眼坐標被幾何歸一化灰度化為80×80的大小。歸一化后的人臉圖像如圖7所示。

圖7 ReplayAttack視頻數據集經過歸一化灰度化后的圖片，第一行是采集自人臉的人臉圖像，第二行是采集自人臉照片的圖像

表3、表4和圖8顯示了本文方法和文獻[3,7,12]方法在相同協議下(相同的實驗條件)的性能比較。

表3 本文方法和文獻[7,12]方法在 Replay Attack數據集的相關性能比較

表4 本文方法和文獻[3,7,12]方法在 NUAA數據集的相關性能比較

圖8 本文方法(LBP+Gabor+Pixel)和文獻[7]方法(LBP)、文獻[12]方法(LBP+Gabor+HOG)在Replay Attack數據集下的ROC曲線

從表3和圖8中，可以看到本文方法要比文獻[7,12]方法要好，AUC和ERR性能指標得到很大改善，總體性能優于對比方法。表4顯示了本文方法和文獻[3,7,12]方法相關性能比較，可以看到本文方法的HTER、FAR、FRR指標相對較低，總體識別率可以達到94%。文獻[3]方法由于只能在足夠高分辨率的情況下才能產生條紋圖案，Replay Attack數據集的圖片都是以320×240分辨率的攝像頭采集，因此該方法在Replay Attack數據集的效果不好。

2.3 在人臉欺詐檢測數據集上的結果分析

人臉欺詐檢測數據集是為了檢測本文方法在實際場景的效果而整理的一個實際數據集。該實際數據集同樣由兩部分組成，一部分是由采集自真實用戶人臉的正樣本圖片組成，另一部分由采集自真實用戶電子照片的負樣本圖片組成，這些樣本圖片采用640×480分辨率的常規攝像頭以20幀每秒的速度采集而成。數據集采集了室內、強光、弱光三個階段的樣本，如圖9所示。

圖9 人臉欺詐檢測數據集采集自人臉的人臉圖像(第一行)和采集自照片的人臉圖像(第二行)

在該數據集上的實驗分為兩個獨立的階段，訓練階段和測試階段。其中，訓練集包含9個用戶1744張正樣本圖片(890張來自第一階段和854張來自第二階段)和1790張負樣本圖片(895張來自第一階段和895張來自第二階段)。測試集由9個用戶第三階段的3362張正樣本圖片和5761張負樣本圖片組成。為了公平比較，數據集里的人臉圖片統一灰度化歸一化為64×64大小的圖片。

表5、表6和圖10顯示了本文方法和文獻[3,7,12]方法在相同協議下(相同的實驗條件)的性能比較。從表5和圖10中，可以看到本文方法要比文獻[7,12]方法要好，AUC和ERR性能指標得到很大改善，總體性能優于對比方法。表6顯示了本文方法和文獻[3,7,12]方法相關性能比較，可以看到本文方法的HTER、FAR、FRR指標維持在很低的水平，總體識別率可以達到99%。文獻[3]方法由于只能在足夠高分辨率的情況下才能產生條紋圖案，人臉欺詐檢測數據集的圖片都是以640×480的常規攝像頭采集，因此該方法在人臉欺詐檢測數據集的效果也不好。

表5 本文方法和文獻[7,12]方法在 人臉欺詐檢測數據集的相關性能比較

表6 本文方法和文獻[3,7,12]方法在 人臉欺詐檢測數據集的相關性能比較

續表6

圖10 本文方法(LBP+Gabor+Pixel)和參考方法[7](LBP)、參考方法[12](LBP+Gabor+HOG)在人臉欺詐檢測數據集下的ROC曲線

3 結 語

目前的人臉識別系統對欺詐攻擊很脆弱，而照片攻擊是最常見的欺詐攻擊手段。受圖像質量、印刷特征、光線反射差異的啟發，本文提出一種從人臉圖像提取紋理信息來區分人臉和照片的人臉欺詐檢測方法。方法融合了LBP、Gabor小波、像素特征三種特征來描述人臉，最后采用一個非線性SVM分類器判斷在攝像頭前面的是人還是欺詐圖像。為了驗證本文方法的強健性，本文方法先后在NUAA、Replay Attack和人臉欺詐檢測數據集上進行了對比實驗。其中，人臉欺詐檢測數據集是為了檢測方法在實際生活場景中的效果而專門收集的一個實際數據集。廣泛的實驗顯示本文方法很強健，且不需要用戶配合，具有很強的實際應用性。此外，本文采用的紋理特征也可以用來進行人臉識別，這樣就提供一個獨特的特征空間處理人臉欺詐檢測和人臉識別。實驗結果顯示本文方法要優于其他方法。

[1] Zhang Z,Yan J,Liu S,et al.A face antispoofing database with diverse attacks[C]//Biometrics (ICB),2012 5th IAPR International Conference on.IEEE,2012:26-31.

[2] Galbally J,Marcel S,Fierrez J.Image quality assessment for fake biometric detection:application to iris,fingerprint,and face recognition[J].IEEE Transactions on Image Processing,2014,23(2):710-724.

[3] Garcia D C,Queiroz R L D.Face-spoofing 2D-detection based on moiré-pattern analysis[J].IEEE Transactions on Information Forensics and Security,2015,10(4):778-786.

[4] Marsico M D,Nappi M,Riccio D,et al.Moving face spoofing detection via 3D projective invariants[C]//Biometrics (ICB),2012 5th IAPR International Conference on.IEEE,2012:73-78.

[5] Kollreider K,Fronthaler H,Bigun J.Non-intrusive liveness detection by face images[J].Image and Vision Computing,2009,27(3):233-244.

[6] Pinto A D S,Pedrini H,Schwartz W,et al.Video-based face spoofing detection through visual rhythm analysis[C]//Graphics,Patterns and Images (SIBGRAPI),2012 25th SIBGRAPI Conference on.IEEE,2012:221-228.

[7] M??tt? J,Hadid A,Pietik?inen M.Face spoofing detection from single images using micro-texture analysis[C]//Biometrics (IJCB),2011 International Joint Conference on.IEEE,2011:1-7.

[8] Bharadwaj S,Dhamecha T I,Vatsa M,et al.Computationally efficient face spoofing detection with motion magnification[C]//Computer Vision and Pattern Recognition Workshops (CVPRW),2013 IEEE Conference on.IEEE,2013:105-110.

[9] Wu H Y,Rubinstein M,Shih E,et al.Eulerian video magnification for revealing subtle changes in the world[J].ACM Transactions on Graphics,2012,31(4):13-15.

[10] Pereira T D F,Komulainen J,Anjos A,et al.Face liveness detection using dynamic texture[J].EURASIP Journal on Image and Video Processing,2014,2014:1-15.

[11] Pereira T D F,Anjos A,Martino J M D,et al.Can face anti-spoofing countermeasures work in a real world scenario?[C]//Biometrics (ICB),2013 International Conference on.IEEE,2013:1-8.

[12] M??tt? J,Hadid A,Pietik?inen M.Face spoofing detection from single images using texture and local shape analysis[J].IET Biometrics,2012,1(1):3-10.

[13] Vapnik V N.Statistical learning theory[M].New York,NY,USA:Wiley-Interscience,1998.

[14] Ojala T,Pietik?inen M,M?enp?? T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.

[15] Liu C,Wechsler H.Gabor feature based classification using the enhanced fisher linear discriminant model for face recognition[J].IEEE Transactions on Image Processing,2002,11(4):467-476.

[16]WiskottL,FellousJM,KrügerN,etal.Facerecognitionbyelasticbunchgraphmatching[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1997,19(7):775-779.

[17]LiuC,WechslerH.IndependentcomponentanalysisofGaborfeaturesforfacerecognition[J].IEEETransactionsonNeuralNetworks,2003,14(4):919-928.

[18]LiuDH,LamKM,ShenLS.OptimalsamplingofGaborfeaturesforfacerecognition[J].PatternRecognitionLetters,2004,25(2):267-276.

[19]TanX,LiY,LiuJ,etal.Facelivenessdetectionfromasingleimagewithsparselowrankbilineardiscriminativemodel[C]//11thEuropeanConferenceonComputerVision.Springer,2010:504-517.

[20]ChingovskaI,AnjosA,MarcelS.Ontheeffectivenessoflocalbinarypatternsinfaceanti-spoofing[C]//Proceedingsofthe2012BIOSIGInternationalConferenceoftheBiometricsSpecialInterestGroup(BIOSIG).IEEE,2012:1-7.

[21]AnjosA,MarcelS.Counter-measurestophotoattacksinfacerecognition:apublicdatabaseandabaseline[C]//Biometrics(IJCB),2011InternationalJointConferenceon.IEEE,2011:1-7.

2D FACE SPOOFING DETECTION METHOD BASED ON MULTI-FEATURE FUSION

Yuan Haicong Li Songbin*Deng Haojiang

(InstituteofAcoustics,ChineseAcademyofSciences,Beijing100190,China)

To address the issue that current face biometric systems are vulnerable to spoofing attacks, a novel face spoofing detecting approach based on the analysis of facial images is proposed. The proposed method absorbs the advantages of LBP, Gabor wavelet and pixel texture feature. A nonlinear SVM classifier is used to distinguish the human faces and face prints. Compared with the previous works, the proposed method does not require user cooperation and is has high availability. In addition, the proposed fusion texture feature can also be used for face recognition, which provides a unique feature space to deal with spoofing detection and face recognition. The experimental results show that this method is better than current methods and has higher recognition accuracy.

Face spoofing detection Texture analysis Multi-feature fusion LBP Gabor wavelet Pixel Feature

2015-12-30。海南省重大科技項目(JDJS2013006)；海南省應用技術開發項目(ZDXM2015103)。袁海聰，碩士生，主研領域：多媒體信號處理。李松斌，副研究員。鄧浩江，研究員。

TP3

A

10.3969/j.issn.1000-386x.2017.02.036