人臉識別背后的數據清理問題研究

夏洋洋，龔勛，洪西進,2

(1.西南交通大學 信息科學與技術學院，四川 成都 611756； 2. 臺灣科技大學 資訊工程系，臺灣 臺北 10607)

人臉識別背后的數據清理問題研究

夏洋洋1，龔勛1，洪西進1,2

(1.西南交通大學 信息科學與技術學院，四川 成都 611756； 2. 臺灣科技大學 資訊工程系，臺灣 臺北 10607)

人臉識別技術在深度卷積神經網絡(deep convolution neural networks, DCNN)的快速發展下取得了顯著的成就。這些成果主要體現在更深層次的DCNN架構和更大的訓練數據庫。然而，由大多數私人公司持有的大型數據庫(百萬級)并不對外公開，即使當前部分開放的大型數據庫，因為標注信息過少，無法保證精度，會影響DCNN的訓練。本文提出了一種易于使用的多角度清理圖像方法來提高數據的準確性：通過人臉檢測算法清除掉無法檢測到人臉的圖像；在清理后的數據集上利用已有模型提取圖像特征，并計算相似度，進而統計出一類人臉圖像中每一張圖像與其他圖像不相似的數目，根據改進參數清理數據。實驗表明，清理后的數據庫訓練模型在LFW和Youtube Face數據集上測試的精度得到了提升，使用較小規模數據集情況下，在LFW數據集上取得了99.17%的準確率，在Youtube Face數據集也達到了93.53%的準確率。

深度卷積神經網絡；DCNN；清理圖像；人臉識別；大型數據庫

構建一個完整的人臉識別系統主要包括圖像采集、人臉檢測、人臉對齊、特征表示與分類識別等步驟。人臉識別技術的核心在于特征提取和分類識別，而特征提取則是人臉識別的重點關注點[1-3]。深度學習與傳統人臉識別技術的主要區別在于：深度學習是通過從海量數據中有監督的訓練學習來獲取能夠有效表示人臉信息的特征，不再需要大量的人臉識別先驗知識來設計特征，這種人臉面部特征學習更具魯棒性[4-6]。深度卷積神經網絡(DCNN)作為一種深度學習架構，已成功應用于人臉識別和其他計算機視覺任務，并逐漸成為一種通用算法[1,4-5,7-10]。雖然DCNN是通過從大量數據中自動學習更具區分力的特征，人臉識別的主要目的也是通過從海量數據中學習具有泛化能力的人臉特征，但最大的挑戰是如何訓練更好的DCNN算法。目前可以通過以下兩種方式進行提升：設計更強表達能力的網絡結構;使用規模更大的數據集，對訓練集進行更精確的預處理。

1 人臉識別技術與數據庫現狀

2009年發布的LFW數據庫的樣本圖片來自于互聯網名人圖像，其中有5 700余人13 000多張圖像，采用十折平均精度作為人臉識別性能指標，是在真實條件下最具權威的人臉識別數據庫之一[11]。有許多DCNN的開源實現已經公布，2014年Facebook[9]和香港中文大學[12]使用DCNN技術在人臉識別中取得重大突破，分別在LFW上獲得了97.35%和97.45%的平均分類精度。隨后，在LFW數據集上平均分類精度分別由VGGface、CaffeFace和Google FaceNet刷新到97.27%、99.28%和99.63%，百度公司甚至得到99.77%的準確率[13]。

DCNN算法之所以需要大量的數據，主要原因在于越大規模的數據越能夠學習到更加抽象、更加魯棒的特征。表1中的數據充分體現了這一趨勢：DeepID系列從20萬～45萬，Caffeface使用70萬，百度使用120萬，DeepFace為4億，VGGFace有260萬，谷歌達到2億，Facebook使用超過10萬人的50億圖像數據庫[14]。

表1幾種經典的DCNN模型在LFW數據集上的測試結果

Table1ThetestresultsofseveralclassicDCNNmodelsontheLFWdataset

名稱年份訓練集數據量/萬網絡數量LFW平均精度/%DeepFace[9]2014400397．35DeepID[2]2014202597．45DeepID2[1]2014202599．15DeepID2+[15]2015452599．47VGGFace[4]2015260198．95FaceNet[16]201520000199．63Caffeface[17]201670199．28Facebook[14]201550000-98．00FaceNet＿centerloss[18]2017505199．30

可以看出，DCNN需要大量數據進行訓練，雖然很多數據可以從網絡上抓取，但是沒有組織，需要手動標注信息。可用性強并且標注信息豐富的大規模數據庫往往由Google、Facebook和百度這樣的大型公司持有，但因為版權和隱私的問題，它們并沒有公開發布。由于在獲取大規模標注信息豐富、準確度高的數據庫方面遇到了較大的障礙，人臉識別技術在學術領域處于被動狀態，甚至落后于工業界。為了克服這個問題，越來越多的研究機構也相繼發布了一些大型的、多樣化的數據集。目前，表2是公開的一些大型人臉數據集及其標注信息，香港中文大學團隊發布了CelebFaces+數據集，包含了大約10 000個身份的20萬張圖像，標注信息豐富，身份信息未劃分，主要可以用來研究特征點定位和人臉屬性學習。2014年中科院自動化研究所發布并建立了一個大規模的CASIA-webface人臉識別數據集，包含了大約10 500個身份的49萬張圖像，并表示這個數據集是作為大規模訓練集來使用。在文獻[4]中，作者也公布了2 622個身份的260萬張圖像。MegaFace[20]數量大于CASIA，但是被設計為測試集，每個人提供的圖像很少，因此它從未用于訓練DCNN系統。目前，這些數據集仍有很多噪聲，身份標簽錯誤，單張圖像含有多個人臉等(圖1)問題，這導致數據庫的準確性很難得到保證。

圖1 數據庫存的問題示例Fig.1 Examples of problems that exist with the database

數據集圖像數量(萬)人數注釋屬性VGGFace[4]2602622人臉邊框和姿態CASIAWebFace[19]4910575—MSCeleb[21-22]1000100000—UMDfaces[23]378501人臉邊框，21特征點，性別和3D姿態MegaFace[20]100690572人臉識別測集合Youtubeface[24]3425videos1595非限制場景、視頻Low?shotfacerecogntion[25]100-20021000面部區域被裁剪和對齊MF2TrainingDataset[26]470672000人臉邊框和68個特征點

DCNN的訓練集通常需要進行大量的預處理工作，包括圖像反轉、隨機裁剪、多尺度、彩色渲染、標準化數據等。通過不同方式的預處理產生的結果也是有很大偏差的，主要表現為人臉檢測錯誤、特征點定位錯誤、身份歸類錯誤等，這些偏差會對訓練結果造成較大的影響。為了研究數據庫準確性對DCNN訓練的影響，本文提出了一種多角度評估數據清理方法，主要貢獻總結包括：1)從人臉檢測、特征點定位和人臉相似性等方面對數據庫進行了清理；2)驗證清理圖像數據庫的有效性，以提高訓練準確性。

2 多角度評價清理圖像

首先，采用當前主流的人臉檢測和特征點定位算法對數據集進行清理。其次，利用公開的網絡模型提取特征計算相似度，并使用相似度統計算法進行圖像清理。如圖2是數據清理的具體流程。

圖2 數據清理流程Fig.2 Data cleansing process

2.1 臉檢測與特征點定位

人臉檢測和人臉對齊已經成為獨立的研究方向，人臉特征提取的前提就需要對這些算法進行研究，其中必不可少的就是人臉檢測。人臉對齊(校準)或面部特征點定位主要是通過瞳孔、眉毛、嘴巴等人臉上的面部特征點對人臉進行校準，以促進正面特征提取，特別是對于局部關鍵特征提取。

本節主要對香港中文大學DCNN Seetaface、中國科學院的面部檢測算法和深圳先進學校MTCNN算法[27]通過比較分析實際面部檢測表現，并針對接下來的大規模臉數據集選擇適當的人臉檢測和關鍵點檢測算法，從不同角度對DCNN、Seetaface、MTCNN這3種算法進行測試和分析，驗證3種算法的性能。

表3是3種算法在3個不同測試數據集上5個關鍵點的平均差、標準差和效率。從表3中可以看出,DCNN算法的標準差均小于Seetaface算法和MTCNN算法，MTCNN算法略好于Seetaface算法，在這3個小數據集的測試中DCNN算法的穩定性最好，其次是MTCNN；從平均誤差來說，表現最好的是Seetaface算法，表明Seetaface算法可以適應更廣泛的場景。

通過比較人臉檢測和特征點定位的時間效率可以看出，MTCNN檢測的時間最短，DCNN算法檢測的時間最長。

表3 5個關鍵點的測試平均差、標準差和效率

在本文中訓練深度卷積神經網絡需要大規模數據集預處理工作，因此需要考慮面部檢測算法的綜合性能，主要包括效果和效率。表4進一步進行了兩次大規模數據集的測試，從表4可以看出，MTCNN算法對大數據的穩定性較好，CelebA共計20多萬圖像，測試CelebA時MTCNN算法實際檢測的面部圖像為182 387張，Seetaface算法實際檢測的臉部圖像為180 032張 ， MTCNN算法在大規模數據集中具有較好的效果。

表4 大規模數據集上5個特征點的比較

根據上述實際測試的數據，本文選擇MTCNN算法作為所有數據庫的面部檢測算法。

2.2 基于相似度統計的圖像清理

基于相似度統計的圖像清理算法的3個主要步驟如下。

1)人臉對齊

(1)

在求出標準模板之后，根據式(2)求出原圖到目標圖像的仿射變換矩陣：

式中：Opt是原圖像的5個特征點，Cpt是標準模板的5個點，T是求得的變換矩陣，cp2tform是MATLAB的標準函數。

根據式(3)得出對齊之后的人臉圖像：

crop=imtransform(I,T,′XData′,[1,imgsize(2)],

式中：I是原圖像，imgsize是要對齊的圖像尺寸，crop是對齊之后的人臉圖像，imtransform是MATLAB的標準函數。

2)人臉特征提取與相似度計算

本文使用的網絡結構來自于文獻[17]在github上提供的開源文件，如圖3所示。

圖3 本文中人臉識別任務中使用的DCNN架構Fig.3 The DCNN architecture used in face recognition tasks in this article

Softmax損失函數和中心損失函數的聯合監視，可以訓練足夠強大的DCNN，并且能夠得到兩個關鍵學習目標的深層特征以及盡可能高的類間分散性和類內緊密性。這些特性對人臉識別來說至關重要。提取特征的模型也采用了文獻[17]公布的網絡模型，部分超參數設置由實際數據庫來確定。

對于特征提取，按照慣例在進入網絡模型之前，RGB圖像像素值將減去127.5，并將每個像素值除以128。 深度特征來自第一FC層的輸出，提取每個圖像的特征和翻轉圖像的特征，并將其作為特征向量進行連接。 在提取所有圖像的特征之后，對從兩個不同圖像提取的特征向量進行相似性計算。所使用的度量是余弦距離，(4)式是兩個特征向量A和B的角度，直接計算余弦距離作為相似度S，即

使用等誤差率(EER)作為判斷是否為同一個人的閾值。 當相似度超過該閾值T時，認定為同一個人，小于閾值T時不為同一個人。 對于每種圖像，進行相似度計算，1表示兩個圖像是同一個人，0表示兩個圖像不是一個人。

式(5)表明如何判斷兩個圖像是否為同一個人。

式中：Pi、Pj表示一類圖像中的第i和j張圖像的特征向量，Lij表示第i和j張圖像是否為同一個人。

3)根據不相似的圖像的比例確定是否清理

根據式(6)統計同一個人的人臉圖像C中每一張圖像與其他圖像不相似的數目。

式中：Ni表示第i張圖像與其他圖像不相似的數目，i=1,2,…,n。

最后，根據式(7)判斷是否清理該圖像。

式中：n表示一類人臉所有圖像數目；參數λ的值需要根據不同的數據庫來確定，具體λ值將在下一章實驗部分具體分析。

3 實驗與分析

本節選取了CASIA-webface數據集、UMDface數據集和MSceleb數據集作為實驗數據庫，并選取公共權威人臉識別測試數據集LFW和Youtube face作為測試數據集。

LFW收集的數據集包含5 749個不同的人，有姿態、表情和光照的變化，總共13 233個圖像，旨在研究人臉圖像數據庫中的困難的人臉識別問題。 根據LFW提供的測試方案——unrestricted with labeled outside data[28]，我們測試了6 000個人臉對，人臉如圖4所示。

圖4 LFW測試協議人臉對Fig.4 The LFW test protocol face pair

Youtube臉(YTF)數據集包含3 495個不同人的視頻，平均每人2.15個視頻。剪輯持續48～6 070幀，平均長度為181.3幀。它旨在研究視頻下人臉識別的問題。根據YTF提供的測試協議——unrestricted with labeled outside data，測試5 000個視頻對，如圖5所示。

圖5 YTF測試協議人臉視頻對Fig.5 The YTF test protocol face video pair

3.1 訓練細節

1)預處理

CASIA-webface和MSceleb使用2.1節提出的人臉檢測方法進行初步篩選，刪除未檢測到的人臉圖像，并使用2.2節步驟1提出的人臉對齊將所有的人臉圖像對齊成112×96的 RGB圖像。UMDface數據集是經過包括人工判斷在內的深度清理過的人臉圖像數據集，清理過程在文獻[23]中具體描述，提供了21個關鍵點的標注信息，我們選取了與MTCNN算法檢測相同的5個點作為UMDface原始圖像的特征點，并使用2.2節步驟1提出的方法進行人臉對齊。

2)數據集設置

本文使用經過2.1節方式清理過的CASIA-webface作為第1個數據集A，共有10 575個人，491 582張圖像。使用UMDface數據集作為第2個數據集B，共有8 501個人，367 919張圖像。第3個數據集C來自于2.2節得出最終清理的數據集。經過2.1節方式清理過的MSceleb數據集作為第4個數據集D，共有近90 000個人，8 500 000余張圖像。所有數據集按照11∶1的比例分為訓練集和驗證集，至少使用一個圖像作為驗證集。

3)網絡設置和參數

本文使用的是windows環境下配置的caffe平臺[29]來訓練模型，本節中的所有CNN模型都是相同的架構，詳細信息如圖3所示。學習率從0.1開始，學習策略(learning policy)多步衰減，迭代次數到15 000、24 000、32 000次時學習率分別除10，權重腐蝕(weight decay)為0.000 5，記憶因子(momentum)為0.9。

3.2 不同準確度數據庫訓練實驗

本實驗是研究不同精度數據庫對訓練的影響，使用UMDface數據庫和Webface數據庫，這兩個數據庫在保證數據準確性的程度上表現出很大的區別，UMDface的數據庫精度由大量人工信息標注，并且類別精確，Webface數據庫則沒有任何人臉標注信息，很難保證數據的準確性。MSceleb的準確性由于規模龐大，更加難以保證數據準確性，3個數據庫的詳細數據對比如表5所示。

表5 3個數據庫的屬性比較

在表6中，EER是等錯誤率的準確率，這種精度是面部識別性能的重要指標。當FPR較小時，較大的TPR可以進一步解釋模型的影響，應用場景不同對FPR的要求也不一樣。 因此，從表6可以看出，UMDface以最小的規模實現了最高的精度，而MSceleb數據庫規模最大，準確率也是最低的，數據的準確性對訓練的影響是非常大的，即使數據規模再大，無法保證較高的數據精度，也無法獲得較高的準確率，說明進行數據庫清理是非常有必要的。

表6 不同模型在LFW上的準確率

3.3 參數λ和一類圖像的最小靈敏度

參數λ在清理圖像數量方面起著重要作用，這可能會影響訓練結果，某類圖像的最小數量也可能會影響訓練。

在第1個實驗中，λ從0.1～1來完成數據集A的深度清理工作，并使用清理后的數據集來訓練模型，這些模型在LFW數據集上的準確率如圖6(a)所示。顯然，不做任何清理λ=1)準確率最差；正確選擇λ的值可以提高DCNN特征的準確率；進行不同程度的清理(λ不同)在一定范圍內準確率保持穩定，清理過度會導準確率下降。本文建議將λ的值設定在0.3～0.6，然后使用不同程度的清理數據集進行訓練，并選取最佳λ值。

在第2個實驗中，將λ值設為0.4，再繼續清理掉某些類圖像數目少于一定值(從10到20)的類，然后使用清理后的數據集來訓練模型，這些模型在LFW數據集上的準確率如圖6(b)所示。同樣，這種模式的準確性在一定范圍內可以穩定，最好的結果是每個類別中不少于15個人，參數λ=0.4，清理后的CASIA-webface數據集有9 240個人，一共400 000張圖像作為數據集C。

(a)不同的λ模型

(b)λ=0.4不同的最少圖像數目模型圖6 LFW數據集上驗證準確率Fig.6 Verification accuracy on LFW datasets

3.4 在LFW和Youtube face上的測試結果

表7是在LFW上的測試結果和其他算法結果的對比，模型A是由數據集A作為訓練集訓練出來的模型，模型B是由數據集B作為訓練集訓練出來的模型，模型C是由數據集C作為訓練集訓練出來的模型。

圖7顯示了不同方法的ROC曲線，我們可以從表7和圖7的測試結果中得出以下結論：首先，模型C在3個實驗模型中達到了最高的精度，模型B精度高于模型A，表明數據清理明顯提高了人臉識別訓練模型的準確性；其次，原來的Caffeface訓練所使用的數據集包含其他數據集，數據量更大，類別也是本文的2倍，而在測試時，Caffeface的結果是經過特征提取后的PCA處理， 本文的結果未被PCA處理，也與原來的結果非常接近，進一步證明了數據清理的有效性。

表7 LFW上的人臉驗證結果

(a)假正率0～0.3的ROC曲線

(b)假正率0～0.05的ROC曲線圖7 LFW 上不同方法的ROC曲線Fig.7 ROC curves of different methods on LFW

表8是在Youtube face數據集上本文得出的測試結果和其他算法結果的對比，測試協議按照3.1節對Youtube face數據庫的描述進行。

表8 Youtube face上的人臉驗證結果

圖8顯示了不同方法的ROC曲線，我們還可以從表8和圖8的測試結果中得出以下結論：模型C在3個模型中已經達到了最高的準確度，遠遠超過其他兩個模型的ROC曲線，在非限制條件下的視頻場景中，數據清理仍然會提高人臉識別精度。在目前的主流人臉識別算法中，模型C也顯示出顯著的成果，比3DMM算法、DeepID2 +算法、Deepface算法，以及Caffeface算法訓練的效果好。 圖像清理后，對數據集進行訓練，干擾因子較小，對于基于深卷積神經網絡的人臉識別非常有用。

(a)假正率0～0.3的ROC曲線

(b)假正率0～0.1的ROC曲線圖8 Youtube face上不同方法的ROC 曲線Fig.8 ROC curves of different methods on Youtube face

4 結束語

深度卷積神經網絡的發展得益于大數據，因為數據量夠大，計算機夠強大，機器本身才能學習出各種復雜的特征。而數據的準確性，也就是數據標簽、標注信息、類別等的準確性，也會對訓練的模型結果造成一定的影響，因此本文對數據庫清理方面做了研究。本文提出將數據庫進行多角度清理后再訓練的方法，通過與未清理和其他方法的比較發現，清理后的數據庫在訓練上結果更精確。實驗證明，清理后的數據集能夠提高網絡識別率。

目前，大多數公開的數據集仍含有很多噪聲，大規模數據去除噪聲仍是一個值得重視的問題。本文數據清理方法是否對所有數據庫具有普適性，是否已經存在更高效更準確的數據清理方法需要進一步探究。下一步的工作可以考慮將多個清理后的數據集進行合并來擴大數據量。

[1]SUN Y, WANG X, TANG X. Deep learning face representation by joint identification-verification[J]. Advances in neural information processing systems, 2014, 27: 1988-1996.

[2]SUN Y, WANG X, TANG X. Deep learning face representation from predicting 10,000 classes[C]// IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2014: 1891-1898.

[3]王曉剛，孫袆，湯曉鷗. 從統一子空間分析到聯合深度學習： 人臉識別的十年歷程[J]. 中國計算機學會通訊, 2015, 11(4): 8-15 .

WANG Xiaogang, SUN Hui, TANG Xiaoou. From unified subspace analysis to joint depth learning: ten years of face recognition[J]. China computer society newsletter, 2015, 11(4): 8-15.

[4]PARKHI O M, VEDALDI A, ZISSERMAN A. Deep face recognition[C]//British Machine Vision. London,Britain, 2015: 411-4112.

[5]SCHROFF F, KALENICHENKO D, PHILBIN J. FaceNet: A unified embedding for face recognition and clustering[C]// IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2015: 815-823.

[6]DING C, TAO D. A comprehensive survey on pose-invariant face recognition[J]. Acm transactions on intelligent systems and technology, 2015, 7(3): 37.

[7]SUN Y, LIANG D, WANG X, et al. DeepID3: face recognition with very deep neural networks[C]//IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2015: 963-971.

[8]SUN Y, WANG X, TANG X. Hybrid deep learning for face verification[J]. IEEE transactions on pattern analysis and machine intelligence, 2016, 38(10): 1997-2009.

[9]TAIGMAN Y, YANG M, RANZATO M, et al. Deepface: closing the gap to human-level performance in face verification[C]//IEEE Conference on Computer Vision and Pattern Recognition. Columbia,American,2014: 1701-1708.

[10]WEN Y, ZHANG K, LI Z, et al. A discriminative feature learning approach for deep face recognition[C]//ECCV Conference on Computer Vision.Amsterdam,Holand, 2016: 499-515.

[11]HUANG G B,MATTAR M, BERG T, et al. Labeled faces in the wild: a database for studying face recognition in unconstrained environments[J].Month, 2007.

[12]SUN Y, WANG X, TANG X. Deep learning face representation from predicting 10,000 classes[C]//IEEE Conference on Computer Vision and Pattern Recognition. Hawaii， USA， 2014: 1891-1898.

[13]LIU J, DENG Y, BAI T, et al. Targeting ultimate accuracy: face recognition via deep embedding[C]//European Conference on Computer Vision.Amsterdam,Netherlands, 2016: 499-515.

[14]TAIGMAN Y, YANG M, RANZATO M, et al. Web-scale training for face identification[C]//Computer Vision and Pattern Recognition.Columbus, USA, 2014: 2746-2754.

[15]SUN Y, WANG X, TANG X. Deeply learned face representations are sparse, selective, and robust[C]// Computer Vision and Pattern Recognition. Boston, USA, 2015: 2892-2900.

[16]SCHROFF F, KALENICHENKO D, PHILBIN J. Facenet: a unified embedding for face recognition and clustering[C]// IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2015: 815-823.

[17]WEN Y, ZHANG K, LI Z, et al. A discriminative feature learning approach for deep face recognition[C]//European Conference on Computer Vision. Amsterdam, Netherlands,2016: 499-515.

[18]SEITZ S M, MILLER D, et al.The megaface benchmark: 1 million faces for recognition at scale[C]//Computer Vision and Pattern Recognition. Las Vegas,USA,2016:4873-4882.

[19]BORJI A, IZADI S, ITTI L. iLab-20M: a large-scale controlled object dataset to investigate deep learning[C]// IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA, 2016: 2221-2230.

[20]KEMELMACHERSHLIZERMAN I, SEITZ S M, MILLER D, et al. The megaface benchmark: 1 million faces for recognition at scale[C]// Computer Vision and Pattern Recognition. Las Vegas, USA, 2016:4873-4882.

[21]GUO Y, ZHANG L, HU Y, et al. MS-Celeb-1M: challenge of recognizing one million celebrities in the real world[C]//Electronic imaging. San Francisco,USA,2016: 1-6.

[22]GUO Y, ZHANG L, HU Y, et al. MS-celeb-1M: a dataset and benchmark for large-scale face recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA, 2016: 113-124.

[23]BANSAL A, NANDURI A, CASTILLO C, et al. UMDFaces: an annotated face dataset for training deep networks[C]//IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA, 2016: 976-984.

[24]WOLF L, HASSENER T, MAOZ I. Face recognition in unconstrained videos with matched background similarity[C]// Computer Vision and Pattern Recognition. Colorado Springs, USA, 2011:529-534.

[25]GUO Y, ZHANG L. One-shot face recognition by promoting underrepresented classes[J]. Computer vision and pattern recognition， arxiv:1707.05574，2017.

[26]NECH A, Kemelmachershlizerman I. Level playing field for million scale face recognition[J]. Computer vision and pattern recognition， arxiv:1705.00393，2017.

[27]ZHANG K, ZHANG Z, LI Z, et al. Joint face detection and alignment using multitask cascaded convolutional networks[J]. IEEE signal processing letters, 2016, 23(10):1499-1503.

[28]HUANG G.B, LEARNED-MILLER E. Labeled faces in the wild: updates and new reporting procedures[R]. Technical report UM-CS-2014-003.

[29]JIA Y, SHELHAMER E, DONAHUE J, et al. Caffe: convolutional architecture for fast feature embedding[J]. Eprint arxiv, 2014:675-678.

[30]LIU F, ZENG D, ZHAO Q, et al. Joint face alignment and 3D face reconstruction[C]//European Conference on Computer Vision. Amsterdam,Netherlands, 2016: 545-560.

夏洋洋，男，1990年生，碩士研究生，主要研究方向為深度學習、圖像處理、人臉識別。

龔勛，男，1980年生，副教授，博士，主要研究方向為圖像處理及模式識別、三維人臉建模、人臉圖像分析及識別。獲國家發明專利2項，發表學術論文30余篇，出版專著 1部。

洪西進，男，1957年生，特聘教授，博士，主要研究方向為信息安全、生物辨識、云計算與大數據、智能圖像處理。發明專利13項,發表SCI期刊學術論文80余篇，國際學術會議論文110余篇。

Researchonthedatacleansingproblemforfacerecognitiontechnology

XIA Yangyang1, GONG Xun1, HONG Xijin1,2

(1.School of Information Science and Technology, Southwest Jiaotong University,Chengdu 611756, China; 2. Department of Computer Science and Information Engineering, National Taiwan University of Science and Technology, Taipei 10607, China)

Face recognition technology has made a significant progress in the rapid development of deep convolution neural networks (DCNN). These developments are mainly focused toward a denser DCNN architecture and larger training database. However, DCNN training is affected because the large-scale database held by most private companies are not publically accessible. Moreover, current large-scale open databases are not accessible because of the slight availability of the labeled information and hard-to-guarantee accuracy. This study presents an easy-to-use image cleansing method to improve the accuracy of data from the following perspectives: First, deleting the face image that cannot be detected by face detection; second, using the existing model to extract the features of an image on the cleaned dataset and calculate the similarity; and finally, counting the number of images that are unlike the other images. The data were cleansed according to the improved parameters extracted from the abovementioned perspectives. The experimental results reveal that the cleansed database training model has improved the accuracy of face recognition in LFW(labeled faces in the wild) and YouTube face database. In the case of using a small-scale dataset, an accuracy of 99.17% and 93.53% was achieved on the LFW and YouTube face datasets, respectively.

deep convolution neural network; DCNN; cleansing image; face recognition; large database

10.11992/tis.201706025

http://kns.cnki.net/kcms/detail/23.1538.TP.20171021.1350.012.html

TP391.4

A

1673-4785(2017)05-0616-08

中文引用格式：夏洋洋，龔勛，洪西進.人臉識別背后的數據清理問題研究J.智能系統學報， 2017, 12(5): 616-623.

英文引用格式：XIAYangyang,GONGXun,HONGXijin.ResearchonthedatacleansingproblemforfacerecognitiontechnologyJ.CAAItransactionsonintelligentsystems, 2017, 12(5): 616-623.

2017-06-08. < class="emphasis_bold">網絡出版日期

日期：2017-10-21.

國家自然科學基金項目(61202191)；計算智能重慶市重點實驗室開放基金項目(CQ-LCI-2013-06)；國家重點研發計劃項目(2016YFC0802209).

龔勛.E-mail:xgong@swjtu.edu.cn.