視頻人臉識別實驗平臺的設(shè)計與實現(xiàn)

范哲意, 曾亞軍, 蔣　姣, 翁澍沁, 劉志文

(北京理工大學(xué) 信息與電子學(xué)院, 北京　100081)

?

視頻人臉識別實驗平臺的設(shè)計與實現(xiàn)

范哲意, 曾亞軍, 蔣姣, 翁澍沁, 劉志文

(北京理工大學(xué) 信息與電子學(xué)院, 北京100081)

在VS2010編程環(huán)境下,結(jié)合OpenCV視覺庫設(shè)計并完成了一個人臉識別實驗平臺。首先檢測圖像中的人臉區(qū)域,然后通過子空間法將其映射到新的特征空間提取特征,最后使用支持向量機實現(xiàn)分類識別。該實驗平臺可完成人臉檢測、人臉識別功能,并實現(xiàn)了人臉數(shù)據(jù)庫的創(chuàng)建、修改以及查詢。在此實驗平臺上對ORL人臉數(shù)據(jù)庫和實際創(chuàng)建的數(shù)據(jù)庫進行實驗,實驗結(jié)果證明了視頻人臉識別實驗平臺的有效性。

人臉識別； 人臉檢測； 支持向量機； OpenCV； 實驗平臺

北京理工大學(xué)信息與電子學(xué)院在國家“985工程”三期建設(shè)項目的支持下,建設(shè)了“電子信息類大學(xué)生實踐創(chuàng)新平臺”,為培養(yǎng)高素質(zhì)創(chuàng)新人才提供了有利的條件。本文介紹的視頻人臉識別實驗平臺是大學(xué)生實踐創(chuàng)新平臺實踐創(chuàng)新活動的成果,由參與創(chuàng)新實踐活動的學(xué)生設(shè)計完成。

1　視頻人臉識別的基本方法

人臉識別是圖像處理、計算機視覺以及模式識別領(lǐng)域的研究熱點之一[1-2],在智能人機交互、視頻監(jiān)控等領(lǐng)域有廣泛的應(yīng)用。至今,關(guān)于人臉識別問題已有一些典型方法:(1)基于幾何特征[3]的識別方法,即由人臉形狀、頭部器官位置及其相對關(guān)系等幾何特征組成特征矢量,通過矢量匹配來確定不同人臉的相似性；(2)基于統(tǒng)計理論的識別方法,即將人臉看成一個整體,并將其特征表示為一個高維矢量,這樣,人臉識別問題就轉(zhuǎn)化為在高維空間中尋找最優(yōu)分類曲面的問題,主要有特征臉方法和Fisherface方法[4]等；(3)基于機器學(xué)習(xí)的識別方法,即通過計算機模擬人腦的思維方式,先對訓(xùn)練數(shù)據(jù)進行有監(jiān)督的學(xué)習(xí),再進行預(yù)測,主要有支持向量機[5]、深度學(xué)習(xí)[6]、稀疏表示[7]等。

支持向量機是20世紀90年代中期發(fā)展起來的基于統(tǒng)計學(xué)習(xí)理論的一種機器學(xué)習(xí)方法,通過尋求結(jié)構(gòu)化風險最小來提高分類器的泛化能力,實現(xiàn)經(jīng)驗風險和置信范圍的最小化。由于其能夠在統(tǒng)計樣本量較少的情況下達到良好的分類效果,適合于人臉識別,故采用此方法來設(shè)計分類器。

OpenCV[8]是Intel公司開發(fā)的一套完整、高效的開源計算機視覺庫,其通過C和C++語言編寫,包含了豐富的圖像處理、目標跟蹤和模式識別功能,且具有調(diào)用簡單、易讀易學(xué)的特點。視頻人臉識別實驗平臺在OpenCV和VS2010的開發(fā)條件下,利用其人臉檢測以及支持向量機函數(shù)庫功能,并通過MFC設(shè)計實現(xiàn)交互界面。

2　算法原理

視頻人臉識別包括訓(xùn)練過程和識別過程,其中的關(guān)鍵步驟有:人臉檢測,人臉圖像預(yù)處理、特征提取以及分類識別。

2.1人臉檢測

人臉檢測即從圖像中提取出人臉區(qū)域,常用方法有[9]基于膚色模型、基于紋理特征以及基于幾何特征等。本文通過提取Haar特征并訓(xùn)練Ada-Boost級聯(lián)分類器對圖像進行匹配[10],實現(xiàn)人臉檢測功能。

在人臉檢測過程中提取的特征為矩形特征,如圖1所示,特征值的大小即為矩形區(qū)域內(nèi)黑色區(qū)域像素值之和減去白色區(qū)域內(nèi)像素值之和。

圖1　部分矩形Haar特征

Ada-Boost分類器是一種迭代學(xué)習(xí)的方法,將足夠多的弱分類器進行級聯(lián)得到強分類器。Ada-Boost分類器通過增加錯分樣本權(quán)值的方法實現(xiàn)對于錯分樣本的強化學(xué)習(xí),從而增加分類器的整體泛化能力。

2.2人臉圖像預(yù)處理以及特征提取

人臉圖像預(yù)處理旨在去除噪聲,加強有用信息,并統(tǒng)一圖像尺寸大小[11],包括尺度歸一化和灰度歸一化操作。尺度歸一化即是通過插值或者采樣,使人臉圖像的尺寸達到統(tǒng)一；灰度歸一化是指采用光照補償?shù)忍幚矸椒p小光照變化對人臉檢測的影響。

人臉的特征提取是指從人臉中提取出能夠反映人臉信息的特征,通常情況下提取的特征包括顏色特征、紋理特征以及統(tǒng)計特征等。顏色特征和紋理特征會因為人臉姿態(tài)的變化產(chǎn)生較大差異,為此,本實驗平臺采用統(tǒng)計特征,即通過子空間法將人臉圖像特征映射到新的特征空間中[12]。

假設(shè)圖像矩陣表示為x∈Rm×n,訓(xùn)練集中共有k張人臉圖像,具體操作步驟如下。

(1) 圖像特征向量化。將圖像灰度特征x∈Rm×n按矩陣的列依次排成一個向量,表示為x∈Rmn×1,所有圖像組成矩陣X=[x1,x2,…,xk]∈Rmn×k。

(2) 訓(xùn)練矩陣的構(gòu)造。訓(xùn)練矩陣是由圖像矩陣減去平均圖像向量得到的,公式為

(1)

(3) 構(gòu)造關(guān)聯(lián)矩陣。關(guān)聯(lián)矩陣表示為

(2)

(4) 主成分提取。先求解矩陣C的特征值和特征向量,并按照特征值大小進行降序排列,分別表示為[λ1,λ2,…,λk]和[v1,v2,…,vk]。求前d個達到所有特征值能量80%以上的特征向量

(3)

由此構(gòu)成的特征向量形成的子空間即為特征的投影方向。

(5) 人臉特征空間映射。將所有圖像映射到新的子空間,得到人臉的特征矩陣為

(4)

2.3分類識別

分類是數(shù)據(jù)挖掘中一項非常重要的工作,它的目的是學(xué)習(xí)一個分類函數(shù)或分類模型,將數(shù)據(jù)庫中的數(shù)據(jù)項映射到給定類別中的某一個,從而實現(xiàn)對于數(shù)據(jù)類別的預(yù)測。其中的分類函數(shù)或分類模型即為分類器。本實驗平臺采用支持向量機作為分類器,其基本原理如下。

假設(shè)所有的樣本以及其類別標號表示為{xi,yi}(i=1,2,…,k),支持向量機是以二類分類為基礎(chǔ)的,其基本思想是創(chuàng)建一個超平面,使得此平面距離兩類樣本都盡可能地遠。設(shè)超平面方程為wTx+b=0,其目標函數(shù)表示為:

(5)

其中ξi(i=1,2,…,k)是松弛變量,對應(yīng)數(shù)據(jù)點xi允許偏離超平面的距離的量。C是一個懲罰參數(shù),用于控制公式中對于樣本偏離超平面的距離的權(quán)重。

將求解得到的w和b構(gòu)成超平面方程,待測樣本代入超平面方程進行求解,判斷其所屬類別。

3　實驗平臺的設(shè)計與實現(xiàn)

3.1實驗平臺介紹

人臉識別實驗平臺的硬件部分主要由攝像頭、視頻采集卡和計算機等組成。監(jiān)控用攝像頭不能直接讀取數(shù)據(jù),通過連接視頻采集卡并引入Windows的VideoInput庫實現(xiàn)圖片的讀取。

人臉識別實驗平臺的算法設(shè)計包括訓(xùn)練過程和識別過程。訓(xùn)練過程包括錄入人臉樣本庫,人臉預(yù)處理以及特征提取和分類器的訓(xùn)練等步驟；識別過程包括讀取待測試人臉圖片、預(yù)處理、特征提取以及預(yù)測結(jié)果等步驟,整體流程如圖2所示。實驗平臺通過VS2010加載OpenCV庫的方法實現(xiàn)上述所有功能,并通過MFC設(shè)計交互界面。

圖2　實驗的整體流程圖

3.2人臉識別實驗平臺軟件

通過OpenCV視覺庫和MFC設(shè)計人臉識別平臺的軟件運行界面如圖3所示。軟件實現(xiàn)了人臉數(shù)據(jù)庫的建立、修改、查詢以及人臉檢測和人臉識別功能。

圖3　人臉識別軟件界面

通過讀取計算機內(nèi)部圖像或者拍照的方式創(chuàng)建人臉數(shù)據(jù)庫,將所有的人臉圖像存儲在數(shù)據(jù)庫文件夾中,可以刪除其中不符合要求的人臉圖片。利用人臉識別功能,可以實現(xiàn)對計算機內(nèi)已有圖像中的人進行身份識別,還可以在攝像頭條件下采集特定幀數(shù),通過投票方式[13]識別身份。

4　實驗結(jié)果與分析

將ORL(olivetti research laboratory)數(shù)據(jù)庫和實際創(chuàng)建的數(shù)據(jù)庫在本實驗平臺上進行實驗,通過實驗結(jié)果的驗證,說明了該人臉識別實驗系統(tǒng)的有效性。

4.1在ORL數(shù)據(jù)庫中的實驗結(jié)果

ORL數(shù)據(jù)庫共包含40個人、每人10張人臉圖像,其中每個人的圖片包含了表情以及姿態(tài)變化,如圖4所示。實驗過程中將前7張圖片加入到數(shù)據(jù)庫中作為訓(xùn)練樣本,剩余的3張圖片用于識別。

圖4　部分ORL數(shù)據(jù)庫人臉圖像

實驗步驟如下:(1)由于標準數(shù)據(jù)庫中不需要進行人臉檢測,則直接將其加入到數(shù)據(jù)庫中即可；(2)進行人臉預(yù)處理和特征提取,得到的特征臉圖像如圖5所示；(3)在經(jīng)過預(yù)處理之后將剩余的3張圖片用于識別,其識別率為93.3%,證明了此算法的有效性。

圖5　部分特征臉圖像

4.2用實際創(chuàng)建的數(shù)據(jù)庫的實驗結(jié)果

在用標準人臉數(shù)據(jù)庫進行實驗之后,采集實驗者的照片,創(chuàng)建實際的數(shù)據(jù)庫并進行實驗。

首先是訓(xùn)練樣本的建立，可以用讀取已有圖像和攝像條件下截取圖像幀兩種方式進行。在讀取已有圖像時,包含多種表情以及姿態(tài)變化,其采集到的圖像如圖6(a)所示。攝像條件下采集到的人臉圖像具有連續(xù)的表情變化,如圖6(b)所示。

圖6　部分數(shù)據(jù)庫中的人臉圖像

然后是數(shù)據(jù)的預(yù)處理以及特征提取,得到的特征臉如圖7所示。

最后是識別功能。將訓(xùn)練好的支持向量機用于識別,既可以識別已有圖像的身份,也可以識別視頻序列中的目標身份。在識別已有圖像的過程中,分別選擇每個人的多張圖像進行識別,其識別率為92.5%。對于視頻條件下的身份識別采用的是投票法,采集固定幀數(shù)的視頻序列,對每一幀的識別結(jié)果進行投票,得票最多的為最終的識別結(jié)果,其識別率為95.8%。通過上述2個實驗證明了本實驗平臺的有效性。

圖7　部分特征臉圖像

5　結(jié)語

人臉識別是模式識別的重要組成部分,已成為許多高校本科生和研究生的創(chuàng)新實驗項目。本文闡述的基于VS2010和OpenCV的視頻人臉識別實驗平臺,具有人臉檢測、人臉識別和識別結(jié)果分析的功能,并在實驗中取得了較好的識別效果,證明了其有效性。

References)

[1] Chen Xue, Wang Chunheng, Xiao Baihua,et al. Scenario oriented discriminant analysis for Still-to-Video face Recognition[C]//Proceedings of IEEE International Conference on Image Processing.2014:738-742.

[2] Liao Shengcai, Jain A K, Li S Z. Partial face recognition: alignment-free approach [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(5):1193-1205.

[3] Brunelli R, Poggio T. Face Recognition: Features versus Templates[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,1993,15(10):1042-1052.

[4] Belhumeur P N, Hespanha J P, Kriegman D. Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):711-720.

[5] Boser B E, Guyon I M, Vapnik V N. A Training Algorithm for Optimal Margin Classifiers[C]//Proceedings of Annual Acm Workshop on Computational Leaning Theory,1996:144-152.

[6] 林妙真.基于深度學(xué)習(xí)的人臉識別研究[D].大連:大連理工大學(xué),2013.

[7] Wright J, Yang A Y, Ganesh A, et al. Robust Face Recognition via Sparse Representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210- 227.

[8] 雷靜.基于OpenCV的人臉跟蹤識別系統(tǒng)研究[D].西安:西安電子科技大學(xué),2010.

[9] 劉翠響,肖伶俐.基于視頻的人臉檢測綜述[J].電子設(shè)計工程,2011,19(14):172-174.

[10] Viola Paul, Jones Michael. Robust Real-Time Face Detection[J]. International Journal of Computer Vision, 2004, 57(2): 137-154.

[11] 周昕.基于BP神經(jīng)網(wǎng)絡(luò)的人臉識別技術(shù)的研究[D].南京:南京理工大學(xué),2007.

[12] Turk M, Pentland A. Eigenfaces for recognition[J]. Journal of Cognitive Neuroscience,1991,3(1):71-86.

[13] 師飛龍,李嵐,徐楠楠.基于多數(shù)投票的DBC人臉識別[J].計算機工程與應(yīng)用,2014(11):163-166.

Design and realization of experimental platform for video face recognition

Fan Zheyi, Zeng Yajun, Jiang Jiao, Weng Shuqin, Liu Zhiwen

(School of Information and Electronics, Beijing Institute of Technology, Beijing 100081, China)

A face recognition experimental platform was designed and realized combining OpenCV under VS2010. It can detect face in image firstly, then map this face image into a new feature space, and finally use the support vector machine (SVM) classifier to recognize new face videos. This experiment platform could detect face in image and recognize face, at the same time it can realize the establishment, modification and enquiry of the data in the database. The experimental results in ORL and database collected by ourselves show that it is effective.

face recognition; face detection; support vector machine; OpenCV; experimental platform

10.16791/j.cnki.sjg.2016.03.040

2015- 10- 22修改日期:2015- 11- 08

范哲意(1983—),男,福建莆田,博士,實驗師,主要從事信號與圖像處理方向教學(xué)科研及實驗室建設(shè)與管理工作.

E-mail:funye@bit.edu.cn

TP391.41

A

1002-4956(2016)3- 0159- 03