局部特征臉型分類方法

孫勁光，鄧智碩

(遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院，遼寧 葫蘆島 125105)

局部特征臉型分類方法

孫勁光，鄧智碩

(遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院，遼寧 葫蘆島 125105)

本文針對(duì)傳統(tǒng)臉型分類算法特征點(diǎn)定位不準(zhǔn)和過度依賴輪廓曲線的問題，提出了一種人臉輪廓圓形鄰域局部特征表達(dá)方式和臉型分類模型。首先，初步定位臉型輪廓特征點(diǎn)；然后，在特征點(diǎn)周圍選取三重八連通圓形鄰域，通過計(jì)算一級(jí)鄰域、拓展鄰域與中心區(qū)域間的紋理變化，生成二進(jìn)制編碼序列，構(gòu)造臉型局部特征向量；最后，設(shè)計(jì)OVO-RBF-SVM多分類模型，實(shí)現(xiàn)臉型分類。本文方法在CAS-PEAL人臉庫上進(jìn)行臉型類型判別，獲得了94.28%的準(zhǔn)確率；在相同情況下，分別與基于主動(dòng)形狀模型和基于下頜曲線模型的臉型類型判別方法進(jìn)行對(duì)比，準(zhǔn)確率分別提高了6.64%和6.58%。本文所研究的方法在一定程度上解決了特征點(diǎn)定位相對(duì)不準(zhǔn)確導(dǎo)致誤差增加的問題，同時(shí)盡可能多利用圖片原始信息，保證輪廓特征提取的準(zhǔn)確率，具有較強(qiáng)的魯棒性。通過實(shí)驗(yàn)證明本文方法適用于臉型分類。

臉型分類；圓形鄰域；特征編碼；局部特征表達(dá)；多分類支持向量機(jī)

近年來，在模式識(shí)別和計(jì)算機(jī)視覺等領(lǐng)域中，人臉識(shí)別已經(jīng)成為重要的研究課題。人臉識(shí)別即通過計(jì)算機(jī)提取待處理人臉圖像的特征，在庫中找到對(duì)應(yīng)的身份信息，從而實(shí)現(xiàn)人臉與身份的匹配。人臉識(shí)別技術(shù)在安全領(lǐng)域中扮演著非常重要的角色，而且該技術(shù)還具有巨大的應(yīng)用前景。

香港中文大學(xué)湯曉鷗教授領(lǐng)導(dǎo)的計(jì)算機(jī)視覺研究小組宣布他們開發(fā)了一個(gè)名為DeepID 系列的深度學(xué)習(xí)模型,在 LFW (labeled faces in the wild)數(shù)據(jù)庫中得了 99.45%的識(shí)別率,超出了人類用肉眼達(dá)到的 97.52%的識(shí)別率,這一成果極大地提升了人臉識(shí)別技術(shù)的可信度,同時(shí)也將 Facebook 的DeepFace人臉識(shí)別的準(zhǔn)確率提升了近2個(gè)百分點(diǎn)[1-5]。臉型分類對(duì)于人臉識(shí)別的速度與準(zhǔn)確率起著重要作用。雖然DeepID 系列取得了如此卓越的成果，但由于該模型依然采用局部細(xì)節(jié)特征及整體特征融合判別形式，與人類對(duì)人物識(shí)別的認(rèn)知方式(外形-輪廓-細(xì)節(jié))和基于外形再進(jìn)行細(xì)節(jié)判斷的相似性判別方式存在不一致性，因此，本文從局部特征出發(fā)，以人類的認(rèn)知方式探索人臉輪廓分類的方法。

傳統(tǒng)的人臉輪廓分類算法過度依賴臉型輪廓的曲線特征，而忽略臉型周圍的紋理特征，在提取臉型輪廓時(shí)，對(duì)圖片質(zhì)量要求過高，極易產(chǎn)生誤差，很難構(gòu)建準(zhǔn)確的人臉輪廓曲線。為了克服特征點(diǎn)定位不準(zhǔn)確的問題，充分利用圖片原始信息，保證人臉輪廓特征的準(zhǔn)確率，提出采用圓形鄰域局部特征表達(dá)(round local feature expression，RLFE)的形式描述人臉輪廓特征。

1 相關(guān)工作

與此相比，文獻(xiàn)[8]提出了基于ASM主動(dòng)形狀模型的方法，原理簡(jiǎn)單，準(zhǔn)確率較高。由先驗(yàn)知識(shí)，將作為訓(xùn)練樣本的人臉分為橢圓臉、圓臉、方臉和三角臉，訓(xùn)練不同的臉型得到不同臉型的形狀模型，然后分別通過對(duì)比經(jīng)典ASM模型與分類后模板模型定位的特征點(diǎn)來確定臉型。如模型s0=stype+Δ，其中s0、stype分別表示經(jīng)典ASM模型和模板模型定位的特征點(diǎn)集合，當(dāng)Δ越接近零向量，說明待測(cè)臉型與模板模型越相似。但是，在實(shí)際應(yīng)用中模型運(yùn)算量巨大，并且不能解決ASM模型定位不準(zhǔn)帶來的誤差。

2 RLFE人臉輪廓特征表達(dá)方法研究

為了克服人臉輪廓特征點(diǎn)存在不準(zhǔn)確可能性，通過對(duì)人臉輪廓特征點(diǎn)周圍的細(xì)節(jié)特征的分析，以輪廓特征點(diǎn)為核心進(jìn)行鄰域區(qū)域劃分，利用面部區(qū)域特征的連貫特性，構(gòu)建出RLFE表達(dá)式，并對(duì)每個(gè)特征點(diǎn)進(jìn)行特征編碼，構(gòu)建輪廓特征向量；以此為基礎(chǔ)，設(shè)計(jì)多分類器，建立臉型輪廓的多分類模型。

2.1 基于圓形鄰域的人臉輪廓特征區(qū)域劃分方法

式中：(xi,yi)表示鄰域內(nèi)像素點(diǎn)，r為特征點(diǎn)到中心區(qū)域邊緣半徑，αgi表示gi區(qū)域所對(duì)應(yīng)的圓心角。r值的選取見5.1節(jié)。

2.2 特征鄰域?qū)R

為了保證圖像中的正面人臉處于垂直方向，規(guī)定圖像中人臉的眉心到鼻尖的方向?yàn)闃?biāo)準(zhǔn)方向。根據(jù)標(biāo)準(zhǔn)方向與豎直方向的夾角，計(jì)算每個(gè)鄰域的偏差角度，假設(shè)眉心點(diǎn)為A(x1,y1)、鼻尖點(diǎn)為B(x2,y2)，則每個(gè)區(qū)域需要旋轉(zhuǎn)偏差角度β，如圖2所示。根據(jù)偏差角β測(cè)定調(diào)整特征鄰域角度，見式(3)和式(4)。

圖1 圓形鄰域示意圖Fig.1 Schematic diagram of circular neighborhood

圖2 偏差角示意圖Fig.2 Schematic diagram of deviation angle

2.3 特征編碼

為了便于人臉特征的分類，本文提出根據(jù)圓形鄰域的區(qū)域強(qiáng)度關(guān)系，構(gòu)建人臉輪廓區(qū)域的特征，提取的特征抽象成編碼。將每個(gè)鄰域的平均灰度作為區(qū)域強(qiáng)度，即

式中:i=1,2,…,8；pij為點(diǎn)(xij,yij)的灰度值，j=1,2,…,Nj。

通過比較中心區(qū)域與各個(gè)鄰域的強(qiáng)度關(guān)系，即

生成相應(yīng)的二進(jìn)制序列；采取異或輸出的方式進(jìn)行編碼，相同梯度鄰域的強(qiáng)度關(guān)系相同，輸出結(jié)果為1，否則結(jié)果為0。最終結(jié)果可以直觀地表達(dá)出相同方向梯度上強(qiáng)度關(guān)系是否一致，RLFE特征表達(dá)的方法見公式(7)～(9)，即

一級(jí)鄰域編碼為

式中：i=0,2,…,7。

擴(kuò)展鄰域編碼為

式中：i=0,2,…,7。

RLFE編碼為

⊕

每張人臉輪廓上特征點(diǎn)按照同位置、同順序的方式排列，將特征點(diǎn)的特征編碼按照該順序級(jí)聯(lián)起來，級(jí)聯(lián)后的序列作為該臉的特征向量，記作X=(x1,x2,…,xn)，其中xn表示第n個(gè)特征點(diǎn)的特征編碼。由于每個(gè)特征點(diǎn)都融合各個(gè)方向鄰域間的梯度強(qiáng)度變化關(guān)系，特征向量可以準(zhǔn)確地表達(dá)人臉輪廓，具有較強(qiáng)的鑒別能力。

3 OVO-RBF-SVM分類器設(shè)計(jì)

3.1 基于Fisher準(zhǔn)則的人臉分類RBF-SVM模型設(shè)計(jì)

基于SVM分類思想與Fisher準(zhǔn)則基本思想[9]，本分類模型旨在找到一個(gè)最優(yōu)方向，將原始數(shù)據(jù)向這個(gè)方向投影，使同類數(shù)據(jù)間距離盡可能小，異類間距離盡可能大。因此本文用Fisher準(zhǔn)則的思想，優(yōu)化RBF-SVM核參數(shù)，構(gòu)建RBF-SVM分類模型。

假設(shè)X1=(x11,x12,…,x1n1),X2=(x21,x22,…,x2n2)為RLFE提取的兩類人臉特征。這兩類特征映射到高維度空間中的均值μ1,μ2分別為

類間離散度的平方Sb為

X1和X2的類內(nèi)離散度的平方分別為

根據(jù)Fisher準(zhǔn)則，求解最優(yōu)核參數(shù)就轉(zhuǎn)化為求解最大值。

根據(jù)上述方法優(yōu)化核參數(shù)γ得到的RBF-SVM核函數(shù)分類模型為

3.2 OVO-RBF-SVM多分類模型

式中：σij表示分類器在第i類和第j類之間的分類結(jié)果，ωk表示第k類勝利的次數(shù)。

4 算法描述

算法1 RLFE算法描述

輸入 帶有類別信息的N個(gè)訓(xùn)練樣本S，每個(gè)樣本人臉輪廓特征點(diǎn)個(gè)數(shù)為T。

輸出 臉型輪廓特征向量X=(x1,x2,…,xn)。

FORi=1 toN

FORj=1 toT

CodingBij,Cij;

RLFE(x,y);

END FOR

END FOR

算法2 OVO-RBF-SVM多分類算法描述

輸入：帶有K種類別信息的N個(gè)臉型輪廓特征向量X，未知的測(cè)試樣本T。

輸出：測(cè)試樣本類型ANS。

IFσij=0

ωi=ωi+1；

ELSE

ωj=ωj+1；

END IF

END FOR

依照式(17)輸出未知測(cè)試樣本的類別。

5 實(shí)驗(yàn)分析與實(shí)現(xiàn)

國(guó)際上沒有標(biāo)準(zhǔn)的關(guān)于臉型的人臉庫，所以本文采用CAS-PEAL人臉庫[10]中的1 000張溫和光照，無表情的正面人臉進(jìn)行驗(yàn)證，并綜合10位專家的意見，將其分為圓臉、橢圓臉、方臉和三角臉4種臉型庫。采用交叉實(shí)驗(yàn)方法，每種臉型隨機(jī)選出若干個(gè)樣本，進(jìn)行3次實(shí)驗(yàn)。

5.1 鄰域半徑對(duì)分類準(zhǔn)確率影響分析

由于人臉輪廓的特殊性，圓形鄰域尺度選擇對(duì)識(shí)別率有較大的影響，偏大的鄰域不能表達(dá)鄰域間強(qiáng)度變化特點(diǎn)，偏小的鄰域則過于敏感，易出現(xiàn)更大的誤差，本文在上述人臉庫中對(duì)不同鄰域半徑的RLFE特征表達(dá)做了研究，結(jié)果如表1所示，其中dis表示相鄰兩個(gè)特征點(diǎn)間的距離。

表1 不同鄰域半徑對(duì)準(zhǔn)確率的影響

5.2 特征點(diǎn)定位對(duì)分類準(zhǔn)確率影響分析

由于中心區(qū)域的存在，使得對(duì)特征點(diǎn)定位要求降低，并不需要十分精準(zhǔn)的定位人臉輪廓，只需中心區(qū)域定位在面部輪廓即可。如圖3所示，特征點(diǎn)A定位在人臉輪廓上時(shí)，我們認(rèn)為特征點(diǎn)A定位準(zhǔn)確；特征點(diǎn)B未定位在輪廓上，但是特征點(diǎn)中心區(qū)域定位在輪廓上，我們認(rèn)為特征點(diǎn)B定位不準(zhǔn)確。

圖3 特征點(diǎn)定位示意圖Fig.3 Schematic diagram of feature point location

如表2～4所示，隨著不準(zhǔn)確特征點(diǎn)個(gè)數(shù)的上升，識(shí)別率略有下降，當(dāng)初始定位點(diǎn)存在1/2不準(zhǔn)確時(shí)，基本不影響識(shí)別準(zhǔn)確率。所以本文所研究的方法基本上解決了特征點(diǎn)定位不準(zhǔn)帶來的識(shí)別率下降問題，在一定的程度上提高了識(shí)別系統(tǒng)的容錯(cuò)性。

表2 特征點(diǎn)全部定位在人臉輪廓上的實(shí)驗(yàn)結(jié)果

Table 2 The experimental results of all feature points on the face contour

臉型測(cè)試樣本數(shù)正確分類數(shù)第1次第2次第3次準(zhǔn)確率/%圓臉4542414291.85橢圓臉5048474794.66方臉5048494896.66三角臉3028282792.22總計(jì)17516616516494.28

表3 1/2特征點(diǎn)未在人臉輪廓上的實(shí)驗(yàn)結(jié)果

Table 3 The experimental results with 1/2 feature points not on the face contour

臉型測(cè)試樣本數(shù)正確分類數(shù)第1次第2次第3次準(zhǔn)確率/%圓臉4541404190.37橢圓臉5047474794.00方臉5048484896.00三角臉3028272791.11總計(jì)17516416216393.14

表4 3/4特征點(diǎn)未在人臉輪廓上的實(shí)驗(yàn)結(jié)果

Table 4 The experimental results with 3/4 feature points not on the face contour

臉型測(cè)試樣本數(shù)正確分類數(shù)第1次第2次第3次準(zhǔn)確率/%圓臉4513161633.33橢圓臉5019171735.33方臉5010151426.00三角臉30851025.56總計(jì)17550535730.47

5.3 不同算法準(zhǔn)確率對(duì)比分析

為了驗(yàn)證本文所研究方法的有效性，與其他具有代表性的算法進(jìn)行對(duì)比實(shí)驗(yàn)。從表5可以看出，由于解決了特征點(diǎn)定位不準(zhǔn)的問題，本文所研究的方法的準(zhǔn)確率相對(duì)于其他算法有較大提升，從分類的結(jié)果上來看，還是十分令人滿意的。

表5 各種算法準(zhǔn)確率比較

6 結(jié)束語

針對(duì)傳統(tǒng)臉型分類算法的不足，本文提出用RLFE特征表達(dá)方式構(gòu)建人臉輪廓特征向量，以初始特征點(diǎn)為圓心劃分出三重鄰域，盡可能減小特征點(diǎn)定位帶來的分類準(zhǔn)確率誤差。與傳統(tǒng)的臉型分類算法相比，分類準(zhǔn)確率有較大的提升。但是本文只在靜態(tài)、溫和的環(huán)境下進(jìn)行實(shí)驗(yàn)，在動(dòng)態(tài)、復(fù)雜環(huán)境下區(qū)分臉型是未來的工作重點(diǎn)。隨著虛擬現(xiàn)實(shí)的發(fā)展，未來三維數(shù)據(jù)處理必將成為研究的熱點(diǎn)，將本文方法移植到三維圖像[11]上也是下一步的工作重點(diǎn)。

[1] LUO Ping, WANG Xiaogang, TANG Xiaoou. Hierarchical face parsing via deep learning[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA, 2012: 2480-2487.

[2]SUN Yi, WANG Xiaogang, TANG Xiaoou. Deep learning face representation from predicting 10,000 classes[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA, 2014: 1891-1898.

[3]LU Chaochao, ZHAO Deli, TANG Xiaoou. Face recognition using face patch networks[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, NSW, Australia, 2013: 3288-3295.

[4]ZENG Xingyu, OUYANG Wanli, WANG Xiaogang. Multi-stage contextual deep learning for pedestrian detection[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, VIC, Australia, 2013: 121-128.

[5]SUN Yi, WANG Xiaogang, TANG Xiaoou. Hybrid deep learning for face verification[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, NSW, Australia, 2013: 1489-1496.

[6]王俊艷, 蘇光大. 基于下頜輪廓線的人臉分類方法[J]. 紅外與激光工程, 2004, 32(2): 159-163. WANG Junyan, SU Guangda. Human face classification method based on chin contour[J]. Infrared and laser engineering, 2004, 32(2): 159-163.

[7]凌旭峰, 楊杰, 楊勇. 基于輪廓線曲率特征的人臉分類及識(shí)別[J]. 紅外與激光工程, 1999, 28(4): 37-39. LING Xufeng, YANG Jie, YANG Yong. Curvature-feature-based method for human face classification and recognition[J]. Infrared and laser engineering, 1999, 28(4): 37-39.

[8]杜立強(qiáng), 賈鵬, 周宗潭, 等. 基于主動(dòng)形狀模型的人臉臉型自動(dòng)分類算法[J]. 計(jì)算機(jī)應(yīng)用, 2009, 29(10): 2710-2712, 2715. DU Liqiang, JIA Peng, ZHOU Zongtan, et al. Human face shape classification method based on active shape model[J]. Journal of computer applications, 2009, 29(10): 2710-2712, 2715.

[9]KIM S W, OOMMEN B J. On using prototype reduction schemes to optimize kernel-based fisher discriminant analysis[J]. IEEE transactions on systems, man, and cybernetics, part B (cybernetics), 2008, 38(2): 564-570.

[10]GAO Wen, GAO Bo, SHAN Shiguang, et al. The CAS-PEAL large-scale Chinese face database and baseline evaluations[J]. IEEE transactions on systems, man, and cybernetics—part A: systems and humans, 2008, 38(1): 149-161.

[11]SARAKON P, CHAROENPONG T, CHAROENSIRIWATH S. Face shape classification from 3D human data by using SVM[C]//Proceedings of the 7th Biomedical Engineering International Conference. Fukuoka, Japan, 2014: 1-5.

Local feature facial classification method

SUN Jinguang1， DENG Zhishuo2

(School of Electronic and Information Engineering, Liaoning Technical University, Huludao 125105, China)

Considering the problems where the feature points of traditional facial classification algorithms are not located in the position of the actual feature points and are heavily dependent upon the contour curve, a facial contour circular neighborhood local feature expression and a facial classification model were proposed.First, the preliminary facial contour feature points were located and then around the feature points, the triple eight connected round-neighborhood was selected.By calculating a neighborhood level and expanding the neighborhood with the central area between the texture changes, the binary code sequence was generated and the tectonic facial local feature vectors can be created. Then, the faces were classified by designing the OVO-RBF-SVM classification model. The experiment was conducted on the CAS-PEAL face library for facial contour feature discrimination, achieving 94.28% accuracy rate; under the same circumstances, the face-type discrimination methods which are based on the active shape model and jaw curve model were compared, and the accuracy rate raised 6.64% and 6.58%, respectively. To a certain extent, the method proposed in this paper solves the problem where the error increases when the location of the feature points are relatively inaccurate, and at the same time, the original picture information is utilized as much as possible, to ensure the accuracy of the contour feature extraction, which has strong robustness. The experimental results show that this method is suitable for facial classification.

facial classification; round-neighborhood; feature coding; local feature representation; multi classification support vector machineface

孫勁光，女，1962年生，博士，教授，博士生導(dǎo)師，計(jì)算機(jī)學(xué)會(huì)(CCF)會(huì)員(21314S)，主要研究方向?yàn)橛?jì)算機(jī)圖像處理、計(jì)算機(jī)圖形學(xué)、知識(shí)工程。

鄧智碩，男，1992年生，碩士研究生，研究方向?yàn)橛?jì)算機(jī)圖像處理。

10.11992/tis.201605021

http://kns.cnki.net/kcms/detail/23.1538.TP.20170227.1805.016.html

2016-05-23.

日期：2017-02-27.

國(guó)家自然科學(xué)基金青年基金項(xiàng)目(61401185).

鄧智碩. E-mail:deng2006zs@163.com.

TP391.41

A

1673-4785(2017)01-0104-06

孫勁光，鄧智碩. 局部特征臉型分類方法[J]. 智能系統(tǒng)學(xué)報(bào)， 2017, 12(1): 104-109.

英文引用格式：SUN Jinguang， DENG Zhishuo2. Local feature facial classification method[J]. CAAI transactions on intelligent systems, 2017, 12(1): 104-109.