三維人臉特征提取方法綜述

王宏勇，王青青

(河南工業大學信息科學與工程學院，河南 鄭州 450001)

在實際環境中，同一個人在不同光照和姿態下的人臉圖像會存在表觀上的差異，而這種差異通常比不同人在幾乎相同的光照和姿態下的差異還大。單一的二維圖像，不可避免地受到光照、背景和姿態表情的影響［1］，提取精度受到較大限制。而三維數據具有光照、姿態不變的特性［2］，對提高特征提取的精度有較為重要的意義，因而受到廣泛的研究。研究者大多是基于局部特征和整體特征進行特征提取。常用的局部特征有人臉曲線，幾何測量特征，以及剛性區域等。這些局部特征的提取一般是首先定位嘴角、鼻尖、額頭等特征點，在準確定位特征點的基礎上，進一步提取有利于人臉識別的特征。整體特征提取主要是針對深度圖像和EGI圖。

1 局部特征提取

1.1 特征點定位

特征點能否準確定位對進一步的研究工作具有重要意義。在特征點定位方面主要有兩類方法:一是基于對稱性的，從獲取人臉的對稱平面開始，進而定位其他的特征點;二是基于幾何特征的，利用特征點的深度、曲率等幾何特征進行定位特征點。

Wang Yingjie［3］等人將特征束的思想推廣到三維人臉特征點定位，首先是手工標定訓練集的特征點，計算特征點處的Point Signature，構成特征束，同時判定人臉特征點的平均區域。對于新的模型，在平均區域內尋找和特征束最匹配的點即為特征點。該方法允許人臉姿態和表情有少量變化。Moreno A B［4］等人使用平均曲率和高斯曲率對三維人臉模型進行分割，得到人臉特征點的候選區域，然后通過五官分布特征，去掉非標準區域，得到真正的標志區域。該方法要求人臉為正面或近似正面。楊穎［5］使用區域生長的種子算法構造器官輪廓區域。因為在Marr的視覺理論中，人類視覺對邊緣信息更為敏感，通過得到人臉器官輪廓的邊緣，就可利用各種方法進行人臉特征的精確提取和定位。而在使用區域生長算法構造器官輪廓后，根據器官模板，使用最小二乘法擬合邊界，最終得到標志點。該方法要求人臉的姿態恒定。王蜜宮、陳鍛生、林超等人［6］提出了基于局部形狀圖(Local Shape Map，LSM)的三維人臉特征點自動定位方法，所有人臉上的同一特征點能形成特殊且相似的LSM，因此可以考慮利用LSM來實現這些點的精確定位。一個點的LSM使用包含在以該點為球心的球體內部點來構造描述這一點的局部形狀的二維直方圖。該方法首先使用曲率表示的形狀索引與曲度來選擇特征候選點然后利用LSM統計模型，實現任意姿態下的三維人臉鼻尖和內眼角的自動精確定位，該方法完全不受膚色和光照的影響，受方向、姿態和表情的變化影響也較小。

在特征點定位中比較重要的方法是采用Shape Index特征來定位特征點。Dorai［7］等人提出了 Shape Index特征，來表示每一點的凹凸程度，點p的Shape Index是由其最大和最小曲率計算的:一般鼻尖點候選點集中選取Shape Index值在0.85～1之間的點組成鼻尖區域，鼻尖點定位于區域的質心，在內眼角候選點集中選取Shape Index值在0～0.27之間的點組成內眼角區域，內眼角定位于區域的質心

其中，k1為最大曲率;k2為最小曲率k2≤k1其取值范圍在0～1之間。

LU Xiaoguang［8］在柱面坐標系下，重采樣為均勻網格來計算Shape Index特征，該特征在0～1之間分布，越接近0，表示該處曲面越凹，越接近1，表示該處曲面越凸。通過均值模板尋找特征最小點，即為眼窩點，然后利用標志點之間的相對位置和曲率特征定位其他特征點。由于Shape Index特征具有姿態不變性，能夠較好地表示標志點處的凹凸特性，故被廣泛使用。該方法要求三維數據為均勻網格，且為豎直分布，即只允許人臉繞豎直左右轉動。

張廣鵬，張艷寧［9］提出了一種新的基于連續Shape Index和幾何約束的特征點定位方法，通過對點的鄰域擬合二次曲面，來計算Shape Index，獲得了更為精確和魯棒的特征。在幾何約束方面，其采用通過訓練樣本建立一個統一的人臉標志區域分布模型。通過幾何約束，可實現真正與姿態無關的特征點定位。

李曉莉，達飛鵬［10］也是基于Shape Index特征提取人臉特征點，但在人臉候選點集的選取方面，由于人臉點云是一張上下方向較長，左右跨度劇中，前后厚度較小的曲面，因此采用了主元分析法PCA，提取了3個主方向的特征向量，形成人臉主軸坐標系，而鼻尖點在人臉坐標系附近，內眼角的大致位置也可確定，這就將特征點的定位過程限定在一定范圍內，不僅提高了特征點定位的精度，也減少了計算量。

1.2 局部特征提取

在準確進行特征點的定位上，國內外學者對局部特征的提取也進行了積極的研究。主要包括:曲線、幾何測量特征及剛性區域的提取。

人臉曲線主要包括人臉側面輪廓線，鼻尖處橫切輪廓線，額頭橫切輪廓線，眼睛下方的水平曲線和下巴輪廓線等，人臉曲面形狀可用若干條從人臉曲面提取的二維曲線近似表示。Nagamine T［11］等提出使用臉部曲線作為特征，首先使用啟發式方法提取臉部的幾個特征點，通過這些點可確定對稱平面，進而在統一的坐標系中提取側面輪廓線、眼睛下方的水平曲線和鼻尖區域曲線，然后將這3條曲線離散成特征向量，通過比較最相近向量來完成人臉匹配。實驗結果表明側面輪廓線的識別能力最強，但對于局部的擾動變化，該方法不魯棒。Pan G［12］使用 ICP(Iterative Closest Point)的對稱平面檢測方法檢測對稱面，得到側面輪廓線，隨后進一步提取水平輪廓線，該方法可要求人臉任意變換。國內學者宋曉冰、雷蘊奇［13］等根據在所有點云坐標中，深度值最大的點，只可能是最凸起額頭點、鼻尖點、嘴巴點和下巴點，這幾個點均在人臉中分輪廓線上，使用最高深度點的垂直向點集來確定人臉中分輪廓線，得到了較為滿意的實驗結果。而且對人臉側面輪廓線做了進一步的分析發現，輪廓線嘴巴處受表情影響嚴重，因此將人臉側面輪廓線分成兩段:(1)額頭到嘴唇上點;(2)嘴唇上點到下巴，從而克服了嘴巴處的形變影響。

有不少學者基于幾何測量特征進行特征提取，該方法較為簡單。常用的幾何測量特征主要有距離特征、角度特征以及體積特征。距離特征如前額點到鼻尖點的距離、鼻根點到鼻尖的距離、鼻下點到嘴唇上點的距離、內眼角點間距離、前額點到內眼角的距離等，角度特征如前額點、鼻根、鼻尖形成的角度，鼻尖、鼻下根、上嘴唇點的角度。左眼內眼角、鼻根、右眼內眼角形成的角度等，體積特征如鼻子的體積。國內學者雷云奇、宋曉冰［13］的研究發現利用幾何特征可區分不同的人臉，但由于人臉需要三庭五眼規則，較多特征值均極為接近，因此該方法對標志點定位的精度要求極高，而且有的特征值之間相差較大，有些相差較小，這樣得到的歐式距離過于接近，容易造成錯誤識別。該方法要求對特征點定位的精度要求較高，降低了識別算法的穩健性。因此可采用幾何測量特征和輪廓線特征分級使用來提高精度。

在對剛性區域的研究上發現人臉不同區域對表情的敏感程度是不同的，將同一對象在不同表情下的人臉分別與中性表情人臉進行剛性匹配，在所有匹配中均有較好效果的可認為是人臉剛性區域。國內學者李曉莉、達飛鵬［10］在基于側面輪廓線和剛性區域的研究中發現鼻子和眼睛、額頭是人臉最穩定的區域，在提取有價值輪廓線的基礎上，利用人臉剛性區域進行匹配，實驗表明可以降低表情對識別產生的影響。

2 整體特征提取

常用的整體特征有:用深度圖表示三維人臉數據，將三維人臉映射成EGI圖。文獻［14］闡述了根據深度圖像特征提取的形狀特征是與光照變化無關的。深度圖是將三維人臉的點云數據正交投影，按深度值重采樣為規整數據，就可得到三維人臉的深度圖像，所得每幅人臉深度圖像均蘊含了與其對應的三維空間點之間的鄰接關系，由于深度圖像可以看作是一幅二維圖像，每一點的像素值代表對應點的深度值，則二維人臉特征提取算法可以運用于深度圖上，如PCA等。EGI圖是通過曲面上任何一點的法向量將該點映射到一個單位球面上，利用這種將曲面轉換為單位球面上的質量分布映射圖，變成擴展高斯圖(EGI)。

2.1 基于深度圖的PCA提取

Kirby和 Sirovich等人［15］討論了利用PCA進行人臉圖像的最優表示問題，Turk和Pentland［16］發現K_L展開后的特征向量在還原成圖像矩陣時，是一張標志化的人臉。因為以K_L變換為基礎的PCA算法是統計最優的，其使得壓縮前后的圖像均方誤差最小，且變換后的低維空間有較好的分辨能力方法簡便、快速，在實際中得到了廣泛的應用。但也有不足之處:首先，經典的PCA算法是以所有樣本的最優重建為目的，對于描述不同樣本間的差異而言，其不是最優的描述。其次，當采用主成份分析方法提取人臉特征時，人臉圖像的局部特征通常反映了人臉的內在特性，圖像中的像素占有同等地位，對于人臉特征如嘴巴，鼻子，眼睛等特征未強調其重要性。最后一幅圖像的高階統計信息往往包含了圖像邊緣或曲線的多個像素之間的非線性關系，而PCA只考慮了二階統計信息，忽略了多個像素之間的非線性關系。

基于最后一個不足，國內學者阮秋奇，田文君［17］等人提出了局部保持投影算法。該算法在拉普拉斯映射方法的基礎上提出，不僅具有保持數據集非線性結構不變的特點且繼承了線性方法計算方便快捷的優點，又有一般的線性降維方法，而且還具有高維數據內蘊特征或非線性結構的自動發現功能。

2.2 基于EGI圖提取

Lee J C［18］首先將EGI應用與人臉深度圖像的匹配，首先利用高斯曲率和平均曲率劃分人臉的凹凸區域，然后將凸區域映射在單位球上，將平均曲率作為單位球上對應點的支撐函數值，形成EGI圖，然后用圖匹配算法計算兩個人臉模型的相似度量。Tanaka H T［19］計算三維人臉模型最大、最小主曲率以及相應的方向，然后分別提取最小主曲率小于某個閾值的最大主方向的集合和最大主曲率大于某個閾值的最小主方向的集合，最后將兩個方向的集合分別映射到單位球面上，得到相應的EGI圖，計算這兩個圖的Fisher球相關系數，將兩個系數相乘的結果作為兩個人臉的相似度量。該方法需要高分辨率的數據，否則曲率的計算將不精確、不可靠。

3 結束語

論述了國內外眾多學者在三維人臉特征提取方面的研究，主要涉及到特征點的定位方法，局部特征提取方法和整體特征提取方法。大部分是基于正面和多姿態情況下的處理，對表情和遮擋等方面的考慮仍不夠完善，對于三維特征的研究還不夠透徹，而且每種特征提取方法均有其優缺點，如何充分利用各種三維人臉的特征，將其有效地綜合，仍需要進一步的研究。

［1］KEVIN W B，KYONG C，PATRICK F.A survey of 3D and multi－ modal 3D+2D face recognition［R］.USA:Notre Dame Department of Computer Science and Engineering Technical Report，2004.

［2］BOWYER K W.CHANG K，FLYNN P.A survey of approaches and challenges in 3D and multimodal 2D+3D face recognition ［J］.Computer Vision and Image Understanding，2006，25(8):139 －147.

［3］WANG Yingjie，CHUA C S，HO Y K.Facial feature detection and face recognition from 2D and 3D images［J］.Pattern Recogniton Letters，2002，23(10):1191 －1202.

［4］MORENO A B，SANCHEZ A，VELEZ J F，et al.Face recognition using 3D face recognition［C］.International Conference on Audio－and－Video based Biometric Person Authentication，2005.

［5］楊穎，耿國華.人臉特征點自動標定方法的研究［J］.計算機應用與軟件，2007，31(6):62 －66.

［6］王蜜宮，陳鍛生，林超.基于局部形狀圖的三維人臉特征點自動定位［J］.計算機應用，2010，29(9):19 －24.

［7］DORAI C，JAIN A K.COSMOS － A representation scheme for 3D free － form objects［J］.IEEE Transaction on PAMI，1997，19(10):1115 －1130.

［8］LU X，COLBRY D，JAIN A.Three － dimensional model based face recognition［C］.Cambrige，UK:InProc.International Conference on Pattern Recogniton，2004:362 －366.

［9］張廣鵬，張艷寧，郭哲.基于精確主軸分析及ICP的三維人臉配準［J］.計算機工程與應用，2009，31(5):98－101.

［10］李曉莉，達飛鵬.基于側面輪廓線和剛性區域的三維人臉識別［J］.中國圖象圖形學報，2010，34(2):367 －372.

［11］NAGAMINE T，UEMURA T，MASUDA I.3D facial image analysis for human identification［C］.International Conference on Pattern Recognition，1992:324 －327.

［12］PAN G，WU Z H.3D face recognition from range data［J］.International Journal of Image and Graghics，2005(5):573 －593.

［13］雷蘊奇，宋曉冰，袁美玲，等.雙目視覺中的一種人臉立體匹配及視差計算方法［J］.廈門大學學報:自然科學版，2009，32(1):191 －196.

［14］HESHER C，SRIVASTAVA A，ERLEBACHER G.A novel technique for face recognition using range images［C］.Seventh Int'l Symposium on Signal Processing and Its Application，2003.

［15］KIRBY M，SIROVICH L.Application of the Karhumen－loeve procedure for the characterization of human faces［J］.IEEE Transaction on PAMI，1990，12(1):103 －108.

［16］TURK M，PENTLAND A.Face processing:models for recognition［C］.Proc.Intelligent Robots and Computer Vision VIII，SPIE，1989，192:22 －32.

［17］阮秋琦，田文君.具有深度圖像的三維人臉特征提取［J］.鐵道學報，2009，33(4):87 －92.

［18］LEE J C，MILIOS E.Matching range images of human faces［C］.International Conference on Computer Vision，1990，39(1):1023－1036.

［19］TANAKA H T，IKEDA M，CHIAKI H.Curvature－ based face surface recognition using spherical correlation principal directions for curved object recognition［C］.Third International Conference on Automated Face and Gesture Recognition，1998:372 －277.