基于ASM的改進型人臉特征點定位方法

王 洋，李 俊,2

(1.桂林電子科技大學 電子工程與自動化學院，廣西 桂林 541004；2.桂林電子科技大學 廣西信息科學實驗中心，廣西 桂林 541004)

基于ASM的改進型人臉特征點定位方法

王 洋1，李 俊1,2

(1.桂林電子科技大學 電子工程與自動化學院，廣西 桂林 541004；2.桂林電子科技大學 廣西信息科學實驗中心，廣西 桂林 541004)

針對主動形狀模型中局部灰度模型結構簡單、初始搜索位置偏移較大的問題，提出一種基于ASM的改進型人臉特征點定位方法。利用左右瞳孔和嘴巴中心的坐標，調整模型的初始搜索位置，在以特征點為中心的一定矩形區域，建立二維局部加權灰度模型和局部紋理模型，并采用新的模型匹配方法定位目標特征點。實驗結果表明，基于ASM的人臉特征點定位改進方法相比傳統ASM方法，定位精度提高了26.15%。

主動形狀模型；局部灰度模型；灰度共生矩陣；局部紋理模型；模型匹配

人臉特征點定位在人臉識別及三維人臉重建中扮演著重要的角色，是計算機視覺和模式識別等領域的關鍵技術。在人臉三維模型重建中，面部特征點的定位精確極為重要，其直接關系到重建模型的逼真度和穩定性[1-2]。主動形狀模型[3-5](active shape model，簡稱ASM)是在Snakes[6]的基礎上提出的一種基于統計學習的特征點自動定位方法，具有很強的適應性和廣泛的有效性。對ASM方法，許多學者進行了深入研究。針對彩色圖像中人臉特征點定位問題，Mahoor等[7]利用顏色模型建立了新的局部灰度模型，提高了彩色圖像中特征點的定位精度。范玉華等[8]利用左右瞳孔坐標調整模型初始位置，提出了基于Log-Gabor小波系數的局部紋理模型，提高了方法的精度和魯棒性。李皓等[9]對文獻[8]的初始位置調整方案進行優化，提出了多模板的匹配方法，解決了紋理平滑區域特征點定位精確低的問題，但當被搜索目標有一定傾斜角度時，初始位置優化方案將變得更復雜。

在ASM方法中，特征點的定位精度很大程度上依賴于特征點局部灰度模型的結構，但其僅僅利用了特征點法線兩側的若干灰度信息，不僅限制了特征點的搜索范圍，而且可能引起錯誤的定位。另外，ASM方法對模型的初始搜索位置要求較高，雖然可配合Adboost人臉檢測算法[10-11]得到粗略的正確位置，但這個位置并不能保證絕對滿足ASM搜索算法的要求，這就可能出現因初始位置不達標而造成錯誤的定位。為此，提出一種基于ASM的改進型人臉特征點定位方法，通過簡單快速的模型初始化，建立局部灰度模型結構和局部紋理模型。

1 傳統主動形狀模型

1.1 形狀統計模型

在主動形狀模型中，一個物體的形狀特性通過特征點有序排列成向量的形式來表征。這些特征點通常分布在圖像中較特殊的位置，如目標輪廓邊緣、拐角點等，并且特征點的數量必須足以覆蓋目標的整體形狀和內部細節。面部特征點分布如圖1所示。

圖1 面部特征點分布Fig.1 The distribution of facial features

將訓練集中N幅人臉圖像按圖1所示進行手工標定，對于標定的第i張人臉圖像，其形狀向量可表示為：

其中：(xij,yij)為第i幅圖像中第j個特征點的坐標；n為特征點的數量；N為樣本數。采用Procrustes分析法[12]對齊所有訓練樣本，并運用主成分分析法[13](principal component analysis，簡稱PCA)得到其均值和協方差矩陣：

(2)

(3)

計算協方差矩陣C的特征值λζ及其對應的特征向量pζ，選取前t個較大特征值對應的特征向量組成特征矩陣P，P=(p1,p2,…,pt)，任意人臉形狀X都可表示為：

(4)

為了防止形狀產生新的畸變，形狀參數向量b被約束在一個可變范圍內：

(5)

1.2 局部灰度模型

局部灰度模型直接影響特征點的定位精度。對第j個特征點，其構建的局部灰度模型如圖2所示。步驟為：在訓練集第i幅圖像中，以第j個特征點為中心，在標定點輪廓法線兩側分別選取k個像素構造成一個長度為2k+1的灰度向量hij，

圖2 局部灰度模型Fig.2 Local gray model

(6)

hij的導數為：

(7)

(8)

局部灰度模型以局部灰度平均值和協方差矩陣表示為：

；

(9)

(10)

1.3 模板匹配

(11)

馬氏距離越小，則該候選點與真正的匹配點相似度越高。選擇馬氏距離最小值Dξ,min對應的候選點為最佳定位點。

圖3 ASM的搜索空間Fig.3 Searching space of ASM

2 基于ASM的改進型人臉特征點定位方法

2.1 模型初始搜索位置的調整

圖4 瞳孔、嘴巴3點定位Fig.4 Three points location of pupils and mouth

計算左右瞳孔在x方向的距離Dx及兩瞳孔和嘴巴中心在y方向的平均距離Dy：

(12)

(13)

(14)

2.2 二維局部加權灰度模型的構建

為了充分利用特征點周圍局部灰度信息，同時擴大特征點的搜索范圍，提出二維局部加權灰度模型。對第j個特征點，其二維局部加權灰度模型如圖5所示。具體的構建步驟如下：

圖5 二維局部加權灰度模型Fig.5 Two-dimension local weighted gray model

在訓練集的每幅圖像i中，以特征點j為中心，選取一個a×b的矩形區域，用3×3的矩形模板T對該區域進行卷積運算，

(15)

(16)

(17)

(18)

(19)

2.3 基于灰度共生矩陣的局部紋理模型

基于灰度共生矩陣的14個紋理特征中，二階距、對比度、相關性、熵4個特征量是不相關的，具有較高的分類精度[15]。基于這4個特征量，提出特征點的局部紋理特征，以進一步提高特征點在復雜環境條件下的定位精度。特征點j處的局部紋理模型建立過程如下：

為了避免灰度共生矩陣維度過高，將圖5中以特征點j為中心的a×b矩形區域內像素灰度級壓縮為L，然后以像素距離d=1，分別在θ=0°、45°、90°、135°四個方向計算該區域的灰度共生矩陣，得到4個大小均為L×L的矩陣m1、m2、m3、m4。分別提取這4個灰度共生矩陣的二階距、對比度、相關性、熵4個特征量，組成一個包含16個特征分量的向量tij：

tij=(m11,m12,m13,m14,m21,…,m24,…,m44)T。

(20)

其中：m1、m2、m3、m4分別為矩陣mi中的二階距、對比度、相關性、熵。對訓練集上特征點j的所有特征向量進行統計分析，可得到特征點j的局部紋理模型：

(21)

(22)

3 搜索策略的改進

針對改進的局部灰度模型和局部紋理模型，將特征點的搜索空間從1D拓展到2D，可得到改進后的搜索空間，如圖6所示。搜索過程為：以第j個特征點為中心，選取A×B(A>a,B>b)的矩形區域，并以a×b的2D局部加權灰度模型為模板在該區域滑動，得到(A-a+1)×(B-b+1)個候選點。

圖6 改進后的搜索空間Fig.6 The improved searching space

求得調整后的初始模型中每個特征點的最佳匹配位置，然后利用建立的形狀統計模型進行全局擬合，得到定位后的人臉形狀。

4 實驗結果與分析

采用ABERDEEN人臉數據庫的圖像驗證改進方法的有效性。ABERDEEN人臉庫共包含100多個人在不同背景、光照和表情下的629張人臉圖片，每個人擁有的圖片數量不等，且部分存在遮擋情況，如眼鏡、頭發等。挑選該人臉庫中50個人，每個人4張圖像構成一個包含200張圖像的訓練集，以這50個人剩下圖像作為測試集。實驗采用的硬件平臺為Intel(R) Core(TM) i3-2100 CPU的臺式電腦，內存為4 GB，軟件平臺為Matlab 2014a。在實驗過程中，分別采用傳統ASM方法和改進型方法在測試集上進行特征點定位，部分圖像的特征點定位效果對比如圖7所示。

圖7 特征點定位效果對比Fig.7 Comparison of feature points location effect

為了更好地比較傳統ASM方法和改進方法的定位性能，同時兼顧算法的定位精度和時間消耗等性能因素，在搜索過程中，具體參數設置為：傳統ASM方法中局部灰度模型的參數k=7，模型匹配時的參數l=11；二維局部灰度模型的參數設置為a=3,b=7，模型匹配時的參數設置為A=5,B=11。局部紋理模型中參數L=16。此時在傳統ASM方法中，每定位一個特征點需計算9個候選點的馬氏距離，而改進方法需要計算15個候選點的馬氏距離。

以定位精度和時間復雜度2個指標來衡量算法的性能。定位精度采用均方根誤差ERMS,j評定：

傳統ASM方法和改進方法在測試集上的定位偏移量統計如圖8所示。從圖8可看出，傳統ASM方法的定位偏移誤差分布在2～5個像素間，約占整體比重的77.95%，集中在3～4個像素間的占了50.33%，而改進方法的偏移量主要集中在1～4個像素間，約占整體比重的79.13%，且集中于1～3個像素間的定位點占了64.34%。

圖8 定位偏移量統計Fig.8 Statistics of positioning offset

表1為2種定位方法的平均定位像素誤差、時間及定位失敗率。實驗結果表明，改進方法相比傳統ASM方法對光照、背景及表情的變化更為穩定，提高了像素的定位精度η，

表1 定位性能

5 結束語

為了進一步提高人臉特征點的定位精度和魯棒性，提出了基于ASM方法的改進方法。基于瞳孔和嘴巴3點的坐標信息，快速調整了模型初始搜索位置，并提出了特征點二維局部區域的加權灰度模型及局部紋理模型。實驗結果表明，改進方法相比傳統ASM方法在定位精度上有了明顯的提高，但與此同時也增加了定位所需時間。雖然通過調整模型初始位置在一定程度上減少了循環迭代次數，但改進方法將局部灰度模型從一維擴展到二維，使得運算量也隨之增加。隨著研究的進一步深入，可采用GPU并行計算等進行優化。

[1] PARK S W,HEO J,SAVVIDES M.3D face reconstruction from a single 2D face image[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops,2008:1-8.

[2] BLANZ V,VETTER T.Face recognition based on fitting a 3D morphable model[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(9):1063-1074.

[3] COOTES T F,TAYLOR C J.Active shape models:‘smart snakes’[M]//BMVC92.London:Springer-Verlag,1992:266-275.

[4] COOTES T F,TAYLOR C J,COOPER D H,et al.Active shape models-their training and application[J].Computer Vision and Image Understanding,1995,61(1):38-59.

[5] COOTES T F,TAYLOR C J.A mixture model for representing shape variation[J].Image and Vision Computing,1999,17(8):567-573.

[6] KASS M,WITKIN A,TERZOPOULOS D.Snakes:active contour models[J].International Journal of Computer Vision,1988,1(4):321-331.

[7] MAHOOR M H,ABDEL-MOTTALEB M.Facial features extraction in color images using enhanced active shape model[C]//7th International Conference on Automatic Face and Gesture Recognition,2006:137-148.

[8] 范玉華，馬建偉.ASM及其改進的人臉面部特征定位算法[J].計算機輔助設計與圖形學學報，2007，19(11):1411-1415.

[9] 李皓，謝琛，唐朝京.改進的多模板ASM人臉面部特征定位算法[J].計算機輔助設計與圖形學學報，2010(10):1762-1768.

[10] VIOLA P,JONES M.Robust real-time object detection[J].International Journal of Computer Vision,2001,4:51-52.

[11] VIOLA P,JONES M.Rapid object detection using a boosted cascade of simple features[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2001:I-511-I-518.

[12] ROSS A.Procrustes analysis[R].South Carolina:Department of Computer Science and Engineering,University of South Carolina,2004:128-136.

[13] ABDI H,WILLIAMS L J.Principal component analysis[J].Wiley Interdisciplinary Reviews:Computational Statistics,2010,2(4):433-459.

[14] HSU R L,ABDEL-MOTTALEB M,JAIN A K.Face detection in color images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):696-706.

[15] 薄華，馬縛龍，焦李成.圖像紋理的灰度共生矩陣計算問題的分析[J].電子學報，2006,34(1):155-158.

編輯：翁史振

An improved facial feature points localization method based on ASM

WANG Yang1, LI Jun1,2

(1.School of Electronic Engineering and Automation, Guilin University of Electronic Technology, Guilin 541004, China；2.Guangxi Information Science Laboratory Center, Guilin University of Electronic Technology, Guilin 541004, China)

In order to solve those problems that the structure of local gray model in active shape model algorithm is too simple, and initial model position has a misregistration, an improved facial feature points localization method based on ASM is proposed. Using the coordinates of pupils and mouth to adjust the initial search location, and then establishing a 2D local weighted gray model and local texture model in an expanded rectangular area around the center of the feature point, finally the feature points can be located with the new matching algorithm. Experimental results show that our method improves 26.15% on the positioning accuracy than the traditional ASM algorithm.

active shape model; local gray model; gray level co-occurrence matrix; local texture model; model matching

2016-03-05

國家自然科學基金(61367002)

李俊(1977-)，男，湖北紅安人，研究員，博士，研究方向為光電檢測系統、圖像處理、GPGPU。E-mail:55832269@qq.com

王洋，李俊.基于ASM的改進型人臉特征點定位方法[J].桂林電子科技大學學報，2016,36(6):477-482.

TP391.4

A

1673-808X(2016)06-0477-06