基于單張照片的三維人臉表情合成

趙　歡，趙　暉（新疆大學信息科學與工程學院，烏魯木齊830046）

基于單張照片的三維人臉表情合成

趙歡，趙暉
（新疆大學信息科學與工程學院，烏魯木齊830046）

提出一種基于單張照片的真實感三維人臉表情合成方法，首先自動檢測人臉和定位關鍵點；然后結合三維人臉模型實現人臉的重構；再根據肌肉模型的思想合成表情；最后合成模型的眼睛，增加表情真實感。該方法能夠合成出逼真、自然的表情。

表情合成；三維人臉模型；紋理貼圖

0　引言

隨著科學技術的發展，三維人臉表情合成技術得到了長足發展，在國內外都取得了許多優秀的研究成果。根據數據形式的不同，人臉表情合成可分為二維表情合成[1]與三維表情合成[2～3]。在三維虛擬人臉建模中，根據建模方法的不同，又分為基于圖像的建模方法[4]、基于三維掃描儀的建模方法[5]和基于建模軟件的方法（3dsMax、Maya等）。再根據所采用的技術進行分類，人臉表情合成又可分為混合樣本人臉表情合成、直接表情遷移方法和基于機器學習的真實感人臉表情合成等[6]。近年來，人臉表情合成技術已經廣泛地應用到了電影特效、虛擬主持、網絡會議等方面。本文提出一種基于單張人臉照片的簡單三維表情合成系統，如今拍攝一張高質量的照片非常方便，因此它比多張照片的合成方法更具實用性。

1　三維人臉建模

人臉的結構很復雜，為了實現控制的動畫，必須設計一個計算模型，把人臉的幾何表示和它的變形聯系起來。本文綜合分析以上方法的優缺點及適用領域，結合自身項目的特點，采用基于圖像的方法建立三維人臉模型。

對真實感人臉建模的要求包括以下4個方面：逼真性、實時性，盡可能多地自動完成建模過程以及對特定人臉的自適應性。基于圖像的建模方法就是想把人臉建模過程以盡可能少的步驟完成，從而滿足人臉的建模要求。

1.1一般人臉模型

本文選擇由113個頂點和168個面片組成的Candide-3模型作為本文的參數化模型，其原因有兩個：一是該模型容易控制，能夠生成因肌肉伸縮引起的細微表情變化；二是該模型容易擴展。我們刪除了一些不必要的頂點又增加了嘴部細節需要的頂點后，現在有110個頂點，如圖1所示。

圖1　 Candide-3模型

1.2模型重構

我們首先用主動形狀模型（Active Shape Model, ASM）[7]提取人臉照片上的關鍵特征點。得到的特征點二維坐標后，我們選取了Candide-3模型上的30個頂點作為關鍵點，對模型進行調整。為了盡量用最少的點表示人臉的特征，我們選取的關鍵點包括臉部輪廓、眼睛區域、嘴巴區域、鼻子等特征點。如上圖紅色原點標注所示。然后進行全局變換，也就是修改模型整體輪廓，使其與圖像中人臉的臉型與五官的位置一致。本文在人臉圖像上選取了四個基準點，分別位于兩個外眼角、鼻根和下巴，如圖2所示。

圖2　臉部基準點

設圖像中四個點的二維坐標分別為Dl（xl，yl），Dr（xr，yr），Dn（xn，yn），Dj（xj，yj），對應的三維人臉模型上的二維坐標分別DL（xL，yL），DR（xR，yR），DN（xN，yN），DJ（xJ，yJ），則人臉模型的縮放參數s的計算方法為：

模型的位移參數t的計算方法為：

接下來進行局部變換。由于模型的頂點編號是有規定順序的，所以對于關鍵點的調整非常簡單，將模型上對應點的位置變換到圖像上對應特征點的坐標位置即可。

1.3建立三維人臉模型

得到重建后的三維人臉幾何模型后，這時的人臉模型是由三角面片構成的網格模型，缺乏真實感，需要用紋理映射技術恢復出面部的紋理信息。OpenGL為我們提供了強大的紋理貼圖方法，下面主要介紹OpenGL中紋理貼圖的原理與方法。OpenGL要求紋理圖像必須滿足的條件是：圖片的高度和寬度必須是2的n次方大小，否則紋理圖片無效。實現貼圖的主要函數有如下幾個：

（1）glGenTextures（1，&texture）;//創建紋理

（2）glBindTexture（GLTEXTURE2D，texture）;//綁定紋理

（3）glTexImage2D（GLTEXTURE2D，0，3，TexImage-＞sizeX，TexImage-＞sizeY，0，GLRGB，GLUNSIGNEDBYTE，TexImage-＞data）;//生成紋理

（4）glTexEnvi（GLTEXTUREENV，GLTEXTUREENVMODE，TextureMode）;//確貼圖方式

（5）glTexParameteri（GLTEXTURE2D，GLTEXTUREMAGFILETER，MagFilter）;//設置參數

（6）glTexCoord2f（0.0f，0.0f）;//確定紋理坐標

本文中以人臉照片作為紋理，創建的投影矩陣為平行投影，當模型上的特征點與圖像中的特征點匹配后，按上述方法對模型進行紋理映射即生成真實感人臉模型。

2　表情合成

人臉表情的合成方法主要有參數化方法、肌肉模型和表情映射。

MPEG-4標準的制定為參數化人臉模型提供了一個通用的平臺，推動了真實感人臉表情合成技術的發展。MPEG-4人臉動畫框架下的人臉定義參數FDP定義人臉的形狀和紋理等特征，人臉動畫參數FAP則用來描述人臉的各種基本動作以驅動模型生成人臉表情動畫。在該標準里，通過84個特征點來控制模型，不論對于通用人臉動畫還是特定人臉動畫，都可以很好地描述。

為了提高逼真度，Waters[8]提出了一種基于肌肉物理特性的模型，可以根據臉部肌肉的動作來合成許多臉部組織的細微變形。該模型包含兩類肌肉：一類是一端固定在骨骼上，另一端連接在肌肉上，可以拉伸的線性肌肉；另一類是繞著中心點放大或者縮小的括約肌。模型采用彈簧模型來模擬皮膚和肌肉的運動。這種模型要求掌握臉部肌肉的解剖結構、組織學、動力學等方面知識，該模型可以實現逼真的臉部變形。

表情映射方法的基本思路是：給定某個人的中性臉和帶表情臉圖像，標定對應的特征點構成形狀向量，由表情臉的形狀向量，減去中性臉形狀向量，得差向量，并將它作用到另一個人的中性臉特征點上，再Mor-phing該中性臉得到新表情。這種方法可以基于任意一張中性臉，合成出樣本表情。

2.1基于FACS的人臉表情合成

人臉表情編碼系統FACS（Facial Action Coding System）是Ekman等人[9]于1978年提出的。他們對臉部肌肉運動及其對表情的控制做了深入研究，制定出了這個盡最大可能區分面部運動的綜合系統，是迄今為止最詳盡、最精細的面部動作測量技術。本文主要基于FACS的肌肉運動思想合成臉部表情。FACS通過分析人臉的生理結構定義了一組AU，不同的AU組合在一起可以產生不同的面部表情。例如：一個生氣的表情，是由AU4皺眉，AU5上眼臉上升，AU7眼輪匝肌內圈收緊，和AU23嘴唇收緊組成的。表1中給出了六種基本表情涉及的AU。

表1　表情對應的AUs

2.2眼睛處理

在做出某些表情的時候，人們對眼睛部位的變化尤其敏感。使用原圖像作為紋理時，眼睛睜大或者收縮時，都會引起變形扭曲，極不真實。所以本文單獨合成了模型的眼睛，如圖3（左）所示為合成的眼睛紋理圖，圖3（右）是合成新的眼球。該方法的特點是，生成簡單，控制難。

3　實驗分析

3.1三維人臉建模結果

采用ASM方法定位人臉關鍵特征點的結果如圖4所示。在建立三維人臉模型時，我們先進行幾何模型變換，再進行紋理貼圖。為了合成像照片一樣真實的三維人臉，我們為原有模型增加了背景網格，貼圖后從正面看，幾乎與照片沒有差異，如圖5所示。

圖3　眼睛紋理（左）、合成眼球（右）

圖4　定位關鍵點結果

圖5　三維人臉建模結果

圖6　表情合成效果

32表情合成結果

本文在Visual C++和OpenGL平臺上實現真實感人臉表情動畫。我們分別合成了基本六種表情和一些獨立的AU動作，如圖6所示，從左至右分別為高興、生氣、厭惡、悲傷、害怕、驚訝的表情。

4　結語

實驗結果可以看出，本文提出的基于單張照片的三維表情合成方法，基于FACS肌肉模型的思想，合成出的表情真實、自然，效果還是比較令人滿意的。我們今后工作的重點是考慮加入更多的表情動作和提高方法的自動化程度，致力于合成出更加豐富的三維人臉表情動畫。

[1]Zhang Qing-shan，Zi-cheng Liu，et al.Geometry-Driven Photorealistic Facial Expression Synthesis[J].IEEE Transactions on Visualization and Computer Graphics，2006，12（1）：48～60

[2]黃曉欽，林裕旭等.非線性聯合學習的三維人臉表情合成方法[J].計算機輔助設計與圖形學學報.2011，23（2）:363-370

[3]Xianmei Wan，Xiaogang Jin.Data-Driven Facial Expression Synthesis Via Laplacian Deformation.Multimedia Tools and Applications [J]，2012，58（1）:109～123

[4]Narendra Patel，Mukesh Zaveri.3D Facial Model Reconstruction，Expressions Synthesis and Animation Using Single Frontal Face Image[J].Signal，Image and Video Processing，2013，7（5）:889～897

[5]萬賢美.真實感人臉表情合成的關鍵技術研究[D].浙江：浙江大學，2012

[6]萬賢美.真實感3D人臉表情合成技術研究進展[J].計算機輔助設計與圖形學學報.2014，26（2）:167～178

[7]李皓，謝琛，唐朝京.改進的多模版ASM人臉面部特征定位算法[J].計算機應輔助設計與圖形學學報，2010，22（10）:1762～1768

[8]WATERS K.A Muscle Model for Animating Three-Dimensional Facial Expressions[J].Computer Graphics，1987，21（4）：17～22

[9]P.Ekman，W.V.Friesen.Facial Action Coding System[M].Consulting Psychologists Press，PaloAlto，CA，1978

Facial Expression;3D Face Model;Texture Mapping

Three Dimensional Facial Expression Synthesis Based on a Single Photo

ZHAO Huan，ZHAO Hui
（School of Information Science and Engineering，Xinjiang University，Urumqi 830046）

Presents a 3D facial expression synthesis method based on a single photo,first by automatic face detection and positioning key point,then by reconstruction and combined the face with the 3D face model,then according the idea of muscle model synthesis the expression,finally,synthetic model eyes,increased expression of sense of reality.The method can synthesize realistic and natural expression.

1007-1423（2015）14-0066-04

10.3969/j.issn.1007-1423.2015.14.016

趙歡（1991-），女，新疆昌吉人，碩士研究生，研究方向為圖像處理

趙暉（1972-），女，新疆烏魯木齊人，博士，教授，研究方向為人工智能、情感計算、語音及數字圖像處理

2015-04-07

2015-04-29