基于特征提取的臉部建模動畫系統

楊金秋　童立靖　付孝琴

摘要：臉部建模是特效電影和電腦游戲中展現現代視覺效果的關鍵。本文針對三維人臉模型的動態建模，提出一種基于特征提取的建模方法。對于捕獲的人臉圖像，首先定位其人臉區域，然后提取人臉區域的人臉特征點，同時根據提取得到的人臉特征點對標準三維人臉模型進行形變處理，最后得到一個實時的三維人臉動畫系統。實驗結果表明，該方法針對三維人臉建模能夠實時穩定地完成相應表情的人臉建模，具有較高的實時性、準確性。

關鍵詞：人臉建模；特征提取；徑向基函數網絡；動畫系統

中圖分類號：TP391 文獻標識碼：A 文章編號：1007-9416（2018）09-0034-03

1 介紹

在人臉建模問題上，Moeini A，Moeini H等人提出了一種三維面部表情通用彈性模型（3D FE-GEM）[1]，該模型僅使用具有面部表情的單個2D正面圖像來重構當前數據庫中每個人臉表情的3D模型。Guo，Yudong等人在提出了一種新穎的人臉數據生成方法[2]。Lin K，Wang X等人提出了一種視覺傳感器網絡中的協同多視圖非合作三維人臉重建方法[3]，提出了一種輕量級的人臉圖像質量評估方法來搜索最優人臉圖像并實現建模。

本文的算法思路為：首先將圖像中人臉定位出來，然后對人臉區域提取出特征點信息，同時根據提取得到的人臉特征點對標準三維人臉模型進行形變處理，最后得到一個實時的三維人臉動畫系統。本文的算法流程圖如圖1所示。

2 人臉定位

人臉定位是人臉特征點提取的第一步，也是關鍵一步，能否準確定位出人臉區域是整個特征點提取過程的必要前提，本文使用的是檢測快速準確的基于haar特征和圖像預處理相結合的人臉定位方法。具體操作是在調用檢測器前首先對圖像進行預處理操作。首先將彩色圖像轉化為灰度圖像，然后進行直方圖均衡化（Histogram Equalization）處理，最后顯示人臉定位的處理結果。本文方法處理流程如圖2所示。

在相同的實驗環境下，本文分別采用傳統基于haar特征的人臉定位方法與本文提出的圖像預處理相結合的人臉定位方法進行對比，結果如圖3所示。

從實驗結果中可以看出，當人臉角度發生偏轉、周圍環境燈光噪聲較多時，基于haar特征的方法產生的人臉定位結果發生錯誤，而本文提出算法的定位結果是正確的。

3 人臉特征點提取

landmark算法具有計算速度快、性能穩定特點，因此本文基于mark算法進行了人臉特征點的提取，在算法中，采用多個回歸器級聯，每個回歸器的預測基于前一次圖像的預測得到。公式（1）中向量S表示形狀。我們使用來表示我們當前對S的估計。級聯中的每個回歸γt （.，.）的預測值來自圖像的更新向量和添加到當前形狀估計的值：

假設我們有訓練數據（I1，S1），...，（In，Sn），其中每個Ii是一個臉部圖像和Si它自身的形狀向量。要學習在級聯中的第一個回歸函數r0我們要從訓練數據三元組中得到一個人臉圖像，從而得到初始形狀估計和目標更新步驟，對于一個訓練集，學習率設為0

4 個性化人臉建模

個性化人臉模型建立在Candide-3中性人臉模型的基礎上，首先通過將視頻圖像中提取的人臉特征點與Candide-3模型中的五官的特征點進行綁定，實現三維人臉模型特征點的初步位移，然后通過RBF插值算法對模型進行細致形變最后附加紋理信息得到最終的富有真實感的三維人臉模型。

Candide-3中性模型中的每個頂點都對應3個坐標值x、y、z，頂點坐標為）Pi=（xi，yi，zi），Candide-3模型可以用公式形式化的表示為：

為了能夠對人臉網格模型經行細致變形，本文使用徑向基函數網絡（Radial basis function network）[4]。首先需要選取有限的特征點并計算其位移，然后選取適當的散亂數據插值方法，通過求解適當的空間插值函數，來計算其他特征點的位移，這樣就完成了對整個人物頭像網格模型的彈性變形。

綁定紋理可以使模型效果更加形象逼真。本文采用的方法是調用openGl的綁定紋理函數。具體步驟是啟用紋理、載入紋理以及紋理的顯示。其中紋理的顯示部分如下：

（1）顯示某個紋理之前先綁定glBindTexture（GL_TEXTURE _2D，texGround）；

在進行綁定之前對紋理圖像和Candide-3模型進行對齊操作，保證五官的位置與模型中五官的位置與比例是相等的。

（2）指定繪制方法glBegin（GL_TRIANGLES）；

基于Candide-3模型是由三角網格構成，故使用三角網格的形式進行一一對應的綁定。

（3）指定紋理坐標和對應頂點glTexCoord2f（0.0f， 0.0f）；gl Vertex3f（-8.0f， -8.0f， 0.0f）。

5 實驗結果

實驗環境為：Inter（R） Core（TM） i7-6820HQ CPU @ 2.70 GHz，16 GB內存，Windows 7 64位操作系統，Microsoft Visual Studio 2015。使用語言為C++、OpenGL和OpenCV。

圖4顯示了本文完成的三維人臉建模動畫系統的運行結果頁面。系統運行后（需允許打開內置或外接的攝像頭），隨著操作者的表情變化，即可實時得到相應的三維人臉模型。

6 結語

本文針對人臉建模動畫提出了一種基于特征提取的方法。對于捕獲的人臉圖像，首先定位其人臉區域，然后提取人臉特征點，同時根據提取得到的人臉特征點對標準三維人臉模型進行形變處理，最后得到一個實時的三維人臉動畫系統。實驗結果表明，該方法針對三維人臉建模能夠實時穩定地完成相應表情的人臉建模，具有較高的實時性、準確性。該技術在影視特效、電腦游戲以及虛擬現實等領域具有較好的應用前景。

在本課題的研究過程中發現，在人臉表達細微表情時人臉的動態建模發生了形變失真。針對形變失真問題[5]，提出相應的形變處理算法是下一步需要研究的具體內容。

參考文獻

[1]Moeini， Ali （2015）Multimodal Facial Expression Recognition Based on 3D Face Reconstruction from 2D Images.Face and Facial Expression Recognition from Real World Videos.DOI： 10.1007/978-3-319-13737-7_5.

[2]Y. Guo， J. Zhang， J. Cai， B. Jiang and J. Zheng（2018）CNN-based Real-time Dense Face Reconstruction with Inverse-rendered Photo-realistic Face Images.IEEE Transactions on Pattern Analysis and Machine Intelligence.DOI：10.1109/s20182837742.

[3]Kuicheng Lin， Xue Wang， and Yuqi Tan（2016.）Self-adaptive morphable model based collaborative multi-view 3d face reconstruction in visual sensor network. Multimedia Tools Appl. 2016：11469-11491.

[4]Li Shuqin（2012）Research on 3D character avatar generation technology based on photos.Dissertation， North China University of Technology.

[5]Xia，Chen， Wang， XiaoHua （2018）Facial expression recognition under partial occlusion based on fusion of global and local features. Ninth International Conference on Graphic and Image Processing， Regal Oriental Hotel， Hong Kong，24-26 February 2018.