基于人臉數據庫的形變模型研究綜述

摘要:形變模型是基于三維人臉原型庫的人臉建模方法。因為該模型具有自動化、真實感好等優點，成為近年來人臉建模研究的熱點。該文回顧了形變模型建立的過程，總結了近幾年對于形變模型研究的新進展，并對形變模型發展進行了展望。

關鍵詞:人臉建模;形變模型;三維人臉數據庫

中圖法分類號:TP311 文獻標識碼:A文章編號:1009-3044(2010)21-5676-03

Overview of 3D Face Morphable Model

MA Yan-ping， HUI Yan-bo

(Dept.of Information Science and Engineering， Henan University of Technology， Zhengzhou 450001， China)

Abstract: Morphable model based on the 3D face database is a novel face modeling method in resent years. Because this model has advantages of automation and realistic result in 3D face modeling， it has been one of the hotspots in 3D face reconstruction. This paper gives a process of morphable model construction， and keeps up with the latest research in the past few years. Finally， some detailed discussions on future direction about morphable modeling is provided.

Key words: 3D face modeling; morphable model; 3D face database

人臉憑借其特有的普遍性和多樣性成為眾多專家學者進行三維建模的研究對象。近年來，隨著各種建模思想方法的提出和計算機圖形圖像技術的發展，國內外許多專家學者已初步實現三維人臉模型的建立。三維人臉建模的動畫也被廣泛應用于各種領域，諸如影視制作、計算機游戲、人機接口、面部外科手術、視頻會議、身份驗證等。

自1974年Parke[1]用多邊形網格來表示人的頭部結構，并實現了第一個基于參數的人臉模型以來，人臉建模技術迅速發展。建模過程中所采用的模型大體上可分為以下幾類:參數模型、物理模型[2-4]、基于一般幾何模型[5-6]和形變模型，不同的模型分別代表不同的方法。Vetter[7-8]等人提出的基于形變模型的人臉建模方法，第一次實現了人臉建模的自動化，且具有較好的真實感，是目前關于人臉建模的最新方法。但是由于該模型在運算過程中存在迭代次數多，運算時間長，對于初值依賴性強等一系列問題，該方法仍存在許多亟待改進的地方。形變模型也成為近年來人臉建模研究的熱點之一。本文主要介紹形變模型的建立過程及目前的發展狀況，在此基礎上，對于未來的研究方向進行分析。

1 形變模型的建立

形變模型一種基于知識學習的建模方法，利用形變模型可以由一副(或多副)人臉圖像重建該圖像中特定人的三維人臉模型。該方法采用三維掃描儀獲取大量真實的三維人臉數據構造人臉數據庫，使用庫中的樣本數據建立人臉空間。當庫中人臉數目一定大時，這個人臉空間可以近似地看作一個相當完備的人臉空間，在這個空間使用原型人臉的線性組合就可以建立人臉參數化模型，將組合模型進行光照投影后與特定人圖像進行匹配、優化，從而實現三維人臉的重建。在模型的組合優化中考慮了人臉姿態、大小、光照等多方面的因素，使得該模型可以生成高度真實感的三維人臉圖像。通過分析原型人臉的表情變化，該模型還可以產生逼真的人臉表情和動畫。

1.1 三維數據的獲取

形變模型的建立依賴于三維人臉數據庫的建立，而人臉數據的獲取是數據庫創建的第一步。隨著計算機視覺技術的進一步發展，出現了一些獲取三維數據的工具和一些新的方法。這些裝置和方法可以歸納為兩個方向:一是采用較復雜的硬件裝置，輔以較簡單的算法來獲取數據;二是利用圖像或視頻信息，采用較復雜的計算機視覺算法來獲取數據。人臉庫數據獲取傾向于采用第一種方法，從而可快速的獲得直接的三維數據。

基于物理裝置的數據獲取有兩種方法:一種是激光掃描，可同時獲得大量高精度的三維數據和紋理信息，但要求高性能的計算機和高價格的硬件設備。最為著名的裝置是Cyberware公司的三維掃描儀。世界上許多研究小組均使用此裝置進行科學研究。另一種是結構光掃描，是一種經典的主動視覺方法。它由一個激光源和攝像機構成，激光源發出的光束經過一個旋轉的平面鏡發射后照射到物體上，在物體上形成一個亮條，從而攝像機采集的圖像上有一對應亮條，這樣可以有效地解決雙目視覺中對應點的匹配問題。上海數造科技公司的3DSS非接觸式光學掃描儀即采用國際上最先進的結構光非接觸照相測量原理，能夠保證大范圍掃描時的高速度、高精度要求。不過由于現有結構光掃描技術的限制，在掃描時存在高曲率的表面紋理特征或表面某些部位反光過強或吸光過多，不能形成適合掃描要求的漫反射，導致無法形成有效的三維點云等問題，因而在實際應用中仍需改進。

1.2 數據的預處理

受采樣不精確性及其它因素的限制，所采樣數據存在大量的噪聲甚至壞點數據，因此要對人臉數據進行簡化和預處理。簡化的對象包括臉部外孤點、分隔點、噪聲點和冗余點。對此我們采用交互的方式，使用插值、平滑等預處理方法彌補三維人臉上的空洞并去掉毛刺。

對于三維人臉庫中每一幅圖像，為了使它們有一致的方向和位置，需要進行幾何歸一化，即在X，Y，Z三個方向上進行平移、旋轉和縮放。通過坐標變換可以得到每個三維人臉在新的坐標系下的坐標值。經過坐標變換的所有三維人臉數據均變換到朝向、姿態相同的坐標系下。

1.3人臉數據的規格化

形變模型是一種線性組合模型，為了實現人臉的線性組合運算，需要對采集到的三維人臉樣本數據進行規格化，從而使得數據可以用統一的向量形式表示，同時保證三維樣本數據特征對齊，這是數據庫建立的關鍵步驟。Blanz和Vetter[9]等人利用復雜的光流算法建立不同人臉三維點對點的稠密對應。假設一個人臉的形狀可以用向量F來表示:

F= (X1，Y1，Z1，…，Xn，Yn，Zn)T

Xi，Yi，Zi分別表示三維點的坐標

對應點的紋理信息可以用向量T表示:

T= (R1，G1，B1，…，Rn，Gn，Bn)T

Ri，Gi，Bi代表點的RGB顏色分量。設有m個樣本臉，每個樣本臉由一個形狀向量和一個紋理向量組成，則形變模型可由這樣m個樣本臉構成。對于一個新的個體，它的形狀向量和顏色向量可以分別描述為

通過對系數ai和bi的調節可以描述不同人臉的三維形狀特征和紋理特征。

但是光流算法對于差別比較大的人臉圖像會差生較大的誤差。胡永利等人采用了網格重采樣的方法建立點對點的稠密對應[10-13]。該方法將三維人臉進行分割，并對分割后每一面片進行重采樣，從而建立新的網格。由于采用統一的基于特征的人臉分割方法，并且對分割后每一面片進行相同的重采樣，因此不同人臉的對應可以由其對應面片的網格建立起來。在三維人臉重采樣過程中，建立了由初始網格到重采樣最終網格一系列由粗到密的人臉網格。在每一次重采樣網格上建立三維人臉模型，就可以建立三維人臉多分辨率的人臉模型。對于特定人臉圖像利用高斯圖像金字塔進行分層，從而在每一層上進行人臉模型的匹配。此方法在一定程度上提高了算法的收斂速度和精度。

2 目前的三維人臉數據庫

數據庫建立所形成的形變模型是人臉建模的關鍵環節，同時利用數據庫中的先驗知識為驗證比較各種建模優化算法提供了良好的平臺。近5~6年，越來越多的研究組織開始建立自己的三維人臉數據庫。其中較為常用的數據庫有:(1)FRGC v2.0[14] 采集對象為不同表情、性別、地域、年齡的人群，共計557人，4950個模型，采集時間從2003年到2004年。(2)浙江大學3DFED[15]采集對象共計40人，每人9個三維數據，包括3個中性表情、2個微笑、2個皺眉、2個驚訝表情。(3)BJUT-3D Face Database[16] 共包括1200名中國人，其中500人的數據對外公開發布。男女各250人，年齡分布在16歲~49歲之間，所有人臉數據均是中性表情，部分人臉有3個樣本，數據精度高，并且經去噪處理，是目前國際上最大的中國人的三維人臉數據庫。

3 形變模型的發展

形變模型的建立依賴于數據庫的樣本數量，但是基于目前的技術發展水平，所采集的樣本數量有限。在這種情況下，模型的推廣性就受到很大的限制，從而降低了新圖像的重構效果。解決樣本有限的一個方法是降低所描述的空間的維數。Jonesm J等[17]針對二維圖像的形變模型提出了一種基于組件的形變模型，利用各個組件的中心約束重構組件。但是它造成了組件重疊，同時也不能夠重構整個人臉。薛峰等[18]提出了一種全局模型和組件模型的折中算法，即在形狀上保持全局約束而紋理上進行局部組件匹配，從而在算法性能和算法復雜度之間獲得了一個有效的平衡。但是當訓練樣本足夠多時，這種方法可能會丟失圖像紋理間的部分相關性，影響重建效果。龔勛等[19]將Sibson坐標用于局部特征分析，提出了新的局部形變模型SWLFA，并在此基礎上提出雙重形變模型，從而提高了模型的重建精度。

4 結論

建立形變模型，包括原始人臉數據的獲取、人臉數據的對應和建立組合模型三個步驟。形變模型建立的成功與否，直接影響到特定人臉的建模匹配及各種應用。因而如何產生更為有效的形變模型以實現真實感人臉建模是今后對于形變模型建模研究的重點。具體包括以下幾點:(1)三維面部數據的獲取。人臉數據的獲取是建立數據庫的基礎，但是到目前為止，真正有效的三維數據獲取裝置還未見報道，這依然是研究的熱點。(2)人臉數據規格化算法的局限性。對于采集的樣本數據處理較復雜，在實際情況中建模會產生較大的誤差。因此對于各種算法的改進以提高建模效率仍是今后需要關注的課題。(3)積極探索形變模型的應用。在形變模型的各種應用實踐中檢驗算法的有效性，提高形變模型的建模效率。

參考文獻:

[1] Parke F I.A parametric model for human faces[R].Technical Report UTEC-CSc-75-04，University of Utah，Salt Lake City，Utah，USA，1974.

[2] Platt S，Badler N.Animating facial expression[J].Computer Graphics，1981，15(3):245-252.

[3] Waters K.A muscle model for animating three-dimensional facial expression[J].Computer Graphics，1987，21(4):17-24.

[4] Thalmann N，Thalmann D.New trends in computer graphics[A].In:Proceedings of International Conference on Computer Graphics[C]，Tokyo，Japan，1988，403-415.

[5] Lee W S，Thalmann N M.Fast head modeling for animation[J].Journal Image and Vision Computing，2000，18(4):355-364.

[6] 晏潔，高文，尹寶才.具有真實感的三維虛擬特定人臉生成方法[J].計算機學報，1999，22(2):147-153.

[7] Blanz V，Vetter T.A morphable model for the synthesis of 3D faces[A].In:Proceedings of ACM SIGGRAPH99 Conference[C]，Los Angeles，1999，187-194.

[8] Blanz V，Vetter T.Face recognition based on fitting a 3D morphable model[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(9):1063-1074.

[9] Vetter T，Blanz V.Estimating coloured 3D face models from single images:An example based approach[A].In:Proceedings of 5th European Conference on Computer Vision[C]，Freiburg，Germany，1998:499-513.

[10] 胡永利，尹寶才，谷春亮，等.基于形變模型的三維人臉重建方法及其改進[J].計算機學報，2005，28(10):1671-1679.

[11] Krishnamurthy V，Levoy M.Fitting smooth surfaces to dense polygon meshes[A].In:Proceedings of ACM SIGGRAPH96 Conference[C]，New Orleans，1996:313-324.

[12] Levoy M，Pulli K，Curless B，et al.The digital michelangelo project:3D scanning of large statues[A].In:Proceedings of ACM SIGGRAPH2000 Conference[C]，New Orleans，2000:131-144.

[13] Rusinkiewicz S，Levoy M.QSplat:A multiresolution point rendering system for large meshes[A].In:Proceedings of ACM SIGGRAPH2000 Conference[C].New Orleans，2000:343-352.

[14] Phillips P J，Flynn P J，Scruggs T，et al.Overview of the face recognition grand challenge[A].Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C]，San Diego，2005:947-954.

[15] Wang Y M，Pan G，Wu Z H，et al.Exploring facial xpression effects in 3D face recognition using partial ICP[A].Proceedings of the 7th Asian Conference on Computer Vision[C]，Hyderabad，2006:581-590.

[16] 尹寶才，孫艷豐，王成章，等.BJUT-3D三維人臉數據庫及其處理技術[J].計算機研究與發展，2009，46(6):1009-1018.

[17] JONESM J，POGGIO T.Hierarchical Morphable Models[A].CVPR[C].1998:820-826.

[18] 薛峰，丁曉青.形狀約束的三維人臉組件形變模型[J].計算機應用，2007，27(3):686-689.

[19] 龔勛，王國胤.基于臉部結構知識的三維人臉建模[J].系統仿真學報，2009，21(14):4356-4361.

注:本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文