真實感三維人臉建模技術綜述

呂海清+李雪飛

摘要：三維建模是計算機圖形學和計算機視覺領域的基本問題。人臉具有共性強及個性鮮明的特點，成為眾多三維建模算法的實驗平臺。但由于人臉的多樣性、復雜性，建立真實感強的目標三維人臉模型在學術研究和實際應用方面都具有重要意義。在文獻梳理的基礎上，闡述了真實感三維人臉建模理論和實踐相關研究成果，總結了目前三維人臉重建的研究方法，分析了各種三維人臉重建方法的優缺點，提出了有待進一步研究的問題，展望了未來的發展趨勢。

關鍵詞：真實感三維人臉建模；三維數據獲取；虛擬現實；計算機視覺

DOIDOI：10.11907/rjdk.172298

中圖分類號：TP317.4

文獻標識碼：A文章編號文章編號：16727800（2018）001000103

Abstract：Threedimensional modeling is a basic problem in the field of computer graphics and computer vision. Face with its unique common and strong personality and other characteristics， as many advanced 3D modeling algorithm experimental platform. However， due to the diversity of face， complexity， the establishment of a strong sense of the goal of threedimensional face model has become a challenge for many researchers， computer simulation of specific threedimensional face， both in academic research and practical applications are of great significance. On the basis of combing the literature， this paper summarizes the research results of real threedimensional face modeling theory and practice， summarizes the research methods of 3D face reconstruction in recent time， and analyzes the advantages and disadvantages of various 3D face reconstruction methods， a few issues to be further studied and future trends.

Key Words：realistic 3D facial modeling； 3D data acquisition； virtual reality； computer vision

0引言

隨著計算機圖形學及虛擬現實等技術的發展，尤其是虛擬播音員的出現，基于虛擬人物設計的研究被廣泛重視。人臉包含了大量的特征信息，是辨別人物最主要的器官，特定人臉的計算機模擬研究具有重要意義。真實感三維人臉模型在影視制作、計算機游戲、遠程教育、醫學美容、智能識別等應用中舉足輕重。在學術研究方面，三維人臉重建與表情口型模擬、人臉識別、醫學圖像處理、人機交互等研究課題相輔相成，其研究成果可推動相關研究。Parke[1] 20世紀70年代建立了第一個臉部模型，其后研究不斷深入。真實感三維人臉重建可分為兩種途徑：①采取三維掃描儀等較復雜的硬件裝置，輔以一些較簡單的算法來獲取人臉的幾何和紋理數據；②通過普通的相機獲取人臉圖像，采用比較復雜的圖形處理結合計算機視覺算法得到人臉數據。

1基于幾何數據構建的三維人臉模型

1.1利用三維激光掃描儀進行三維人臉建模

三維激光掃描儀依據三角測量學原理直接獲取人臉數據。目前，最著名的三維掃描儀是Cyberware公司研發的，許多研究小組利用此設備展開研究。Lee等 [2]利用拉普拉斯變換，對掃描儀采集的三維人臉數據進行預處理，之后在拉氏空間中提取人臉特征點，調整一般人臉網格模型，得到了較好的目標三維人臉模型。針對非均勻三維人臉數據，Xu等 [3]進一步改進了自適應多精度擬合方法，可以有效解決孔洞和數據密度嚴重不均等問題。丘成桐、顧險峰等 [4]利用三維映射掃描儀獲取人臉信息，采用基于計算機共性幾何進行人臉曲面間的變換和紋理共形映射，構建出真實感三維人臉。

三維激光掃描儀雖然可以獲得精度較高的三維人臉數據，但采集的紋理圖像存在諸多問題：分辨率比數碼相機要低，毛發等反射率較低的部位掃描效果略差，眼睛和牙齒等有遮擋部位無法獲取有效數據。所以，有研究者利用圖像處理算法將數碼相機拍攝的人臉照片轉化為紋理圖，并采用紋理映射技術提高目標人臉模型的真實感。

1.2基于結構光掃描儀的三維人臉建模

由于三維激光掃描儀費用昂貴且對計算機硬件要求較高，因此科研者研發出由投影光源儀和攝像機構成的結構光掃描儀，根據結構光測距原理，有效解決了雙目視覺中對應點匹配問題。Beumier等 [5]基于結構光建立了一個人臉快速獲取系統，并利用該系統構建了一個包括120人的三維人臉數據庫，在此基礎上改進了基于輪廓線和網格面匹配的三維人臉識別算法；Tarini等 [6]改進了人臉圖像與幾何模型的配準方法，對目標人臉器官（牙齒、眼睛）的紋理建模，并在得到的三維人臉模型基礎上進行了動畫研究。Meyer等 [7]提出一個基于Kinect的三維人臉建模系統。Macedo等 [8]利用Kinect相機的彩色傳感器提取面部標記點，在此基礎上調整一般人臉模型來配準單幅深度圖片，進而建立目標人臉模型。endprint

一般使用復雜硬件設備構建的三維模型精度和逼真度較高，可以較清晰表述個性特征，但由于造價高、處理復雜、不靈活等因素限制，通常只能在某些特殊場合使用。

2基于圖像構建三維人臉模型

2.1基于計算機視覺的三維人臉建模

二維圖像中含有深度信息，基于機器視覺的三維人臉建模方法無需人臉形狀先驗知識，可直接運用幾何學和三角測量學知識獲取二維圖像序列上的人臉三維數據，重建真實感的三維人臉。同一物體不同拍攝角度的圖像中含有立體視差，可由立體視覺方法得到；物體相對攝像機運動而產生的運動視差，可通過從運動形狀恢復（Structure from Motion，簡稱SFM）的方法進行。即便是單幅圖像，物體表面的深度變化也會經光照模型作用到二維圖像中，因此可通過從明暗恢復形狀的方法恢復深度信息。

王餛等 [9]提出了采用兩幅正面人臉圖像，利用SFM重建人臉三維結構的方法，運用人臉共性特征的幾何對稱性和規律性，能快速準確地找出SFM算法需要的匹配點；Sengupta等 [10]根據計算機視覺的樣條擬合、仿射變換等技術，基于單視頻序列實現了三維人臉建模；周佳麗等 [11]提出一種基于雙目被動視覺的三維人臉建模方法，采用圖像中弱特征檢測法提取人臉特征關鍵點并進行視差估計，基于復小波的相位技術實現匹配，重建三維人臉。

因為沒有人臉結構先驗知識的約束，所以這類方法魯棒性較差，重建后的三維人臉模型與目標真實人臉存在較大差距。

Lee等 [13]使用正交圖像重建目標人臉的三維模型，利用結構化的Snake模型提取人臉特征點，并采用Dirichlet Free Form Deformation算法修改一般人臉模型。Lavagetto等采用MPEG4標準來定義正、側面圖像中的面部特征點，并利用徑向基函數內插方法修改一般人臉模型。Pighin等提出基于多幅多視角下拍攝的人臉圖像變形方法，運用計算機視覺方法來估計相機參數，并同時恢復人臉姿態及13個面部特征點的三維坐標，然后利用散亂數據插值方法變形一般人臉模型。Chowdhury和Chellappa[14]對基于視頻的三維人臉建模進行了研究，采用運動恢復形狀方法獲得人臉三維信息，利用光流法從視頻序列中恢復人臉三維形狀，整個過程采用馬爾可夫鏈蒙特卡羅法優化逼近目標人臉。

基于一般人臉模型的方法，與同時期的從運動恢復結構、線性三維人臉模型表示以及立體視覺匹配等研究相輔相成。該方法需要解決圖像中提取特征點，以及從一般人臉模型變形目標人臉模型這兩個關鍵問題。其中，特征點越稠密、越準確，則重建的三維人臉模型真實感越強，但這對自動標定特征點提出了很高要求。整體來說，該類方法對構建低成本、快速的三維人臉建模系統是可行的。

2.3基于三維形變模型

三維形變模型（3D Morphable Model，簡稱3DMM）是由德國學者Blanz和Vetter[15]提出的一種基于統計學的三維人臉建模方法，對計算機視覺和計算機圖形學都產生了深遠影響。3DMM的基本思想是把所有人臉近似看成一個線性空間，對歸一化的人臉基底進行線性組合，利用復雜的光流算法，確立不同人臉三維點間的對應關系。所有三維人臉由統一的幾何形狀向量和紋理向量表示，幾何形狀向量S∈R3N包含人臉上點的x、y、z坐標，紋理向量T∈R3N包含每個頂點的R、G、B顏色信息，其中N是人臉樣本的頂點數量。一般人臉基底由形狀向量Si和紋理向量Ti構成，目標人臉的形狀Smodel和紋理Tmodel可線性表示如下：

Blanz和Vette提出的基于隨機牛頓法的優化算法，是最早解決3DMM模型匹配問題的方法。Romdhani等 [16]針對隨機牛頓優化算法計算復雜度高的問題，提出了線性形狀紋理匹配算法與反向復合圖像匹配算法，還提出了多種用于模型匹配的圖像特征，以提高計算精度，避免陷入局部極小值。Amberg等 [17]提出從三幅立體圖像中恢復形變模型的方法。將一幅圖像上的像素點特征通過形變參數，映射到另一幅圖像上，計算投影點和實際圖像的特征差。Romeiro和Zickler[18]對有遮擋情況下從立體圖中恢復形變系數進行了研究。Huber等 [19]利用AdaBoost識別出視頻中的人臉，主動分析模型標定人臉特征關鍵點，并根據黃金標準算法恢復相機參數，得到形變系數重建人臉。經過實驗，基于多幅立體圖融合多種特征的匹配優化方法，比起基于單幅圖像的優化方法，人臉重建精度明顯提高。

2.4基于統計學習的方法

隨著公開使用的三維人臉數據庫日漸增多，以及機器學習相關研究的深入，人們開始探索通過圖像數據直接挖掘出潛在深度信息的方法。它不同于傳統的基于優化的方法，不再需要一個代價函數，也不再基于一個最小均方誤差的框架，而是把人臉紋理和深度作為兩種子空間變量，利用空間映射得到二者之間的映射函數，進而從紋理數據直接計算出相應的深度數據。

Robinson和Hyde[20]把圖像灰度和對應的深度值連接為一個向量，并使用多元正態分布描述向量的統計特性。Reiter等 [21]采用基于標準相關分析的回歸方法，從RGB圖像中估計深度圖像。該方法原理是找出兩個投影方向，使原始輸入和輸出數據投影到這兩個方向后相關性最大。Castelán等 [22]將人臉圖像灰度和三維表面形狀特征空間綜合在一個混合模型中，并采用偏最小二乘回歸作為深度估計的學習算法。

基于統計學習的三維人臉建模方法是一種新興的三維建模方法，優點在于只需單幅圖像便可進行人臉重建，且計算復雜度低，結果魯棒性好。但這類方法也存在一定問題：若深度估計重建三維人臉，容易導致重建后人臉在深度方向上畸變、需考慮從訓練集擴展到真實圖像測試集的泛化以及估計誤差有一定的下限問題等。因此，僅采用統計學習的方法，一步得到真實感強的三維人臉模型有一定難度，但它可輔助于其它方法。endprint

3結語

人臉是最能體現人物特征的器官，真實感三維建模方法研究一直是計算機圖形圖像學的研究熱點。通過計算機生成真實感三維人臉能促進虛擬人物、醫學圖像處理、智能識別等相關技術的發展。總的來說，使用三維掃描儀得到的三維人臉模型效果較好，但由于造價高、處理復雜、靈活性差等因素限制，適用場合有限。基于人臉圖像進行三維建模是時下的研究熱點，其中基于統計學習的方法進行三維人臉建模是近年來的新興技術。如何將其融入3DMM等人臉重建方法，創造出效率更高、魯棒性更好、真實感更強的三維人臉建模方法，是計算機模擬人臉領域的研究方向。

參考文獻：

[1]PARKE F I， WATERS K， PETERS A K. Appendix 1： threedimensional muscle model facial animation[J]. Computer Facial Animation， 1996（5）：337339.

[2]LEE S Y， CHWA K Y， SHIN S Y. Image metamorphosis using snakes and freeform deformations[C].Proceedings of the 22nd Annual Conference on Computer graphics and interactive techniques. ACM， 1995：439448.

[3]XU C， QUAN L， WANG Y， et al. Adaptive multiresolution fitting and its application to realistic head modeling[C].Geometric Modeling and Processing， Proceedings. IEEE， 2004：345348.

[4]GU X，WANG Y，CHAN T F，et al.Genus zero surface conformal mapping and its application to brain surface mapping[J].IEEE Transactions on Medical Imaging（TMI），2004，23（8）：949958.

[5]BEUMIER C， ACHEROY M. 3D facial surface acquisition by structured light[C]. International Workshop on SyntheticNatural Hybrid Coding and Three Dimensional Imaging， Santorini，Greece， 1999：103106.

[6]TARINI M， CIGNONI P， MONTANI C. Ambient occlusion and edge cueing for enhancing real time molecular visualization[J]. IEEE transactions on visualization and computer graphics， 2006，12（5）：167169..

[7]MEYER G P， DO M N. Realtime 3D face modeling with a commodity depth camera[C].Multimedia and Expo Workshops （ICMEW）， 2013 IEEE International Conference on. IEEE， 2013：14.

[8]MACEDO M C F， APOLINáRIO JR A L， SOUZA A C S. KinectFusion for faces： realtime 3D face tracking and modeling using a kinect camera for a markerless AR system[J]. SBC Journal on 3D Interactive Systems（S22363297），2014，4（2）：27.

[9]王琨，鄭南寧.基于SFM算法的三維人臉模型重建[J].計算機學報，2005（6）：10481053.

[10]SENGUPTA K， KO C C. Scanning face models with desktop cameras[J]. IEEE Transactions on Industrial Electronics， 2001，48（5）：904912.

[11]周佳立，張樹有，楊國平.基于雙目被動立體視覺的三維人臉重構與識別[J].自動化學報，2009（2）：123131.

[12]LIU Z， ZHANG Z， JACOBS C， et al. Rapid modeling of animated faces from video[J]. Computer Animation and Virtual Worlds， 2001，12（4）：227240.

[13]LEE W S， MAGNENAT THALMANN N. Fast head modeling for animation[J]. Image and Vision Computing，2000，18（4）：355364.

[14]CHOWDHURY A K R， CHELLAPPA R. Face reconstruction from monocular video using uncertainty analysis and a generic model[J]. Computer Vision and Image Understanding，2003，91（1）：188213.endprint

[15]BLANZ V， VETTER T. Face recognition based on fitting a 3D morphable model[J]. IEEE Transactions on pattern analysis and machine intelligence，2003，25（9）：10631074.

[16]ROMDHANI S， VETTER T. Estimating 3D shape and texture using pixel intensity， edges， specular highlights， texture constraints and a prior[J].Computer Vision and Pattern Recognition， 2005. CVPR 2005. IEEE Computer Society Conference on. IEEE，2005（2）：986993.

[17]AMBERG B， BLAKE A， FITZGIBBON A， et al. Reconstructing high quality facesurfaces using model based stereo[C].Computer Vision， 2007. ICCV 2007. IEEE 11th International Conference on. IEEE，2007：18.

[18]ROMEIRO F， ZICKLER T. Modelbased stereo with occlusions[J]. Analysis and Modeling of Faces and Gestures，2007（1）：3145.

[19]HUBER P， KOPP P， CHRISTMAS W， et al. Realtime 3D face fitting and texture fusion on inthewild videos[J]. IEEE Signal Processing Letters，2017，24（4）：437441.

[20]ROBINSON J A， HYDE J R. Estimation of Face Depths by Conditional Densities[C].BMVC，2005：609618.

[21]REITER M， DONNER R， LANGS G， et al. 3D and infrared face reconstruction from RGB data using canonical correlation analysis[C].Pattern Recognition， ICPR 2006. 18th International Conference on， IEEE，2006：425428.

[22]CASTELáN M， VAN HOREBEEK J. 3D face shape approximation from intensities using partial least squares[C].Computer Vision and Pattern Recognition Workshops，2008.CVPRW'08. IEEE Computer Society Conference on. IEEE，2008：18.

（責任編輯：杜能鋼）endprint