人臉動(dòng)畫(huà)方法綜述

摘要:在分析人臉動(dòng)畫(huà)實(shí)現(xiàn)的困難點(diǎn)的基礎(chǔ)上，介紹了人臉動(dòng)畫(huà)的三大類實(shí)現(xiàn)方法:基于生理模型#65380;基于三維模型和基于圖像的方法。探討了這些方法的特點(diǎn)，并指出了它們各自的適用領(lǐng)域和局限性，提出了各類人臉動(dòng)畫(huà)方法需要根據(jù)實(shí)際需求相互靈活結(jié)合使用的觀點(diǎn)。

關(guān)鍵詞:人臉動(dòng)畫(huà); 基于生理模型; 基于三維模型; 基于圖像

中圖分類號(hào):TP391.41文獻(xiàn)標(biāo)志碼:A

文章編號(hào):1001－3695(2008)02－0327－05

人臉動(dòng)畫(huà)是指通過(guò)計(jì)算機(jī)合成的人臉表情運(yùn)動(dòng)。早在1972年，Parke首創(chuàng)了人臉動(dòng)畫(huà)系統(tǒng)。通過(guò)測(cè)繪技術(shù)建立網(wǎng)格模型，對(duì)不同的表情進(jìn)行插值，向人們初步呈現(xiàn)了人臉動(dòng)畫(huà)的魅力。在人際交流中，人臉是人類情感表達(dá)和交流最重要#65380;最直接的載體之一。1989年，心理學(xué)家的研究表明，物理世界中的人與人之間的直接交流主要有文本傳遞#65380;語(yǔ)音傳遞(聽(tīng)覺(jué))和表情體態(tài)傳遞(視覺(jué))三種模式。由此，心理學(xué)家提出一個(gè)公式:情感表達(dá)=7%文本+39%語(yǔ)音+54%表情動(dòng)作[1]。可見(jiàn)，人的交流不僅是多模態(tài)的，而且非語(yǔ)言模式占有重要地位。

人臉動(dòng)畫(huà)的應(yīng)用領(lǐng)域和前景非常廣泛。Pandzic等人[2]通過(guò)對(duì)190人的實(shí)驗(yàn)調(diào)查證明，人臉配合運(yùn)動(dòng)能夠幫助用戶理解噪聲環(huán)境下的講話內(nèi)容，使用戶更加集中注意力，使服務(wù)對(duì)用戶更具有吸引力，并且能夠有助于用戶接受更長(zhǎng)的等待時(shí)間。讓用戶面對(duì)提供人臉動(dòng)畫(huà)的服務(wù)以及面對(duì)不提供人臉動(dòng)畫(huà)的相同服務(wù)，對(duì)比的效果相當(dāng)明顯。動(dòng)畫(huà)的人臉能夠給計(jì)算機(jī)帶來(lái)人性化和親和力，給計(jì)算機(jī)提供的交互界面營(yíng)造友好和諧的氛圍，并且在聾啞人輔助教學(xué)系統(tǒng)中的作用尤其重要[3]。人臉動(dòng)畫(huà)技術(shù)還具有很大的商業(yè)潛力，對(duì)于電子商務(wù)#65380;顧客關(guān)系維護(hù)管理(customer relation management，CRM)等都具有很大的促進(jìn)作用，增強(qiáng)商家與用戶之間的溝通與理解。同時(shí)人臉動(dòng)畫(huà)還被應(yīng)用于虛擬現(xiàn)實(shí)#65380;虛擬主持人#65380;電視制作#65380;游戲娛樂(lè)等很多領(lǐng)域。盡管目前人臉動(dòng)畫(huà)的表情自動(dòng)生成技術(shù)還受到各種限制，但已經(jīng)有一些公司開(kāi)始將其產(chǎn)業(yè)化。中央電視臺(tái)第六套電影頻道節(jié)目中也采用虛擬主持人來(lái)給觀眾介紹節(jié)目?jī)?nèi)容;RedTed公司開(kāi)發(fā)出一種三維人臉模型，可用文本#65380;語(yǔ)音甚至音樂(lè)進(jìn)行控制;Sylvie公司推出了Verbot(verbally enhanced software robot)，這一人臉模型能夠?qū)崿F(xiàn)三維空間的智能人物與人的交流。

人臉動(dòng)畫(huà)越來(lái)越多地應(yīng)用于面向以計(jì)算機(jī)為媒介的人際交流(computer mediated communication，CMC)。其作用是扮演代表遠(yuǎn)方合作者的視覺(jué)窗口或替身的角色，以方便人們通過(guò)網(wǎng)絡(luò)進(jìn)行遠(yuǎn)程交流溝通。特別是使人們能夠在低網(wǎng)絡(luò)帶寬或在很低的傳輸碼流條件下，通過(guò)計(jì)算設(shè)備(包括臺(tái)式機(jī)#65380;筆記本以及手機(jī)#65380;PDA等各種移動(dòng)設(shè)備)在人與人之間方便地進(jìn)行交流和合作。其中包括虛擬視頻會(huì)議和可視電話#65380;遠(yuǎn)程教學(xué)等。在視頻會(huì)議和可視電話中的人臉動(dòng)畫(huà)技術(shù)，使得人們可以在低帶寬網(wǎng)絡(luò)條件下也能夠遠(yuǎn)程地進(jìn)行相對(duì)流暢的面對(duì)面交流，拉近了人與人之間的距離。通過(guò)人臉動(dòng)畫(huà)，人們一方面可以通過(guò)電腦替身表達(dá)自己的思想和情緒，及時(shí)提供和反饋信息，使他人感覺(jué)到有意義的溝通過(guò)程;另一方面又能夠根據(jù)自己的意愿隱藏自己當(dāng)前交流的真實(shí)所處環(huán)境，保護(hù)個(gè)人隱私。

1人臉動(dòng)畫(huà)的難點(diǎn)

人臉動(dòng)畫(huà)研究領(lǐng)域的主要研究?jī)?nèi)容包括對(duì)人臉的幾何形狀與紋理表現(xiàn)模式進(jìn)行建模，并建立人臉表情#65380;動(dòng)作等動(dòng)態(tài)信息的描述和表示方法，以求生成能夠滿足各種需求的人臉表情和運(yùn)動(dòng)。

目前，人臉動(dòng)畫(huà)還沒(méi)有得到廣泛運(yùn)用和推廣的原因是由于人臉的特殊性造成了人臉動(dòng)畫(huà)的困難。首先，從人臉幾何結(jié)構(gòu)來(lái)看，它是復(fù)雜的三維曲面，其幾何形狀非常復(fù)雜，并且每個(gè)人的臉部形狀和紋理各不相同。人臉的各個(gè)器官，如眼睛#65380;鼻子#65380;嘴巴等的形狀變化非常大，很難用模型精確描述;并且人臉的表面不但具有無(wú)數(shù)細(xì)小的皺紋，還會(huì)呈現(xiàn)微妙的顏色和紋理的變化。其次，從人臉的生理結(jié)構(gòu)和運(yùn)動(dòng)機(jī)理機(jī)制上來(lái)看，人臉是一個(gè)層次化結(jié)構(gòu)，它由頭骨#65380;肌肉層#65380;覆蓋的結(jié)締組織和外部皮膚層組成。人臉表情的產(chǎn)生是由臉部多個(gè)肌肉群的協(xié)作變形引起的，涉及人臉面部多個(gè)器官的協(xié)調(diào)運(yùn)動(dòng)。產(chǎn)生人臉表情或動(dòng)作涉及到的主要肌肉有口輪匝肌#65380;鼻肌#65380;顴肌#65380;眼輪匝肌#65380;皺眉肌等。例如唇部動(dòng)作主要由口輪匝肌來(lái)完成;皺鼻子等動(dòng)作主要是由鼻肌的收縮產(chǎn)生;顴肌的收縮會(huì)造成顴骨處臉頰的提高;眼睛及眼部周圍的變化主要是由眼輪匝肌收縮導(dǎo)致的。如此復(fù)雜的運(yùn)動(dòng)機(jī)理很難用精確的計(jì)算機(jī)語(yǔ)言描述[4]。再者，人臉的特殊材質(zhì)決定了它的特殊光照特性。皮下的不規(guī)則散射#65380;折射以及臉部毫毛對(duì)光照的影響使光照情況更加復(fù)雜化。最與眾不同的是人對(duì)人臉生來(lái)就具有特別的敏感程度。尤其是對(duì)于周圍熟悉的人，任何微妙的表情變化都能夠覺(jué)察出來(lái)。這就使得人臉建模與動(dòng)畫(huà)變得更加困難。

按照傳統(tǒng)的Mar視覺(jué)計(jì)算理論，人臉動(dòng)畫(huà)需要根據(jù)影調(diào)#65380;運(yùn)動(dòng)#65380;立體#65380;輪廓#65380;紋理等線索恢復(fù)人臉表面的形狀，并且對(duì)人臉建立精確的三維模型表示，這是相當(dāng)困難的事情。因此不少研究人員嘗試根據(jù)需求應(yīng)用，對(duì)人臉的建模和動(dòng)畫(huà)作面向任務(wù)的簡(jiǎn)化。這是實(shí)現(xiàn)具有實(shí)際應(yīng)用價(jià)值人臉動(dòng)畫(huà)的有活力的思路。

2從難易程度上對(duì)人臉動(dòng)畫(huà)方法分類

根據(jù)實(shí)現(xiàn)動(dòng)畫(huà)難易程度，人臉動(dòng)畫(huà)由易到難可以分為三個(gè)層次，如圖1所示。

1)通用人臉模型之通用動(dòng)畫(huà)對(duì)于所有的動(dòng)畫(huà)人臉采用相同的模型，并且對(duì)于動(dòng)畫(huà)中動(dòng)作表情變化的刻畫(huà)也采用相同的模式。

2)個(gè)性人臉模型之通用動(dòng)畫(huà)對(duì)不同的動(dòng)畫(huà)對(duì)象建立不同的動(dòng)畫(huà)模型，但是表情動(dòng)作的運(yùn)動(dòng)模式是相同的。

3)個(gè)性人臉模型之個(gè)性動(dòng)畫(huà)不但對(duì)于不同的動(dòng)畫(huà)對(duì)象有獨(dú)特的動(dòng)畫(huà)模型，其動(dòng)畫(huà)的模式也是根據(jù)每個(gè)對(duì)象不同的特點(diǎn)建立的。每個(gè)層次上實(shí)現(xiàn)人臉動(dòng)畫(huà)所需關(guān)注的關(guān)鍵問(wèn)題和運(yùn)用的關(guān)鍵技術(shù)都不盡相同。

3從實(shí)現(xiàn)上對(duì)人臉動(dòng)畫(huà)方法分類

從人臉動(dòng)畫(huà)的實(shí)現(xiàn)方法的角度來(lái)看，現(xiàn)有的人臉動(dòng)畫(huà)方法可以大致分為基于生理模型#65380;基于三維模型(3D model－based)和基于圖像(image－based)的三大類人臉動(dòng)畫(huà)方法。

3.1基于生理模型的人臉動(dòng)畫(huà)方法

人臉是骨頭#65380;軟骨#65380;肌肉#65380;神經(jīng)#65380;血管#65380;腺體#65380;脂肪組織#65380;結(jié)締組織#65380;皮膚和頭發(fā)等組成的復(fù)雜集合。按照生物解剖學(xué)理論，可以將人臉組織簡(jiǎn)化成皮膚#65380;肌肉和骨骼三個(gè)層次。人臉的表情運(yùn)動(dòng)主要通過(guò)肌肉層的彈性作用控制，通過(guò)皮膚層來(lái)表現(xiàn)。基于生理模型的人臉動(dòng)畫(huà)通過(guò)人臉的解剖機(jī)理和物理結(jié)構(gòu)，模擬人臉的肌肉構(gòu)成和運(yùn)動(dòng)構(gòu)造簡(jiǎn)化的人臉模型，以生成臉部的表情動(dòng)作。這種人臉建模動(dòng)畫(huà)的思想非常自然。

Platt和Badler[3]認(rèn)為人臉可以用彈性網(wǎng)格結(jié)構(gòu)表示，臉部運(yùn)動(dòng)可以通過(guò)肌肉將力傳遞作用于臉部的彈性網(wǎng)格結(jié)構(gòu)來(lái)模擬。他們采用38條肌肉塊作用于表示人臉的彈性網(wǎng)格結(jié)構(gòu)使之產(chǎn)生變形，生成人臉動(dòng)作。1987年，Waters[5]通過(guò)肌肉向量域的方向和原點(diǎn)，以及肌肉向量插入點(diǎn)的位置來(lái)定義人臉肌肉，用余弦函數(shù)來(lái)描述肌肉向量的域，將其嵌入在三維網(wǎng)格模型的特定位置，構(gòu)造圓錐形類似于高度場(chǎng)的空間。Magnenat－Thalmann等人[6]則采用抽象肌肉動(dòng)作過(guò)程(abstract muscle action，AMA)，通過(guò)對(duì)抽象肌肉的控制模擬臉部表情。之后，Terzopoulos與Waters[7]合作提出了更為細(xì)致的肌肉模型——多層彈性網(wǎng)格肌肉模型。Lee等人在Waters工作的基礎(chǔ)上提出了基于物理皮膚和肌肉的綜合模型[4，8]。

基于生理模型的人臉動(dòng)畫(huà)，通過(guò)引入肌肉模型以及驅(qū)動(dòng)人臉行為的內(nèi)在變形機(jī)制，使模擬的人臉真實(shí)感得到了一定的保障。但是由于對(duì)人臉生理結(jié)構(gòu)還在深入研究當(dāng)中，基于生理的人臉模型暫時(shí)還不可能達(dá)到精準(zhǔn)的水平，很難定量地給出人臉的準(zhǔn)確構(gòu)造和運(yùn)動(dòng)方式。這些方法所采用的人臉模型復(fù)雜，使得對(duì)不同人的臉部建模相當(dāng)困難，動(dòng)畫(huà)生成中不可避免地涉及到巨大的計(jì)算量，并且每個(gè)人臉部的獨(dú)特性給這些方法帶來(lái)了更大的阻擾。因?yàn)椴坏總€(gè)人的肌肉粗壯程度和肌肉力量不同，而且動(dòng)作習(xí)慣大不相同會(huì)導(dǎo)致肌肉運(yùn)動(dòng)習(xí)慣也大不一樣。這些問(wèn)題都很難用簡(jiǎn)單的肌肉模型去描述。

盡管后來(lái)又有不少研究人員提出類肌肉模型的方法。這些方法不涉及復(fù)雜的人臉生理結(jié)構(gòu)，而采用類似肌肉的方式對(duì)人臉網(wǎng)格進(jìn)行變形，以模仿人臉肌肉的運(yùn)動(dòng)，如偽肌肉模型[6]#65380;基于樣條的模型[9]和有限元模型[10]。雖然它們相對(duì)于采用肌肉模型的人臉動(dòng)畫(huà)方法而言，在某種程度上簡(jiǎn)化了人臉模型，也降低了計(jì)算負(fù)擔(dān)，但是由于它們?nèi)狈?duì)人臉紋理的建模，不能生成逼真的動(dòng)畫(huà)人臉紋理;并且由于對(duì)人臉的運(yùn)動(dòng)缺乏控制能力，使得人臉表情的生成不易調(diào)節(jié)。

3.2基于三維模型的人臉動(dòng)畫(huà)方法

基于三維模型的人臉動(dòng)畫(huà)方法，以三維人臉模型作為動(dòng)畫(huà)基礎(chǔ)來(lái)實(shí)現(xiàn)人臉動(dòng)畫(huà)。通過(guò)三維人臉模型對(duì)臉部的外觀和動(dòng)作模式進(jìn)行建模，利用不同的函數(shù)或者參數(shù)的變化控制合成不同的人臉動(dòng)作和表情。三維人臉模型的設(shè)計(jì)選取決定了人臉動(dòng)畫(huà)的效果#65380;實(shí)現(xiàn)的難易程度以及動(dòng)畫(huà)效率。基于三維模型的人臉動(dòng)畫(huà)一般分為建模和合成兩個(gè)階段。在建模階段，根據(jù)已知的人臉結(jié)構(gòu)#65380;形狀等先驗(yàn)知識(shí)以及建立三維模型所需要的各種條件#65380;參數(shù)#65380;數(shù)據(jù)等要求，對(duì)輸入的圖像或是圖像序列進(jìn)行圖像分析和處理，如邊界檢測(cè)#65380;姿態(tài)估計(jì)#65380;人臉特征抽取#65380;特征檢測(cè)#65380;特征跟蹤等，以獲得相應(yīng)的模型參數(shù)。合成階段是在一定的動(dòng)畫(huà)規(guī)則的基礎(chǔ)上，根據(jù)所需要的動(dòng)畫(huà)要求給出控制三維模型動(dòng)畫(huà)所需要的函數(shù)表達(dá)或形狀紋理參數(shù)，以驅(qū)動(dòng)模型獲得動(dòng)畫(huà)圖像。因此基于三維模型的人臉動(dòng)畫(huà)方法要解決兩個(gè)方面的問(wèn)題:三維人臉建模和動(dòng)畫(huà)驅(qū)動(dòng)。

3.2.1三維人臉建模方法

建立人臉的三維模型需要獲取稠密的人臉三維信息，包括人臉的幾何信息和紋理信息。這些三維信息可以利用復(fù)雜精細(xì)的設(shè)備，只經(jīng)過(guò)一般的配準(zhǔn)和立體視覺(jué)求解獲取[11~15];也可以通過(guò)普通的圖像獲取設(shè)備采集圖像或圖像序列，基于計(jì)算機(jī)視覺(jué)(立體視覺(jué)#65380;影調(diào)#65380;邊緣檢測(cè)等方法)和圖形圖像學(xué)算法通過(guò)復(fù)雜的運(yùn)算從圖像中提取立體信息[16~19]。

稠密的三維數(shù)據(jù)可以由專門的三維數(shù)據(jù)采集設(shè)備獲取。Lee等人[11]通過(guò)三維激光掃描儀Cyberware得到人臉稠密的深度圖和紋理圖;Hong等人[12]和Jeong等人[13]也采用類似的方法構(gòu)造人臉模型。此方法能夠獲得高精度的三維信息，但是由于三維激光掃描儀過(guò)于昂貴，很少應(yīng)用于平常的工作和生活中。相類似的還有基于結(jié)構(gòu)光的主動(dòng)視覺(jué)方法來(lái)獲取三維信息[14，15]，借助人工光源在一定程度上降低了立體視覺(jué)中對(duì)應(yīng)點(diǎn)匹配的難度。過(guò)于復(fù)雜的設(shè)備或者過(guò)多的人工干涉成為了這些方法被廣泛應(yīng)用的阻礙。

為了能夠在通常條件下利用普通的圖像捕捉設(shè)備進(jìn)行三維數(shù)據(jù)的提取，許多研究人員基于圖像攝影測(cè)量技術(shù)，根據(jù)計(jì)算機(jī)視覺(jué)中影調(diào)#65380;運(yùn)動(dòng)#65380;立體#65380;輪廓#65380;紋理等線索恢復(fù)物體表面的形狀，通過(guò)對(duì)圖像或者圖像序列的分析獲取稠密的三維信息。稠密的三維數(shù)據(jù)可以通過(guò)多部攝像機(jī)的二維圖像的稠密對(duì)應(yīng)，根據(jù)多目立體視覺(jué)原理求解[16，17]。Shan等人[18]采用了類似的方法。這類方法采用的圖像捕捉設(shè)備簡(jiǎn)單且較少有人工介入，從方便用戶使用的角度而言很有實(shí)用價(jià)值。但是由于基于角點(diǎn)檢測(cè)的特征點(diǎn)匹配，在臉部的皮膚光滑區(qū)域容易產(chǎn)生誤差;而且通過(guò)多視圖的多組幀間對(duì)應(yīng)去恢復(fù)三維的紋理，這種優(yōu)化問(wèn)題對(duì)初始值尤為敏感且誤差容易積累。

Vetter等人[19]提出單幅人臉圖像的方法。由于根據(jù)光流在人臉圖像之間作稠密的匹配對(duì)應(yīng)，極易受到采集圖像環(huán)境中光照和噪聲的影響。Pighin[20]采用同時(shí)在多視角(5個(gè)視角)采集多幅人臉圖像的方法，在這些人臉圖像上分別標(biāo)定少量人臉特征點(diǎn)(在正面圖像上選擇13個(gè)人臉特征點(diǎn))，通過(guò)這組圖像對(duì)應(yīng)特征點(diǎn)去估計(jì)攝像機(jī)內(nèi)外參數(shù)以及特征點(diǎn)在空間的三維位置。在對(duì)已有特征點(diǎn)進(jìn)行插值得到更多的頂點(diǎn)位置之后，通過(guò)增加新的形狀對(duì)應(yīng)約束，對(duì)通用人臉模型作逐步的細(xì)化調(diào)整，得到特定人的臉部三維模型(圖2)。這種方法能夠獲得較為準(zhǔn)確的三維人臉模型，但同時(shí)從多視角獲取人臉圖像需要多部照相設(shè)備的配合，并且需要較多的人工參與標(biāo)定出準(zhǔn)確的人臉特征點(diǎn)。

Akimoto等人[21]提出基于正側(cè)面兩幅人臉圖像以及通用人臉模型進(jìn)行三維人臉建模的方法。其對(duì)需要的設(shè)備要求不高，數(shù)據(jù)采集較少，人工干預(yù)較少，能夠簡(jiǎn)單快速地估計(jì)人臉的三維形狀;但是人臉的紋理恢復(fù)不夠精細(xì)，尤其在正側(cè)面圖像中包含的光照條件差異很大的情況下。這給三維紋理的重建帶來(lái)了很大的困難。

3.2.2三維人臉模型驅(qū)動(dòng)方法

人臉模型的驅(qū)動(dòng)技術(shù)與人臉模型的定義是息息相關(guān)的。這些方法有基于幾何插值的[20，22]#65380;基于變形的[23~25]以及基于參數(shù)的人臉動(dòng)畫(huà)方法。

基于幾何插值的人臉動(dòng)畫(huà)方法是人臉動(dòng)畫(huà)的一種直覺(jué)性的生成方法，通過(guò)在關(guān)鍵幀形狀之間進(jìn)行某種形式的加權(quán)插值，如線性插值#65380;余弦插值等，生成中間狀態(tài)的插值圖像形狀[20，22]。雖然插值的方法計(jì)算復(fù)雜度相對(duì)較低#65380;動(dòng)畫(huà)生成速度快#65380;生成的動(dòng)畫(huà)較為逼真，但是生成的表情受到了關(guān)鍵幀的限制，不可能生成關(guān)鍵幀插值范圍之外的人臉動(dòng)作。因此決定了這類方法只適用于少量人臉表情的人臉動(dòng)畫(huà)需求。

基于變形的人臉動(dòng)畫(huà)方法如Sederberg等人[23]提出的free form deformation(FFD)#65380;Kalra等人[24]提出的rational free from deformation(RFED)，以及Noh等人[25]提出的基于徑向基函數(shù)(radial basis function，RBF)變形的方法。變形方法能夠很好地模擬人臉形狀的變化。但由于沒(méi)有考慮人臉的特殊紋理，不能擬合皺紋#65380;皮膚中的突起以及褶皺，很難生成逼真的人臉動(dòng)畫(huà)紋理;并且由于RFFD是基于曲面變形的，在變形過(guò)程中不一定能夠保證人臉體積不變。

近年來(lái)，研究人員對(duì)于基于參數(shù)的人臉動(dòng)畫(huà)方法作了多方面的研究和嘗試。參數(shù)化的表達(dá)能夠通過(guò)不同參數(shù)值的變化和組合，在相對(duì)低的計(jì)算復(fù)雜度和動(dòng)畫(huà)碼流率的條件下表達(dá)豐富的人臉動(dòng)作表情。

Parke[26]對(duì)人臉定義了三維的網(wǎng)格模型及其相應(yīng)的構(gòu)造參數(shù)和表情參數(shù);Blanz與Vetter[27]提出了三維可形變模型。在已有的包含200個(gè)不同人的三維人臉模型(具有三維形狀以及紋理的人臉模型)庫(kù)的基礎(chǔ)上定義臉部屬性，包括輪廓描述#65380;男子#65380;女子#65380;微笑#65380;皺眉#65380;微胖以及尖勾鼻的差分向量參數(shù)表達(dá)。三維可形變模型能夠在單幅人臉圖像的條件下生成逼真的人臉表情圖像。但是三維數(shù)據(jù)以及稠密的光流對(duì)應(yīng)中計(jì)算量大#65380;計(jì)算復(fù)雜度高，并且模型的初始化需要大量的人工干預(yù)，因此不適合于需要實(shí)時(shí)生成的人臉動(dòng)畫(huà)應(yīng)用。

由于預(yù)見(jiàn)到說(shuō)話人臉(talking head)在未來(lái)的巨大應(yīng)用前景，MPEG－4標(biāo)準(zhǔn)在視頻編碼標(biāo)準(zhǔn)中引進(jìn)了對(duì)合成視覺(jué)對(duì)象的編碼，包括2D#65380;3D動(dòng)畫(huà)以及人臉面部表情動(dòng)畫(huà)[28~30]。

基于參數(shù)化的人臉動(dòng)畫(huà)方法能夠顯式地描述人臉的幾何形狀以及紋理構(gòu)成，通過(guò)參數(shù)的各種不同的值和組合能夠產(chǎn)生各種不同的人臉表情動(dòng)作;并且參數(shù)化的控制能夠大大減少控制碼流，實(shí)現(xiàn)在極低比特率的條件下的人臉動(dòng)畫(huà)。但是實(shí)際的參數(shù)化模型很難達(dá)到理想?yún)?shù)化水平。目前為止還沒(méi)有一個(gè)很好的提取控制參數(shù)的機(jī)制，憑主觀的判斷很難選擇到適當(dāng)?shù)耐陚鋮?shù)集合去表達(dá)所有可能的人臉表情動(dòng)作。當(dāng)兩個(gè)對(duì)相同頂點(diǎn)起沖突作用的參數(shù)同時(shí)作用于該人臉模型頂點(diǎn)時(shí)，很難仲裁如何取舍兩個(gè)參數(shù)或者如何對(duì)兩個(gè)參數(shù)加權(quán)。因此當(dāng)參數(shù)間有沖突作用存在時(shí)，難免產(chǎn)生不自然的表情。如果通過(guò)區(qū)域劃分的方法解決參數(shù)沖突問(wèn)題，又會(huì)導(dǎo)致動(dòng)畫(huà)時(shí)的運(yùn)動(dòng)邊界問(wèn)題。

3.3基于圖像的人臉動(dòng)畫(huà)方法

基于圖像的人臉動(dòng)畫(huà)方法希望避免三維模型的重構(gòu)，利用對(duì)二維圖像某種形式的變形或者拼接處理，直接產(chǎn)生動(dòng)畫(huà)的人臉。基于三維模型的方法通過(guò)三維形狀形變與紋理映射合成動(dòng)畫(huà)圖像會(huì)導(dǎo)致或多或少的人為痕跡。與此不同，基于圖像的人臉動(dòng)畫(huà)方法生成的動(dòng)畫(huà)紋理直接來(lái)源于采集的人臉圖像，具有很高的紋理真實(shí)感。尤其是對(duì)于三維模型很難建模的嘴部區(qū)域運(yùn)動(dòng)紋理，基于圖像的方法能夠通過(guò)采集足夠的相應(yīng)紋理合成逼真的嘴部說(shuō)話表情紋理。因此在近年來(lái)成為人臉動(dòng)畫(huà)的一個(gè)熱門研究方向。這些方法有基于單幀圖像形變的#65380;基于關(guān)鍵幀圖像的#65380;基于圖像拼接的#65380;基于比例圖像的以及基于統(tǒng)計(jì)模型的。

基于單幀圖像形變的人臉動(dòng)畫(huà)通過(guò)將單幀人臉圖像網(wǎng)格化，并根據(jù)一定的規(guī)則變形網(wǎng)格，拉動(dòng)人臉紋理曲翹形變而合成動(dòng)畫(huà)人臉。Arad等人[31]提出的基于徑向基函數(shù)的圖像變形由單幅圖像實(shí)現(xiàn)人臉的表情;Edge等人[32]基于徑向基函數(shù)實(shí)現(xiàn)了相片般真實(shí)的人臉動(dòng)畫(huà)系統(tǒng);Perng等人[33]實(shí)現(xiàn)了語(yǔ)音驅(qū)動(dòng)的人臉動(dòng)畫(huà)系統(tǒng)。

基于關(guān)鍵幀的人臉動(dòng)畫(huà)方法目前是計(jì)算機(jī)動(dòng)畫(huà)中最基本并且運(yùn)用最廣泛的方法之一。關(guān)鍵幀的概念來(lái)源于傳統(tǒng)的卡通片制作。從原理上講，關(guān)鍵幀插值問(wèn)題可歸結(jié)為參數(shù)插值問(wèn)題，傳統(tǒng)的插值方法均可應(yīng)用到關(guān)鍵幀方法中。但關(guān)鍵幀插值又與純數(shù)學(xué)的插值不同，它有其特殊性。一個(gè)好的關(guān)鍵幀插值方法必須能夠產(chǎn)生逼真的運(yùn)動(dòng)效果，并能給用戶提供方便有效的控制手段。基于關(guān)鍵幀的人臉動(dòng)畫(huà)是Beier和Neely[34]首先提出來(lái)的，其實(shí)現(xiàn)的基礎(chǔ)是兩組拓?fù)浣Y(jié)構(gòu)相同并一一對(duì)應(yīng)的多邊形(三角形)網(wǎng)格模型。Benson[35]#65380;Gao等人[36]也基于嘴型圖像關(guān)鍵幀的線性組合合成新的動(dòng)畫(huà)嘴型;Ezzat和Poggio[37]基于二維因素圖像集合提取相應(yīng)的關(guān)鍵幀圖像，建立了一套二維說(shuō)話人臉動(dòng)畫(huà)系統(tǒng);2002年，Ezzat等人[38]建立了一套基于MMM(multidimesional morphable model)的人臉動(dòng)畫(huà)系統(tǒng)。

基于圖像拼接的人臉動(dòng)畫(huà)方法將人臉動(dòng)畫(huà)視頻的生成問(wèn)題定義為根據(jù)一定的需求和規(guī)則來(lái)組合和拼接原始的小段分割的人臉圖像序列單元，構(gòu)成新的圖像序列。Bregler等人[39]設(shè)計(jì)了基于三因素視頻重構(gòu)系統(tǒng);Cosatto等人[40]和Graf等人[41]提出了由基本頭部框架#65380;嘴部#65380;雙眼和額頭等人臉器官組件合成人臉圖像的方法。人臉器官組件的不同組合增加了生成動(dòng)畫(huà)的多樣性;但由于每個(gè)器官的運(yùn)動(dòng)并非完全獨(dú)立的，這種主觀的分割也有可能帶來(lái)不自然的動(dòng)畫(huà)效果。

基于圖像拼接人臉動(dòng)畫(huà)方法能夠獲得高逼真度的人臉動(dòng)畫(huà)，但是需要采集大量的圖像數(shù)據(jù)，建立完備的數(shù)據(jù)集合。在合成時(shí)很難實(shí)現(xiàn)對(duì)動(dòng)畫(huà)的調(diào)整和控制，并且動(dòng)畫(huà)很難推廣到其他人臉對(duì)象。

基于比例圖像的人臉動(dòng)畫(huà)方法是一種基于圖熵的方法，將兩幅已配準(zhǔn)的圖像相除即得到兩者的比例圖像。利用比例圖像可以在完全基于二維的條件下改變?nèi)四樀墓庹招Ч鸞42，43]，也可以在相同光照條件的兩幅圖像之間捕捉人臉表情動(dòng)作時(shí)紋理的細(xì)微變化[44]。Liu等人[44]利用表情比例模型能夠?qū)⒁粋€(gè)人臉對(duì)象的表情克隆到其他人臉對(duì)象，并且能夠表現(xiàn)表情的紋理細(xì)節(jié)，如額頭或嘴角由于表情產(chǎn)生的細(xì)小褶皺。但是表情比例模型關(guān)注圖像紋理的生成，不能很好地?cái)M合動(dòng)畫(huà)人臉的形狀變化，因此一般不直接用來(lái)合成人臉動(dòng)畫(huà)圖像序列，而是作為人臉動(dòng)畫(huà)處理紋理的有力工具，用于增強(qiáng)動(dòng)畫(huà)的紋理逼真效果。

基于統(tǒng)計(jì)模型的人臉動(dòng)畫(huà)方法是通過(guò)統(tǒng)計(jì)學(xué)的方法對(duì)訓(xùn)練集圖像進(jìn)行統(tǒng)計(jì)分析，構(gòu)造相應(yīng)的人臉空間，用人臉空間中的基向量的參數(shù)組合(多為線性組合)表示所有人臉圖像。在人臉的統(tǒng)計(jì)學(xué)模型方面做了大量突出工作的是Cootes等人提出的主動(dòng)形狀模型(acitive shape model，ASM)[45]#65380;主動(dòng)表觀模型(active appearance model，AAM)[46]等，能夠廣泛用于人臉圖像的分析#65380;特征點(diǎn)定位#65380;跟蹤和合成等領(lǐng)域。ASM與AAM通過(guò)對(duì)樣本集進(jìn)行主分量分析得到樣本的均值與變化模式;然后再用這些提取出來(lái)的變化模式線性組合出新樣本。這種做法消除了訓(xùn)練樣本間的冗余，生成的模型更加緊湊，表示人臉時(shí)也更加有效。但是訓(xùn)練ASM與AAM往往需要大量的訓(xùn)練數(shù)據(jù)，要針對(duì)所有的表情動(dòng)作采集相關(guān)訓(xùn)練數(shù)據(jù)幾乎是不可能的事情。因此它們多用于合成單

幅人臉圖像，或者應(yīng)用于人臉特征點(diǎn)的定位。

4結(jié)束語(yǔ)

現(xiàn)有的人臉動(dòng)畫(huà)方法各有特點(diǎn)和相應(yīng)的適用領(lǐng)域，同時(shí)它們?cè)谒惴ǖ膹?fù)雜度#65380;獲取三維數(shù)據(jù)設(shè)備的易用性或者實(shí)現(xiàn)可變姿態(tài)的便捷性和魯棒性等方面還存在不少的問(wèn)題。不同應(yīng)用中人臉動(dòng)畫(huà)在動(dòng)畫(huà)質(zhì)量(姿態(tài)和紋理)#65380;運(yùn)行性能#65380;建模便捷性以及可操控性等方面提出了不同的需求，因此它們也經(jīng)常由于難以滿足實(shí)用的需求而需要相互靈活的結(jié)合。

參考文獻(xiàn):

[1]MEHRABIAN A. Communication without words[J]. Psychology Today， 1968，2(4):53－56.

[2]PANDZIC I S， OSTERMANN J， MILLEN D. User evaluation: synthetic talking faces for interactive services[J]. Visual Computer， 1999，15(7－8):330－340.

[3]PLATT S， BADLER N I. Animating facial expresion[J]. Computer Graphics， 1981，15(3):245－252.

[4]LEE Y C， TERZOPOULOS D， WATERS K. Constructing physics－based facial model of individuals[C]//Proc of Graphics Interface.[S.l.]: Canadian Information Processing Society， 1993:1－8.

[5]WATERS K. A muscle model for animating three－dimensional facial expression[J]. Computer Graphics， 1987，21(4):17－23.

[6]MAGNENAT－THALMANN N， PRIMEAU N E， THALMANN D. Abstract muscle action procedures for human face animation[J]. Visual Computer， 1988，3(5):290－297.

[7]TERZOPOULOS D， WATERS K. Analysis and synthesis of facial image sequences using physical and anatomical models[J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 1993，15(6):569－579.

[8]LEE Y C， TERZOPOULOS D， WATERS K. Realistic modeling for facial animation[C]//Proc of SIGGRAPH’95. 1995:55－62.

[9]VIAD M L， YAHIA H. Facial animation with wrinkles[C]//FORSEY D， HEGRON G. Proc of the 3rd Eurographics Workshop on Animation and Simulation. 1992:11－19.

[10]KOCH R M， GROSS M H， CARLS F R， et al. Simulating facial surgery using finite element models[C]//Proc of SIGGRAPH’96. 1996:421－428.

[11]LEE S， CHWA K， SHIN S. Image metamorphosis using smakes and freeform deformations[C]//Proc of SIGGRAPH’95. 1995:439－448.

[12]HONG Peng－yu， WEN Zhen， HUANG T S. iFACE: a 3D synthetic talking face[J]. International Journal of Image and Graphics， 2001，1(1):19－26.

[13]JEONG W， KAHLER K， HABER J， el at. Automatic generation of subdivision surface head models from point cloud data[C]//Proc of Graphics Interface. 2002:181－188.

[14]POSDAMER J， ALTSCHULER M. Surface measurement by spaceencoded projected beam systems[J]. Computer Graphics and Image Processing， 1982，18(1):1－17.

[15]GARCIA E， DUGELAY J L. Low cost 3D face acquisition and mode－ling[C]//Proc of International Conference on Information Technology: Coding and Computing. 2001:657－661.

[16]FUJIWARA T， KOSHIMIZU H， FUJIMURA K， et al. 3D modeling system of human face and full 3D facial caricaturing[C]//Proc of the 17th International Conference on Virtual Systems and Multimedia. 2001:625－633.

[17]GUENTER B， GRIMM C， WOOD D， et al. Making faces[C]//Proc of ACM SIGGRAPH Conference on Computer Graphics. 1998:55－66.

[18]SHAN Ying， LIU Zi－cheng， ZHANG Zheng－you. Model－based bundle adjustment with application to face modeling[C]//Proc of International Conference on Computer Vision. 2001:644－651.

[19]VETTER T， BLANZ V. Generalization to novel views from a single face image[C]//WECHSLER H， PHILLIPS P J， BRUCE V， et al. Face recognition: from theory to applications. London: Springer－Verlag， 1998:310－326.

[20]PIGHIN F. Modeling and animating realistic faces from images[D]. Los Angeles: Institute for Creative Technologies， University of Sou－thern California， 1999:28－39.

[21]AKIMOTO T， SUENAGA Y， WALLACE R S. Automatic creation of 3D facial models[J]. IEEE Computer Graphics and Applications， 1993，13(3):16－22.

[22]WATERS K， LEVERGOOD T M. Decface: an automatic lip－synchronization algorithm for synthetic faces[R]. Cambridge: Cambridge Research Laboratory， 1993:31－42.

[23]SEDERBERG T W， PARRY S R. Free－form deformation of solid geometic models[J]. Computer Graphics， 1986，20(4):151－160.

[24]KALRA P， MANGILI A， THALMANN N M， et al. Simulation of facial muscle actions based on rational free from deformations[J]. Eurographics， 1992，11(3):59－69.

[25]NOH J Y， FIDALEO D， NEUMANN U. Animated deformations with radial basis functions[C]//Proc of ACM Symposium on Virtual Rea－lity and Software Technology. 2000:166－174.

[26]PARKE F I. A parametric model for human faces， UTEC－CSc－75－047[R]. Salt Lake City: University of Utah， 1974:18－27.

[27]BLANZ V， VETTER T. A morphable model for the synthesis of 3D faces[C]//Proc of SIGGRAPH. Los Angeles:[s.n.]， 1999:187－194.

[28]International Organisation for Standardisation. ISO/IEC 14496 2:1999/Amd.1:2000(E)， Information technologycoding of audio－visual objects， part 2: visual amendment 1: visual extensions[S]. 2000.

[29]姜大龍，王兆其，高文.基于MPEG－4的三維人臉動(dòng)畫(huà)實(shí)現(xiàn)方法[C]//第一屆全國(guó)虛擬現(xiàn)實(shí)與可視化學(xué)術(shù)會(huì)議(CCVRV’01).北京:[出版者不詳]， 2001:49－59.

[30]藍(lán)娟，陳益強(qiáng)，徐燕.基于MPEG－4和PCA的人臉動(dòng)畫(huà)合成方法[J].計(jì)算機(jī)工程與應(yīng)用，2004，40(10):60－64.

[31]ARAD N， DYN N， RESFELD D， et al. Image warping by radial basis functions: application to facial expressions[J]. Graphical Mo－dels and Image Processing， 1994，56(2):161－172.

[32]EDGE J D， MADDOCK S. Image based talking heads using radial basis functions[C]//Proc of EGUK2003. 2003:74－80.

[33]PERNG W L， WU Yung－kang， OUHYOUNG M. Image talk: a real－time synthetic talking head using one single image with Chinese text－to－speech capability[C]//Proc of the 6th Pacific Conference on Computer Graphics and Applications. Singapore:[s.n.]， 1998:140－149.

[34]BEIER T， NEELY S. Feature－based image metamorphosis[C]//Proc of SIGGRAPH’92. 1992:35－42.

[35]BENSON P J. Morph transformation of the facial image[J]. Image and Vision Computing， 1994，12(10):691－696.

[36]GAO L， MUKAIGAWA Y， OHTA Y. Synthesis of facial images with lip motion from several real views[C]//Proc of Automatic Face and Gesture Recognition. 1998:181－186.

[37]EZZAT T， POGGIO T. Mike talk: a talking facial display based on morphing visemes[C]//Proc of Computer Animation Conference. Philadelphia:[s.n.]， 1998:96－102.

[38]EZZAT T， GEIGER G， POGGIO T. Trainable videorealistic speech animation[C]//Proc of ACM SIGGRAPH. San Antonio， Texas:[s.n.]， 2002:388－398.

[39]BREGLER C，COVELL M，SLANEY M.Video rewrite: driving visual speech with audio[C]//Proc of SIGGRAPH’97.1997:353－360.

[40]COSATTO E， GRAF H P. Sample－based synthesis of photo－realistic talking－h(huán)eads[C]//Proc of Computer Animation.[S.l.]: IEEE Computer Society， 1998:103－110.

[41]GRAF H P， COSATTO E， EZZAT T. Face analysis for the synthesis of photo－realistic talking heads[C]//Proc of the 4th IEEE lnt Conf Automatic Face and Gesture Recognition. Grenoble: IEEE Computer Society， 2000:189－194.

[42]SHASHUAN A， RIKLIN－RAVIV T. Quotient image: class－based re－rendering and recognition with varying illuminations[J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 2001，23(2):129－139.

[43]WEN Zhen， LIU Zi－cheng， HUANG T S. Face relighting with ra－diance environment maps[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2003:158－165.

[44]LIU Zi－cheng， SHAN Ying， ZHANG Zheng－you. Expressive expression mapping with ratio images[C]//Proc of ACM SIGGRAPH Conference on Computer Graphics. Los Angeles:[s.n.]， 2001:271－276.

[45]COOTES T F， TAYLOR C J， COOPER D H， et al. Active shape models their training and application[J]. Computer Vision and Image Understanding， 1995，61(1):38－59.

[46]COOTES T F， EDWARDS G J， TAYLOR C J. Active appearance models[C]//Proc of the 5th European Conference on Computer Vision. 1998:484－498.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文”