基于形變模型帶表情的三維人臉重建

孫建偉

（四川大學計算機學院，成都 610065）

0 引言

人臉是人臉信息傳遞的載體，隨著近幾年來生物特征識別領域的快速發展，人臉相關的研究更是成為了熱門的研究對象。而真實感的三維人臉建模也逐漸成為人臉研究中一個熱點問題。技術的發展，生活質量的提高，我們注意到三維人臉建模在多種領域中起著重要的作用，更是在計算機視覺、醫學研究、游戲娛樂、等都具有廣大的應用前景。

人臉形狀建模主要有兩類：一種是通過使用三維掃描設備直接建立三維模型，另一種則是根據二維圖像重建出三維人臉模型。第一種建模方法采用主動式的方法獲得數據，其優點是能夠得到較為精確的人臉模型，但是只能在特定的環境下使用。相比較而言，第二類方法更具有普遍性，適用更多的場景，缺點就是重建的模型精度不高，推廣到現實中需要一定的時間。

第二類重建方法有多種，而形變模型是第二類重建算法中的代表，它能夠解決在沒有任何約束下基于單張圖像的三維形狀重建所存在的病態問題，該方法主要依據現有的三維人臉庫作為先驗知識，對人臉進行約束，從而實現人臉重建。

現實中對于給定的一張人臉來說，往往帶有各種表情，例如驚訝、微笑、沮喪等。這些表情的變化通常成為人臉重建中需要解決的問題。因此探索在基于形變模型的基礎上添加表情模型，對帶有表情的人臉進行三維重建具有重要的意義。本文就提出在基于形變模型基礎上帶表情的三維人臉重建，其主要思想是借助二維特征點反映的表情信息，讓三維形狀產生一定的形變，最終重建出人臉模型。

1 形變模型重建原理

形變模型是一種組合線性模型[1]，不同的線性組合則會重建出不同的人臉模型，其重建的過程主要分為兩個階段：一是通過獲取的三維人臉原型數據建立組合模型；二是通過特定的圖像實現模型的匹配。

1.1 建立組合模型

為了可以通過統一的向量形式來表示一個人臉模型，需對原型人臉進行稠密對齊，從而使得各對應三維點所代表的物理意義相同。每個三維人臉包含形狀信息和紋理信息。因此，稠密對齊后的人臉模型用向量表示為：

其中Si和Ti分別表示的是第i個人臉的三維形狀向量以及紋理向量，N是人臉數量，n代表三維人臉點的個數。

稠密對應后的人臉向量可以通過線性表示成任何一個新的人臉模型：

其中ai，bi為組合系數，同時ai，bi各自的系數和為1。

由于原始人臉數量過多，這里我們通過主成分分析法（PCA）對形狀向量和紋理向量進行轉換壓縮，這樣不僅可以使數據量減少，而且可以消除人臉數據間的相關性[6]，經PCA變換后的組合模型可以表示為：

其中分別表示平均形狀向量和平均紋理向量，m 是主元個數，s=（s1,s2,…，sm-1），t=（t1,t2,…，tm-1）分別是形狀和紋理的主元向量組，α=（α1,α2,…αm-1）,β=（β1,β2,…，βm-1）分別代表形狀和紋理向量的組合系數。通過改變上面的組合系數，可以重建出任何一個特定照片的三維人臉形狀模型（Smodel,Tmodel）。

1.2 模型匹配

通過建立線性組合模型可以知道，只要求得α，β這些系數，就能表示出一張新的三維人臉模型。模型匹配就是通過求解系數α，β，從而建出三維人臉模型。這里用特定的人臉圖像與模型人臉在二維圖像上的投影圖像對應像素的顏色信息誤差的平方和最小來求解，因此得到優化函數可以表示為：

2012年6月～2017年6月，在本院骨關節科接受Oxford活動平臺內側單髁（Biomet,USA）置換的膝關節內側間室骨性關節炎患者共56例（56膝），所有手術均由同一資深骨科醫師主刀。根據納入標準，共納入男16例，女40例；年齡50～82歲，平均（63.68±8.23）歲。患者體重指數21～30 kg/m2，平均（25.81±4.52）kg/m2。所有患者術前常規進行患肢負重正側位、膝關節內外翻應力位、髕骨軸位X線片檢查，以及膝關節MRI檢查。

1.3 帶表情的人臉重建

由于更普遍的圖像中帶有各種表情信息，因此為了重建出更加適合帶各種有表情的人臉圖像的三維模型，在形變模型的基礎上加上表情模型，則可以延伸出新的形變模型。本文的形狀模型來自Basel Face Model[2]（BFM）,表情模型來自Face Warehouse[3]。根據Chu等人[4]的研究結果，可以將原形變模型的形狀模型改寫成：

而對于三維紋理信息模型則保持不變，仍表示為：

其中，k是表情模型中主元個數，m是形狀模型和紋理模型主元個數，γ=(γ1,γ2,…γk-1)是表情系數，Exp=(Exp1,Exp2,…Expk-1)是表情主元向量組，α=(α1,α2,…αm-1)是 形狀系數，s=（s1,s2,…sm-1）是形狀主元向量組，β=（β1,β2,…βm-1）是紋理系數，t=（t1,t2,…tm-1）是紋理主元向量組。前面已經敘述了關于形變模型重建過程中通過紋理像素誤差的平方和最小求解α，β系數，對于帶表情的人臉重建過程，則只需要多求解一個γ系數即可。

在人臉表情領域中，二維特征點的位置能夠很好的表現特定人臉圖像的表情信息，為了求解表情系數，這里需要借助二維圖片上的68個二維特征點，用二維特征點的位置信息來約束三維形狀的三維特征點的二維投影，從而讓三維形狀產生一定的形變，通過這種三維特征點投影后與二維特征點的對應關系，如圖1，我們可以估計出表情系數。這里我們預先把形狀參數設置為0，則形狀模型可以簡化為：

對于Smodel，我們可以找到68個三維特征點在二維投影上的68個二維坐標Uproj，為了讓三維特征點在二維投影上的的位置跟輸入圖像的二維特征點U2d位置更接近，可以通過優化公式：

通過求解，這里能得到形狀模型中的表情系數γ。

圖1 通過二維特征點約束后的帶表情的三維形狀

2 實驗結果

針對本文提出的添加表情模型的人臉重建方法，做了兩組實驗，一組是自然表情的三維人臉重建，另一組是帶表情的人臉重建。實現結果表明，在形變模型基礎上添加表情模型，能夠對各種情況的人臉圖片進行三維建模，這種建模方法體現出更好的通用性。本文用到的形變模型為BFM,表情模型為Face Ware?house。對于形變模型（BFM），經過預處理后的平均模型由53215個三維點，105840個三角面片組成，拉伸為向量時則表示成159645×1，形狀主元向量s組則由159645×199組成，紋理主元向量組t由159645×199組成；對于表情模型，經過預處理后的表情主元向量組Exp由159645×29組成。

2.1 自然表情的人臉重建

如圖2，左側一列是選擇自然表情的二維人臉照片作為輸入，第二，第三列是三維重建的模型效果。

2.2 帶表情的人臉重建

如圖3，左側一列是選擇帶表情的二維人臉照片作為輸入，第二，第三列是三維重建的模型效果。

3 結語

本文主要初步探索了在添加人臉表情的情況下，基于形變模型的三維人臉重建。實驗表明，不管是針對帶表情的人臉圖片，還是自然表情的圖片，該方法可以達到預想的效果，這對于人臉重建更具有通用性和適用性。

重建精度是三維人臉重建的重要指標，怎樣提高重建的精度是需進一步研究的方向；同時由于本文主要是針對正面照片做的重建工作，而對于側面帶表情的人臉重建工作還不夠充分，因而這個方面也將成為后續的研究工作。

圖2 自然表情的三維人臉重建

圖3 帶表情的三維人臉重建

參考文獻：

[1]V.Blanz,T.Vetter.A Morphable Model for the Synthesis of 3D Faces.Proc.of SIGGRAPH'99，Los Angeles：1999.

[2]P.Paysan,R.Knothe,B.Amberg,S.Romdhani,T.Vetter.A 3D Face Model for Pose and Illumination Invariant Face Recognition.In Advanced Video and Signal Based Surveillance,2009.AVSS'09.Sixth IEEE International Conference on,pages 296-301.IEEE,2009.

[3]C.Cao,Y.Weng,S.Zhou,Y.Tong,K.Zhou.Face ware house:a3D Facial Expression Database for Visual Computing，2013.

[4]B.Chu,S.Romdhani,L.Chen.3D-Aided Face Recognition Robust to Expression and Pose Variations.In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,pages 1899-1906,2014.

[5]龔勛，王國胤.基于特征點的三維人臉形變模型［J］.軟件學報，2009，20（3）：724-733．

[6]胡永利，尹寶才，谷春亮，等．基于形變模型的三維人臉重建方法及其改［J］.計算機學報，2005，28（10）：1672-1678．