基于面部特征約束的人臉紋理映射及變形

羅岱，陶洋，楊剛

北京林業大學，北京100083

基于面部特征約束的人臉紋理映射及變形

羅岱，陶洋，楊剛

北京林業大學，北京100083

CNKI網絡出版：2017-05-23,http://kns.cnki.net/kcms/detail/11.2127.TP.20170523.1843.018.html

1 引言

隨著當前新媒體娛樂的飛速發展，對人臉照片進行處理，生成各種風格化的效果成為一個有趣的研究與應用問題。微軟曾推出了商業軟件Cartoon Maker用來生成人臉的漫畫風格圖像，其主要基于人臉特征的自動檢測和風格化繪制技術；騰訊QQ最初也推出了人臉風格化生成的功能，其采用了用戶交互式的人臉器官替換。近年來，隨著移動平臺應用的發展，在移動端出現了大量以人臉圖像美化為目的應用，如美圖秀秀、天天P圖等，這些應用是在人臉器官識別的基礎上進行圖像特效的處理從而達到美化人臉照片的目的。另一款很有代表性的移動端APP“魔漫相機”則可以將人臉變成素描風格，其原理還是在五官識別的基礎上進行紋理簡化、色調風格化等圖像處理操作。近年來，一些研究者針對人臉化妝效果的應用需求還提出了一些人臉上妝效果遷移的方法，如Liu等[1]提出采用深度學習的方法來實現眼影、唇膏等器官上妝效果的遷移，取得了很好的模擬效果。雖然其在眼影效果遷移中不僅考慮了色彩的遷移，還考慮了目標圖與參考圖間器官形狀的差異，但其主要是對眼影區域進行了自適應的變化，而并未對器官形狀進行幾何形變。與這些方法或應用不同，本文則力圖從紋理約束性映射的角度出發來完成人臉圖像變形與風格化處理的問題：給定一幅源人臉圖像和一幅目標人臉圖像，將源圖像映射到目標人臉上，使得合成的人臉具有目標人臉的五官形狀，但卻具有源人臉的紋理效果。

此中最關鍵的問題是要建立源人臉和目標人臉的特征對應關系，并在這種特征約束之下完成紋理映射。實現這種帶約束的人臉圖像映射的方式有兩種，一是將人臉區域作為一個整體，該方法將整個源人臉區域的紋理一次映射到目標人臉區域；二是根據提取的人臉特征點對目標人臉區域建模生成三角網格，再對每一個網格進行映射處理。第一種方法將人臉區域作為一個整體進行處理，映射過程中產生的能量函數的能量值較大，最終得到的人臉圖像在細節較多處的扭曲形變比較嚴重。而第二種方式將整個區域轉化為了小塊的三角形區域，使得映射過程中產生的能量較小且被分散，有利于得到良好的人臉圖像。本文即采用了第二種方式。具體而言，采用人臉特征檢測的方式標記人臉特征點并構建兩張人臉間的特征對應關系；采用了Delaunay三角化的方式來對目標人臉區域進行網格化生成；在特征點紋理坐標的約束下，采用了調和映射的方法來生成目標人臉所有網格點的紋理坐標。

基于本文方法，可以實現許多有趣的“變臉”效果，例如可以將別人的臉映射成自己的臉的形狀輪廓；如果源圖像是藝術化風格的人臉，那么就可以實現目標人臉的藝術化風格轉換；甚至可以將自己的臉通過自映射實現表情的交互式調整。

本文是對紋理映射、Delaunay三角化、調和映射等技術在人臉變形上的一個研究與應用實踐，具有一定研究意義；同時，本文方法也是從另一個角度對人臉風格化處理這一熱點問題的探索，在人臉變形、人臉風格轉化、人臉表情調整等方面的應用中具有很好的實用價值。

本文在第2章首先對方法流程進行一個總體介紹，然后在第3章對方法流程中的四個關鍵技術步驟：人臉特征點提取、人臉區域三角化、基于調和映射的紋理坐標計算、映射與融合進行具體介紹；之后在第4章給出實驗結果，最后進行總結與展望。

2 方法總覽

本文方法流程如圖1所示。

由圖可見，方法流程主要包括四個技術步驟：

（1）人臉特征點提取。本文采用Stasm庫[2]進行人臉特征點的自動提取，在自動提取的基礎上，配合一定的人機交互來調整特征點位置、增加額頭部特征點，并指定特征點間的對應關系。

（2）目標人臉三角網格化。基于上一步得到的特征點，采用Delaunay三角化技術將目標人臉區域轉化為三角網格。在三角化之前，采用自動或交互方式在人臉區域增加一系列采樣點，目的是使三角網格更均勻、密集。

（3）網格點紋理坐標的獲取。網格點分為兩類：特征點和非特征點。特征點的紋理坐標已經確定；在特征點紋理坐標約束之下，采取調和映射的方式來迭代求取非特征點的紋理坐標。

（4）紋理映射與邊界融合?；贕PU的紋理映射機制，源人臉圖像可以快速映射到目標人臉的三角網格區域。為使得映射過來的圖像與目標人臉頭發、耳朵等周邊區域更好地融合，還采用了邊界融合策略進行效果優化。

下面，對這四個技術步驟進行詳細介紹。

圖1 方法流程

3 關鍵技術

3.1 人臉特征點提取

采取了以自動檢測為主，配合局部區域特征點手動調整的策略來完成特征點提取工作。

3.1.1 人臉特征點自動檢測

目前人臉特征點提取技術可以分為三類：基于統計學的方法[3-4]、基于圖像信息的方法[5-6]和基于幾何形狀的方法[7-9]。其中基于幾何形狀的方法近年來獲得了很大發展，并出現了很多成熟的類庫，如Stasm[2]、Face++（http：//www.faceplusplus.com.cn/）等。本文即采用Stasm開源庫完成人臉特征點的檢測，獲取人臉的63個特征點。如圖2所示即為對輸入的源人臉照片和目標人臉照片進行人臉特征點自動檢測的結果。

3.1.2 額頭特征點的標記及特征點調整

人臉的額頭區域占據很大面積，對于人臉區域的映射至關重要。但目前的人臉檢測類庫都沒有提供額頭區域特征點的檢測。這是由于人臉額頭部分經常被頭發遮擋，造成不同人臉圖像額頭部分特征點無規律，難以通過訓練的方法來提取人臉額頭部分的特征點。

為此，本文通過人工方式手動標記人臉額頭部分的特征點。由于不同的人臉圖像被頭發遮擋的部分各不相同，故對該區域的特征點個數并沒有明確指定，可以視人臉圖像而定。但源人臉圖像與目標人臉圖像中該區域的特征點個數需要相同且一一對應。如圖3所示即為對輸入的兩張人臉照片進行人工方式標記人臉額頭特征點后的結果。

圖2 人臉特征點自動檢測

圖3 人工方式標記額頭特征點

此外，通過現有的人臉特征點提取方法自動檢測出的人臉特征點并非完全準確，往往存在個別特征點的位置偏差。本文提供了人機交互方式，允許用戶手動調整這些特征點以達到修正的目的。

從上面論述可知，采用上述方法所獲取的源人臉和目標人臉特征點數量相同，并一一對應。

3.2 目標人臉區域三角化

前文提到過，如果將人臉區域進行整體的約束映射，將使得映射過程中產生的能量函數值較大，往往使得人臉圖像在細節較多處的扭曲形變嚴重。為此，本文采取的方法是：將目標人臉區域網格化為小塊區域，分別映射每個小塊區域。小塊區域內人臉特征的變化較小，可以采用二次函數進行很好地擬合。這種網格化方式相當于分散了能量函數誤差，可以達到良好的映射效果。

在3.1節中，通過人臉特征提取得到的特征點集是一個平面散點集，因此可以采用三角剖分平面散點集的方法處理人臉區域得到網格。在三角剖分算法中，Delaunay三角化（Delaunay Triangulation，DT）[10-12]無疑是其中最經典的方法之一。本文即采用了遞歸生長法來實現目標人臉區域的Delaunay三角剖分。

但3.1節得到的人臉特征點主要集中在五官部位，在臉頰部位、額頭部位和下巴部位并無特征點，這使得在這些部位的三角化區域會很大，可能造成映射時的扭曲形變。為此，在三角化之前，在上述三個區域增加一系列采樣點；三角剖分時，將根據特征點和采樣點來共同完成三角網格的生成，由此得到更為均勻和密集的三角網格。如圖4所示即為即為增加采樣點，并進行Delaunay三角化后的結果，紅色點為增加的采樣點。

圖4 目標人臉區域Delaunay三角化

3.3 基于調和映射的網格點紋理坐標生成

基于3.2節方法得到的網格點可以分為兩類：特征點與非特征點。非特征點就是后來增加的采樣點。特征點的紋理坐標已經確定，需要在特征點紋理坐標的約束下求得所有非特征點的紋理坐標。本文將這個問題轉化為一個二維調和映射的問題。

3.3.1 調和映射

調和映射是兩個流形之間的能量最小化映射，它是幾何分析中一類重要的研究對象，其最大的優點是能夠保證映射過程所產生的形變最小[13]。試圖建立參數化的平面網格（目標人臉）和紋理平面（源人臉圖像）之間的映射關系，而這種映射關系需要保證紋理空間的形變最小，這可以轉化為一個二維調和映射問題。

文獻[14]提出了一種調和映射的有限元方法。該方法的具體思想如下：

假設Φ是兩個光滑流形(M,g)和(N,h)之間的一個光滑映射，記為：

假設三角網格模型D與平面鄰域P都同胚于圓盤，?D和?P分別表示D、P的邊界，vi()i=1,2,…,n是三角網格模型的內部點；表示連接vi和vj生成的邊，長度用vij表示；對以vi,vj,vk為頂點的三角形表示其面積。記與邊連接的兩個三角形分別是和首先定義邊界映射，那么存在調和映射?映射到P的內部。調和映射?是通過計算公式（2）的最小值得到的。

其中

3.3.2 基于調和映射的非特征點紋理坐標生成

設D為網格模型，vi(i=1,2,…,n)為模型的頂點，P為紋理空間，(i=1,2,…,n)對應vi(i=1,2,…,n)在P上的紋理坐標。只需要在紋理圖像與模型上指定一些一一對應的特征點代入公式（2），那么其他非約束點的紋理坐標就可以通過求解公式（2）的極小值來得到。公式（2）的極小值可以使用迭代的方法或者共軛梯度法求解一個稀疏的正定線性方程組來獲得。通過對上述調和映射的有限元模型進行分析可知，該模型本質上是一種加權平均的方法。為此，使用了一種迭代的方式進行求解。首先，給每一個非特征點的紋理坐標設定一個初值；然后，基于公式（3），并根據三角網格上的非特征點與該點在源圖像上的對應點有相同的拓撲連接關系這一特性，對每一個非特征點的紋理坐標進行多次迭代計算來求出所有非特征點的紋理坐標。具體算法如下：

若迭代的次數為m，非特征點的個數為n，則該算法的時間復雜度為O(m×n)。

3.4 紋理映射與邊界融合處理

在獲得所有網格點的紋理坐標后，就可以對目標區域網格內的每一個像素運用雙線性插值的方式來計算得到其在源圖像中的紋理坐標，從而完成目標圖像的顏色賦值。顯然，這個過程正好就是典型的紋理映射過程，完全可以借助于OpenGL等圖形庫，采用圖形繪制流程來完成。圖形繪制流程利用了GPU的運算能力，可大大加快這個映射的過程。

但在實現過程中，發現由于源圖像與目標圖像在亮度、色彩等方面存在差異，如果直接將源圖像“貼”到目標區域，容易與目標區域周邊的圖像形成銳利的邊界。如圖5（a）可見，在人臉的額頭處有明顯的折線的感覺，效果不自然。為此，采用了高斯模糊的方法對邊界區域進行融合處理。

首先，根據所提取的特征點來確定人臉的外部輪廓折線，然后，沿外部輪廓折線對源圖像像素和目標圖像像素進行高斯核的加權平均，從而實現了邊界的漸入漸出融合效果。如圖5（b）所示即為生成的圖像通過邊界融合處理后的結果。可以看出處理后的人臉輪廓區域過渡的比較平滑、自然。

圖5 邊界融合處理效果

4 實驗結果

4.1 人臉合成結果

圖6顯示了多組合成效果，從圖中可以看出，本文方法能夠將源人臉圖像很好地映射到目標人臉區域中，使得源人臉圖像與目標人臉的幾何特征進行無縫融合，取得滿意的“變臉”效果。

圖6 人臉合成結果

此外，本文方法不僅可用于人臉之間的變換，還可以實現非人臉到人臉的變換或人臉的卡通化風格變換。如圖7上排所示，實現了老虎到人臉的映射，而圖7下排則展示了人臉的卡通化風格變換。

圖7 其他風格變換圖

4.2 交互式人臉表情調整

上面實驗中表現的都是對兩張不同的臉進行映射變形，事實上，如果源圖像和目標圖像都取相同的人臉，而對目標人臉的五官特征點位置進行調整后再進行映射，就可以實現人臉的交互式表情調整。

系統中提供了人機交互的工具，允許用戶對目標人臉的表情特征點進行調整。如圖8所示，調整了右邊目標人臉嘴巴區域的特征點，將嘴部區域的15個特征點調整到噘嘴的位置，就實現了噘嘴的表情效果。從生成的結果圖來看，并沒有發生嚴重的扭曲形變現象，證明本文的方法對于人臉表情調整是行之有效的。圖9則展示了眉毛調整的效果。

圖8 人臉嘴部表情調整效果

圖9 調整眉毛特征點得到皺眉效果

5 總結

本文提出了一種實現“變臉”效果的技術方法，該方法通過人臉的特征點識別、目標人臉的三角網格化構建以及基于調和映射的紋理坐標生成，實現了源人臉紋理到目標人臉區域的約束性映射。該方法可將源人臉的紋理特征與目標人臉的幾何特征進行無縫融合，可以有效實現人臉變形、人臉風格化繪制、人臉表情調整等多種應用效果的模擬，具有很好的實用價值。

本文方法在以下方面還可進一步改進或延伸：

（1）雖然采用了邊界融合的措施，但是在額頭區域，源人臉區域和目標人臉的發跡部分依然可能產生明顯的邊界感。如何有效地對發跡部分進行自動檢測和融合處理，將是下一步的研究重點。

（2）與發跡區域類似，耳朵區域也存在融合調整的問題。在本系統中，耳朵區域是目標人臉的，而人臉區域是源人臉的，如果源人臉和目標人臉在膚色上有明顯差異，將使得變臉后的耳朵與人臉出現明顯的不協調。這方面可考慮對人耳區域進行色彩調整進行改進。

（3）目前本文系統是用于PC平臺的，而從實用角度而言，系統在智能移動終端上將更具有應用潛力。用戶可以本地選擇源圖像，而調用攝像頭立即拍照來提供目標圖像，從而實現當前人臉的各種風格化變換。這可作為本文工作在應用方面的下一步嘗試。

[1] Liu S，Ou X，Qian R，et al.Makeup like a superstar：Deep localized makeup transfer network[C]//Proceedings of the International Joint Conference on Artificial Intelligence，New York City，NY，USA，2016：2568-2575.

[2] Milborrow S，Nicolls F.Locating facial features with an extended active shape model[C]//Proceedings of ECCV，2008：504-513.

[3] Cootes T F.Statistical models of appearance for computer vision[D].University of Manchester，2000.

[4] Lee Y，Terzopoulos D，Waters K.Realistic modeling for facial animation[C]//Proeeedings of 22nd Conference onComputerGraphicsandInteractivTechniques（SIGGRAPH’95），New York，NY，USA，1995：55-62.

[5] Zhang B，Ruan Q.Facial feature extraction using improved deformable templates[C]//Proceedings of 8th International Conference on Signal Processing，2006，4：345-353.

[6] Pighin F，Hecker J，Lischinnski D，et al.Synthesizing realistic facial expressions from photograph[C]//Proeeedings of the SIGGRAPH’98，1998：75-84.

[7] Kass M，Witkin A，Terzopoulos D.Snakes：Active contour models[J].International Journal of Computer Vision，1988，1（4）：321-331.

[8] Matthews I，Baker S.Active appearance models revisited[J].International Journal of Computer Vision，2004，60（2）：135-164.

[9] Seo H，Cordier F.Constrained texture mapping using image warping[J].Computer Graphics Forum，2010，29（1）：160-174.

[10] 李偉青，彭群生.一個通用的快速三角化算法[J].計算機輔助設計與圖形學學報，2001，13（9）：769-773.

[11] 徐永安，譚建榮，楊欽，等.二維任意域約束Delaunay三角化的實現[J].工程圖學學報，1999（1）：51-55.

[12] 曾薇，孟祥旭，楊承磊，等.平面多邊形域的快速約束Delaunay三角化[J].計算機輔助設計與圖形學學報，2005，17（9）：1933-1940.

[13] 周昆，潘志庚，馬小虎，等.調和映射的構造及其在圖形學中的應用[J].中國圖象圖形學報，1998，3（7）：578-582.

[14] 郭延文，潘永娟，崔秀芬，等.基于調和映射的約束紋理映射方法[J].計算機輔助設計與圖形學學報，2005，17（7）：1457-1462.

LUO Dai,TAO Yang,YANG Gang.Face texture mapping and deformation with constrains of facial feature.Computer Engineering andApplications,2018,54（6）：188-192.

LUO Dai,TAO Yang,YANG Gang

Beijing Forestry University,Beijing 100083,China

The research object of this paper is to map a face image（called the source image）to another face image（called the target image）,so as to realize the deformation of the face images and achieve some special effects.In the process,one of the most critical problems is to maintain the constrained mapping of organ features in two human faces.This paper puts forward a technical strategy,which can effectively achieve this object.Firstly,the feature points of the source face and the target face are detected with the face feature detection algorithm.Then,based on the feature points,the Delaunay triangulation method is used to transform the target face into a triangular mesh.After that,the corresponding coordinates of all grid points are calculated in the source face image by using harmonic mapping.After obtaining the texture coordinates of the mesh point,the mapping of the source face to the target face can be realized.Experimental results show that,the proposed method can realize the mapping between arbitrary faces,and the mapping relationships of facial features can be maintained very well.

texture mapping;harmonic mapping;Delaunay triangulation;ASM algorithm

將一幅人臉圖像（稱為源圖像）映射到另一幅人臉圖像（稱為目標圖像）上，從而實現人臉圖像的變形并達到某種特殊效果的表現要求。其中，一個最關鍵的問題是保持兩幅人臉中器官特征的約束映射。提出一種技術策略，可以有效實現這種映射效果。利用人臉特征檢測算法檢測出源人臉和目標人臉的特征點；基于特征點，利用Delaunay三角剖分的方法將目標人臉轉化為三角網格；采用調和映射的方法計算得出所有網格點在源人臉圖像中的對應坐標；在獲得網格點紋理坐標后，就可以實現源人臉到目標人臉的映射。實驗表明，該方法可以實現任意人臉間的映射，并能較好地保持人臉五官間的映射關系。

紋理映射；調和映射；Delaunay三角化；ASM算法

2016-11-08

2017-02-24

1002-8331（2018）06-0188-05

A

TN911.9

10.3778/j.issn.1002-8331.1611-0133

國家科技支撐計劃課題（No.2015BAH52F03）。

羅岱（1973—），男，博士，副教授，主要研究領域為計算機圖形學；陶洋（1991—），男，碩士研究生，主要研究領域為計算機圖形學；楊剛（1977—），通訊作者，男，博士，副教授，主要研究領域為計算機圖形學，E-mail：yanggang@bjfu.edu.cn。