結合人臉表情和變形技術的人臉卡通動畫系統設計與實現

伍菲

摘 要： 針對實時生成人臉卡通動畫的需求，設計和實現一種結合人臉表情與變形技術的人臉卡通動畫系統。該系統包括人臉檢測、特征點定位、人臉表情生成和人臉變形4個部分，首先，使用Haar特征和級聯AdaBoost分類器檢測人臉，并使用主動形狀模型定位人臉特征點;然后，根據人臉特征和已有的卡通素材器官合成與真實人臉所對應的卡通人臉，并合成動態表情;最后，使用圖像變形技術對人臉進行夸張變形處理，生成具有幽默、夸張效果的人臉圖像。基于Matlab的實現效果表明，該系統能實時、高效地處理真實人臉圖像。

關鍵詞： 卡通人臉; 圖像處理; 人臉表情; 圖像變形; 人臉檢測; AdaBoost

中圖分類號： TN911.73?34; TM76 文獻標識碼： A 文章編號： 1004?373X（2018）12?0056?03

Abstract： In allusion to the real?time generation demand of human face cartoon animation， a human face cartoon animation system combining face expressions and deformation technology is designed and implemented. The system includes four parts of face detection， feature point location， face expression generation， and face deformation. The Haar feature and concatenated AdaBoost classifier are used to detect faces， and the active shape model is used to locate face feature points. The cartoon face corresponding to the real face is synthesized according to the face features and the existing cartoon material organs， and the dynamic expressions are synthesized. The image deformation technology is used to exaggerate and distort faces to generate humorous and exaggerated face images. The realization effect based on Matlab shows that the system can process real face images in real time and with high efficiency.

Keywords： cartoon face; image processing; face expression; image deformation; face detection; AdaBoost

0 引 言

隨著網路、手機等多媒體技術的發展，數字娛樂的形式越來越豐富多彩，內容也更加多樣化[1?3]。其中，以卡通、動畫、視頻和游戲等為代表的動漫產業及其衍生品帶來了約5 000億美元的產值，已成為眾多國家或地區的經濟增長點[4?6]。

近年來，涌現了諸多與人臉卡通相關的應用和軟件，如“魔漫相機”“臉萌”等均使用圖像處理的方法得到卡通人臉，并將人臉以卡通形象的方式展示出來，受到了廣泛歡迎[7]。

目前，人臉卡通化大致可以分為基于模型的方法和基于圖像的方法。基于圖像的方法即使用卡通紋理繪制真實人臉，將真實人臉使用特定的藝術風格表現出來[8]。基于模型的方法又可分為基于匹配和基于生成的方法[9]，基于匹配的方法使用卡通模板組件來匹配合成卡通畫以保證美觀性和卡通效果;而基于生成的方法使用機器學習和圖像處理技術生成卡通畫，具有明顯的風格特點。

基于以上分析，本文設計和實現了一種結合人臉表情與變形技術的人臉卡通動畫系統。該系統包括人臉檢測、特征點定位、人臉表情生成和人臉變形4個部分，使用圖像處理技術能實時、高效地處理真實人臉圖像，并生成具有幽默、夸張效果的人臉卡通圖像。

1 系統整體架構

人臉卡通動畫系統設計包括人臉動畫和卡通肖像兩大內容。首先，使用Haar特征和級聯AdaBoost分類器檢測人臉，并使用主動形狀模型定位人臉特征點;然后，根據人臉特征和已有的卡通素材器官合成與真實人臉所對應的卡通人臉，并合成動態表情;最后，使用圖像變形技術對人臉進行夸張變形處理，生成具有幽默、夸張效果的人臉圖像。該系統整體原理結構如圖1所示。

2 系統設計與實現

2.1 人臉檢測與特征點定位

人臉含有豐富的表征身份、年齡和性別等信息的特征，為了生成具有個性化的人臉卡通圖像，需要先提取出人臉圖像的特征。對于一張輸入圖像，需要先檢測和定位人臉在圖片中的具體位置。然后，定位人臉的特征點便于后續提取及分析人臉各器官的特征。

本文使用Viola和Jones提出的基于特征的人臉檢測方法實現人臉檢測。該方法首先使用積分圖從一系列人臉圖像訓練樣本中提取Haar?like特征;然后，使用AdaBoost分類器從所提取的特征中選擇出最能代表人臉的特征，并生成弱分類器[10?11]，再根據弱分類器的具體分類精度，為其賦予不同的權重;最后，根據生成的弱分類器的權重，級聯這些分類器得到具有較高檢測精度的強分類器。該人臉檢測算法具有檢測率高和速度快的特點，能有效且魯棒地檢測出輸入圖像中的人臉。

人臉特征點表征了人臉各個關鍵位置的形狀信息，使用這些特征點可準確地定位出眼睛、眉毛、嘴巴、鼻子和外輪廓的位置[12?13]。本文使用主動形狀模型算法定位人臉特征點，該算法首先需要搜集和標定人臉關鍵特征點，構建樣本庫;然后使用平移、旋轉和縮放等仿射變換歸一化處理樣本;最后，使用主成分分析法對樣本向量進行降維，并用樣本向量的主成分表示任意一組特征點集。

2.2 人臉表情生成

人臉表情生成模塊根據人臉特征和已有的表情素材庫合成人臉所對應的卡通表情，包括人臉特征提取、卡通動畫生成和動態表情生成3個步驟：

1） 人臉特征提取：使用上述方法檢測和定位人臉，并提取人臉的紋理和形狀特征作為后續流程的輸入。

2） 卡通動畫生成：該步驟首先構建卡通器官與真實器官間的映射關系。然后，將輸入人臉劃分為如圖2所示的層次器官組件，并找到各個器官所對應的卡通素材器官。最后，拼接所有的卡通素材器官得到合成的卡通人臉。

3） 動態表情生成：該步驟使用已有的表情模型庫合成卡通表情，首先使用上一步合成的卡通人臉將各器官嵌入到Bezier曲面中。然后，使用表情動作所對應的參數來改變Bezier曲面的控制點，從而合成各種器官豐富的動態表情。

2.3 基于變形技術的卡通動畫生成

圖像的變形即使用比例變換、平移變換和旋轉變換等將一幅圖像平滑地轉換為另一幅圖像。常用的圖像變形方法有圖像映射算法、樣條函數的曲面變形方法和基于輪廓的多邊形變形方法。

為了實現卡通人臉的夸張效果，本文使用數字圖像的映射方法對輸入的卡通人臉進行收縮、拉伸和扭曲等變換。該方法將原始圖像S和輸出圖像A均看作一個矩形區域，并實現S向變形區域P的映射。由于P區域明顯小于輸入圖像S，所以映射過程通常會發生擠壓或拉伸等現象，從而得到了輸入圖像S的變形效果。映射結束后，需要使用皮膚顏色或背景色填充空白像素點，實現圖像的平滑過渡，從而避免出現模糊或馬賽克的現象。具體的圖像變形過程如下所述：

1） 使用線性插值法將S全部映射到A中，由于在插值過程中每一行或列處理的像素點數量不同，故可以得到圖像放大或縮小的效果。

2） 根據輸入圖像A的寬度w1和其所對應的變形區域寬度w2的比值[α=w1w2]與1的關系確定是對輸入圖像的拉伸變換還是擠壓變形。當α<1時為擠壓變形，有[A=i=0m-1Bim]。其中，m為輸入圖像S中需要擠壓的像素點的數目，[Bi]為其所對應的值;當α>1時則為拉伸變換，有[A=1-iW*B0+iW*B1]。其中，W為需要插值的像素點數目，[B0]和[B1]分別為插值區域的起始與終止點像素，i為插值點。

3 試驗與結果分析

本文使用Matlab實現具體的人臉卡通動畫系統，并使用攝像頭實時采集視頻作為輸入，視頻圖像的輸入幀率為30 f/s，大小為640×480。系統整體界面如圖3所示。系統平均處理時間統計如表1所示。

圖3所示界面的左上角為系統實時獲取的輸入圖像，左下角為最終得到的人臉卡通肖像圖，右邊為人臉器官組件素材庫，當用戶對系統生成的圖像不滿意時可手動從素材庫中選擇動畫素材。從表1可以看出，本系統處理所需要的時間不超過25 ms。因此，可實時獲取不同人臉的卡通圖像。

4 結 語

本文設計和實現了一種結合人臉表情與變形技術的人臉卡通動畫系統。該系統包括人臉檢測、特征點定位、人臉表情生成和人臉變形4個部分。首先，使用Haar特征和級聯AdaBoost分類器檢測人臉，并使用主動形狀模型定位人臉特征點。然后，根據人臉特征和已有的卡通素材器官合成與真實人臉所對應的卡通人臉，并合成動態表情。最后，使用圖像變形技術對人臉進行夸張變形處理，生成具有幽默、夸張效果的人臉圖像。基于Matlab的實現效果表明，該系統能實時、高效地處理真實人臉圖像，并生成具有幽默、夸張效果的人臉卡通圖像。

參考文獻

[1] 李君涵.針對視頻的人臉卡通化方法研究[D].成都：電子科技大學，2016.

LI Junhan. Research on video based face cartoon method [D]. Chengdu： University of Electronic Science and Technology of China， 2016.

[2] 宋陽，劉艷麗.基于照片的可編輯光照效果卡通人臉生成算法[J].圖學學報，2015，36（1）：83?89.

SONG Yang， LIU Yanli. An algorithm generating human face cartoon portrait including light editing based on photo [J]. Journal of graphics， 2015， 36（1）： 83?89.

[3] 劉勝.基于Gabor小波的人臉表情識別研究[D].武漢：華中科技大學，2015.

LIU Sheng. Studies on facial expression recognition based on Gabor wavelet [D]. Wuhan： Huazhong University of Science and Technology， 2015.

[4] 郭聳，顧國昌，蔡則蘇，等.基于特征融合與決策樹級聯結構的多姿態人臉檢測[J].沈陽工業大學學報，2012，34（2）：203?208.

GUO Song， GU Guochang， CAI Zesu， et al. Multi?pose face detection based on feature fusion and decision tree cascade structure [J]. Journal of Shenyang University of Technology， 2012， 34（2）： 203?208.

[5] 王寅.基于局部自適應核回歸的AdaBoost人臉檢測算法研究[D].南京：南京航空航天大學，2012.

WANG Yin. Research on AdaBoost face detection algorithm based on local adaptive kernel regression [D]. Nanjing： Nanjing University of Aeronautics and Astronautics， 2012.

[6] ZHOU J， TONG X， LIU Z， et al. 3D cartoon face generation by local deformation mapping [J]. Visual computer， 2016， 32（6?8）： 717?727.

[7] 李帥.風格化人臉肖像漫畫生成技術的研究與實現[D].桂林：桂林電子科技大學，2015.

LI Shuai. Research and implementation of stylized face portrait cartoons generation technology [D]. Guilin： Guilin University of Electronic Technology， 2015.

[8] 范玉磊.基于AdaBoost與SVM的人臉表情識別研究[D].太原：中北大學，2011.

FAN Yulei. Face expression recognition based on AdaBoost and SVM [D]. Taiyuan： North University of China， 2011.

[9] 牛連強，趙子天，張勝男.基于Gabor特征融合與LBP直方圖的人臉表情特征提取方法[J].沈陽工業大學學報，2016，38（1）：63?68.

NIU Lianqiang， ZHAO Zitian， ZHANG Shengnan. Extraction method for facial expression features based on Gabor feature fusion and LBP histogram [J]. Journal of Shenyang University of Technology， 2016， 38（1）： 63?68.

[10] 高娜，彭亞麗，高佳美，等.結合主成分分析和局部導數模式的人臉識別方法[J].現代電子技術，2014，37（18）：1?5.

GAO Na， PENG Yali， GAO Jiamei， et al. Face recognition method combining principal component analysis with local derivative pattern [J]. Modern electronics technique， 2014， 37（18）： 1?5.

[11] KNUTSEN D， ROS C， BIGOT L L. Generating references in naturalistic face?to?face and phone?mediated dialog settings [J]. Topics in cognitive science， 2016， 8（4）： 796?818.

[12] GILANI S Z， MIAN A， EASTWOOD P. Deep， dense and accurate 3D face correspondence for generating population specific deformable models [J]. Pattern recognition， 2017， 69： 238?250.

[13] DU Y， WANG Y. Generating virtual training samples for sparse representation of face images and face recognition [J]. Journal of modern optics， 2016， 63（6）： 1?9.