基于深度學習的虛擬角色制作系統(tǒng)設計與實現(xiàn)

吳梓龍，徐炳權，鄧炫燁

（廣州軟件學院，廣東 廣州 510900）

0 引 言

目前市場上能看到的很多虛擬角色，作品品質精良，熱度也非常高。但是，大多數(shù)的虛擬偶像作品使用的是臉部標記，需要一套完整昂貴的動作捕捉設備系統(tǒng)來進行演員動作信息采集工作，并且需要專業(yè)技術人員才能完成一個較為真實的虛擬角色驅動，雖然使用影視級專業(yè)設備效果較好，但是制作周期長，受成本限制，內容也比較短。因此本文探討了基于深度學習技術結合Kinect V2攝像頭的虛擬角色制作系統(tǒng)，利用數(shù)字化三維模型及深度學習算法，實現(xiàn)低成本的虛擬角色制作流程。

表1 動作捕捉軟硬件公司及其產品

1 虛擬化角色簡介

虛擬化角色是指在現(xiàn)實世界中不存在的人物角色，是由人設計出來的，存在于電視劇、電影、游戲、動漫等虛擬世界里的角色，虛擬角色的產生能夠滿足人們對內心的形象進行構建，因此，虛擬角色在世界各地都具有良好的市場。虛擬化角色的本質是一段程序代碼，通過獲取真人的動作姿勢序列，計算出虛擬角色所需進行的動作姿勢序列。虛擬角色的形象在電腦屏幕，電視機，VR眼鏡等設備上顯示。當真人的動作發(fā)生改變時，虛擬角色的形態(tài)也隨之進行變化，以及利用算法生成當前幀虛擬角色的臉部表情，從而實現(xiàn)角色的虛擬化。

1.1 動作捕捉技術

動作捕捉（Motion capture）的實質就是要測量、跟蹤、記錄物體在三維空間中的運動軌跡。是指記錄并處理人或其他物體動作的技術。……