實時面部捕捉技術在虛擬演播室中的應用研究

顧乃林，申閆春

(1.宿遷學院法政學院，江蘇 宿遷 223800;2.北京信息科技大學計算機學院，北京 100192)

1 引言

近年來，隨著虛擬現實和增強現實技術的不斷發展，以及在影視和娛樂游戲行業的廣泛應用，“虛擬人”的概念也逐漸被廣大用戶所認可。“虛擬人”是指根據真實的人臉和人體運動特點構建的虛擬角色，可以通過運動捕捉設備捕捉演員的形體動作，以及面部捕捉設備獲取人的面部表情和肌肉運動，并映射到虛擬人的臉部和身體上，從而產生電影特效或者游戲中所需的動畫效果。隨著實時重建和圖形渲染技術水平的逐年提高，越來越多的從業者和用戶都希望在影視和游戲作品中看到極其真實的面部表情，甚至與實際拍攝的畫面進行虛實融合，達到以假亂真的水平。

而虛擬演播室也是近幾年發展起來的一種獨特的電視和線上節目制作技術。它的本質是將計算機生成的虛擬三維場景與攝像機現場拍攝的人物或者影像進行實時的數字化合成，使虛擬人物與實際背景(以及實際人物與虛擬背景)能夠正確疊加，同步變化，以獲得完美的合成畫面效果。

本文研究把基于運動捕捉和面部捕捉的虛擬角色與虛擬演播室技術相結合，構建真實數據驅動的實時角色模型重建和渲染系統，并與真實攝像機拍攝的畫面進行疊加，讓真實的人與“虛擬人”同臺進行表演。這一技術手段極大地豐富了影視和電視節目的表現力，可以直接應用在電視或者網上直播活動中，并且已經在春晚中得以應用。在實現過程中，本文著重研究了低成本和高實時性的面部捕捉和重建方法，并且與傳統的面部捕捉技術進行了多方面的比較；同時，還針對虛擬角色在虛擬演播室中的合成方法和效果做了針對性的研究和實際應用。

2 面部捕捉技術

面部動作捕捉(Facial Motion Capture)，是運動捕捉技術的一部分。面部捕捉是使用機械裝置、傳感器、相機等設備來記錄人類面部肌肉和表情動作，然后，將它轉換為一系列參數數據的過程。可以構建虛擬人面部，并將基于面部捕捉得到的參數數據傳遞給虛擬人的面部骨骼和蒙皮系統，從而重現實際的人臉表情和動作。

2.1 面部捕捉和重建系統的基本需求

由于人臉的肌肉構成比較復雜，有各種各樣的微表情呈現方式，因此很難像處理全身運動捕捉的情形一樣，將身體簡單地劃分為四肢和軀干的數個關節，再分別進行數據監測。

圖1 采用68個面部標記點的面部捕捉模型

一種比較常見的方式是通過傳感器設備記錄一些典型的面部標記點(landmark)，例如：眉毛、眼框、鼻翼、鼻孔、嘴唇、面頰等。然后，通過這些標記點的參數數據來驅動虛擬人臉。一個典型的面部標記系統可能會包含幾十到幾百個標記點，這也對數據采集和計算系統提出了很高的要求，并且，很難具備泛化應用和實時計算的能力。

本文選擇使用基于IBUG數據集構建的68個標記點人臉模型，如圖1所示。標記點主要集中在人臉輪廓線、眼框、鼻翼和鼻孔，以及內外嘴唇部分，因此，對于眨眼和嘴說話的動作，以及需要用到這些主要器官的表情有很好的識別和參數化的能力。對于臉頰上的一些微表情動作，這個人臉模型并不能很細膩地表現出來。不過對于虛擬演播室以及直播類的需求來說，通常也不需要捕捉和使用到更復雜的表情動作。

2.2 基于人臉標記點的光學捕捉技術

目前，比較流行的人臉捕捉方案是在演員的臉上，直接繪制或者粘貼具有顯著顏色區別的標記點，然后，通過多臺光學攝像機來識別標記點，進而求得人臉的表情運動參數。如圖2所示。

圖2 基于標記點的光學相機捕捉

因為演員的表演動作可能比較豐富，運動速度較快，所以需要配置全局快門的光學相機，并且必須具備高分辨率、高幀速率的特性，同時，對多個相機進行幀間同步來確保識別結果的準確性。

這類光學相機系統通常來自OptiTrack或者Vicon等專業廠家，它的配置和標定過程十分繁瑣，需要花費大量的時間進行準備工作，而且價格很貴。另外，因為需要在演員的面部直接進行繪制或者粘貼操作，因此，對演員和面捕團隊的專業性也有很高的要求，普通人很難未經訓練就能參與其中表演。

2.3 基于RGBD設備的深度捕捉技術

一種常見的低成本面部捕捉技術是使用RGBD相機來實現，即：帶有深度信息的攝像頭設備。典型的RGBD相機，例如：Microsoft Kinect和Kinect2，這類設備本身已經具備了人臉識別和實時三維網格的能力。它將識別得到的人臉RGB像素與深度圖像素結合，得到人臉的實時三維網格模型，如圖3所示。

圖3 Kinect計算得到的人臉三維網格模型

基于這個簡化的實時網格模型，可以直接貼圖并構建虛擬角色的面部網格，從而快速實現面部捕捉和模型重建的需求。但是，Kinect設備本身的分辨率和幀速率都比較有限，并且，要求設備與被測物體或人體有一定的距離，否則，無法正確檢測深度。再加上Kinect設備對于強光環境比較敏感，更適合極客團隊進行快速原型驗證，并不適合用于影視拍攝或者虛擬演播室環境中應用。

3 單攝像頭實時面部捕捉和重建

本文提出一種新的實時面部捕捉方案，它具備成本低廉、安裝和調試過程方便、識別效率高、結果穩定等特點，并且，已經在實際項目中得到了充分的論證和應用證明。

3.1 設備和實驗環境搭建

該方案僅使用市面上通用攝像頭設備即可實現，將攝像頭安裝到頭盔上，并正視表演者的面部，以達到實時面部捕捉和計算重建的目的。

為了達到足夠理想的識別速度和識別效果，建議使用Flir的工業攝像頭設備。這款攝像頭的價格在千元左右，支持全局快門，可以拍攝高速運動的物體，畫面分辨率為1280x1024，幀速率約為50FPS，這已經完全滿足后端算法的需求。攝像頭與頭盔的連接方式，如圖4所示。

圖4 面捕方案的頭盔和攝像頭連接方式

頭盔后端通過有線連接接入到隨身的迷你PC，將攝像頭畫面傳遞給后端程序進行運算和實時參數捕捉。迷你PC設備的CPU配置不應低于Intel i5。后端程序的執行流程，如圖5所示。

圖5 面部捕捉執行流程圖

3.2 基于MTCNN的人臉特征點自動識別

采用較為流行的多任務卷積神經網絡(Multi-task convolutional neural network，簡稱為MTCNN)，同時進行人臉區域檢測與人臉標記點檢測工作。

該神經網絡模型在工作過程中，首先對輸入圖像的尺寸進行多次縮放，構建多級圖像金字塔。然后將圖像金字塔數據傳遞到第一級粗糙的全卷積網絡中，簡稱為Pnet。

Pnet通過自帶的人臉分類器判斷某張輸入圖像的某個區域是否是人臉，同時，使用邊框回歸和自帶面部標記點的定位器來提供人臉區域的初步評估結果，這個模塊最終會輸出很多張區域子圖像，其中包含了可能含有人臉和人臉標記點的內容。

這些區域圖像被傳遞給第二級的卷積神經網絡，它會對所有的輸入窗口進行更為嚴格的篩選。這一級網絡簡稱為Rnet。它可以檢測并拋棄大部分的錯誤輸入，然后，再次使用邊框回歸和面部標記點定位器，進行人臉區域和標記點的檢測，最終輸出較為可信的人臉子區域。

所有Rnet的輸出結果將被輸入到第三級更復雜的卷積神經網絡中，簡稱為Onet。它的主要職責是根據可信的人臉子區域，細化和計算得到精確的人臉包圍矩形坐標和標記點坐標。和之前的Pnet以及Rnet相比，Onet擁有更多特征的輸入數據，以及更復雜的網絡模型，因此，也具有更好的性能，這一級的數據輸出也就是最終的網絡模型輸出結果。

MTCNN算法的執行流程，如圖6所示。它的三級神經網絡復雜度從低到高，計算結果從粗糙到精確，但是，計算消耗的時間和資源也是從少到多。結合多線程的編程方法，可以并行處理上一幀圖像的Onet和當前幀圖像的Pnet與Rnet過程，從而優化了整個網絡的執行效率，在較低配置的系統上也可以運行，因此，非常適用于面捕頭盔加隨身的迷你PC的應用場景。

圖6 MTCNN識別流程圖

3.3 基于SFM的人臉模型擬合和表情驅動

獲取人臉的標記點(landmark)信息之后，使用SFM人臉參數模型(Surrey Face Model)來實現標記點到人臉模型的擬合變換。SFM模型屬于3D變形模型(3D Morphable Models，簡稱為3DMM)的一種，它包含參數化生成的三維形狀、參數化的反照率模型，以及模型系數的相關概率密度，這些形狀和反照參數共同描述一張臉的信息。

SFM模型本身是通過大量3D掃描人臉運算得到的PCA模型，因此，包含較少的參數來描述復雜的人臉變形效果。它提供多種分辨率的三維人臉網格模板，包括：頂點、法線和紋理坐標信息。本文在SFM模型中，采用3448點的模板數據，同時也被提供給美術人員進行虛擬人頭的制作。SFM模型的模板類型、頂點數和三角面數量如表1所示。

表1 SFM模板模型的精細級別

為了確保人臉映射效果的實時性和準確性，需要為美術人員提供特殊工具，來確保美術人員編輯輸出的新模型頂點ID不會發生變化，因此，也不需要重新計算其三角面索引信息。除此之外，美術人員可以對虛擬模型的頂點位置布局和紋理進行充分的自由發揮，構建具有鮮明特色的虛擬人臉模型，并且仍然可以被面捕系統的輸出參數直接控制。

將人臉標記點映射到SFM人臉模型的過程，也就是計算模型PCA參數的過程，之后可以使用這組PCA參數從模板直接采樣得到新的人臉網格模型，并且仍然是3448個頂點數。假設SFM模型的形變參數向量組用α來表示，人臉標記點的總數用N來表示，則有如下的擬合公式

E表示成本函數，它的值越低，則擬合的效果越好。y表示齊次坐標系下的2D標記點坐標，yp表示3DMM模型的對應頂點投影到當前2D坐標系后的坐標。而σ是每個標記點的可選方差值。通過線性最小二乘法的解算，可以得到當前人臉2D標記點對應的PCA參數，進而實現人臉模型的實時采樣和驅動過程。

4 實例研究

4.1 虛擬演播室系統的搭建

采用Unity引擎來構建虛擬演播室軟件環境。該系統支持三維場景模型的導入，常見攝像機接口和圖像的輸入，角色的數據驅動控制，以及綠幕摳像合成等功能。如圖7所示。

圖7 虛擬演播室系統實時渲染界面

4.2 人體角色的合成和數據驅動

使用上述面部捕捉頭盔系統，可以將演員的面部運動和表情實時映射到虛擬演播室系統中。來自頭盔攝像頭的圖像數據通過USB接口輸入到隨身的迷你PC進行解算，然后將結果標記點數據通過TCP協議傳遞給虛擬演播室系統，再進行實時的SFM模型擬合。擬合結果直接應用于實時導入的虛擬人臉并精確控制其頂點運動。如果輸入的虛擬人臉不是基于SFM模型制作的話，那么輸入的面捕數據將無法直接使用。

有關“虛擬人”身體運動捕捉方面，直接采用諾亦騰的慣性動捕方案。慣捕數據通過本機的TCP或者UDP服務器傳遞給虛擬演播室系統，并直接控制虛擬人的實時動作。

4.3 應用案例

面捕系統的實時工作場景如圖8所示，虛擬演播室系統實地測試效果如圖9所示。

圖8 面捕系統的實時工作場景

圖9 虛擬演播室畫面與電視臺監控畫面

該方案在實際運行過程中，識別效果穩定，隨身PC的系統資源消耗保持在較低程度。系統運行過程中持續進行了500秒的資源監測，具體監測結果如表2所示。

表2 面部捕捉系統運行數值監測

5 結語

本文研究了一種基于單攝像頭的人臉實時捕捉和參數化重建方法，它采用MTCNN并行多任務神經網絡實現人臉的標記點坐標精確識別，然后，將標記點數據代入到SFM人臉模型，通過一個標準的人臉模板(3448點)和一系列PCA參數來描述和實時采樣生成。通過擬合公式得到當前標記點對應的參數組，生成實時的三維人臉模型，并且直接與預先設計和構建的虛擬人臉數據進行映射，實現虛擬人臉的表情和運動同步效果。

本方法解決了虛擬演播室應用中常見的人體和人臉捕捉與重建的特征識別數據量大、計算耗時長、識別準確率較低、易于導致跟蹤失敗等問題，并且成本很低，效率較高，在幾乎所有的操作系統平臺和迷你PC硬件平臺上都可以使用。實踐證明，該方法在電視臺的虛擬演播室系統應用中得到良好反饋。不足之處是該方法在微表情的呈現上還存在改進空間，以便與影視級的光學捕捉系統相媲美，這是因為所使用的人臉標記點數量較少，且主要分布在五官部位，臉頰等缺乏圖像特征的位置上沒有標記點對應。可以進一步改善這一問題，研究更好的人臉識別算法，直接采用臉上繪制或粘貼標記點的方法，再結合SFM模型進行擬合，這是下一步需要研究和改進的方向。