基于弱監督學習的三維人臉形狀與紋理重建①

吳 越,董蘭芳

(中國科學技術大學 計算機科學與技術學院,合肥 230027)

1 引言

隨著計算機技術的發展,三維人臉重建成為計算機視覺領域熱門的研究課題.相較于二維人臉,三維人臉包含更多特征信息,能夠應用于更豐富的實際生活場景,如人臉識別[1]、影視娛樂[2]、醫療美容[3]等.

近年來,基于單張二維人臉圖像重建三維人臉的工作取得了巨大的成功[4],本文將現有三維人臉重建技術大致分為兩大類:傳統重建方法和基于深度學習的重建方法.目前自動化程度最高、應用最廣泛的傳統重建方法是基于統計模型的三維人臉形變模型(3D Morphable Model,3DMM)[5],但該方法主要問題是其迭代擬合過程中的計算代價過大、重建效率偏低.

隨著深度學習在計算機視覺領域取得重大突破,很多學者研究了如何利用深度學習對二維人臉圖像進行3DMM 三維人臉形狀和紋理系數估計.深層神經網絡提供了從圖像像素到三維模型參數的回歸學習能力,然而利用深度學習進行三維人臉重建的首要問題是獲取三維人臉數據的代價過高,訓練數據不足.

一種常用的解決訓練數據不足的方案是先通過傳統的三維人臉重建方法生成大量三維人臉合成數據作為訓練數據.Tran 等[6]針對訓練數據不足的問題,利用一種多圖像3DMM 估計方法生成足量帶標簽的三維人臉數據,并在ResNet-101 上訓練回歸3DMM 模型系數,實現基于單張二維人臉圖像的三維人臉重建.Richardson 等[7]通過隨機采樣3DMM 模型,修改模型參數后生成新的三維人臉后進行渲染得到二維圖像,將生成的新的三維人臉和渲染投影后的二維圖像作為一組訓練對并作為CNN 網絡模型的輸入.然而,當面對二維人臉圖像中存在遮擋、不尋常的光照時,這些純粹由合成數據訓練的網絡表現的并不好.除此以外,大量的實驗結果表明合成的圖像往往缺乏真實特征,對重建精度易產生負面影響.

另一種解決訓練數據不足的方法是直接從大量無三維標注的二維人臉圖像中學習3DMM 系數.Tewari等[8]首先提出了從無標簽的二維人臉圖像中直接學習3DMM 系數的方法,他們訓練了一個自動編解碼網絡以同時預測3DMM 人臉形狀、紋理、姿勢、光線等參數,該方法不需要三維標注與二維人臉圖像的監督數據對.然而,由于該方法的訓練損失函數是基于圖像像素的,網絡容易混淆相關變量之間的變化.Genova等[9]進一步改進了這一方法,通過使用預先訓練的人臉識別網絡,如VGG-Face 或谷歌的FaceNet,在損失函數中添加了高層特征的約束.

此外,目前大多數基于單張圖像的三維人臉重建算法只重建三維人臉幾何形狀信息,后續為增強真實感直接使用紋理貼圖方法將圖像中人臉紋理映射到三維人臉上.該方法最大的問題是由于人臉圖像存在不可見區域,側臉、耳朵以及脖子處的紋理將無法獲取;對于存在遮擋或大姿態情況下的二維人臉圖像,大面積不可見區域的人臉紋理更是無法直接從二維圖像中提取.

針對以上問題,本文提出一種可同時重建三維人臉形狀和紋理信息的弱監督學習算法.首先針對訓練數據不足問題,本文設計了一種multi-level 的弱監督損失函數,可直接從大量二維人臉圖像中學習多種弱監督信息來監督網絡模型學習.對于人臉紋理重建,本文通過可微分渲染器SoftRas[10]將重建后的三維人臉渲染至二維圖像平面與輸入人臉圖像建立起像素級別的弱監督信息,從而實現對人臉紋理信息的約束與重建.此外為避免遮擋對人臉紋理重建造成影響,本文首先利用基于CelebAMask-HQ 數據集[11]訓練的人臉解析分割算法去除遮擋.實驗結果顯示,相較于其它三維人臉重建算法,本文算法的重建質量與重建精度均有顯著提升.

2 網絡模型與關鍵技術

本文提出的重建算法的整體框架如圖1所示.給定無三維標簽的二維人臉圖像I,先用人臉解析分割算法計算人臉分割掩碼mask,利用該mask 可去除人臉面部的遮擋并使模型更關注人臉中如眼、眉毛等重要部位.此外利用目前最先進的人臉特征點檢測算法[12]計算68 個人臉特征點lmk 作為弱監督信息.隨后將去遮擋后的圖像作為輸入,通過CNN 模型回歸輸出代表各關鍵系數的特征向量,包括3DMM、位姿以及光照參數,完成三維人臉重建.為實現重建三維人臉紋理信息,給定位姿和光照參數,利用可微分渲染器SoftRas將重建三維人臉映射到二維圖像平面,得到渲染圖像I',從而實現與輸入圖像I之間的像素級別的紋理監督信號.將輸入圖像和渲染圖像輸入一個人臉識別網絡計算高維度的身份識別損失,實現一種基于multi-level損失函數的CNN 網絡模型,以取得更好的重建結果.

圖1 模型訓練流程圖

2.1 模型參數

為實現同時重建三維人臉形狀和紋理信息,需要借助CNN 卷積神經網絡強大的特征提取能力,從二維人臉圖像中提取3DMM 人臉參數、位姿參數以及光照參數以實現基于單張二維人臉圖像的三維人臉重建.

(1)三維人臉形變模型3DMM

傳統三維人臉形變模型3DMM 將三維人臉統一用兩個向量表示:

其中,形狀向量S表示三維人臉形狀,紋理向量T表示三維人臉紋理.由于人臉空間被假設為一個線性空間,任何一張三維人臉都可以由線性子空間內的其它三維人臉線性組合表示,利用主成分分析法PCA 進行降維與去相關后,新的三維人臉模型可表示為:

其中,S和T分別代表平均人臉形狀和紋理向量,Aid,Aexp和Atex分別表示人臉形狀、表情和紋理PCA 主成分.本文中的三維人臉形狀和紋理信息來源于Basel Face Mode 模型[13],三維人臉表情信息來源于FaceWarehouse三維人臉表情庫[14].通過改變3DMM人臉形狀參數 α、表情參數 β以及紋理參數δ,即可生成新的三維人臉.

(2)相機模型

假設三維人臉中頂點為V3d,通過弱透視投影將三維人臉頂點投影至二維平面頂點v的過程可表示為:

其中,f為縮放因子,P是相機矩陣,因本文使用弱透視投影模型,P為正交矩陣[[1,0,0],[0,1,0]],R為旋轉矩陣,t為平移向量.三維人臉的位姿參數即可用[f,R,t]表示.

(3)光照模型

光照模型,也稱明暗模型,用于計算物體某點處的光強.光照估計就是從圖片中獲取光照信息,從而降低光照對紋理的影響.本文采用球諧函數(Spherical Harmonics,SH)來估計二維人臉圖像中的光照信息.

對于三維人臉模型中的一點p,點p處的像素紋理信息即為p處的反照率(去除光照和陰影后的皮膚紋理) 乘以球諧基函數的線性組合:

其中,t代表頂點p處的皮膚紋理,n=(nx,ny,nz)代表法線方向,hj代表9個球諧基函數,γj表示球諧基函數的系數,即光照系數.

綜上,為實現基于單張二維人臉圖像的三維人臉形狀和紋理重建任務,需準確預測輸入人臉圖像的各關鍵參數,包括3DMM 人臉形狀參數 α ∈R100、人臉表情參數 β ∈R80、人臉紋理參數δ ∈R100、人臉位姿參數m∈R7以 及光照條件參數γ ∈R27.

2.2 可微分渲染器SoftRas

為了在三維人臉模型和二維渲染人臉圖像間建立起像素級別的監督,使用可微分渲染器(Soft-Rasterizer,SoftRas)對重建后的三維人臉渲染生成二維人臉圖像,從而重建出精度更高,更有真實感的三維人臉.

可微分渲染器SoftRas 將渲染過程看作是一個聚合函數,不同于傳統渲染器只選擇最近的三角形的顏色的離散采樣操作,SoftRas 假設所有的網格三角形對每個渲染的像素都有概率貢獻,融合所有三角形對渲染像素的概率貢獻,即可獲得最終的渲染結果.作為一個真正可微分的渲染框架,SoftRas 能夠生成從像素到三維網格頂點、紋理、法向量等屬性的有效梯度,因此可以將SoftRas 作為一個通用框架應用在深度神經網絡模型中,從而為基于單張無三維標簽圖像的三維重建任務提供一種像素級別的監督信號.

2.3 人臉解析分割算法

由于訓練數據中很可能會因為人臉區域內存在如頭發、帽子、眼鏡等遮擋物,造成重建后相應遮擋區域內的人臉紋理出現問題.因此需要對訓練數據進行預處理以避免遮擋物對最終的重建效果造成影響.

在實際數據中,最常見的遮擋是頭發對人臉的遮擋,而傳統的膚色檢測算法并不能很好區分與膚色像素相近的頭發.因此本文采用基于CelebAMask-HQ 數據集的人臉解析分割算法,為輸入圖像去除遮擋.

CelebAMask-HQ 數據集是一個高分辨率的人臉圖像集,每張圖像都定義了19 種面部屬性的分割掩碼,包括人臉器官如皮膚、眼睛、眉毛、頭發等,以及一些外界遮擋如眼鏡、帽子等物體.本文在CelebAMask-HQ數據集上訓練語義分割網絡BiseNet[15],實現一個人臉解析分割算法,為訓練數據計算人臉圖像的分割掩碼mask,從而在計算像素級損失時僅計算去除遮擋的人臉區域,該人臉解析分割算法效果如圖2所示.

2.4 損失函數

本文僅通過無三維標簽的二維人臉數據重建三維人臉,因此,如何設計有效的弱監督信號對最終的重建效果至關重要.為了實現輸入人臉圖像與渲染人臉圖像間的對應關系,本算法充分考慮了圖像的多個維度層面的特征,包括低維度的加權像素級光度損失,中層的人臉特征點損失以及作為高維度的人臉身份識別損失,最終實現一種multi-level 的弱監督損失函數.因此,整個網絡模型的目的是最小化如下損失函數:

其中,λpixel,λlmk,λid,λreg是控制損失項重要性的常數.

圖2 人臉解析分割算法示例

(1)低層加權像素級損失

為使輸入圖像和重建渲染圖像盡可能相似,最簡單直觀的方法是直接計算兩張圖像間低維度的像素差異.得益于人臉解析分割算法,不僅能檢測出如頭發、帽子等遮擋物,還可以根據分割掩碼mask 準確判斷各人臉器官如眉毛、眼睛等在圖像中的位置.因此,在計算這部分損失時,添加一定的權重讓模型更加關注這些人臉特征部位的紋理,使重建三維人臉紋理更具真實感.該部分低維度的加權像素損失可定義為:

其中,V代表了渲染后人臉圖像的可見區域,(i,j)代表可見區域內的像素位置,因此,只需要取輸入圖像內相同區域進行比較即可.此外,M代表掩碼權重,主要作用是通過分割掩碼mask 判斷該可見區域內是否存在如頭發、帽子等遮擋物,若存在則將該區域權重設為0,以避免遮擋對重建造成影響.此外,將眼睛、眉毛等人臉重要器官區域的權重設為2,其它人臉區域如皮膚等權重仍設為1.

(2)中層人臉特征點損失

本文利用目前最先進的人臉特征點檢測算法來檢測無標簽二維圖像的68 個人臉特征點{qn}作為一種弱監督信號,并將重建后的三維人臉投影至二維平面得到重建后的68 個人臉特征點使用專門為人臉特征點檢測任務設計的損失函數Wing Loss[16],計算一個中層特征的人臉特征點損失:

其中,ΔQlmk=q′n?qn,代表了根據檢測得到的人臉特征點與重建得到的人臉特征點間的誤差.通過特征點損失,能夠有效引導網絡模型對人臉形狀、表情以及姿態參數的學習.

(3)高層人臉身份損失

僅使用低維的像素級損失很可能會導致局部極小值問題,因此考慮圖像的高維度特征,對于一個人臉識別網絡,從輸入圖像和重建圖像中提取的人臉特征信息是有一定關聯的.ArcFace[17]是目前最優秀的人臉識別網絡,給定一張二維人臉圖像,ArcFace 可輸出一個512 維的人臉特征向量.因此,本算法在訓練過程中利用預訓練的ArcFace 人臉識別網絡,同時提取輸入二維人臉圖像I和重建渲染圖像I'的512 維人臉特征向量f(I)和f(I′),并計算兩者之間的余弦距離:

通過該損失,可以避免模型出現局部極小值問題.此外,對于人臉識別網絡,盡管同一個人在多張圖像中呈現不同的位姿、表情,最終識別的結果仍是同一個人.基于人臉識別網絡這一特性,本算法在計算高維度的人臉身份損失時,通過對重建后的三維人臉的位姿與表情參數隨機添加一個偏置,變換后的人臉渲染圖像I''與輸入圖像I中的人臉身份應仍是一致的.同理,兩張渲染圖像的人臉身份也應是一致的,即:

因此,本算法在計算人臉身份損失時,對重建得到的人臉表情 β和位姿參數m進行小范圍的隨機變換,實現多視角多表情的人臉身份損失,從而能夠訓練出更魯棒的網絡模型.

(4)正則化損失

由于3DMM 參數是服從正態分布的,若從二維無標簽人臉圖像中回歸的3DMM 參數值偏離零點太多,則重建的三維人臉可能是扭曲的,因此為了防止人臉形狀和紋理退化,為回歸的3DMM 人臉形狀、表情和紋理參數添加了正則化損失項作為一種弱監督損失:

綜上,通過上述介紹的multi-level 的多種弱監督損失函數,可以在不同程度上約束待回歸的人臉形狀、表情、紋理、位姿以及光照參數,從而能夠訓練出一個魯棒且具有真實感的三維人臉重建網絡模型.

3 實驗分析

3.1 實現細節

本文算法基于Pytorch 深度學習框架,采用ResNet-50 網絡模型,將最后一層全連接層修改為314 維,并采用Adam 方法優化參數,設置初始學習率為1×10-4,batch size 設為16,共訓練101 340 次迭代,10 個epoch.訓練過程中,各損失函數的權重 λpixel、λlmk、λid、λreg分別設置為3.0、2.4×10-3、0.24 和4×10-4,正則化損失項中的 ωid、ωexp和ωtex分別設置為1.2、0.8 和0.001.

3.2 重建質量

為能夠定性定量地評估本章算法的重建結果,將從重建質量以及重建精度兩方面來驗證模型的有效性.重建質量部分首先將本算法在特定圖像上的重建結果與目前一些先進的三維人臉重建算法如Tran 等[6]、MoFA[8]以及Genova 等[9]算法的重建結果在不同的人臉數據集如MoFA-test 以及LFW 數據集上選擇若干人臉圖像進行視覺上的對比比較,如圖3與圖4所示,部分實驗結果圖來源于文獻[9].

圖3 部分MoFA-test 數據上的重建質量對比

由圖3與圖4可以看出,本文算法對于人臉形狀和紋理的重建都優于另外幾種算法,本文算法重建得到的三維人臉的面部輪廓以及五官形狀與輸入圖像更為一致,更能體現人臉的身份特征.此外,其它幾種算法在面對不同膚色不同光照的人臉圖像時重建得到的人臉紋理信息并沒有較大差別,相較而言本文算法能夠更加真實地反映人臉紋理信息.除了人臉形狀和紋理信息外,本文算法還可以準確預測輸入人臉圖像的表情.

圖4 部分LFW 數據上的重建質量對比

為了驗證本文算法在大姿態或遮擋情況下仍能較好完成三維人臉形狀和紋理重建,在二維人臉圖像中存在大姿態或遮擋的情況與普通的紋理貼圖方法進行了對比實驗,如圖5所示.可以看出,對于存在遮擋或大姿態的人臉圖像,被遮擋部分的紋理信息并不能夠從輸入二維人臉圖像中提取,因此傳統的紋理貼圖方法將無法提取不可見區域的紋理信息,得益于人臉解析分割算法,在面對存在遮擋或大姿態的人臉圖像時,本文算法仍能重建出具有真實身份特征的真實感三維人臉.

圖5 遮擋或大姿態情況下人臉紋理貼圖與重建結果對比

最后,為驗證本文人臉重建算法的魯棒性,對同一身份處于不同姿態、表情、光照條件下的多張二維人臉圖像進行重建,結果如圖6所示.實驗結果表明,本算法提出的多視角多表情的高維度人臉身份損失能夠有效提升重建模型的魯棒性,對于同一身份在不同表情、姿勢、光照條件下仍能輸出較為一致的三維人臉模型.

圖6 同一身份在不同表情、姿態、光照條件下的三維人臉

3.3 重建精度

為了評估本算法的重建精度,將本算法重建得到的三維人臉模型與MICC 數據集中的ground truth 三維真值人臉模型進行定量的對比評估,并與目前一些優秀的三維人臉重建算法進行了比較.

MICC 數據集中除了利用專業設備掃描得到的作為ground truth 的真實三維人臉掃描模型外,還包括53 個受試者的3 段短視頻,包括交互、室內以及室外3 種場景.與其它基于單張圖像重建的算法類似,本文對視頻中的每一幀圖像都進行三維人臉重建,并取平均作為最終的三維人臉模型.

為公平比較本算法與文獻[6]、文獻[9]等算法之間的重建精度,首先采用文獻[6]中的方法,用球心在鼻尖,半徑為95 mm 的球體對真實三維人臉網絡進行裁剪,從而只考慮人臉面部區域的重建精度.隨后,采用文獻[9]中的對齊方法,將重建三維人臉網格與真實三維人臉網格進行密集對齊,隨后計算point-to-plane點對面距離誤差.表1展示了不同算法在MICC 數據集中載3 種不同視頻片段下的重建三維人臉與真實三維人臉間的點對面距離的平均誤差(以mm 為單位).

表1 不同重建算法在MICC 數據集上的平均誤差

由上表結果表明,與其它兩種先進的重建算法相比,本算法最終的重建精度取得了約10%的提升,其中一個主要原因是文獻[9]算法雖然考慮了高維度的身份損失,但沒有考慮低維度的像素級損失,本算法不僅通過可微分渲染器實現了一種加權光度像素損失,還實現了多姿勢多表情的身份識別損失,在一定程度上提升了模型參數回歸的能力.

4 結論與展望

本文提出了一種基于單張二維人臉圖像的同時重建三維人臉形狀和紋理信息的算法.為解決訓練數據不足問題,本文設計了一種multi-level 的弱監督損失函數,直接從大量二維人臉圖像中學習多種弱監督信息.為避免遮擋對人臉紋理重建造成影響,本文利用一種人臉解析分割算法進行預處理.實驗結果顯示,相較于其它算法,本文算法的重建質量與重建精度均有顯著提升,且本算法對二維圖像中存在遮擋或大姿態等問題有較強的魯棒性.然而,目前本方法受限于三維人臉形變模型3DMM,重建出的三維人臉表面有些平滑,并不能很好地凸顯人臉皮膚紋理細節特征,因此在接下來的工作中,將考慮研究一種更為細節的三維人臉重建算法,能夠在重建過程中考慮如人臉皺紋等細節重建,進一步提升重建三維人臉的真實感.