多視圖三維人臉重建方法研究

林麗皇，陳 俊，2

（1.福州大學 先進制造學院，福建 泉州 362251；2.福州大學 物理與信息工程學院，福建 福州 350108）

0 引 言

隨著科技的更新迭代，二維人臉圖像已難以滿足市場需求。而三維人臉模型能夠提供更為準確的信息，實時與計算機進行交互，具有更穩定、不易仿造的特點，因此得到越來越廣泛的應用。

為獲取真實三維人臉模型，傳統方法通常依賴于復雜的采集系統，使用價格高昂的大型數字掃描設備，或者需要進行精準相機矯正。但這些高精度的采集系統只適用于工業界，并且搭建這些系統需要不菲的資金和控制嚴苛的采集環境，因此難以普及到日常生活的場景中。隨著移動智能手機的快速發展，日常生活中幾乎每個人都有手機，且手機已具備RGBD 相機和RGB 相機兩種輕量級類型的攝像頭。RGBD 相機具有三維空間深度信息，但成本較高，所以基于RGBD 相機的人臉重建技術并未在廣大消費者中遍及。另一種RGB 相機是大多數安卓手機配備的采集設備，圖片獲取方式比較簡單，雖然缺少了包含幾何信息的深度數據，但可以通過低維參數化模型編碼人臉幾何，將重建問題轉化為求解低維系數的優化問題。因此，基于深度學習方法的人臉重建可采用RGB 相機拍攝的圖片進行訓練。

本文主要分析了基于傳統方法的多視圖人臉重建與基于深度學習方法的多視圖重建的思想和特點，并對接下來的多視圖人臉重建的研究方向進行總結與展望。

1 基于傳統方法的多視圖人臉重建

基于傳統方法的多視圖人臉重建主要是基于被動式三維重建技術。被動式三維重建通常充分利用周圍環境如自然光的反射，使用多個攝像機獲取圖像，然后使用特定算法得到物體的三維空間信息。傳統的人臉多視圖三維重建的步驟主要包括使用運動恢復結構算法中的點檢測與匹配、計算極線幾何以及光束平差法來估計相機參數的最優值；多視點圖像兩兩組成圖像對，生成特征點稀疏粗糙點云；通過多視角稠密立體匹配，輸出目標物的深度圖或是粗糙的點云信息，將所有圖像對所對應的點云信息整合到一起，提純得到一個精度較高的目標物的立體點云信息；對高精度密集點云進行泊松表面重建獲得人臉三角網格模型，最后選用頂點著色或者是紋理映射貼圖來保存模型表面顏色信息。

早期，PIGHIN[1]等人提出從五個角度拍攝人臉圖像進行三維重建的方法，采用人工標注人臉輪廓的特征點進行相機標定，計算出相機參數，然后恢復出特征點的三維坐標點，使用線性插值的方法，使用這些三維特征點對人臉模板進行形變和約束，最后重建生成目標人臉三維模型。這種方法雖然可以獲得較強的三維空間信息，但是需要高昂的人工成本，對相機位置有嚴格的要求。類似地，BEELER[2]等人憑借帶標記點的球體對相機進行標定，在固定的光照條件下，利用多部單反相機采集多視角的人臉信息，然后基于多視圖稠密匹配算法重建人臉，并針對人臉本身的特征進行多項約束以及優化。

多視圖之間的對應關系和人臉關鍵點檢測的準確性，能夠降低人臉重建的復雜度。蔡麟等人[3]利用重新渲染合成的方式，把參數化模型擬合到輸入的各角度圖片，然后在紋理域上求解一個光流問題，得到不同視角之間的對應關系。最終可以還原出人臉的點云，并基于明暗恢復結構的方法來還原人臉細節。張艷花等人[4]改進檢測方法，采用Harr分類器進行人臉檢測，利用SURF、K 最近鄰和隨機抽樣一致對特征進行檢測和匹配，得到圖像對之間的幾何關系后，利用相機焦距等參數重建稀疏點云模型。選取最佳視圖對，估計深度圖將其精細化生成稠密點云模型，最后使用表面重建算法恢復人臉模型。

在重建過程中分階段恢復人臉模型，先重建出粗糙人臉，再在此基礎上優化人臉，這樣能夠獲得更高精度、更加逼真的三維人臉模型。張釋如等人[5]將三維人臉重建分為粗糙階段和精細階段兩個階段，粗糙階段采用基于改進的LBP 特征的稀疏匹配算法，恢復三維真實坐標，形成粗糙人臉模型；精細階段增加特征和紋理約束，按照一定比例對能量函數重新定義，優化粗糙人臉模型。通過特征點和曲線的形變相結合，讓模型更加貼合真實人臉的分布。

基于傳統方法的多視圖人臉重建，一方面可能不一定使用人臉結構作為先驗知識，所以重建出的人臉與目標人臉存在一定差異，模型的魯棒性較差；另一方面，對標定人臉特征點的精度具有很高的要求，重建過程較復雜。

2 基于深度學習方法的多視圖人臉重建

隨著研究的深入，國內外學者發現基于深度學習方法相比于傳統方法，更有助于加快運行速度，減少計算量。于是他們從網絡結構、監督方式、損失約束等方面，針對人臉形狀、遮擋、姿態及光照的問題，對三維人臉重建進行了探索。

在網絡結構方面，DOU P[6]等人采用深度回歸網絡的框架，包括深度卷積神經網絡（Deep Convolutional Neural Networks，DCNN）和循環卷積神經網絡（Rerrent Neural Network，RNN）。如圖1所示，DCNN 獨立處理輸入的每一幅圖像，而RNN保留整個圖像集的所有人臉信息。DCNN 網絡對每一幅圖預測其表情和形狀參數，近似于一個非線性函數，將單個二維圖像映射到深度特征，然后對形狀和面部表情進行分解，使連續的RNN 網絡聚合分析得到所有視點人臉圖像的信息，回歸最終的人臉3DMM 參數，從而恢復出三維人臉。

而INNMANN M[7]等人采用多級優化重建人臉的方式，每張人臉經過離散殘差網絡生成相同的兩張特征圖，同一個人的多張特征圖通過自適應人臉模塊對人臉進行初步重建。圖2 中，將初始重建的人臉模型、檢測到的人臉關鍵點信息以及同一個人的多張特征圖通過非剛性立體優化模塊，生成人臉模型的自適應基，用于調整人臉細節。非剛性立體優化屬于模型的前向傳遞，可以類比為一個可微模塊。該模塊采用舊的重建人臉參數，計算更新輸出新的重建人臉參數。然后，對每次迭代的輸出計算訓練損失，通過整個非剛性立體優化對其梯度進行反向求解，更新可學習權值。

圖2 基于NRMVS 算法的框架

TEWARI[8]等人提出一種由M個孿生塔組成的神經網絡，如圖3 所示，可同時處理不同流中的M張圖片。孿生神經網絡的權重共享，這樣能夠同時獲取同一個人的形狀、外觀信息以及不同視角下的頭部姿態、光照信息。

圖3 FML 算法框架圖

除了上述級聯方式不同外，LIANG J[9]等還提出了線性回歸和非線性回歸方法，有效地整合正面和側面人臉信息。在線性回歸時，根據二維關鍵點偏移量迭代更新三維形狀，使用多層感知器和LeaklyRelu 激活函數作為非線性回歸器優化三維人臉。BAI Z[10]等人則在端到端網絡中嵌入一個可微分的網絡內優化結構，網絡首先將面部綁定參數化為具有神經解碼器的潛在代碼，以控制個人特定方面（如身份），然后通過可學習的優化來估計潛在代碼以及每個圖像的參數。為了減輕優化的難度，他們采用了一種學習深度綁定模型和學習優化的方法，利用深度先驗去約束病態性，達到了很不錯的效果。DENG Y[11]和SHANG J[12]的方法都是簡單地對多視圖圖像特征的拼接，沒有考慮多視圖圖像特征的深度融合，也沒注意到對重建質量影響最大的區域（如眼、鼻、口等）。ZHAO W[13]等人設計了一個新穎的端到端弱監督多視圖三維人臉重建網絡（Tri-Unet），利用多視圖編碼到一個具有跳過連接的單一解碼框架，能夠提取、集成和補償深度特征。此外，他們還開發了一個多視圖人臉解析網絡來學習、識別和強調關鍵的公共人臉區域。

在搭建卷積神經網絡結構后，進行訓練時，通常需要非常龐大的數據集，這樣對模型的訓練才能有幫助。但現有的三維人臉數據集不足，目前大多數采用弱監督或者無監督的方法進行訓練。為處理三維數據集缺乏的問題，SANYAL 等人[14]提出了不需要三維人臉標注信息的RingNet 方法，首先輸入同一個人的多張人臉圖像，利用相同人臉的相似特點來學習人臉形狀，借助FLAME 模型來獲得三維人臉模型。為解決二維圖片到三維人臉模型無監督問題，GENOVA K 等人[15]采用3DMM 模型參數來進行人臉三維重建，網絡框架由編碼器和解碼器組成，將人臉識別網絡加入訓練過程中。這樣不僅可以讓生成的三維人臉更貼近原來的二維圖片，甚至被遮擋的人臉區域也能取得更逼真的重建結果。而DENG[11]等人使用無標簽訓練方式，考慮到感知層信息弱化的問題，先從單張圖片人臉重建的結果學習一個置信度，并使用這個置信度收集人臉形狀信息，然后對每個人隨機挑選的5 張圖片，將人臉信息進行聚合，實現多視角人臉重建。該方法對于抗遮擋以及姿態有較好的效果。

有了初步的三維人臉后，需要在損失約束上，優化三維人臉細節。為重建產生高質量的三維人臉模型，ROTH J[16]等人利用光度立體技術進行個體表面法線的估計。在人臉紋理恢復效果上，WU F等人提出的MVF-Net[17]中，像素損失會導致人臉很多部分的顏色都很相像，于是采用雙向光流減少光流估計誤差在非感興趣區域的干擾，達到像素點對齊的效果，但是光流計算復雜度高，重建速度慢。為了實現在不調整任何超參數的條件下，達到整個模型的全局優化，RAMON E[18]等根據重投影誤差的單個損失，并行學習三維形狀和單個相機的姿態。這種損失從單視圖拓展到多視圖，能夠獲得較低的重投影誤差。為了從多視角圖像中提取潛在的三維信息，TIAN L[19]等使用多視角雙線性模型的三維人臉重建方法，該方法結合特征先驗約束和紋理約束，一方面，使用特征先驗約束估算出三維面部輪廓信息，另一方面，用紋理約束提取高精度的三維人臉形狀和細節。這是傳統方法無法實現的。為了解決遮擋、大姿態的情況，SHANG J[12]等人提出了基于遮擋感知的視圖合成方法，計算兩兩圖片之間共可見像素點，計算像素一致性損失和深度一致性損失。由于人臉關鍵點富有語義信息，不容易受到光照和尺度變化的影響，具有較強的魯棒性，所以對人臉關鍵點采用對極幾何方式進行監督，為人臉姿態和深度估計提供了一種可靠的約束條件。為加強交叉視圖的一致性，LI M[20]等人提出了一種新的基于稀疏視圖輸入的三維人臉重建框架，包括一個幾何網絡來學習三維形狀的可變形隱式神經表示，以及一個繪制網絡來重建面部紋理。他們提出了一種新的視圖開關損失，并設計了一種新的隱式變形模型的潛在碼空間，這有助于擴展底層的形狀空間。

基于深度學習方法的人臉重建過程的一般流程是：首先對圖片進行預處理和人臉檢測，其次輸入卷積神經網絡回歸參數，根據參數調節人臉參數化模型，再次，進入可微分渲染器進行渲染，輸出渲染圖片，最后與原圖進行損失計算，優化人臉模型。

3 結 語

隨著深度學習的迅猛發展，三維人臉重建技術也與之緊密聯系。因此，三維人臉重建還有許多需要研究的內容，本文認為，以下3 點可能是未來發展所需要關注的問題。

（1）豐富的三維人臉數據集。當前，三維數據通常依賴復雜的采集系統，而對應的多視圖三維人臉數據較少。卷積神經網絡在學習過程中缺少對困難樣本的學習，導致網絡學習效率低以及模型魯棒性差。因此需要更多的研究學者致力于三維人臉數據庫采集。

（2）手機端重建三維人臉。由于三維重建模型計算量較大，重建時間長，算法大多數都通過大型服務器實現，難以達到隨時使用。因此，需要構建輕量級的模型，方便部署在手機端上，增強用戶的體驗感。

（3）高質量的人臉模型。當前，三維人臉重建算法重建的人臉細節不高，表情不夠生動。如斑點、皺紋等人臉紋理恢復不夠好，且分辨率低，精細度還有待提高，這將會是很有潛力的研究方向。