基于高分辨率網絡和圖卷積網絡的三維人體重建模型

蘇亞婷，劉翠響

（河北工業大學 電子信息工程學院，天津 300401）

0 引言

三維人體重建是計算機視覺和計算機圖形學的研究熱點之一，在虛擬試衣、人機交互、沉浸式攝影等諸多領域有著重要的應用前景。它主要利用如攝像機、掃描儀、深度相機等硬件設備采集人體信息，通過相關模型處理后，在三維空間中恢復出人體的姿態和形態。該技術能夠將真實世界中存在的人體以數字化的方式在計算機中呈現［1］。

早期的人體重建主要采用掃描儀等大型設備掃描人體來獲得相關信息后重建人體，但是由于掃描儀體積較大、結構復雜，并未得到推廣。多人線性蒙皮（Skinned Multi-Person Linear model，SMPL）模型［2］的出現有效解決此問題，僅需輸入模型參數就可以得到重建結果，受到了研究者們一致好評。但是從二維圖像中學習SMPL 參數是高度非線性的，這也就導致無法捕捉到足夠的空間線索來擬合SMPL；而SMPL 并未對頭部關節點進行定義，致使重建結果可能出現頭部姿態翻轉的問題。

針對上述問題，本文提出一種基于高分辨率網絡（High-Resolution Net，HRNet）［3］和圖卷積網絡（Graph Convolutional Network，GCN）的三維人體重建模型，該模型包括特征提取模塊和圖卷積模塊。特征提取模塊是由HRNet 和殘差塊［4］組成，目標是從二維圖像中獲得語義豐富且空間準確的特征信息；圖卷積模塊則利用圖卷積算法來捕獲特征之間隱式的空間線索，從而獲得更加精確的空間信息來擬合SMPL。本文模型還參考了文獻［5］對SMPL 關節重新進行定義，增加頭部關節點，以解決頭部姿態翻轉的問題。

本文的主要工作如下：

1）提出一種三維人體重建模型，該模型采用HRNet 和殘差塊作為特征提取模塊，通過其獨特的并行多分辨率卷積和重復多尺度融合模型結構，使獲取特征的語義信息更加豐富。

2）采用圖卷積對特征信息進行顯式編碼，有效避免了特征之間隱式空間線索丟失的問題，獲得空間上更加精確的特征表示。

3）模型重新定義了SMPL 關節，增加了頭部關節點，有效解決頭部姿態翻轉的問題。

1 相關工作

雖然三維人體重建在之前得到了很好的探索，但是從單視角圖像中估計三維人體的形狀依然是一個具有挑戰性的問題。

Anguelov 等［6］提出首個參數化人體模型——SCAPE（Shape Completion and Animation of People）。Guan 等［7］和B?lan 等［8］利用SCAPE 實現人體重建，但SCAPE 將姿態和形狀變形模型分開進行訓練，會導致重建結果肌肉變形異常。而SMPL［2］將姿態和形狀變形模型進行聯合訓練，有效解決了肌肉變形異常的問題，所以SMPL 得到更加廣泛的應用。基于SMPL 的三維人體重建主要分為兩種：基于優化［9-12］和基于深度學習［5，13-19］的重建模型。

Bobo 等［9］提出SMPLify 模型，該模型利用單目圖像作為輸入，以優化的方式實現對人體三維骨架和表面的重建；Huang 等［10］對SMPLify 模型進行擴展，增加輪廓信息作為監督信息，提升準確性；Lassner 等［11］在人體表面放置91 個姿態估計器對重建的姿態和體形進一步優化，提高重建精度；Zanfir 等［12］采用前饋初始化和語義反饋以及附加約束對圖片中的人體的形狀進行推理。這種模型雖然可以得到可靠的結果，但是會受到二維關節檢測質量的限制，且高度復雜的優化過程需要良好的初始化來達到最優解。

Dibra 等［13］利用卷積神經網絡（Convolutional Neural Network，CNN）從輪廓圖片中估計SMPL 參數，實現骨架和體型的重建；Tan 等［14］設計了一種編碼-解碼的模型架構，采用輪廓信息作為監督信息間接地預測瓶頸層的模型參數；Tung等［15］在兩個連續的視頻幀上進行操作，并通過整合光流、輪廓和二維關節損失來預測參數；Kanazawa 等［16］提出一種端到端的人體網格恢復（Human Mesh Recovery，HMR）模型，通過最小化關節的重投影損失來直接從圖像像素中預測姿態和形狀的參數；Kolotouros 等［17］采用神經網絡預測SMPL 參數，使用迭代優化的方式使回歸得到人體模型更加匹配真實的人體；Zhang 等［18］提出一種雙分支結構，通過潛在特征監督來訓練端到端的回歸變量；Li 等［19］提出一種基于SMPLify的改進的多視圖優化模型，將SMPL 同時擬合到多視圖圖像；張亞鳳等［5］采用多特征點模式來實現參數的預測，通過優化能量函數的方式來提升重建精度。但是這類模型只是利用CNN 從圖像特征中學習SMPL 參數，缺乏了在擬合模型時所需的空間線索。

圖是一種非歐氏數據，傳統的CNN 并不能很好地處理此類數據，而GCN 可以學習這類數據之間的空間關系。人體關節和頂點坐標可以看作是一種圖結構數據。Kolotouros等［20］首次將GCN 應用在人體重建領域，提出卷積網格回歸（Convolutional Mesh Regression，CMR）模型，該模型使用GCN回歸得到人體模型坐標。Xie 等［21］則是采用掩膜圖像和5 個測量值作為輸入，同樣采用GCN 來回歸人體網格頂點。Zhang 等［22］在文獻［21］基礎上設計一種由粗到精的圖卷積網絡，以此獲得更為詳細的人體模型；但是該類模型并未對頭部關節進行定義。

2 基于HRNet和GCN的三維人體重建模型

模型整體結構如圖1 所示，主要由特征提取模塊和圖卷積模塊兩部分組成。重建過程如下：

圖1 三維人體重建模型結構Fig.1 Structure of three-dimensional human reconstruction

1）采用單目圖像作為輸入，使用特征提取模型即HRNet和殘差塊提取特征信息。

2）將SMPL 頂點與得到的特征進行融合得到節點特征向量。

3）通過圖卷積模塊對得到的節點特征向量進行更新得到具有豐富空間信息的姿態和形狀參數。

2.1 特征提取模塊

特征提取模塊由HRNet 和殘差塊兩部分組成，功能是從二維單目圖像中提取特征圖。不同于大多數現有的提取特征方法，HRNet 采用并行多分辨率卷積和重復多分辨率融合使特征信息在整個提取過程中保持高分辨率表示，所以通過HRNet 得到的特征不僅含有豐富的語義信息而且在空間表示上也更加精確。而殘差塊的結構被證明是一種建立深層網絡的模型，可以有效避免梯度消失現象的發生，能夠更好地優化訓練結構。

特征提取模塊的流程如圖2 所示，具體流程如下：首先將224×224×3 的特征圖輸入HRNet，輸出其中具有最高分辨率的特征圖，維度是56×56×32；然后經過卷積核為1 ×1 的卷積層，將通道數變為64；最后將其輸入4 個殘差塊中，其中殘差塊結構與ResNet50 的Bottleneck 模塊結構一致，包含3 個卷積層，卷積核分別是1×1、3×3、1×1，最終得到所需特征圖F。

圖2 特征提取模塊流程Fig.2 Flowchart of feature extraction module

2.2 圖卷積模塊

圖卷積的出現對于處理非歐氏空間的數據可以提供一種新的思路，與傳統CNN 作用類似，都用于特征的提取。不同的是，GCN 精妙地設計了一種從圖結構中提取特征的方法。本文利用圖卷積網絡捕獲特征圖內在的空間線索來學習SMPL 參數。

圖卷積網絡的核心是利用其他節點的信息來推導該節點的信息。其運算流程如下：假設輸入節點個數為N，其中每個節點特征維度為Q，將這些節點特征拼接起來構成一組維度為N×Q的矩陣X，節點與節點之間的鄰接關系構成一組N×N的矩陣A，將矩陣A和X作為輸入，就得到了層與層之間的傳播方式如式（1）所示：

本文的圖卷積模塊由5 個圖卷積塊組成，具體結構如圖3 所示，其中GroupNorm 是群歸一化，它可以有效防止模型在訓練時陷入極小值，無法收斂的問題。GrouphLinear 即CNN中的全連接層，而GroupConvolution 采用的是單層特征傳播模式，即式（1）中l=0。

圖3 圖卷積模塊結構Fig.3 Structure of graph convolution module

2.3 SMPL

SMPL 是在三維人體掃描庫CAESAR［23］和FAUST［24］數據集上訓練所得的，通過形狀參數β和姿態參數θ驅動的一種參數化人體模型。該模型具有6 890 個頂點和24 個關節點，但是這24 個關節點并未包含頭部關節點，故重建結果極有可能出現頭部姿態翻轉的問題。所以本文對SMPL 關節重新進行定義，增加了眼睛、耳朵和鼻子等關節點對頭部姿態進行控制。SMPL 關節點更新前后對比如圖4 所示。

圖4 SMPL關節對比Fig.4 Comparison of SMPL joints

3 實驗與結果分析

3.1 實驗數據集、評價指標與損失函數

3.1.1 實驗數據集

本文采用兩個3D 數據集PW3D［25］和UP3D［11］和三個2D數據集MSCOCO［26］、MPII［27］和LSP［28］作為訓練數據集，使用LSP 和MPI-INF-3DHP［29］作為測試數據集。

PW3D 是第一個具有準確3D 姿態的野外數據集，包含60 個具有豐富戶外運動的視頻序列（其中24 個用于訓練、24個用于測試、12 個用于驗證）。它提供精準的3D 和2D 姿態注釋。

UP3D 是應用SMPLify［9］對收集的圖片進行處理從而得到3D 姿態注釋的數據集。它包含8 515 張圖片，其中7 126張用于訓練，1 389 張用于測試。

MSCOCO 是一個大型數據集，包含物體檢測、關鍵點檢測、實例分割、全景分割和圖片標注等5 種類型的標注。

MPII 是人體姿態估計的基礎數據集，其中包含40 000 張圖片，有25 000 張圖片具有標注信息。

LSP 是一個體育姿勢數據集，包含競技、羽毛球、棒球、體操、跑酷、足球等多種運動模式，其中有2 000 張具有標注信息。

MPI-INF-3DHP 是一種3D 人體姿態數據集，包含多種不同的人體姿態，準確記錄了室內室外8 個演員的姿態變化，其測試數據集具有6 個視頻幀TS1～TS6。

3.1.2 評價指標

為了評價模型的性能，本文分別采用2D 和3D 數據集對模型進行實驗分析。其中2維數據的評價指標采用的是F1分數和準確率（Accuracy），3維數據的評價指標是平均關節位置誤差（Mean Per Joint Position Error，MPJPE）以及重建誤差。

F1 分數被定義為模型精確率和召回率的調和平均數，其計算公式如式（2）所示：

其中：TP為判斷正確的正樣本，在本文中為模型重投影圖中前景落在數據集標定前景中的像素點個數；TN為判斷正確的負樣本，投影圖中背景正確落在標記背景中的像素點個數；FN為判錯的正樣本，投影圖中的前景落在標記背景的像素點個數；FP為判錯的負樣本，背景落在標記前景中的像素點個數。

準確率即預測正確的結果占總樣本的百分比。計算公式如下：

平均關節位置誤差（MPJPE）指的是預測三維關節點與對應的真實關節點的L2距離的平均值。計算公式如下：

重建誤差的計算公式如式（5）所示：

其中：是經過相似性變換得到的預測三維關節點坐標。

3.1.3 損失函數

本文的損失函數主要包含預測和真實形狀之間對應的每個頂點損失、預測得到的三維坐標和二維坐標損失以及SMPL 形狀和姿態參數損失3 部分，整體的損失函數如式（6）所示：

其中：Lshape為人體網格頂點坐標損失，L3D和L2D為關節點損失，三者定義如式（7）～（9）所示：

而Lθ和Lβ的定義如式（10）（11）所示：

其中：θ和β分別表示真實姿態參數和形狀參數：和則表示預測得到的姿態參數和形狀參數。

3.2 實驗結果分析

為了驗證本文模型的普適性與準確性以及評估三維姿態與形狀，分別在2D 數據集LSP 和3D 數據集MPI-INF-3DHP上進行實驗。測試實驗在CPU 環境下進行測試，采用VMware15.1 虛擬機搭建的Ubuntu 18.04 操作系統，內存為2.00 GB。測試中必要的依賴包及版本號為：OpenDR 0.78，Chumpy 0.69，opencv-python 3.4.4.19 以 及 MeshLab 2021.05。

3.2.1 LSP數據集實驗結果分析

本文從LSP 數據集中選取不同的運動姿態圖片進行實驗，并與其他先進模型如SMPLify［9］、HMR［16］、CMR［20］等模型進行對比，重建結果如圖5 所示。

圖5 LSP數據集上的重建效果對比Fig.5 Comparison of reconstruction effect on LSP dataset

由圖5 可以看出，SMPLify 重建后的人體在不同程度上出現了姿態翻轉的問題，甚至出現了人體整個翻轉的情況；HMR 雖然在頭部姿態做出了處理，但是對于四肢的重建并未取得很好的效果；CMR 模型在一定程度上可以改善肢體的重建精度，但是對于頭部姿態來說并未得到很好的處理；而本文模型在人體正對、側對以及背對鏡頭時都可以很好地確定關節位置，有效地避免朝向錯誤，而且該模型還可以精準地捕獲頭部姿態，使得重建的人體更加貼合真實的人體形態。

為了對本文模型進行更加直觀的評價，采用F1 分數和準確率兩個評價指標對模型進行隱式的評估，如表1 所示。實驗結果表明本文模型在F1 分數和準確率上均優于其他模型，表明本文模型能更加準確地擬合人體體型。

表1 重建性能比較 單位：%Tab.1 Reconstruction performance comparison unit：%

3.2.2 MPI-INF-3DH數據集實驗結果分析

本文從MPI-INF-3DHP 數據集的TS1 到TS6 視頻幀中選取圖片進行實驗對比。測試結果如圖6 所示，可以看出當人體側向站立時，SMPLify 容易出現姿態翻轉的情況；HMR 和CMR 在頭部姿態的處理上不夠精確，導致頭部朝向出現誤差；本文模型不僅能夠保證對關節點的準確定位，而且對于頭部姿態的處理也更加細致，從而使得得到的人體更加貼合真實的人體。

圖6 MPI-INF-3DHP數據集上的重建效果對比Fig.6 Comparison of reconstruction effect on MPI-INF-3DHP dataset

為了進一步證明有效性，本文計算了MPJPE 以及重建誤差，來驗證本文模型的性能。結果如表2 和表3 所示，可以看出本文模型在不同數據集序列上都優于其他模型，誤差都明顯地降低，其中重建誤差在TS1 序列上的值降低至50 mm 以下，實驗表明本文模型能夠更好地適應不同的姿態變化并且更加準確地重建出人體模型。

表2 MPJPE誤差結果 單位：mmTab.2 MPJPE error results unit：mm

表3 重建誤差結果 單位：mmTab.3 Reconstruction error results unit：mm

3.3 消融實驗

本文采用MPI-INF-3DHP 數據集進行消融實驗，分別從TS1～TS6 選取部分數據集來對模型參數進行分析。首先對圖卷積的層數N進行了消融實驗，實驗結果如表4 所示，當N=0 時，模型等同于一個簡單的基線模型，相當于直接采用圖片特征來估計三維人體模型，但是并未取得很好的結果。通過引入GCN，觀察到所有指標的性能隨著GCN 層數的增加有顯著的提升，當N=5 時重建誤差達到55.61 mm，關節平均誤差為88.60 mm，進一步證明該模型的有效性。

表4 MPI-INF-3DPH數據集上的消融實驗Tab.4 Ablation experiment on MPI-INF-3DPH dataset

其次，為了驗證頭部關節對于重建誤差的影響，本文采取MPI-INF-3DHP 數據集的3 個視頻幀（TS2、TS4 和TS6）的部分圖片進行實驗，結果如表5 所示，可以看出增加頭部姿態約束后重建誤差有不同程度的降低，側面證實頭部姿態約束的必要性。

表5 頭部關節對重建誤差的影響 單位：mmTab.5 Influence of head joints on reconstruction error unit：mm

4 結語

本文以SMPL 為基礎，提出了一種基于HRNet 和GCN 的三維人體重建模型。該模型利用HRNet 和殘差塊來提取語義豐富和空間準確的特征圖，并利用GCN 來捕獲特征之間隱式的空間信息，以獲得更為準確的模型參數。而且模型還對SMPL 的關節重新進行了定義，增強了對頭部姿態的控制，有效地避免姿態翻轉問題的發生。實驗結果表明，該模型相較于SMPLify、HMR 和CMR 模型來說效果更好，能夠產生精確的人體模型，獲得更好的重建結果。但是本文僅僅對人體進行了重建，并未對臉部和手部的細節姿態進行重建，因此下一步工作將會在該模型的基礎上增加對臉部和手部姿態的表達。