基于圖卷積網絡的非參數化三維人體重建

謝昊洋，鐘躍崎

(1.華北水利水電大學 信息工程學院，河南 鄭州 450046； 2.東華大學 紡織學院，上海 201620；3.東華大學 紡織面料技術教育部重點實驗室，上海 201620)

鑒于此，本文提出了一個端到端的解決方案，利用圖卷積網絡，直接預測三維人體網格模型的頂點坐標。此外，本文將人體測量數據作為輸入之一，用于提高人體重建精度。

1 圖卷積網絡設計

1.1 掩碼圖像特征提取

本文方法利用圖卷積神經網絡從幾何模型、掩碼圖像和人體測量數據這3種模態進行機器學習，非參數化三維人體重建圖卷積網絡如圖1所示。對于掩碼圖像，使用ResNet-18[9]提取圖像特征。原因有二：①ResNet在許多視覺任務中都取得了極大的成功[10]；②相比于普通的RGB圖像，掩碼圖像更簡單，無需利用RessNet-50等更復雜的網絡架構，同時，與RessNet-50等復雜架構相比，ResNet-18消耗的內存和計算資源更少。

圖1 非參數化三維人體重建圖卷積網絡

1.2 人體測量特征提取

對于人體測量數據，本文默認采用5種人體測量尺寸，即身高、體重、胸圍、腰圍和臀圍。需要指出的是，本文所提出的網絡可以承載更多的人體測量數據。但從實際應用而言，這5種測量尺寸是使用最廣泛且最容易獲取的。本文實驗也評估了使用更多測量數據的重建效果。

由于人體的各項測量尺寸之間并非相互獨立，并且測量尺寸之間的量級可能存在較大差異，有可能導致模型在優化過程中陷入局部極小值。因此，先通過一個全連接神經網絡將原始測量數據映射到另一空間以獲取更加抽象的人體測量特征。之后，再將所得人體測量特征和從ResNet-18中提取出的圖像特征附著在網格頂點上，并利用圖卷積網絡對其進行訓練和學習，直接生成非參數化的人體網格模型。

1.3 圖卷積

對于三維幾何模型，可在網格上(如訓練集中的三維人體模型)應用圖卷積[11]。網格的頂點和邊可直接表示為無向圖(undirected graph)中的節點(node)和邊(edge)。利用圖卷積層對相鄰節點(頂點)之間的特征進行編碼，并最終預測三維頂點位置。本文使用了Kipf等[11]于2016年提出的一種定義在譜域的圖卷積算子，該算子也是目前使用最為廣泛應用的圖卷積操作之一，具體定義為：

(1)

圖2(a)展示了非參數化圖卷積網絡架構，包含了7個殘差圖卷積塊(Residual Graph Convolution Block, RGCB)，每個殘差圖卷積塊的設計如圖2(b)所示。借鑒ResNet的設計，添加一個跳躍連接以強化殘差圖卷積塊的輸入，降低了梯度消失(gradient vanishing)的風險，即使用式(1)表示的圖卷積算子替代3×3圖像卷積，并用一個線性層代替1×1卷積，同時仍使用ReLU函數作為激活函數。

圖2 非參數化人體重建圖卷積網絡架構及殘差圖卷積塊

在網絡訓練過程中，需要將三維網格作為輸入，但由于本文實驗環境中GPU內存的限制，在訓練時很難設置較大的批大小(batch size)，而之前的研究結果已經證明，批歸一化(Batch Normalization，BN)對于較小的批大小無明顯作用，因此，使用組歸一化(Group Normalization，GN)替換原來的批歸一化[15]。

本文提出了一種基于MDS和KL濾波器相結合的機器人傳感器網絡節點有效定位跟蹤算法.使用4個已知位置的信標,可實現對任意位置處節點的定位.利用MDS提供了所有傳感器節點的成對距離矩陣,針對MDS法定位中受到噪聲的影響,特別是當傳感器節點遠離其他傳感器節點時,噪聲水平會增加,引入KL濾波器有效降低了噪聲引起的定位干擾.通過仿真實驗驗證了該算法的有效性,表明該算法在定位精度上優于傳統的MDS和EKL跟蹤算法，同時，該算法有效地降低了實際環境中的噪聲影響,具有很好解決移動傳感器定位問題的潛力,滿足了高精度定位的實際要求.

對于輸入和輸出維度不等的情況，在跳躍連接上添加一個額外的線性層，以保證在輸出上進行正確的逐元素相加(element-wise addition)。對于利用2張掩碼(如人體的正面加側面照片)進行重建的情況，節點特征維度為1 032=512×2+5+3；對于單張掩碼(如僅使用人體的正面照片)的圖卷積重建，節點特征維度為520=512+5+3。另外，通過實驗發現7個殘差圖卷積塊的堆疊是重建精度和訓練消耗之間的最佳折衷方式。少于7個圖卷積塊會導致重建精度明顯下降，超過7個圖卷積塊則會消耗更多的內存及計算資源，卻并未在重建精度上帶來明顯提升。

1.4 損失函數

為了得到精確可靠的重建結果，用于三維人體重建的圖卷積神經網絡的損失函數應包含多個方面。首先，由于本文所提出的神經網絡可以直接預測出三維網格的頂點坐標，因此，損失函數中首先要包含對真實頂點和預測頂點之間逐點誤差的衡量。令V∈N×3表示真實的網格頂點，N×3表示預測的人體網格頂點，則頂點間的誤差損失定義為：

(2)

此外，由于網絡顯式地融入了人體測量參數，因此，損失函數的設計應達到最小化真實尺寸與預測尺寸之間的誤差。令M∈5表示真實的測量尺寸，5表示根據預測的三維人體模型提取的測量尺寸，則測量損失可定義為：

LM=‖M-M‖2

(3)

(4)

(5)

其中，N(vi)表示頂點vi的1環(one-ring)鄰接頂點。結合式(2)～(5)，可將非參數化三維人體重建圖卷積網絡的損失函數完整地定義為：

LNon-param=LV+LM+LΔ

(6)

2 重建結果與分析

2.1 數據集

本文使用Yang等[16]發布的SPRING(Semantic Parametric ReshapING)三維人體數據集，其中男性1 517個，女性1 529個。SPRING數據集中所有的人體網格都具有相同的頂點數和相似的姿態，便于計算點到點的損失LV。此外，本文首先采用Xie等[17]的方法對所有人體進行預處理，以保證人體關鍵點之間的對應關系。最后，從中選擇300個體型各異的三維人體作為測試集，其中男女各150個，其余的作為男女人體各自的訓練集。

2.2 實施及訓練細節

所有實驗均在一臺搭載Intel i7 7700HQ，2.8 GHz CPU，16 G內存，和一塊顯存為8 G的NVIDIA GeForce GTX 1070顯卡的PC機上進行，并使用PyTorch深度學習框架驗證算法的性能和計算效率。

如前所述，對于男性和女性人體的重建，本文采用相同的圖卷積網絡架構，但借助于不同的模板。具體地，使用男女數據集中的均值體型作為各自網絡的模板。實驗中也測試了其他模板，但最終發現均值體型可略微加速網絡收斂。由于SPRING數據集僅提供了基于真實掃描的三維人體網格，不包含任何紋理信息或相應的二維渲染，因此，對于每個三維人體網格，首先使用OpenGL中的“render-to-texture”技術渲染出三維網格的正面及側面掩碼圖像。此外，由于使用了預訓練的ResNet-18作為掩碼圖像特征提取器，因此所有掩碼圖像的大小在輸入網絡之前被縮放為224×224。對于非參數化人體重建圖卷積網絡的訓練，本文采用Adam優化器，初始學習率為0.001，每隔5輪(epoch)進行0.5倍的衰減，批大小設置為2，共訓練17輪。

非參數化人體重建圖卷積網絡共包含了約160 M個參數，訓練時長約12.5 h。待訓練完成之后，根據訓練所得模型參數，可以在不到1 s內重建出一個包含了12 500個頂點的三維人體網格模型。

2.3 實驗與分析

本文中第1項消融實驗是觀察式(6)中有無拉普拉斯平滑項LΔ對重建結果的影響。為此，這里忽略了拉普拉斯平滑項LΔ，并重新訓練了非參數化圖卷積網絡。圖3展示了是否包含LΔ的重建結果的對比。其中圖3(a)為真值，圖3(b)是未使用拉普拉斯平滑項LΔ的重建結果，圖3(c)是包含LΔ的重建結果。可以看到，二者之間的差異是非常明顯的。對于缺失LΔ的情況，在優化過程中，所有的頂點過分追求最小化的點到點損失，這產生了許多尖銳的頂點，進而導致不光滑的曲面。然而，加入平滑項LΔ之后，所有頂點的移動會受到其相鄰頂點運動的影響，使得相鄰的頂點產生相似的運動，進而產生相對平滑的網格曲面。該實驗也證明，對于人體這樣形狀較為復雜、包含網格頂點較多的三維網格模型，僅僅使用點到點損失難以產生視覺效果良好的重建結果。

圖3 有無拉普拉斯平滑項目LΔ的重建結果對比

類似地，忽略式(5)中的測量損失項LM并對網絡重新訓練來研究該損失對重建結果的影響。圖4展示了有無測量損失LM的重建結果之間的差異。其中，圖4(a)是來自于測試集中的真值，圖4(b)是不涉及測量損失LM的重建結果，圖4(c)是包含LM的重建結果，圖4(d)采用熱力圖的方式對圖4(a)和圖4(b)進行比對，圖4(e)是圖4(a)和圖4(c)的熱力圖比對。圖4(d)和圖4(e)中顏色條的范圍不同，單位均為cm。通過圖4可以直觀地看到，二者的身高存在明顯差異，其他差異可在相應的對比熱圖中觀察到。雖然已經采用了點到點損失，理論上，如果優化理想，即每個頂點都被神經網絡回歸到了正確的位置(即損失函數優化為零)，測量損失LM是可以忽略的。然而，在實際中，這是不可能達到的。因此，本文顯式地融入人體測量并輔以相應的損失項LM，類似于將人體測量作為一種約束條件，該策略也與條件生成對抗網絡(Conditional GAN)的思想吻合。為了進一步驗證融合人體測量數據的有效性，分別在男性和女性測試集上計算了5種人體測量誤差。表1列出具體的數值統計結果，其中WA(With Anthropometry)表示包含測量損失、WOA(Without Anthropometry)表示不包含測量損失，誤差采用均值±標準差(Mean±Std)的形式表示，單位為cm。可以看到，包含人體測量的重建結果在每項測量值上均優于不包含測量尺寸的重建結果，這說明將人體測量直接融入網絡是有效的。

圖4 有無測量數據及相關損失對重建結果的影響

表1 有無使用測量數據的重建精度對比

為了進一步驗證本文提出的方法，將測試結果同Kolotouros等[14]、Ji等[13]和Dibra等[12]提出的三維人體重建網絡進行了對比。對于Kolotouros等的方法，本文使用了作者訓練好的模型。對于Ji等和Dibra等提出的方法，通過復現其網絡架構，并使用作者建議的超參數在同一數據集上對網絡進行重新訓練，分別訓練27個輪次和35個輪次后得到了較好的重建結果。需要指出的是，Kolotouros等提出的是一個利用單張RGB圖像重建三維人體的非參數化方法，而Ji等提出的是利用2張掩碼圖像重建三維人體的參數化方法。通過回歸SPCAE模型的形狀空間，即主成分(PCA)空間，完成三維人體重建。類似地，Dibra等也利用2張掩碼完成人體重建。為了比對的合理性，使用一個未出現在任何一個網絡訓練過程中的真實三維人體，并使用各自網絡要求的輸入進行重建對比實驗。換言之，在Kolotouros等的方法中輸入一個真實人體的RGB圖像，在Ji等和Dirba等的網絡中輸入該真實人體對應的2張掩碼圖像，其結果如圖5所示。

圖5 不同重建方法對比

圖5(a)和(d)展示了不同方法要求的輸入表示，圖5(b)(c)(e)和(f)展示了各個算法的重建結果。視覺上，本文方法明顯優于其他3種方法。Kolotouros等的方法對于該人體的重建幾乎是失敗的，重建結果包含大量噪聲，并且各項測量尺寸均明顯不符。與Kolotouros等方法的對比可以說明，在非參數化圖卷積網絡中融入人體測量數據可明顯提高重建效果。Ji等的方法實際上回歸了參數空間，故重建的三維人體曲面相對于Kolotouros等的結果明顯光滑。然而，Ji等的方法由于缺乏人體測量值的約束且過分依賴訓練數據，導致重建人體較真實人體偏胖。Dibra等利用了Sun等[18]提出的熱核簽名(Heat Kernel Signature, HKS)和非均勻縮放的掩碼圖像作為輸入，重建結果在人體數據測量方面明顯優于Kolotouros等和Ji等的方法，但仔細觀察會發現，重建人體的腰部仍與真實人體存在差異。

表2列出了4種算法針對該真實人體的重建結果在人體測量學上的量化對比，可以看出，本文方法在各個尺寸上均達到了最優。表3展示了測試集上更為全面的量化對比結果(Kolotouros等方法以單張圖片作為輸入，其重建精度不具備比較條件，且從圖5中可以看出其重建結果嚴重失真)。除已采用的5種測量尺寸之外，本文還計算了8種在服裝和人體測量領域廣泛使用的關鍵數據，包括頸圍、肩寬、臂長、前臂長、股圍、小腿肚周長、內側腿長和頸點到襠底點長度。可以看到，本文的重建結果在各項指標上均達到最優。

表 2 針對圖5中真實人體的定量比較

表 3 不同重建方法的定量對比

3 結 論

本文提出了一種新的圖卷積網絡架構用于非參數化三維人體重建，并設計了相應的殘差圖卷積塊。該網絡只需輸入人體掩碼圖像和5種人體測量學尺寸，便可直接預測三維人體網格的頂點坐標。實驗證明，將人體測量學尺寸顯式地作為輸入并輔以相應的損失函數是有效的，人體重建精度大幅提升，各項測量尺寸均小于1 cm；本文也同其他優秀方法進行了對比，本方法無論在視覺效果上還是在人體測量尺寸上，均優于之前的方法；此外，本文方法是快速高效的，可在不到1 s內重建出一個包含了12 500個頂點的三維人體網格模型。