基于圖卷積的手勢骨架生成

曾 瑞， 張海翔， 馬漢杰， 蔣明峰， 馮 杰

（浙江理工大學 信息學院， 杭州 310018）

0 引 言

近來，手勢生成的工作多用于從語音或文本中產生協同的手勢［1-3］，以及實現手勢數據的增強［4-5］。 生成式對抗網絡因其在生成上的優異表現，在手勢生成上也得到了廣泛的應用［1-4］。 但是，對于給定話語生成對應手勢的主要問題是，手勢作為非語言信號輔助語言，使得交流更加順暢，卻難以單獨表達語義。 這是由于語音到手勢的高度非確定性映射，即使是同一個人說相同的短語，也可能在每次重復時伴隨不同的手勢動作，并且生成的結果會特定于個人手勢風格。 另外，手勢數據增強工作主要針對的是真實的手勢，并且大多數都是將人體的骨骼關節點當做圖像的一個像素，將動作的一幀當做一個圖像，而沒有考慮到骨骼關節點間豐富的人體結構信息，從而可能導致生成的結果是扭曲的、不自然的。 研究發現，圖卷積神經網絡能夠處理非歐式空間的數據，而不同于傳統的網絡模型如CNN、LSTM 等只能處理歐式空間的網格結構的數據。 因此，為了能更好地利用手部的結構信息，本文采用了基于圖卷積的生成式對抗網絡模型來直接生成手勢骨架。 實驗結果表明，文中的方法對手勢骨架的生成的確有了更自然更高質量的結果。 本文工作的主要貢獻概括為2 個方面：

第一，提出了基于圖卷積神經網絡的手勢骨架生成方法，可以有效地將手部的結構信息編碼到手勢建模中。

第二，在手勢骨架生成任務上，通過有效地利用手部結構信息，文中的方法比基于全連接神經網絡以及基于卷積神經網絡的生成方法在定性和定量結果上都取得了更好的結果。

1 相關工作

1.1 生成式對抗網絡

生 成 式 對 抗 網 絡［6-8］（Generative Adversarial Network，GAN）是一種優秀的生成式模型，能夠學習已有樣本的分布并生成與之相似的樣本，已然成為學界研究熱點。 生成器G與判別器D是GAN 模型的重要組成部分，這兩者之間的相互對抗使雙方都得到增強，最終使生成模型盡可能生成逼真的樣本，示意圖如圖1 所示。

圖1 生成式對抗網絡Fig.1 Generative Adversarial Network

圖1 中，z為表示隨機噪聲的隱變量，可通過生成器生成假樣本。 判別器則對輸入數據進行判別區分。 訓練時，生成器和判別器交替訓練，不斷往復。優化的目標函數［9］如下：

其中，E為分布函數的期望值；x為真實數據；z為噪聲。 式（1） 其實就是一個最大最小優化問題，生成器與判別器都進行優化，在交替訓練中雙方都逐步得到增強。

GAN 提出之后，各種GAN 的衍生模型相繼提出，在結構改進、應用等方面進行創新，用于諸如圖像生成、圖像轉換、圖像修復等多個領域。 在結構改進上，如2017 年提出的wgan［10］、began［11］等改進了目標函數，使得訓練更加穩定。 在應用方面，如CycleGAN［12］和 Pix2Pix［13］實 現 了 風 格 遷 移，TPGAN［14］能根據半邊人臉生成整張人臉的前向圖。

1.2 圖卷積神經網絡

卷積神經網絡通過局部化的卷積核來學習局部的穩定結構，然后通過層級堆疊將其變為層次化的多個尺度的結構模式，其強大的建模能力使得在圖像處理、對象檢測、自然語言處理等任務上都取得了不錯的效果。 但是，平移不變性卻使其只能處理歐式數據，而處理不了如交通網絡這樣非歐結構的數據。

2013 年，圖的基于譜域和基于空間的卷積神經網絡［15］被首次提出。 譜方法［15-18］和空間方法［19-20］是目前圖卷積［21-22］的2 種主要方法。 前者把圖的信號變換到譜域，在譜域進行卷積后再變換到空間域，以此完成圖卷積。 后者則直接在空間域定義節點相關性。 其應用主要集中于計算機視覺、交通預測、推薦系統、生物化學、自然語言處理等領域。 比如在計算機視覺中，Marino 等人［23］將知識圖譜引入到圖片分類中，使用圖卷積神經網絡更好地利用知識圖譜中的先驗知識，在COCO 數據集的多標簽分類任務上取得了提升。

2 基于圖卷積的手勢骨架生成

2.1 模型介紹

本文提出了一種基于圖卷積的手勢骨架生成方法。 模型框架采用的是通用的生成式對抗網絡［24］，由一個生成器和一個判別器組成。

生成器結構見圖2，圖2（a）中的Graph conv layer 具體結構在圖2（b）中說明。 在圖2 中，noise為服從標準正態分布的隨機噪聲，label為手勢種類的標簽，圖卷積模塊具體見圖2（b）。 圖2（b）中的H即為圖2（a）中圖卷積層的輸入，為鄰接矩陣經歸一化處理后的結果，見公式（2）：

其中，鄰接矩陣A為表示手勢各關節點之間相鄰關系的矩陣；I為單位矩陣；D為對應的度矩陣。鄰接矩陣A加上一個單位矩陣I，是希望在進行信息傳播的時候關節點自身的特征信息也得到保留，那么A + I就聚合了各關節點本身以及相鄰關節點的特征信息。 而進行歸一化操作D-1（A +I）則是為了信息傳遞的過程中保持原有分布，防止一些相鄰關節點多的節點和相鄰關節點少的節點在特征分布上產生較大的差異。

圖卷積模塊中共有5 個圖卷積層，即圖2（b）中的GC1、GC2、GC3、GC4以及GC5。 第一個圖卷積層以H和為輸入，輸出為H（1），見公式（3）：

圖2 生成器結構圖Fig.2 Generator structure chart

第二個圖卷積層以H（1）和為輸入，輸出為H（2）。 這樣，經過5 次圖卷積之后，得到生成器的輸出，也就是手勢的各關節點的坐標。

判別器的結構如圖3 所示。 判別器以生成器生成的或數據集中的手勢各關節點為輸入，經過多個卷積層和激活層，最終得到2 個輸出：output1結果在0 到1 之間，用來判別輸入為真或假；output2結果為輸入手勢的類別。

圖3 判別器結構圖Fig.3 Discriminator structure chart

2.2 訓練細節

在訓練過程中，判別器和生成器交替訓練，通過相互對抗讓這兩個模型同時得到增強。 兩者都使用Adam作為優化器，學習率為0.000 2。目標函數見上文公式（1），并采用了交叉熵損失函數。 另外，為了增加網絡的抗干擾能力，使用了單側標簽平滑，用標簽0.9 代替1 表示真實的數據。

2.3 數據集

本文數據集采用的是由數據堂提供的靜態手勢識別數據。 本文實驗采用了其中的數字1、數字2、比心、點贊、握拳等14 種單手手勢，共14 000條數據。 每條數據含一張手勢圖像以及一個標注文件，標注文件中寫明了手勢的21 個關節點及手勢類別等信息。 本文實驗按8：2 將所有數據分為訓練集和測試集，采用了手勢的21 個關節點坐標信息。 手勢關節點的標注情況見圖4。

圖4 手勢關節點標注示意圖Fig.4 Schematic diagram of gesture joint labeling

2.4 評價指標

Maximum Mean Discrepancy（MMD， 最大平均差異）［25］以樣本x ～P（X） 和y ～Q（Y） 來度量2 個分布P（X）和Q（Y）之間的相似性。 其本質上是2 個分布的數據經過映射函數變化后的期望之差的上確值，但由于直接計算期望十分困難，可以采取計算期望的無偏估計（unbiased estimate）-均值。 通過兩者間的差值來判別2 個分布的相似程度。 值越小，那么這2個數據分布越相似。MMD的具體計算見公式（4）：

其中，X∶＝｛x1，...，xm｝ 和Y∶＝｛y1，...，yn｝分別為服從P與Q分布的樣本。xi與xj為服從P分布的獨立的隨機數據，yi與yj同理。k（·，·） 為高斯核函數，具體計算見公式（5）：

另外，文獻［26］比較了Inception Score， Mode Score， MMD 等6 種GAN 具有代表性的基于樣本的評估度量，結果表明MMD 能夠區分真實圖像和生成圖像，可以在一定程度上衡量模型生成圖像的優劣性，是最合適的評估指標之一。 在深度生成模型［27］和貝葉斯采樣［28］中，則被用于衡量生成樣本相較于真實數據的質量。 該指標還被用于評估生成的動作與真實動作之間的相似性［24，29］。

3 實驗分析

本次研究進行了實驗以評估所提出的方法在靜態手勢骨架生成上的有效性，并采用MMD 來衡量生成手勢的質量。 仿真時在同一數據集上進行了3次實驗：首先是本文的方法、即基于圖卷積的生成方法，其次是wgan_gp 方法、即基于全連接的生成方法，最后是消融實驗、即基于卷積神經網絡的生成方法。 結果顯示，本文的方法更好。 下面進行了詳細的闡釋與分析。

由于目前沒有生成靜態手勢骨架的工作，文中的對比實驗選擇了wgan_gp［31］方法。 wgan_gp 以wgan［10］為基礎，將梯度截斷替換為梯度懲罰，以解決梯度消失、梯度爆炸的問題。 優化的目標函數如下：

其中， ~x為生成器生成的樣本為生成數據和真實數據之間的插值，~x，?～U［0，1］。 式（6） 的最后一項即為添加的梯度懲罰項。 這樣既滿足了1-L條件，也可以保證權重變化不那么劇烈， 模型不容易壞掉。 本次實驗中，wgan_gp的生成器與判別器采用的皆是全連接網絡架構。 本文方法與該方法的比較結果見表1，本文在MMD 上的結果比wgan_gp 方法的要小，也就是本文提出的方法更優。

表1 對比實驗結果Tab.1 Comparative experiment results

此外，還在本文的方法上進行了消融實驗以驗證圖卷積模塊的有效性，實驗結果見表2。 具體來說，使用5 個CNN 層替換了生成器中的5 個GCN層，并使用相同的隱藏維數和核大小，其他部分保持完全相同。

表2 消融實驗結果Tab.2 Ablation results

各方法生成的手勢骨架圖如圖5 所示。 圖5 中列出了數字1、數字2、數字4、數字6、單手比心、OK、握拳、LOVE 共8 種手勢。 從圖5 中可以看出，本文的方法能夠生成更加合理、自然的手勢，而wgan_gp 與消融實驗生成的手勢較為扭曲。 從定量結果來看，本次研究提出的方法在MMD 上也更加優越。

圖5 生成的手勢骨架對比圖Fig.5 Comparison of the generated gesture skeleton

4 結束語

在本文中，研究提出了基于圖卷積的生成式對抗網絡模型，以有效地編碼手部結構信息到基于骨架的人體手勢生成。 從對比實驗和消融實驗的結果可以觀察到，文中的生成結果在定量和定性評估上有了明顯的改善，證明了圖卷積用于手勢骨架的有效性。 在后續的工作中，將進一步研究基于圖卷積的序列手勢生成。