融合深度殘差網絡的雙網3D手勢交互算法

薛佳偉，孔韋韋，2，3，4，王 澤

1.西安郵電大學，西安 710121

2.陜西省網絡數據分析與智能處理重點實驗室，西安 710121

3.桂林電子科技大學，廣西 桂林 541004

4.廣西可信軟件重點實驗室，廣西 桂林 541004

手勢交互是人類與外界交互的最直接有效的方式之一，伴隨著計算機技術的發展，人機交互的需求增長迅速，隨之而來的是面對計算機時，人類如何能夠更加有效地傳遞自己的信息素，使得計算機更加精確地理解需求。在交互手段上，除開語音系統外，肢體相關的語言也是極為有效的方式，對于手勢的交互研究也就有了充足的應用前景。在實際任務中，AR/VR 等人機交互對于捕捉手部的運動有著嚴苛的精度和速度要求，在理想狀態下，此類手部動作捕捉設備應該實時同步用戶的動作并直接向計算機反饋記錄相關數據，并且在保證精度和速度的情況下，能夠降低相關設備的需求，比如僅使用單個RGB 相機來降低成本和功耗，以便拓寬設備的使用范圍和實現對用戶平臺的下沉，更進一步地應該能夠預測關節之間的角度和關聯性，使得其可以更加直接地應用在計算機視覺、AR、VR等常見應用，提升設備的泛用性和之后針對其數據結果進行二次開發的便捷性。但是由于單目相機本身存在的諸如無法探測景深、數據收集范圍不足等局限性，以及實際環境中出現的自遮擋，手部的復雜性，快速運動帶來的動態模糊，甚至于不同膚色的影響，實現3D 手勢交互是一項具有挑戰性的任務。近些年來伴隨著深度學習技術的發展，手勢交互已經取得的長足的發展[1]，然而，通過實際的操作與應用，仍可以觀測到此類方法存在一定的不足。

首先，是現有的方法在數據集選擇和處理上的不完善性，由于收集具有3D 注釋的真實人手圖像往往需要利用立體相機[2]或者景深相機[3]，設備的局限性妨礙了大規模地收集不同數據，而其他數據集諸如合成數據集[4]，也因為標注問題和不同領域之間的壁障不同而沒辦法很好地映射至真實圖像，與之相對應的是各類形態迥異的具有標注的2D手勢數據集[5]百花齊放，數據量大并且容易獲得。然而此類數據集幾乎無法映射至3D模型，由于維度的局限性使得其在3維空間實現交互的效果很差。與此同時，基于數據手套[6]，或者3D 掃描儀的手部動作捕捉設備所產生的數據集也因為其設備的壁壘和底層獲取原理的不同而無法應用來學習從圖像到手部姿態的映射。

其次，此前大多數方法將主要工作集中于預測在3維空間中3D關節位置[7-9]。獲取到的關節點的位置能夠完成大多數應用場景需求，但這種僅僅輸出的位置信息并不能夠完全勝任高精度的設計需求，例如在計算機圖形中制作手部網格模型的動畫，高精度機械手的模擬，其不僅僅需要位置信息，還需要關節之間的旋轉度以及預測相關動作行為等。在現行環境下，針對此類問題，文獻[10-11]通過將運動學手模型擬合到稀疏預測來克服該問題。但是這不僅針對不同情況需要設計復雜的能量函數，并且即便是如此代價高昂的迭代優化方式也無法避免可能存在的局部收斂問題。文獻[12-13]直接從RGB圖像中回歸關節角度。但是由于缺乏與關節旋轉注釋配對的訓練圖像，它們都以弱監督的方式（使用可微分的運動學函數和3D/2D位置損失）進行訓練。因此，不能保證姿勢在解剖學上的正確性。

基于此類問題，本文提出了一種實時單目手部運動捕捉方法來實現3D 手勢的交互，該方法不僅可以估計2D 和3D 關節位置，同時還映射了關節之間的旋轉信息。本文方法最大化利用上述的數據模塊，包括具有2D 和/或3D 注釋的合成和真實圖像數據集以及非圖像MOCAP 數據，用來獲得更加精準的結果。具體來說，本文架構主要包含兩個融合網絡模型，以及搭載在上的外部可選設備用以應對各類需求，網絡結構方面，本文采用的是基于RESNET50 的3D 手勢關鍵點檢測模型，其結構設計可以遞增式預測2D/3D關節位置，而后續的接合網絡是基于逆運動學設計的檢測網絡用來記錄映射關節旋轉信息，前置網絡不僅將2D 關節檢測公式化為輔助任務，還可以同時高效率地利用完全注釋和弱注釋圖像用以輔助后續的多任務訓練，伴隨著訓練和調優改進，前置模型能夠更好地學習如何利用2D 監督從真實圖像中提取重要特征，而預測3D 關節位置可以完全從合成數據中學習。然后，可以通過擬合參數化的手部模型來估計手的3D形狀[14]到預測的關節位置。后置網絡為了獲得關節旋轉預測，本文設計了一種基于逆運動學的端到端的網絡模型，它通過將前置網絡的3D 關節預測作為輸入并回歸關節旋轉來解決逆運動學問題。后置網絡在數據高頻傳輸下預測單個前饋通道中的相關運動學參數，竭力避免了模型存在的過擬合等問題。在設計訓練的過程中，可以合并提供直接的Mocap 數據[15]，以及提供弱位置監督的3D關節位置數據，用來學習姿態先驗和糾正三維關節預測中的錯誤。此外在外部搭載具有MEMC 運動補償技術的設備時，可以選擇不同的訓練方案和數據集來滿足更高精度的設計需求。本文在現行環境下進行的與領域內相關技術測試中均取得了優秀的運行成績，具體來說本文的貢獻如下：提出了一種融合了基于深度殘差網絡設計的3D 手勢關鍵點檢測網絡和基于逆運動學的關節旋轉數據糾正網絡的DRIR-NET（deep residual-inverse kinematics rectify network）算法模型，實現了基于此模型的單目RGB攝像設備（最低設備需求）的3D手部運動捕捉交互建模功能。

1 DRIR-NET模型

本文模型包括兩個主要模塊。分別為前置檢測網絡和后置糾正網絡，前置檢測網絡的主要構成為原始圖像的輸入接口，基于Resnet50 網絡的特征提取模塊，以及一個結合特征圖F和熱圖H的雙卷積層架構用以輸出編碼圖D，再經過層連接與卷積層操作輸出位置圖L，在此基礎上，分別在由特征圖F和熱圖H組合的2D 關鍵點檢測模塊進行2D 注釋數據的監督，在3D 關鍵點檢測模塊中針對編碼圖D和位置圖L進行3D 注釋數據監督。最后經由位置圖L輸出關鍵點圖X，并進行初步姿態估計，獲取到基本形狀。后置的糾正網絡的主流程是將關鍵點圖X通過一個全連接層糾正器結合大量的3D 注釋數據來進行糾正操作，這是為了最大程度減少手部關鍵點在從二維升至三維時，手部姿態不可避免地出現不合理形變和超出人體關節閾值的情況，在大量3D注釋數據的喂養以及算法優化下獲取到核心糾正數據——針對特定關鍵點的旋轉角Q，最后整合前置網絡進行的初步姿態估計結合基于MANO的形狀蒙皮參數β一起投入訓練模板，將姿態逐步訓練糾正為最佳狀態，最終以端到端的方式將預測結果輸出，具體過程如圖1所示。

圖1 DRIR-NET模型總體架構圖Fig.1 Overall architecture diagram of DRIR-NET model

1.1 DR前置網絡

DR前置網絡是基于Resnet50的深度殘差網絡來進行設計，其采用單個RGB 圖像并輸出根關節相關和歸一化尺度的3D 手部關鍵點預測，其網絡架構包含三個組成部分，特征提取器，2D 檢測器以及3D 檢測器。其以256×256的分辨率獲取到輸入圖像，并且輸出特征圖大小的為64×64×512。

對于2D手勢檢測器是基于Resnet50特征抽取之上的雙層全連接CNN 層，它獲取到前置特征圖F后經過處理輸出對應的21關節點熱圖Hj,Hj圖中每一個像素編碼記錄了該像素屬于關節j的置信度，2D 手勢檢測器是基于主線檢測的子任務，熱圖Hj用來輸出2D姿態估計，其可由基于真實采集的2D注釋數據監督，因此該子任務檢測模塊可以采用絕大多數來自互聯網的2D注釋數據集進行訓練，可以極大限度地提升泛化能力，因為在訓練特征提取以及2D手勢檢測的期間，龐大的2D數據集可以包含更加多樣化的復雜背景數據。

3D手勢檢測器采用前置子任務完成的特征圖F和熱圖H，并且以坐標圖L的方式來估計3D手部關鍵點位置，類似于文獻[16]，對于三維空間中的每個關節點j,Lj和Hj，具有相同的2D分辨率，并且Lj中每個像素都追加了對各環節j的3D 坐標編碼，極大地提升了數據的健壯性，與圖L類似地，還以同樣的方式預測了包含骨骼方向的像素編碼圖D，在3D手勢中需要這種父關節到子關節的3D向量表示來告知網絡運動鏈中的相鄰節點之間的關系，在3D手勢檢測器中，首先是從子任務的熱圖H和特征圖F來預測輸出增量圖D，接著經由三圖輸入至獨立的CNN全連接層來獲取最終位置圖L，圖L和圖D由3D 注釋數據監督。在訓練過程中，關節j的3D 位置可以通過與熱圖Hj的最大值對應的uv坐標在位置圖Lj的映射關系來進行查找。為了減輕單目設置下景深對于關節位置的不確定性影響，該預測坐標是相對于根節點進行輸出，并且參考骨骼長度信息進行歸一化（選取中指作為根關節，根關節到手腕關節點的部分定義為參考向量）。

損失函數：

包含四個術語來說明多任務學習計劃。首先，Lheat被定義為：

分別用來測算位置圖L和增量圖D之間的異同，現實位置圖LGT和真實增量圖DGT是通過將地面真值關節位置和骨骼方向的坐標平鋪到熱圖的大小來構建的，本方法側重于對熱圖最大值處的3D 預測，因此才有HGT加權，其中⊙為元素的矩陣積，Lreg是網絡權重的L2正則化器，用于防止過度擬合。在同一批次的訓練中，所有的2D 注釋和3D 注釋數據集被聯合訓練。在多任務方案下，前置DR模塊學習從2D標記的圖像中預測不同真實背景下的2D手部姿勢，以及從3D標記的數據中預測相對應的3D手部空間信息。同時如果提供了相機內部矩陣K和參考骨長度lref，根節點r的絕對深度zr則可以通過公式（5）來得到：

公式中，K為相機內部的矩陣參數，lref是基于MANO模型的參考骨骼長度，Z表示節點的絕對深度。下標·r和·w分別表示根關節和腕關節。u和v是圖像平面中的2D關節預測，dw是通過前置網絡回歸的手腕的歸一化和根節點相對深度。由于zr是唯一的未知變量，可以通過公式反解得到，計算得到zr后，可以通過相機投影公式計算根節點相對真實空間在二維平面的全局平移量。

1.2 手部模型與姿態估計

本文選擇MANO[17]作為手模型，由后置IR 網絡的輸出驅動。形狀參數β∈?10和位姿參數θ∈?21×3可以使MANO的表面網格完全變形和定姿。更具體地說，β表示基于從手部關鍵點形狀中學習的主元，而θ表示軸角表示中的關節旋轉。其使得基準模板∈?V×3在考慮姿勢重組的情況下進行形變以針對不同情況。這里，V表示頂點的數量。在姿勢產生變化之前，基準模板變形為：

其中，Bs(β)和Bp(θ)分別是手部形狀和姿勢疊加態。然后是被檢手模型M(θ,β)∈?V×3，定義為：

其中，W(·)是一個標準的線性混合蒙皮函數，它采用變形模板網格T(θ,β)、姿勢參數θ、蒙皮權重W和姿勢關節位置J(θ)。

在形狀估計方面，由于不僅是對手部姿勢進行感知，在此基礎上還思考手的形狀對于結果的影響，因此本文利用預測的關節位置來估計MANO模型的形狀參數β。由于預測是尺度歸一化的，估計的形狀只能表示相對的手形狀，例如手指與手掌的比率。通過最小化

公式（8）中，通過最小化E(β)，即真實指掌參數和參考骨骼的比率，來縮小實際建模中因不合理指掌參數導致的模型手形變，公式右側第一項求解對于每個骨骼b，變形手模型lb(β)的骨骼長度與其對應參考手lref(β)的比值和預測的三維骨骼長度之間差值的歐幾里德范數的平方，第二項用作形狀參數β的L2 正則化器，并通過λβ進行加權來防止過度擬合。

1.3 IR后置糾正網絡

雖然三維空間下手部關鍵點的位置已經能夠詮釋手的姿勢，但是伴隨復雜的背景和手部靈活性帶來的不可預測運動，不能夠使模型在相對高效下保持良好的精度，在某些應用相對苛刻的場景下無法帶來充足的結果，基于此本文采用了逆運動學中從關節位置推斷關節旋轉的方法，配合前置網絡設計了一種端到端神經網絡來糾正關節節點。后置糾正的主要好處是：首先，本文的設計允許將MoCap 數據合并為額外的數據模式，以便在培訓期間提供全面的監督。這與直接從圖像回歸旋轉的方法形成了鮮明的對比[18-19]，這種方法只允許弱監督訓練。其次，本文可以以更高的速度解決關節扭曲失真，因為與迭代模型擬合方法相比，本文只需要一個前饋過程就可以完成糾正。第三，本文直接從數據中學習手部姿勢先驗，使得后置糾正網絡可以有效糾正前置網絡的有噪三維預測，并且關節旋轉表示本質上是保持骨骼尺度的。前置網絡中相關信息可以被充分利用，使得網絡耦合更為緊密。

網絡設計方面，本文將糾正網絡設計為一個具有批量歸一化的7 層全連接神經網絡，并使用sigmoid作為激活函數，但最后一層使用線性激活。將輸入的三維關節位置編碼為L=[X,D,Xref,Dref]∈?4×j×3其中X 是根相對比例歸一化三維關節位置；D 是每個骨骼的方向，另外提供它作為輸入，以明確編碼相鄰關節的信息。Xref、Dref編碼有關形狀標識的信息，并分別定義為靜止姿勢中的三維關節位置和骨骼方向。它們可以提前測量以獲得更高的精度，也可以根據前置網絡的預測進行測量，糾正網絡的輸出是表示為四元數Q 的每個關節的全局旋轉∈?j×4，然后將其歸一化為單位四元數。之所以選用四元數而非軸腳表示是因為在本文的數據擴充步驟中需要更好的插值特性。此外，四元數可以轉換為旋轉矩陣應用于損失項中，為了將最終姿勢應用于MANO模型，將四元數Q 轉換回軸角度表示，然后根據公式（8）對模型進行變形。

損失項：損失函數由四項構成，如下所示：

首先，Lcos測量差分角的余弦值之間的距離，該值由地面真值四元數QGT和預測Q涵蓋，可表示為：

real(·)取四元數的實數部分，*是四元積，Q-1是四元數Q 的倒數。此外，L12直接管理預測的四元數。

擬議的兩個損失只能應用于MoCap數據。為了能夠使得其能夠使用3DPosData，本文提出了第三個損耗Lxyz，用于測量定姿后的3D坐標的誤差。

其中，FK(·)表示正向運動學函數，XGT表示地面真實三維關節注釋。最后，為了將非規范化輸出軟約束為單位四元數，將Lnorm定義為：

2 實驗結果及分析

2.1 實驗環境與數據集

實驗在Windows10 系統上進行，電腦CPU 型號為AMD Ryzen 7 4800H with Radeon Graphics 2.90 GHz，顯卡型號為：GeForce GTX 2060。詳細實驗環境如表1所示。

表1 實驗環境及配置Table 1 Experimental environment configuration

本文的數據集包含在3個數據集上進行訓練：CMU全景數據集（CMU）[20]、渲染手姿勢數據集（RHD）[21]和GANerated Hands 數據集（GAN）[22]。CMU 數據集包含16 720個圖像樣本，數據主要由各個關節附著傳感器的人在一定時間內做出不同的動作而生成，附著在人體各個關節的傳感器在一定時間內隨著人的運動而記錄不同時刻的位置信息，這樣的數據類型可以看作是一段高維的多元時間序列，CMU 及其下子集的數據集的真實性以及精細度是最為貼合人類實際動作習慣，選用CMU 數據集不僅僅是因為其優秀的骨骼匹配度，相比于其他生成數據集更在源頭上略去了不符合人體結構的比例和動作，使得參考骨的各項數據更加真實公正。無論是訓練還是測試都能提供更加精準優秀的結果，為實驗結果提供“質”的保障。RHD 和GAN 都是經過多方驗證測試的優秀合成數據集，分別包含41 258 和330 000 張帶有3D注釋的圖像。同時RHD 數據集是首個提出從單張圖片估計3D手部姿態的作Thomas Brox建立的專為該類技術提供支持的數據集，是最為貼合本文需求的數據集之一。GAN數據集是通過特殊的GAN網絡將軟件仿真出來的手轉化成非常逼真的手，即給假手渲染上真實的膚色和紋理。通過這種image-to-image的轉換即可有效減少訓練數據與真實數據之間的誤差。同時也更契合本文3D 建模的需求，二者結合為訓練提供“量”的保障。

2.2 實驗結果

在圖2中，展示了本文方法在復雜背景下的單目識別效果，在不同景深下都有著優秀的建模效果。表明模型對未知環境下具有很好的泛化能力。最重要的是，不僅可以預測3D關節位置，還可以預測關節角度，從而可以直接為手部曲面模型設置動畫。這種輸出表示在圖形和視覺的許多應用程序中更有用。此外，圖3 表明，本文的方法對于非常快速的運動和模糊圖像以及復雜的姿勢（如抓取）效果良好。還可以處理對象遮擋（圖4）、自遮擋和挑戰性視點（圖5）。本文方法可以僅從單個圖像中捕獲不同的手形狀，并且根據關節角度進行修正。

圖2 不同背景與近景遠景下識別效果展示Fig.2 Display of recognition effect under different backgrounds and close range long range

圖3 模糊運動抓取識別效果Fig.3 Recognition effect of fuzzy motion capture

圖4 握持遮擋識別效果Fig.4 Recognition effect of holding occlusion

圖5 根節點遮擋識別效果Fig.5 Root node occlusion recognition effect

評估數據集和指標：在四個公共數據集上評估了本文的模型方法：RHD 數據集和立體手姿勢跟蹤基準測試集（STB），Dexter+Objec（tDO）以及EgoDexter。RHD是一個合成數據集。STB 數據集是包含多背景下的由一個雙目攝像頭和深度攝像頭所采集的18 000 幀數據集。其中DO數據集包括2個主體與來自第三視圖的對象交互的6 個序列。ED 數據集由4 個序列組成，其中2 個受試者在存在遮擋的情況下執行手-物體交互，該遮擋是從主視角中心捕獲的。

本文使用以下評估指標：PCK（percentage of correct keypoints），即為正確估計出關鍵點的比例以及閾值范圍為20 mm 至50 mm 的PCK 曲線下的面積AUC（area under curve）。在前置處理階段，將形成一個全局對齊的背景，以更好地測量局部手姿勢。

對于ED 數據集和DO 數據集，本文將指尖預測的質心與GT預測的質心對齊，對于RHD數據集和STB數據集，將根與真實根位置對齊從而進行定量比較。在表2中，將本文的方法與其他方法進行比較。所采用的數據集包括以下內容：具有地面真實手網格的合成圖像、深度圖像、具有2D注釋的真實圖像以及具有全景立體的3D標簽的真實圖像。在所有測試數據集中，DO和ED 數據集可以進行最公平的比較，因為鮮有模型將其用于訓練。這意味著對DO和ED的評估可以很好地估計模型的泛化程度。在DO 和ED 方面，本文方法比其他方法有很大的優勢。這是因為新架構結合了所有可用的數據模式，包括2D和3D帶注釋的圖像數據集以及MoCap 數據。由此可以看出進一步強調用于訓練模型的數據集組合的重要性。STB數據集由于其幀數大，變化小，過分利用STB 進行訓練會導致訓練數據的不平衡，損害泛化能力。因此本文對其做了沙盒處理，將STB 添加到訓練集中，并在STB 測試集上實現了0.955的精準度，但該模型在所有其他三個基準上的性能都有巨大下降。因此，本文沒有使用STB 來訓練最終模型。對于RHD，本文的模型再次實現了與其他基準一致的結果。RHD 作為一個合成數據集，與真實數據集相比具有不同的外觀和姿勢分布。之前的類似的工作通過專門培訓或微調RHD 來獲取更好的數據結果，本文的方法避免了對其進行針對性訓練仍可以取得良好的測試結果。

表2 模型測試結果Table 2 Test results of models

2.3 消融實驗設計及結果

為進一步探究模型DRIR-Net 的有效性，進行消融實驗，研究影響實驗結果的獨立因素。

為驗證融合網絡的有效性，本文將從以下幾個方面來進行實驗，分別為后置糾正網絡的取舍對實驗效果的影響，MOCAP 數據直接旋轉監督對關節旋轉的影響，以及3DPosData 對于幫助后置糾正網絡適應嘈雜的3D關節預測是否有效。采用文獻[23]作為基線模型，實驗結果如表2所示，事實證明，本文的模型結構本身有助于提高準確性。在基礎之上，添加糾正網絡，并對MoCap數據進行額外培訓，可以取得優秀的結果。這進一步證明，將3D 手勢檢測任務分解為關節檢測和旋轉恢復可以使模型更易于訓練，也可以充分利用到MoCap數據。這可以將后置糾正網絡的行為解釋為一種姿勢先驗，從MOCAP數據中學習到對原始3D關節預測的糾正，同時通過表3 中數據的對比，可以得知缺省3DPosData 后精準度降低，這是因為3DPosData的缺省降低前置網絡和后置糾正網絡耦合度，使得雙網之間的信息傳遞效率降低，換言之就是缺失3DPosData將大幅削弱后置網絡對嘈雜的3D關節預測能力。

表3 缺省不同變量實驗結果對比Table 3 Comparison of experimental results with different default variables

為了進一步驗證本文模型對于單目下的3D手勢交互效果，本文針對無糾正型網絡模型和本文方法做了訓練測試，由圖6、圖7可以得知無糾正型網絡模型在輸出方面無法針對不合理關節點進行糾正，圖6（a）展示了由于輸入圖像關節處有陰影從而導致關節點定位不準確，最終表現出手指過長與輸入圖像不符（圖6（b）），而附帶糾正網絡的模型可以在預測輸出前進行關節糾正，通過先驗在閾值范圍內對關節點進行調整從而使得模型效果更符合實際（圖6（c））。

圖6 糾正網絡輸出對比Fig.6 Comparison of corrected network output

圖7 過曝狀態下的姿勢糾正Fig.7 Posture correction under overexposure

同時圖7（a）是在輸入圖像有某處存在高曝光（即復雜背景）下傳統方法由于對數據集的攝取范圍不廣并且無糾正網絡的情況下導致的輸出失效（圖7（b）），可以進一步證明糾正網絡的有效性，糾正后的輸出如圖7（c）所示。

3 總結

本文提出了一種基于resnet50 的雙網融合3D 手勢估計方法，該方法利用了不同模式下的多類數據，有效實現了單目下的3D 手勢估計，在設計的神經網絡架構具有兩部分設計，一部分是2D關鍵點到3D關鍵點的轉換以及一個糾正網絡該網絡可以直接回歸關節旋轉。這兩個方面結合有效地提高了識別技術的準確性、魯棒性和運行時間。受限于設備性能和各類算法所采用的平臺、數據集等外在因素影響，未能對各類方法進行逐一細節化比較調優，同時本文專注于降低設備下限的使用能力，在低端設備上展現了優秀的性能，但在具有更復雜的高端設備例如多目景深、高分辨率設備上未能激發出設備的全部潛力，后續會針對更為精密的設備做出調整優化。并且在之后的工作展望中，計劃改進模型以覆蓋手部紋理和探索單目下的3D雙手交互研究。