基于改進(jìn)Faster R-CNN的手部位姿估計方法

鄭涵，田猛，趙延峰，王先培

(武漢大學(xué)電子信息學(xué)院，武漢 430072)

手作為人體上重要部分之一，是人類與外界傳遞信息的重要方式。手部位姿估計作為人機(jī)交互技術(shù)的熱點項目之一，廣泛應(yīng)用于虛擬現(xiàn)實(virtual reality，VR)和增強(qiáng)現(xiàn)實(augmented reality，AR)等應(yīng)用中。手部檢測和手部位姿估計助力于體感游戲的發(fā)展和實現(xiàn)，精確的手部位姿估計算法可以提高用戶游戲體驗，并為后續(xù)更為高深的技術(shù)提供基礎(chǔ)支持。手部位姿估計在3D建模領(lǐng)域也有廣泛的應(yīng)用，現(xiàn)在已經(jīng)有一些工作能實時建模出手部模型。但是由于存在手關(guān)節(jié)自由度高，檢測目標(biāo)小，以及手部的自遮擋等問題，已有手部位姿估計算法存在精度低魯棒性較差等問題。

當(dāng)前常用的手勢姿態(tài)估計方法主要分為3類[1-2]。第一類是生成方法，該方法計算量大，魯棒性差。Boukhayma等[3]采用編碼器來生成手模型的形狀，姿勢和視角參數(shù)，以獲得手的3D網(wǎng)格參數(shù)及其底層 3D 骨架。第二類是判別方法，該方法需要大量的數(shù)據(jù)支持，隨著深度學(xué)習(xí)的發(fā)展，該方法逐漸被推廣使用[4]。劉家祥[5]采用深度學(xué)習(xí)從3個方面研究三維手勢估計方法。Kulon等[6]使用循環(huán)結(jié)構(gòu)的網(wǎng)格卷積解碼器來恢復(fù) 3D 手網(wǎng)格和手部姿態(tài)。第三類是混合式方法，該方法結(jié)合了兩種方法的優(yōu)點[7-8]，既不需要建立復(fù)雜的手部模型，也不依賴于模型初始化，手部模型的約束可以減少不合理的預(yù)測動作，減小計算量，提高檢測的魯棒性。Liu 等[9]利用對武術(shù)三維手勢特征進(jìn)行提取和分類;然后，利用手部形態(tài)拓?fù)浣Y(jié)構(gòu)模擬手部關(guān)節(jié)的依賴性，得到手部關(guān)節(jié)的三維坐標(biāo)。最后，利用姿態(tài)回歸模塊實現(xiàn)武術(shù)手勢動作的姿態(tài)估計。

手部檢測是完成手部位姿估計算法重要的一步。手部檢測算法可以分為傳統(tǒng)的檢測識別方法和基于深度學(xué)習(xí)方法。傳統(tǒng)的手部檢測方法主要依賴于顏色特征[10-11]，或其他先驗知識提取的目標(biāo)特征，受環(huán)境影響大，魯棒性差。唐文權(quán)等[12]基于膚色進(jìn)行人手檢測，先對基于光補(bǔ)償?shù)哪w色模型估算和糾正，再進(jìn)行非線性轉(zhuǎn)換得到橢圓膚色模型，再進(jìn)行一系列操作連接人手候選區(qū)域。基于深度學(xué)習(xí)的方法具有識別速度快，識別精度高的優(yōu)點。其中具有代表性的是基于候選區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)，F(xiàn)aster R-CNN對目標(biāo)檢測的速度做了很大的提升，很多研究者將該算法應(yīng)用于手部檢測。馬鵬程[13]在Faster R-CNN的基礎(chǔ)上使用特征金字塔(feature pyramid networks，F(xiàn)RN)代替區(qū)域生成網(wǎng)絡(luò)(region proposal network，RPN)，并且在ROI Pooling層加入注意力機(jī)制，提高了檢測精度和速度。張勛等[14]采用Faster R-CNN網(wǎng)絡(luò)對建議框做目標(biāo)檢測和分類實現(xiàn)手勢端到端的識別。劉壯等[15]在原有的Faster R-CNN檢測框架的基礎(chǔ)上，增加了Depth通道，并在特征層面上將其余RGB通道信息進(jìn)行融合，實現(xiàn)手部檢測。但是Faster R-CNN網(wǎng)絡(luò)在小目標(biāo)檢測等方面還存在缺陷。

以基于改進(jìn)的Faster R-CNN的手部位姿估計算法為研究背景，通過對目前存在的難點分析，將手部位姿估計分為手部檢測和手部關(guān)鍵點檢測。首先提出一種改進(jìn)的 Faster R-CNN 網(wǎng)絡(luò)用于手部檢測。將深度相機(jī)采集的原始深度圖進(jìn)行預(yù)處理，與 RGB 圖圖像通道保持統(tǒng)一尺度[16]，從而初步過濾掉背景信息，然后提出深度特征提取網(wǎng)絡(luò)，來替換 Faster R-CNN 的特征提取模塊，使算法能夠適應(yīng)多通道多尺度的圖像數(shù)據(jù)，最后在網(wǎng)絡(luò)的頭網(wǎng)絡(luò)中增加 handside分支來區(qū)分左手和右手，進(jìn)而獲得精度更高的手部檢測結(jié)果，解決手部在圖像中檢測目標(biāo)較小的問題。

在改進(jìn) Faster R-CNN 網(wǎng)絡(luò)基礎(chǔ)上增加了頭網(wǎng)絡(luò)分支用以訓(xùn)練輸出 MANO (hand model with articulated and non-rigid deformations)手部模型的姿態(tài)參數(shù)和形狀參數(shù)，并根據(jù)手部特征重新設(shè)計了兩個損失函數(shù)用來約束 MANO 參數(shù)的訓(xùn)練。MANO 手部模型是一種參數(shù)化的手部網(wǎng)格模型，通過網(wǎng)絡(luò)回歸得到的姿態(tài)參數(shù)和形狀參數(shù)能控制MANO 生成手部模型，進(jìn)而得到手部的關(guān)鍵點三維坐標(biāo)，從而有效解決手部自遮擋等問題。

1 基于改進(jìn)Faster R-CNN的手部檢測算法

1.1 改進(jìn)的Faster R-CNN網(wǎng)絡(luò)模型

如圖1所示，改進(jìn)后的手部檢測算法包括特征提取模塊、RPN、特征圖的分類預(yù)測、包圍框預(yù)測，與基于Faster R-CNN的目標(biāo)檢測算法類似。現(xiàn)改進(jìn)特征提取網(wǎng)絡(luò)，提出深度特征融合網(wǎng)絡(luò)來將RGB圖像的語義特征與深度圖像的位置特征進(jìn)行融合，解決手部檢測中存在的遮擋問題和尺度問題。并將Faster R-CNN算法中的ROI最大值池化更改為ROI Align，提高了算法的運(yùn)行速度及小目標(biāo)檢測的準(zhǔn)確性。

圖1 手部檢測算法基本網(wǎng)絡(luò)框圖Fig.1 Basic network block diagram of hand detection algorithm

1.2 圖像預(yù)處理

深度相機(jī)直接獲得的深度圖不可避免地包含噪聲甚至異常值，如果直接用來訓(xùn)練網(wǎng)絡(luò)，可能會導(dǎo)致預(yù)測結(jié)果偏差。因此，在訓(xùn)練之前需要對深度圖進(jìn)行去噪和歸一化處理。本文中使用雙邊濾波進(jìn)行深度圖降噪，使用最大最小標(biāo)準(zhǔn)化對深度圖進(jìn)行歸一化處理，與 RGB 圖圖像通道保持統(tǒng)一尺度，從而初步過濾掉背景信息。

1.3 特征提取網(wǎng)絡(luò)

Faster R-CNN在進(jìn)行特征提取時，選擇了 VGG16 網(wǎng)絡(luò)的最后一層輸出來做提取出的特征圖。在卷積的過程中，小目標(biāo)的語義特征大概率作為背景而被拋棄。導(dǎo)致了Faster R-CNN難以提取小目標(biāo)。

FPN可以信息融合將低層特征圖的位置信息與高層特征圖的語義信息進(jìn)行融合。基于此思想，將含有豐富的位姿信息的深度圖特征和含有豐富語義信息的 RGB圖特征進(jìn)行數(shù)據(jù)層融合，提出了一種新的特征融合網(wǎng)絡(luò)來聯(lián)合提取 RGB-D 圖像特征。深度特征融合網(wǎng)絡(luò)如圖2所示。

圖2 深度特征融合網(wǎng)絡(luò)Fig.2 Deep feature fusion network

1.4 ROI Align

將傳統(tǒng)Faster R-CNN網(wǎng)絡(luò)中的對ROI的最大值池化，更改為 ROI Align，即通過雙線性插值的方法來使特征圖像素級對齊。文獻(xiàn)[17]證明，這種做法不僅可以提高整體運(yùn)算速度，還可以提高對小目標(biāo)的檢測準(zhǔn)確性。

1.5 損失函數(shù)設(shè)計

原始的 Faster R-CNN 的損失函數(shù)包括兩個部分，即分類損失函數(shù)Lcls和回歸損失函數(shù)Lreg。

(1)

綜上，本文提出的改進(jìn)Faster R-CNN算法的總損失函數(shù)為

Ltotal=Lcls+Lreg+Lhs

(2)

2 基于MANO手部模型的手部關(guān)鍵點提取

2.1 手部關(guān)鍵點提取算法網(wǎng)絡(luò)框架

圖3所示為一個由MANO[18]模型生成的手部網(wǎng)格。根據(jù)MANO的手部模型，可以很容易地根據(jù)稀疏權(quán)重關(guān)系獲得除了5個手指指尖以外的16個控制手部整體運(yùn)動的骨骼關(guān)節(jié)點。MANO也根據(jù)左右手鏡像的先驗知識，從右手的模型中生成了左手模型，保證了左右手模型的一致性。MANO手部模型一共有778個參數(shù)，為了簡化計算難度，降低計算復(fù)雜度，引入形狀參數(shù)β和姿勢參數(shù)θ來控制手部模型的位姿。由此可以得到MANO手部模型的計算公式為

圖3 MANO手部模型Fig.3 MANO the model of hand

(3)

M(β,θ)=f[T(β,θ),θ,W,J(θ)]

(4)

J(θ)=F[T+Bs(β)]

(5)

由式(3)～式(5)可以看出，只需要給定形狀參數(shù)β和姿勢參數(shù)θ，就可以從標(biāo)準(zhǔn)手部模型中生成對應(yīng)形狀與姿態(tài)的手部模型。

由此設(shè)計出一個基本的網(wǎng)絡(luò)框架，如圖4所示。

圖4 基于MANO的手部位姿估計基準(zhǔn)網(wǎng)絡(luò)框架Fig.4 A benchmark network framework for hand pose estimation based on MANO

將手部檢測后分割出的手部圖片直接輸入到手部位姿估計網(wǎng)絡(luò)框架中得出手部關(guān)鍵點信息。但是使用兩個不同的深度學(xué)習(xí)網(wǎng)絡(luò)，不僅導(dǎo)致訓(xùn)練時復(fù)雜，預(yù)測的結(jié)果難以控制，也會進(jìn)行過多不必要的計算(例如進(jìn)行了兩次特征提取)，使運(yùn)行速度過慢。

針對上述問題，借鑒多任務(wù)網(wǎng)絡(luò)思想，將手部位姿估計基本網(wǎng)絡(luò)框架加入到本文改進(jìn)的 Faster R-CNN中，改進(jìn)后的網(wǎng)框架如圖5所示。

圖5 多任務(wù)手部位姿估計網(wǎng)絡(luò)基本框圖Fig.5 Basic block diagram of multi-task hand pose estimation network

2.2 損失函數(shù)設(shè)計

MANO手部模型為了訓(xùn)練自己定義了兩個損失函數(shù)，分別為形狀損失Lβ和姿態(tài)損失Lθ[17]。

然而本文選用的數(shù)據(jù)庫，大部分真值標(biāo)注都不包含姿態(tài)參數(shù)θ和形狀參數(shù)β，因此 MANO 模型并不適用目前大部分的主流的手部位姿估計數(shù)據(jù)庫。但是如果不對形狀參數(shù)進(jìn)行約束，MANO 網(wǎng)絡(luò)模型可能會出現(xiàn)過粗或者過細(xì)的手部模型，從而影響從手部模型中提取的骨骼關(guān)節(jié)點結(jié)果。如果不對姿態(tài)參數(shù)進(jìn)行約束，MANO 網(wǎng)絡(luò)模型可能會出現(xiàn)異常姿態(tài)的手部模型。

為了約束形狀參數(shù)，假定所有數(shù)據(jù)庫中手部的形狀都是標(biāo)準(zhǔn)大小，即人為設(shè)定數(shù)據(jù)庫中所有的形狀參數(shù)的真值β*=0。將Lβ重新定義為

(6)

根據(jù)先驗知識，手部的姿態(tài)是由包括手指指尖在內(nèi)的21個骨骼關(guān)鍵點來共同控制，因此通過獲得MANO手部模型中21個骨骼關(guān)鍵點的空間位置信息就可以達(dá)到約束 MANO手部模型的姿態(tài)參數(shù)θ。選擇了MANO模型上包括指尖在內(nèi)的21個骨骼關(guān)節(jié)點三維位置與對應(yīng)真值差值來計算姿態(tài)損失函數(shù)，計算公式為

(7)

綜上，本文提出的手部位姿估計算法的總損失函數(shù)為

Ltotal=λclsLcls+λregLreg+λhsLhs+λβL′β+λcoiLcoi

(8)

式(8)中：λcls、λreg、λhs、λβ、λcoi分別為對應(yīng)損失函數(shù)的平衡權(quán)重。本文訓(xùn)練時，取值λcls=λreg=λhs=λβ=λcoi=1。

3 實驗

3.1 實驗環(huán)境與參數(shù)設(shè)置

所有的訓(xùn)練和驗證都在NVIDIA Quadro RTX 6000顯卡上運(yùn)行，操作系統(tǒng)為Ubuntu18.04，CUDA 版本為10.2以及cudnn版本為7.5，初始學(xué)習(xí)率為 0.02，每回合下降4%。

3.2 三維手部位姿估計數(shù)據(jù)庫選取及評價標(biāo)準(zhǔn)

本文主要研究集中在 NYU[19]、ICVL[20]、MSRA[21]、first-person hand action benchmark[22](F-PHAB)4個數(shù)據(jù)庫。其中前3個主要是裸手的數(shù)據(jù)庫，最后一個是手物交互的數(shù)據(jù)庫。

在目前的三維手部位姿估計算法中，研究學(xué)者一般采用手部共21個骨骼關(guān)節(jié)點作為位姿估計的關(guān)鍵點。與之對應(yīng)的，采用關(guān)鍵點坐標(biāo)的均方誤差值(key-point mean square error，KMSE)來評估算法的有效性。

關(guān)鍵點誤差 KMSE 可以定義為圖像上預(yù)測關(guān)鍵點坐標(biāo)與對應(yīng)真值坐標(biāo)之間的歐式距離，公式為

(9)

(10)

式中：KMSE為所有關(guān)鍵點的總誤差；I為關(guān)鍵點總數(shù)量；KMSE,i為第i個關(guān)鍵點的均方誤差值；n為測試視頻的總共幀數(shù)；(xij，yij，zij)為第j幀圖像的第i個關(guān)鍵點的估計坐標(biāo)值；(Xij，Yij，Zij)為第j幀圖像的第i個關(guān)鍵點坐標(biāo)值的真值。

3.3 實驗結(jié)果展示與分析

3.3.1 手部檢測算法

為了驗證改進(jìn) Faster R-CNN 的方法的有效性，選擇F-PHAB 數(shù)據(jù)庫，并將原始的 Faster R-CNN 方法與本文改進(jìn)的方法進(jìn)行了對比。由于數(shù)據(jù)庫中并沒有手部的真值框，因此將骨骼關(guān)節(jié)點的三維坐標(biāo)映射到二維圖像上的最大包圍框定義為真值框。為了擴(kuò)充數(shù)據(jù)庫，根據(jù)左右手鏡像關(guān)系，將訓(xùn)練集數(shù)據(jù)進(jìn)行鏡像翻轉(zhuǎn)處理。從不同場景中隨機(jī)選擇了40 000 張作為訓(xùn)練集，選擇 10 000 張作為測試集，進(jìn)行了對比試驗。由于手部檢測任務(wù)實際上有3類目標(biāo)：左手、右手和背景，因此選擇了準(zhǔn)確率來作為評價標(biāo)準(zhǔn)。

從表1可以看出，將深度圖像作為 RGB 圖像中的圖像通道可以一定程度上提高遮擋情況下的手部檢測結(jié)果，但是實際效果并不理想，而本文的方法在識別準(zhǔn)確率上要全面優(yōu)于Faster R-CNN。圖6中，綠框代表預(yù)測為左手區(qū)域，紅框代表預(yù)測為右手區(qū)域。場景一和場景二均為測試集數(shù)據(jù)，場景一中左手大部分區(qū)域都被物體遮擋，從圖6中可以看出，無論輸入數(shù)據(jù)是 RGB 圖像還是RGB-D 數(shù)據(jù)，F(xiàn)aster R-CNN 只能檢測到部分左手信息，而本文方法可以檢測到幾乎完整的左手信息。場景二中左手并沒有完全在圖內(nèi)，F(xiàn)aster R-CNN 并不能檢測到左手，而本文方法能有效的檢測到左手。場景三取材于日常生活中，手部位置距離相機(jī)很近，F(xiàn)aster R-CNN 由于沒有多尺度的特征提取網(wǎng)絡(luò)，雖然檢測到了手，但是無法精確定位。使用本文方法，手部信息大部分都在框內(nèi)，只有大拇指中極少的部分在框外。在3種場景下，本文方法均有較好的識別結(jié)果。從定性和定量的角度來看，本文提出的改進(jìn)方法相較于Faster R-CNN算法具有更好地檢測結(jié)果。

表1 本文方法與Faster R-CNN的評價指標(biāo)對比Table 1 Comparison of evaluation indicators between this paper and Faster R-CNN

圖6 不同場景下手部檢測結(jié)果Fig.6 Hand detection results in different scenarios

3.3.2 手部關(guān)鍵點提取

為了評估本章方法的有效性，將在3個常用數(shù)據(jù)庫 ICVL、NYU、MSRA 上分別計算關(guān)鍵點平均誤差 KMSE，并將結(jié)果與目前主流的算法進(jìn)行比較。由表2所示，本文提出的算法在 NYU 和 ICVL 均與最優(yōu)的方法相當(dāng)，其中 ICVL 數(shù)據(jù)庫由于遮擋較少，識別相對簡單，因而達(dá)到了當(dāng)前最優(yōu)效果。相對而言，在 MSRA 數(shù)據(jù)集的誤差與最優(yōu)方法誤差相差 0.3 mm，這與該數(shù)據(jù)庫場景復(fù)雜，包含人員較多和自遮擋問題較嚴(yán)重有一定關(guān)系。綜上所示，本文算法能夠一定程度上解決手部位姿估計存在的高自由度、手部目標(biāo)過小、手部自遮擋問題和尺度問題，較為準(zhǔn)確地估計出圖像中的手部位姿。手部位姿估計的可視化結(jié)果如圖7所示。即使手部有部分被物體遮擋，依舊可以繪制出手部關(guān)鍵點信息。綜上所述，本文算法能較好地解決手部遮擋問題，實現(xiàn)手部的位姿估計。

圖7 手部位姿估計可視化結(jié)果Fig.7 The visualization results of hand pose estimation

表2 本文算法與主流算法在不同數(shù)據(jù)集上的比較Table 2 Comparison of the algorithm in this paper and the mainstream algorithm on different data sets

4 結(jié)論

本文設(shè)計并實現(xiàn)了基于改進(jìn)Faster R-CNN網(wǎng)絡(luò)的手部位姿估計算法。提出了改進(jìn)的Faster R-CNN網(wǎng)絡(luò)進(jìn)行手部檢測，并在此基礎(chǔ)上提出了基于MANO手部模型的手部位姿估計。實驗表明，手部檢測結(jié)果中存在的自遮擋和尺度問題得到了解決，并且檢測結(jié)果的準(zhǔn)確性有所提高。通過與主流算法的對比可以證明，本文算法能夠較為準(zhǔn)確地得到手部位姿估計的結(jié)果。在未來的工作中，將進(jìn)一步對手部姿態(tài)估計中手部動作的意義進(jìn)行理解。