基于LHPN算法的手勢(shì)姿態(tài)估計(jì)方法研究

周全 甘屹 何偉銘 孫福佳 楊麗紅

摘? 要： 隨著廣大用戶(hù)越來(lái)越追求人工智能產(chǎn)品的體驗(yàn)，手勢(shì)姿態(tài)估計(jì)存在廣闊的應(yīng)用前景，但也是當(dāng)今計(jì)算機(jī)視覺(jué)的難題。針對(duì)目前自頂向下的姿態(tài)估計(jì)模式容易受視覺(jué)傳感器與目標(biāo)檢測(cè)精度的影響，本文提出基于輕量級(jí)手勢(shì)姿態(tài)網(wǎng)絡(luò)（Lightweight Hand Pose Net，LHPN）算法的手勢(shì)姿態(tài)估計(jì)方法，該算法采用Convolutional Pose Machines（CPM）算法的多層次順序結(jié)構(gòu)，在每個(gè)階段后隱式地將上下文信息融合，并設(shè)計(jì)了輕量級(jí)主干網(wǎng)絡(luò)，以提升手勢(shì)姿態(tài)估計(jì)的綜合性能。基于STB數(shù)據(jù)集對(duì)比分析不同內(nèi)部結(jié)構(gòu)的LHPN算法性能，并與典型算法進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果表明，LHPN算法能夠?qū)κ謩?shì)姿態(tài)進(jìn)行準(zhǔn)確估計(jì)，與CPM算法相比，在AUC方面提升了0.5%，在每幀圖像運(yùn)算時(shí)長(zhǎng)方面減少了0.1358 s。

關(guān)鍵詞： 手勢(shì)姿態(tài)估計(jì);Lightweight Hand Pose Net;Convolutional Pose Machines;輕量級(jí)

中圖分類(lèi)號(hào)： TP391.41 ???文獻(xiàn)標(biāo)識(shí)碼： A??? DOI：10.3969/j.issn.1003-6970.2020.07.013

本文著錄格式：周全，甘屹，何偉銘，等. 基于LHPN算法的手勢(shì)姿態(tài)估計(jì)方法研究[J]. 軟件，2020，41（07）：66-71

Research on Hand Pose Estimation Using LHPN Algorithm

ZHOU Quan¹， GAN Yi^1，2， HE Wei-ming^1，2， SUN Fu-jia¹， YANG Li-hong¹

（1. College of Mechanical Engineering， University of Shanghai for Science and Technology， Shanghai 200093， China;2. Department of Precision Mechanics， Faculty of Science and Engineering， Chuo University， Tokyo 〒112-8551， Japan）

【Abstract】： As users increasingly pursue the experience of artificial intelligence products， gesture pose estimation has broad application prospects， but it is also a difficult problem in computer vision. In view of the fact that the current top-down hand pose estimation mode is easily affected by visual sensors and object detection accuracy， this paper proposes a hand pose estimation method based on （Lightweight Hand Pose Net， LHPN） algorithm. The algorithm uses the multi-level sequence structure of Convolutional Pose Machines （CPM） algorithm， implicitly combines the context information after each stage， and designs a lightweight backbone network to improve the comprehensive performance of hand pose estimation. Based on STB dataset， the performance of LHPN algorithm with different internal structures is analyzed and compared with typical algorithms. The experimental results show that LHPN algorithm can accurately estimate hand pose. Compared with CPM algorithm， it improves AUC by 0.5% and reduces computation time of each frame of image by 0.1358 s.

【Key words】： Hand pose estimation; Lightweight hand pose net; Convolutional pose machines; Lightweight

0? 引言

所謂姿態(tài)估計(jì)，就是將關(guān)節(jié)點(diǎn)聯(lián)系起來(lái)判斷人體部位的狀態(tài)和行為^[1]。姿態(tài)估計(jì)分為自頂向下^[17]與自底向上^[16]的方法，自頂向下的方法相對(duì)來(lái)說(shuō)比較流行且容易實(shí)現(xiàn)。目前大多數(shù)研究者借助特殊的視覺(jué)傳感器進(jìn)行自頂向下手勢(shì)姿態(tài)估計(jì)，文獻(xiàn)[2]提出利用多攝像頭系統(tǒng)來(lái)訓(xùn)練關(guān)鍵點(diǎn)檢測(cè)器，分析視圖的相關(guān)聯(lián)性，生成圖像上手勢(shì)的關(guān)鍵點(diǎn)。文獻(xiàn)[3]提出基于單個(gè)深度幀將姿態(tài)參數(shù)分解為一組單個(gè)像素的估計(jì)，使用均值漂移來(lái)聚集局部的像素實(shí)現(xiàn)2D的手勢(shì)姿態(tài)估計(jì)。但自頂向下姿態(tài)估計(jì)方法在很大程度上取決于視覺(jué)傳感器的可靠性，且很容易受目標(biāo)檢測(cè)精度的影響，一旦檢測(cè)目標(biāo)過(guò)多，運(yùn)行時(shí)間會(huì)呈線(xiàn)性增長(zhǎng)^[16]。

針對(duì)以上不足，本文提出一種自底向上的RGB圖像手勢(shì)姿態(tài)估計(jì)方法——基于輕量級(jí)手勢(shì)姿態(tài)網(wǎng)絡(luò)（Lightweight Hand Pose Net，LHPN）算法的手勢(shì)姿態(tài)估計(jì)方法。LHPN算法采用Convolutional Pose Machines（CPM）算法^[4]的多層次順序結(jié)構(gòu)，利用調(diào)節(jié)階段數(shù)的方式來(lái)保證算法的精度;為了提升手勢(shì)姿態(tài)估計(jì)的綜合性能，本文還設(shè)計(jì)了輕量級(jí)的主干網(wǎng)絡(luò)來(lái)保證算法的實(shí)時(shí)性。

1 ?CPM算法基本原理

CPM算法由一系列的多階段卷積神經(jīng)網(wǎng)絡(luò)組成，形成一個(gè)多層次的結(jié)構(gòu)，如圖1所示。經(jīng)過(guò)每個(gè)階段卷積神經(jīng)網(wǎng)絡(luò)生成置信度圖之后，用來(lái)預(yù)測(cè)階段中每個(gè)關(guān)節(jié)點(diǎn)P的圖像位置其中Z為圖像中所有坐標(biāo)（u，v）位置預(yù)測(cè)值的二維集合。對(duì)多層次順序結(jié)構(gòu)中的每個(gè)階段，用t的集合來(lái)表示，t=1的階?? 段在圖1中稱(chēng)為初始化階段，t>1的階段稱(chēng)為強(qiáng)化? 階段。

在t=1的初始化階段，特征提取網(wǎng)絡(luò)x從圖像中位置z處提取特征，通過(guò)來(lái)為初始化階段預(yù)測(cè)每個(gè)位置的置信度信息，其中，且。

對(duì)于任意階段的CPM，使用特征提取網(wǎng)絡(luò)重新提取原圖像特征，與的前向特征映射融合，并在所有階段重復(fù)相同結(jié)構(gòu)，其中。在每個(gè)階段t之后都計(jì)算階段損失值，對(duì)算法性能進(jìn)行局部的監(jiān)督。

CPM算法具有以下缺點(diǎn)：

（1）CPM在特征提取網(wǎng)絡(luò)上未統(tǒng)一，意味著在每次提取原圖像特征上需消耗大量算力

（2）在CPM每個(gè)t>1的階段，由于跳躍連接^[5]時(shí)的尺寸不一致，需計(jì)算的前向特征映射，這種方式過(guò)于復(fù)雜且消耗算力。

2 ?手勢(shì)姿態(tài)估計(jì)算法—LHPN算法

針對(duì)CPM算法的缺點(diǎn)，在保證手勢(shì)姿態(tài)估計(jì)準(zhǔn)確度的同時(shí)，本文提出Lightweight Hand Pose Net（LHPN）算法。該算法思路主要包括三點(diǎn)：

（1）使用更加輕量級(jí)（權(quán)重參數(shù)更少）的主干網(wǎng)絡(luò)替代CPM原特征提取網(wǎng)絡(luò)，且在結(jié)構(gòu)上只對(duì)圖像做一次主干網(wǎng)絡(luò)的特征提取。

（2）在每個(gè)階段使用多個(gè)小尺寸卷積來(lái)減少 參數(shù)。

（3）根據(jù)算法的實(shí)驗(yàn)表現(xiàn)，合理地設(shè)計(jì)強(qiáng)化? 階數(shù)。

LHPN算法遵循CPM的多層次順序結(jié)構(gòu)，其整體結(jié)構(gòu)圖如圖2所示。在保持端到端姿態(tài)估計(jì)的前提下，LHPN算法使用主干網(wǎng)絡(luò)生成特征圖F，統(tǒng)一特征提取網(wǎng)絡(luò)。

為了保證LHPN算法精度，針對(duì)每張?jiān)瓐D像，在算法初始化階段使用雙線(xiàn)性插值算法^[6]將原圖像變換為統(tǒng)一尺寸的輸入圖像P，。

在算法每個(gè)階段結(jié)束后引入類(lèi)似殘差網(wǎng)絡(luò)的跳躍連接，將特征圖F傳遞給下一個(gè)階段，保證t（t>1）階段的輸入既融合了特征圖F的特征，又有t–1階段的上下文信息。該方法隱式地將上下文信息聯(lián)系在一起，增大了卷積神經(jīng)網(wǎng)絡(luò)的感受野。

LHPN算法在初始化階段與強(qiáng)化階段使用3個(gè)卷積核尺寸為3×3的尺寸不變卷積，其優(yōu)勢(shì)為在保

損失函數(shù)的意義是通過(guò)式（3）求得每個(gè)階段的預(yù)測(cè)值與真實(shí)值的L2距離（歐式距離）之后再利用式（4）進(jìn)行累加。得到式（5），其中表示為輸出的置信圖上的坐標(biāo)點(diǎn)，Z為所有z的集合。表示第t階段預(yù)測(cè)的置信度圖在第p個(gè)關(guān)節(jié)點(diǎn)的預(yù)測(cè)預(yù)測(cè)值。表示訓(xùn)練時(shí)置信度圖中z坐標(biāo)位置上第p個(gè)關(guān)節(jié)點(diǎn)的真實(shí)值。

為了進(jìn)一步提升算法的速度，本文為L(zhǎng)HPN算法設(shè)計(jì)輕量級(jí)網(wǎng)絡(luò)，并將其與經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行參數(shù)量與計(jì)算量對(duì)比。借鑒MobileNet^[7]中可分離卷積的思想，利用先深度卷積后逐點(diǎn)卷積的方法替代標(biāo)準(zhǔn)卷積，其原理如圖3所示。

圖3中，用M個(gè)維度為的卷積核去卷積對(duì)應(yīng)輸入的M個(gè)特征圖。得到M個(gè)結(jié)果之后，這M個(gè)結(jié)果之間互不累加，生成的特征圖尺寸為。接下來(lái)利用逐點(diǎn)卷積將N個(gè)維度為的卷積核卷積之前得到的特征圖，最終得到。其一次分離卷積的計(jì)算量與參數(shù)量表達(dá)式為：

如圖4所示為本文改進(jìn)后主干網(wǎng)絡(luò)結(jié)構(gòu)圖，由18層深度卷積層與逐點(diǎn)卷積層交錯(cuò)構(gòu)成，為降低主干網(wǎng)絡(luò)的計(jì)算量與參數(shù)量，進(jìn)而提升算法整體的運(yùn)算速度。該卷積神經(jīng)網(wǎng)絡(luò)輸入與輸出特征圖的尺寸維度與原算法相同，保證算法能正常運(yùn)行。

根據(jù)表達(dá)式（6）（7），該主干網(wǎng)絡(luò)的計(jì)算量與參數(shù)量為：

為了進(jìn)一步證明LHPN算法主干網(wǎng)絡(luò)的輕量性，將該主干網(wǎng)絡(luò)與經(jīng)典主干網(wǎng)絡(luò)對(duì)比參數(shù)量與計(jì)算量，如表1所示。

表1中VGG16^[8]、GoogleNet^[9]與AlexNet^[10]分別為3種經(jīng)典深度卷積神經(jīng)網(wǎng)絡(luò)模型。在對(duì)比之后發(fā)現(xiàn)，3種網(wǎng)絡(luò)模型在參數(shù)量與計(jì)算量方面都高于LHPN算法主干網(wǎng)絡(luò)，從而證明本文設(shè)計(jì)的主干網(wǎng)絡(luò)模型較為輕量級(jí)。

3 ?基于LHPN算法的手勢(shì)姿態(tài)估計(jì)

3.1 ?實(shí)驗(yàn)環(huán)境與訓(xùn)練參數(shù)設(shè)置

本文所提出的LHPN算法在文獻(xiàn)[12]中提供的STB手勢(shì)姿態(tài)估計(jì)公共數(shù)據(jù)集下進(jìn)行實(shí)驗(yàn)，總共30000張訓(xùn)練圖片和6000張測(cè)試圖片。在GTX1060、Ubuntu16.04、Tensorflow1.9.0環(huán)境下訓(xùn)練，并利用CUDA8.0對(duì)GPU訓(xùn)練進(jìn)行加速，如表2所示。

設(shè)置LHPN算法的最大階數(shù)T為6，使用Adam優(yōu)化器優(yōu)化LHPN算法，Adam^[11]優(yōu)化器中的參數(shù)為0.9，為0.999。訓(xùn)練數(shù)據(jù)批處理大小（Batch size）為8，迭代次數(shù)（Iteration）為3000，如表3所示。權(quán)重參數(shù)初始化方法利用He初始化^[13]。

3.2 ?實(shí)驗(yàn)結(jié)果對(duì)比與分析

在STB手勢(shì)姿態(tài)估計(jì)測(cè)試集上，利用訓(xùn)練完的LHPN算法進(jìn)行兩組實(shí)驗(yàn)。第一組實(shí)驗(yàn)是對(duì)STB測(cè)試集進(jìn)行手勢(shì)關(guān)節(jié)點(diǎn)預(yù)測(cè)性能的評(píng)估，在算法的不同階段t下，得到不同誤差閾值下的PCK曲線(xiàn)。第二組實(shí)驗(yàn)則是將LHPN算法與現(xiàn)有姿態(tài)估計(jì)算法進(jìn)行對(duì)比評(píng)估。

針對(duì)手勢(shì)姿態(tài)估計(jì)的效果，本文通過(guò)三種指標(biāo)來(lái)評(píng)估算法的性能：

（1）在像素上的平均節(jié)點(diǎn)誤差（Endpoint Error，EPE）^[14]。

（2）繪制在不同誤差閾值下的正確預(yù)測(cè)關(guān)節(jié)點(diǎn)的百分比（Percentage of correct keypoints，PCK）曲線(xiàn)下的面積（Area Under Curve，AUC）^[15]。

（3）每一幀圖像手勢(shì)姿態(tài)估計(jì)的運(yùn)算時(shí)長(zhǎng)。

EPE的計(jì)算為根據(jù)任意手指關(guān)節(jié)點(diǎn)，其真實(shí)值的像素坐標(biāo)為，通過(guò)算法得到的像素位置坐標(biāo)為，則其手指關(guān)節(jié)點(diǎn)的EPE表達(dá)式為

在STB測(cè)試集上對(duì)次訓(xùn)練完的LHPN算法進(jìn)行6次評(píng)估，根據(jù)不同像素誤差閾值，計(jì)算PCK的值，獲得6個(gè)階段的評(píng)估曲線(xiàn)，如圖5所示。圖5中顯示在像素誤差閾值15以?xún)?nèi)時(shí)，算法每個(gè)階段的關(guān)節(jié)點(diǎn)預(yù)測(cè)表現(xiàn)有所不用，階段數(shù)t越大，關(guān)節(jié)點(diǎn)預(yù)測(cè)準(zhǔn)確率越高。從圖5中還能看出，當(dāng)t>4時(shí)，LHPN算法的AUC增長(zhǎng)速度緩慢，幾乎與前一階段相同。

根據(jù)表達(dá)式（8）計(jì)算每個(gè)階段t的EPE平均? 值，并利用程序統(tǒng)計(jì)每個(gè)階段的幀運(yùn)算時(shí)長(zhǎng)和圖5中的AUC，結(jié)果如表4所示。

表4中AUC的值在t=4階段增長(zhǎng)緩慢，在t=6時(shí)的AUC較t=4時(shí)的AUC提升了0.3%，與圖5曲線(xiàn)相吻合。但每幀手勢(shì)姿態(tài)估計(jì)的運(yùn)算時(shí)長(zhǎng)在t=6時(shí)為0.0833 s，與t=4階段相比增加約8%。由表4可知，t=4時(shí)LHPN算法的綜合性能最強(qiáng)。

將LHPN算法與經(jīng)典算法CPM、Openpose^[16]在STB數(shù)據(jù)集上進(jìn)行對(duì)比，如表5。

由表5可知，LHPN算法在AUC指標(biāo)上超過(guò)CPM算法0.5%，在幀運(yùn)算時(shí)長(zhǎng)上減少了0.1358 s。與Openpose算法相比，LHPN算法在每幀圖像運(yùn)算時(shí)長(zhǎng)上減少了0.0435 s。

LHPN算法在STB測(cè)試集上的手勢(shì)姿態(tài)估計(jì)的實(shí)際效果如圖6所示。

4 ?結(jié)論

本文在CPM算法的基礎(chǔ)上，提出了基于LHPN算法的手勢(shì)姿態(tài)估計(jì)方法，統(tǒng)一特征提取的主干網(wǎng)絡(luò)，輕量化整個(gè)算法模型結(jié)構(gòu)。在STB數(shù)據(jù)集下，本文分析了LHPN算法在不同結(jié)構(gòu)下的性能，得出最優(yōu)算法模型。通過(guò)LHPN算法與現(xiàn)有經(jīng)典算法的比較可知，LHPN算法相對(duì)CPM算法在AUC上提升0.5%，在幀運(yùn)算時(shí)長(zhǎng)上減少0.1358 s，證明該算法針對(duì)手勢(shì)姿態(tài)識(shí)別的有效性。

參考文獻(xiàn)

1. Varun Ramakrishna; Daniel Munoz; Martial Hebert; James Andrew Bagnell; Yaser Sheikh. Pose Machines： Articulated Pose Estimation via Inference Machines[J]. Computer Vision – ECCV 2014， 2014， Vol. 8690： 33-47.

2. Simon， Tomas; Joo， Hanbyul; Matthews， Iain; Sheikh， Yaser. Hand Keypoint Detection in Single Images using Multiview Bootstrapping[J]. 30TH IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION （CVPR 2017）， 2017： 4645-4653

3. Wan， C.; Probst， T.; Gool， L. V.; Yao， A. Dense 3D Regression for Hand Pose Estimation[J]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition， 2018： 5147-5156.

4. Wei， S. -E.; Ramakrishna， V.; Kanade， T.; Sheikh， Y.. Convolutional pose machines[J]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition， 2016： 4724-4732.

5. Li， J.; Fang， F.; Mei， K.; Zhang， G.. Multi-scale residual network for image super-resolution（Conference Paper）[J]. Lecture Notes in Computer Science （including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics）， 2018， Vol. 11212： 527-542.

6. Wei， X.; Wu， Y.; Dong， F.; Zhang， J.; Sun， S.. Developing an image manipulation detection algorithm based on edge detection and faster R-CNN[J]. Symmetry， 2019， Vol. 11（10）.

7. Sandler， M.; Howard， A.; Zhu， M.; Zhmoginov， A.; Chen， L. -C.. MobileNetV2： Inverted Residuals and Linear Bottlenecks[J]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition， 2018： 4510-4520.

8. Karen Simonyan; Andrew Zisserman. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Computer Science， 2014.

9. Christian Szegedy; Wei Liu; Yangqing Jia; Pierre Sermanet; Scott Reed; Dragomir Anguelov; Dumitru Erhan; Vincent Vanhoucke; Andrew Rabinovich. Going Deeper with Convolutions[J]. Computer Science， 2014.

10. Alex Krizhevsky; Ilya Sutskever; Geoffrey E. Hinton. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM， 2017， Vol. 60（6）： 84-90.

11. Diederik Kingma; Jimmy Ba. Adam： A Method for Stochastic Optimization[J]. Computer Science， 2014.

12. Jiawei Zhang; Jianbo Jiao; Mingliang Chen; Liangqiong Qu; Xiaobin Xu; Qingxiong Yang. 3D hand pose tracking and estimation using stereo matching[J]. arXiv， 2016： 11.

13. He， Kaiming; Zhang， Xiangyu; Ren， Shaoqing; Sun， Jian. Deep Residual Learning for Image Recognition[J]. 2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION （CVPR）， 2016： 770-778.

14. Zimmermann， C.; Brox， T.. Learning to Estimate 3D Hand Pose from Single RGB Images[J]. Proceedings of the IEEE International Conference on Computer Vision， 2017， Vol. 2017： 4913-4921.

15. ZHAO Baojun， ZHAO Boya， TANG Linbo， WANG Wenzheng， and WU Chen. Multi-scale object detection by top-down and bottom-up feature pyramid network[J]. Journal of Systems Engineering and Electronics， 2019， Vol. 30（1）： 1-12.

16. Cao Z; Hidalgo Martinez G; Simon T; Wei SE; Sheikh YA. OpenPose： Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields[J]. IEEE Transactions On Pattern Analysis And Machine Intelligence， 2019.

17. Fang， HS （Fang， Hao-Shu） 1; Xie， SQ （Xie， Shuqin） 1; Tai， YW （Tai， Yu-Wing） 2; Lu， CW （Lu， Cewu） 1; IEEE. RMPE： Regional Multi-Person Pose Estimation[J]. 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION （ICCV）， 2017： 2353-2362.

18. Yi Lu; Yaran Chen; Dongbin Zhao; Jianxin Chen. Graph- FCN for Image Semantic Segmentation[J]. Advances in Neural Networks – ISNN 2019， 2019.