二維人體姿態(tài)估計(jì)研究綜述

李崤河，劉進(jìn)鋒

（寧夏大學(xué)信息工程學(xué)院，銀川750021）

0 引言

人體姿態(tài)估計(jì)長(zhǎng)久以來(lái)一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)熱點(diǎn)問(wèn)題。其主要內(nèi)容，是讓計(jì)算機(jī)從圖像或視頻中定位出人物的關(guān)鍵點(diǎn)（也稱為關(guān)節(jié)點(diǎn)，如肘、手腕等）。人體姿態(tài)估計(jì)作為理解圖像或視頻中人物動(dòng)作的基礎(chǔ)，一直受到眾多學(xué)者的關(guān)注。隨著計(jì)算機(jī)技術(shù)的迅猛發(fā)展，人體姿態(tài)估計(jì)已經(jīng)在動(dòng)作識(shí)別、人機(jī)交互、智能安防、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域獲得了廣泛應(yīng)用。

人體姿態(tài)估計(jì)按維度可分為二維和三維兩種：二維人體姿態(tài)估計(jì)通常使用線段或者矩形來(lái)描述人體各關(guān)節(jié)在圖像上的投影位置，線段的長(zhǎng)度和角度表示了人體的二維姿態(tài)；三維人體姿態(tài)估計(jì)通常使用樹(shù)模型來(lái)描述估計(jì)的姿態(tài)，各關(guān)節(jié)點(diǎn)的位置使用三維坐標(biāo)確定。在實(shí)際應(yīng)用中，目前獲取的大多數(shù)圖像仍是二維圖像，同時(shí)三維姿態(tài)估計(jì)可以使用二維預(yù)測(cè)進(jìn)行推理[1]，所以二維姿態(tài)估計(jì)有著重要的研究?jī)r(jià)值。

自人體姿態(tài)估計(jì)的概念提出以來(lái)，國(guó)內(nèi)外的學(xué)者對(duì)此做出了不懈的努力。傳統(tǒng)的姿態(tài)估計(jì)算法主要是基于圖結(jié)構(gòu)（Pictorial Structures）模型[2]。該模型將人或物體表示為多個(gè)部件的集合，這些部件之間含有空間約束，通過(guò)人工指定的特征檢測(cè)組件實(shí)現(xiàn)關(guān)節(jié)點(diǎn)檢測(cè)。傳統(tǒng)方法過(guò)于依賴手工設(shè)計(jì)的模板，難以應(yīng)付復(fù)雜的姿態(tài)變換并且推廣到多人姿態(tài)估計(jì)。

隨著深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺(jué)領(lǐng)域大放異彩，部分學(xué)者開(kāi)始研究如何利用深度學(xué)習(xí)來(lái)解決人體姿態(tài)估計(jì)問(wèn)題。Toshev 等人利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)人體姿態(tài)進(jìn)行全局推斷，提出了完全基于神經(jīng)網(wǎng)絡(luò)的模型DeepPose[3]。DeepPose 是第一個(gè)將深度學(xué)習(xí)方法應(yīng)用于人體姿態(tài)估計(jì)的主要模型。該模型實(shí)現(xiàn)了SOTA 性能并擊敗了當(dāng)時(shí)的傳統(tǒng)模型。之后，越來(lái)越多基于深度學(xué)習(xí)的人體姿態(tài)估計(jì)方法相繼提出。

本文總結(jié)了近幾年來(lái)二維人體姿態(tài)估計(jì)的發(fā)展歷程，從早期的基于模板匹配算法到目前的基于深度學(xué)習(xí)的姿態(tài)估計(jì)算法，分析比較相關(guān)算法的優(yōu)缺點(diǎn)及性能，并結(jié)合現(xiàn)有問(wèn)題對(duì)未來(lái)發(fā)展進(jìn)行了展望。

1 傳統(tǒng)算法

早期的人體關(guān)鍵點(diǎn)檢測(cè)算法基本都是在幾何先驗(yàn)的基礎(chǔ)上基于模板匹配的思路進(jìn)行的，其中Fischler[2]于1973 年提出的圖結(jié)構(gòu)是其中一個(gè)較為經(jīng)典的算法思路。它將物體表示為多個(gè)部件的集合，部件之間具有一定的空間約束。2005 年，F(xiàn)elzenszwalb 和Huttenlocher[4]將圖結(jié)構(gòu)歸入統(tǒng)計(jì)學(xué)的框架，并假設(shè)各個(gè)部件之間服從樹(shù)形結(jié)構(gòu)。這極大地降低了計(jì)算復(fù)雜度，使圖結(jié)構(gòu)在人體姿態(tài)估計(jì)領(lǐng)域得到了很好的應(yīng)用。此后，一系列基于圖結(jié)構(gòu)的人體姿態(tài)估計(jì)算法被提出。

圖結(jié)構(gòu)主要包含兩個(gè)部分，其一是部件模型（Part Model），用于描述組成物體的各個(gè)部件；其二是空間模型（Spatial Model），用于描述各個(gè)部件之間的空間關(guān)系。大多數(shù)的研究致力于尋找表達(dá)能力更強(qiáng)的部件模型和空間模型來(lái)提高姿態(tài)估計(jì)的準(zhǔn)確率。

與早期方法相比，部件模型中使用了表達(dá)能力更強(qiáng)的圖像特征，例如，HOG[5]和SIFT[6]特征。Ramanan 從圖片中提取具有表達(dá)能力的模板來(lái)解決關(guān)節(jié)匹配問(wèn)題。此外，前景分割技術(shù)也被集成到姿態(tài)估計(jì)中[7]，更具判別性的部件檢測(cè)器被訓(xùn)練出來(lái)用于姿態(tài)估計(jì)[8]。

空間模型方面，非樹(shù)形結(jié)構(gòu)的模型被提出，用于解決人體姿態(tài)估計(jì)中的自遮擋問(wèn)題[9]。Yang 和Ramanan[10]提出的混合部件（Mixtures of Parts）模型能夠表達(dá)更為復(fù)雜多樣的空間約束。該模型包含多種對(duì)姿態(tài)估計(jì)非常重要的信息，例如，部件的幾何形變約束、部件的外觀信息等。除了關(guān)注兩個(gè)部件之間的空間約束，也有一些工作關(guān)注更大范圍的約束。例如，用于上半身姿態(tài)估計(jì)的Armlet[11]和用于整體姿態(tài)估計(jì)的Poselet[12]。

利用Design-Expert8.0Trial數(shù)據(jù)處理軟件中ANOVA程序?qū)Ρ?的試驗(yàn)結(jié)果進(jìn)行二次回歸分析，計(jì)算出方程各項(xiàng)系數(shù)并進(jìn)行方差分析，可得2個(gè)因子與Y之間的回歸方程：Y=99.21+2.22A-1.45B+0.95AB-1.22A2-1.12B2。

2 基于深度學(xué)習(xí)的方法

傳統(tǒng)的姿態(tài)估計(jì)算法依賴于物體的外觀特征，如紋理、邊緣、顏色、前景輪廓或手工設(shè)計(jì)的局部特征，有一定的局限性。卷積神經(jīng)網(wǎng)絡(luò)的提出極大地促進(jìn)了計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展。隨著Toshev 等人提出Deep-Pose 網(wǎng)絡(luò)[3]，人體姿態(tài)估計(jì)的研究開(kāi)始從經(jīng)典方法轉(zhuǎn)向深度學(xué)習(xí)方法。近幾年提出的姿態(tài)估計(jì)算法普遍采用ConvNets 作為模型的主要構(gòu)建單元，這一策略極大地提升了姿態(tài)估計(jì)的準(zhǔn)確率。

基于深度學(xué)習(xí)的人體姿態(tài)估計(jì)主要分為單人姿態(tài)估計(jì)和多人姿態(tài)估計(jì)兩個(gè)方向。單人姿態(tài)估計(jì)指輸入圖像中只包含一個(gè)人物，算法的主要任務(wù)是檢測(cè)出該目標(biāo)的所有關(guān)鍵點(diǎn)。多人姿態(tài)估計(jì)的輸入圖像中包含不定數(shù)量的人物，該研究方向更適用于實(shí)際場(chǎng)景。同時(shí)，多人姿態(tài)估計(jì)不光要檢測(cè)出圖像中所有的關(guān)鍵點(diǎn)，還要對(duì)關(guān)鍵點(diǎn)進(jìn)行聚類，將同一個(gè)人的關(guān)鍵點(diǎn)分配到一起。

2.1 單人姿態(tài)估計(jì)

（1）相關(guān)算法

Toshev[3]將姿態(tài)估計(jì)設(shè)計(jì)為一個(gè)基于神經(jīng)網(wǎng)絡(luò)的人體關(guān)節(jié)點(diǎn)回歸問(wèn)題。與基于圖模型的方法相比，該方法不需要顯式地設(shè)計(jì)出部件的特征表示和部件檢測(cè)器，也不需要顯式地設(shè)計(jì)出模板間的拓?fù)潢P(guān)系。更進(jìn)一步，作者使用了基于神經(jīng)網(wǎng)絡(luò)的級(jí)聯(lián)回歸器。這種級(jí)聯(lián)回歸器能夠增加關(guān)節(jié)點(diǎn)定位的精度。Carreira[13]針對(duì)前饋神經(jīng)網(wǎng)絡(luò)不能很好地對(duì)輸出空間中的依賴關(guān)系進(jìn)行有效建模問(wèn)題，提出了一個(gè)自校正模型——迭代錯(cuò)誤反饋（Iterative Error Feedback），該模型通過(guò)反饋錯(cuò)誤預(yù)測(cè)逐步調(diào)整初始預(yù)測(cè)。同時(shí)，一部分學(xué)者[14-15]將圖結(jié)構(gòu)作為人體先驗(yàn)知識(shí)加入神經(jīng)網(wǎng)絡(luò)模型中，借此提高模型的學(xué)習(xí)能力。

2015 年之前的主要方法將關(guān)節(jié)點(diǎn)直接回歸到精確的坐標(biāo)點(diǎn)（x,y），這增加了學(xué)習(xí)復(fù)雜度，降低了模型的泛化能力，因此在某些場(chǎng)景表現(xiàn)很差。隨后，Tompson[16]對(duì)網(wǎng)絡(luò)模型進(jìn)行了改進(jìn)。該網(wǎng)絡(luò)輸出低分辨率、逐像素的熱圖，熱圖描述了該部件可能位置的概率分布，而不是直接回歸預(yù)測(cè)關(guān)節(jié)點(diǎn)坐標(biāo)，提高了關(guān)節(jié)點(diǎn)定位的魯棒性。然后將各部件位置的概率分布作為先驗(yàn)輸入“位置細(xì)化”模型計(jì)算出部件的最終位置。這種輸出模型非常成功，許多后續(xù)的論文都采用了這種方法。

為了增強(qiáng)網(wǎng)絡(luò)模型對(duì)不可見(jiàn)關(guān)節(jié)點(diǎn)的預(yù)測(cè)能力，Tompson[14]和Yang[17]將圖模型應(yīng)用到神經(jīng)網(wǎng)絡(luò)中。同時(shí)，部分學(xué)者通過(guò)構(gòu)建多階段CNN 回歸模型[18-20]，增加網(wǎng)絡(luò)的感受野，以此提高模型的預(yù)測(cè)能力。例如，Wei[18]提出的卷積姿態(tài)機(jī)（Convolutional Pose Machine）可以同時(shí)學(xué)習(xí)圖像特征和依賴于圖像的空間模型；Newell[19]構(gòu)造的經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)——堆疊沙漏網(wǎng)絡(luò)，可以更好地混合全局和局部信息。

（2）性能比較

表1 單人姿態(tài)估計(jì)算法性能對(duì)比

2.2 多人姿態(tài)估計(jì)

單人姿態(tài)估計(jì)的輸入圖像中僅包含單個(gè)目標(biāo)，算法只需要確定單人的關(guān)鍵點(diǎn)坐標(biāo)即可，應(yīng)用場(chǎng)景簡(jiǎn)單。而多人姿態(tài)估計(jì)需要確定圖像中不定數(shù)量人體的關(guān)鍵點(diǎn)坐標(biāo)，同時(shí)將同一個(gè)人的關(guān)鍵點(diǎn)聚類到一起，算法更為復(fù)雜。目前，多人姿態(tài)估計(jì)有兩種主流的研究方法：自頂向下（Top-Down）和自底向上（Bottom-Up）。

（1）基于自頂向下的方法

該類方法的基本思路是先使用目標(biāo)檢測(cè)算法檢測(cè)出多個(gè)人，再對(duì)每個(gè)人應(yīng)用單人姿態(tài)估計(jì)。該方法的精度依賴于目標(biāo)檢測(cè)算法的輸出精度和單人姿態(tài)估計(jì)的精度。同時(shí)，多人圖像中遮擋問(wèn)題更加嚴(yán)重，如何準(zhǔn)確預(yù)測(cè)出不可見(jiàn)關(guān)節(jié)點(diǎn)是多人姿態(tài)估計(jì)中的一個(gè)重要研究方向。

Papandreou[29]構(gòu)建了一個(gè)二階段網(wǎng)絡(luò)，其中第一階段使用Faster R-CNN 檢測(cè)出可能包含人物的區(qū)域，第二階使用全卷積殘差網(wǎng)絡(luò)預(yù)測(cè)每個(gè)人的關(guān)節(jié)點(diǎn)坐標(biāo)。作者在第二階段引入了兩個(gè)偏移參數(shù)來(lái)提高關(guān)節(jié)點(diǎn)的預(yù)測(cè)精度。Chen 等人[30]通過(guò)將第一階段網(wǎng)絡(luò)得到的所有層次特征整合到一起，并結(jié)合在線困難關(guān)鍵點(diǎn)挖掘（Online Hard Keypoint Mining）技術(shù)，著重于“困難”關(guān)鍵點(diǎn)的檢測(cè)。針對(duì)自頂向下方法可能會(huì)產(chǎn)生的檢測(cè)框定位誤差以及對(duì)同一個(gè)目標(biāo)重復(fù)檢測(cè)等問(wèn)題，F(xiàn)ang[31]提出了RMPE（Regional Multi-person Pose Estimation）框架。其中，SSTN（Symmetric Spatial Transformer Network）網(wǎng)絡(luò)可以從一個(gè)不準(zhǔn)確的目標(biāo)框中提取高質(zhì)量的單人區(qū)域；參數(shù)化的姿態(tài)非極大值抑制算法用于消除冗余位姿。

（2）基于自底向上的方法

該類方法主要包含兩部分，關(guān)鍵點(diǎn)檢測(cè)和關(guān)鍵點(diǎn)聚類。其中，關(guān)鍵點(diǎn)檢測(cè)需要將圖片中所有類別的所有關(guān)鍵點(diǎn)全部檢測(cè)出來(lái)，然后對(duì)這些關(guān)鍵點(diǎn)進(jìn)行聚類，將不同人的不同關(guān)鍵點(diǎn)連接到一起，從而聚類產(chǎn)生不同的個(gè)體。這方面的論文主要側(cè)重于對(duì)關(guān)鍵點(diǎn)聚類方法的探索。

Cao 等人[32]使用向量場(chǎng)對(duì)人體的不同肢體結(jié)構(gòu)進(jìn)行建模，解決了單純使用肢體中間點(diǎn)產(chǎn)生的錯(cuò)連問(wèn)題。Xia[33]則采用部位分割的思想對(duì)關(guān)鍵點(diǎn)間的關(guān)系進(jìn)行建模，該方法既可以顯示的提供人體關(guān)鍵點(diǎn)之間的空間先驗(yàn)知識(shí)，同時(shí)也對(duì)關(guān)鍵點(diǎn)的聚類產(chǎn)生輔助作用。Newell 等人[34]提出了一個(gè)單階段的端到端多人姿態(tài)估計(jì)網(wǎng)絡(luò)，通過(guò)使用高維空間向量來(lái)編碼不同人體的不同關(guān)鍵點(diǎn)之間的關(guān)系，實(shí)現(xiàn)了檢測(cè)和分組同步進(jìn)行。

（3）性能比較

多人姿態(tài)估計(jì)的基準(zhǔn)數(shù)據(jù)集主要有MPII 多人數(shù)據(jù)集[21]和MSCOCO 關(guān)鍵點(diǎn)數(shù)據(jù)集[35]。評(píng)價(jià)指標(biāo)主要為mAP。表2 展示了多人姿態(tài)估計(jì)算法在MPII 多人數(shù)據(jù)集上的性能比較。

表2 多人姿態(tài)估計(jì)算法性能對(duì)比

3 結(jié)語(yǔ)

由于人體姿態(tài)的多變性，以及受人物著裝、自遮擋、復(fù)雜背景和相機(jī)視角等多重因素影響，人體姿態(tài)估計(jì)一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的一大挑戰(zhàn)。本文對(duì)二維人體姿態(tài)估計(jì)算法進(jìn)行了簡(jiǎn)單回顧，較為詳細(xì)地介紹了姿態(tài)估計(jì)的分類以及幾種常見(jiàn)算法。雖然深度學(xué)習(xí)極大地促進(jìn)了人體姿態(tài)估計(jì)的進(jìn)步，但如何更好地利用人體姿態(tài)先驗(yàn)知識(shí)，將人體模型融合到神經(jīng)網(wǎng)絡(luò)中；如何在保證高精度的條件下提高模型處理速度以及如何利用關(guān)鍵點(diǎn)檢測(cè)技術(shù)進(jìn)行人體行為分析、姿態(tài)預(yù)測(cè)，都是亟需解決的問(wèn)題。