基于改進(jìn)沙漏網(wǎng)絡(luò)的人體姿態(tài)估計(jì)方法

黃子健， 方 宇， 楊蘊(yùn)杰， 張伯強(qiáng)， 魏旋旋， 楊 皓

(上海工程技術(shù)大學(xué) 機(jī)械與汽車工程學(xué)院， 上海 201620)

0 引 言

人體姿態(tài)估計(jì)是計(jì)算機(jī)視覺領(lǐng)域的重要研究方向之一，其目的是在給定的圖片或視頻中定位人體關(guān)節(jié)點(diǎn)的位置，進(jìn)而實(shí)現(xiàn)人體姿態(tài)的跟蹤和預(yù)測(cè)。姿態(tài)估計(jì)已被廣泛應(yīng)用于多個(gè)領(lǐng)域。如：人機(jī)工效學(xué)分析[1]、運(yùn)動(dòng)分析[2]和康復(fù)醫(yī)療[3-4]等。人的外觀變化(如衣物和體型)和場(chǎng)景的復(fù)雜程度，都會(huì)對(duì)姿態(tài)估計(jì)結(jié)果的準(zhǔn)確性產(chǎn)生影響。解決這些問題的關(guān)鍵，是如何利用數(shù)據(jù)中的特征來提取其中的上下文信息，以及如何利用人體各關(guān)節(jié)之間的相互位置關(guān)系，增強(qiáng)姿態(tài)估計(jì)結(jié)果的準(zhǔn)確度。

傳統(tǒng)的姿態(tài)估計(jì)大多使用基于圖形結(jié)構(gòu)[5-6]的方法，并依據(jù)人體各部件的相對(duì)空間位置關(guān)系建立人體結(jié)構(gòu)模型；使用方向梯度直方圖(Histogram of Oriented Gradient，HOG)[7]和尺度不變特征轉(zhuǎn)換(Scale-Invariant Feature Transform，SIFT)[8]來提取人工設(shè)定的特征。雖然該方法在某些場(chǎng)景下能實(shí)現(xiàn)較高的檢測(cè)效率，但在人物遮擋、拍攝角度和圖像光照等因素變化時(shí)，算法準(zhǔn)確性會(huì)受到較大影響[9]。

隨著人工智能技術(shù)的發(fā)展，基于深度學(xué)習(xí)的姿態(tài)估計(jì)方法因其精度高、泛化能力強(qiáng)等優(yōu)點(diǎn)，成為人體姿態(tài)估計(jì)問題研究的主要方法[10]。DeepPose[11]是首個(gè)將深度學(xué)習(xí)用于姿態(tài)估計(jì)任務(wù)的方法，該方法將姿態(tài)估計(jì)問題轉(zhuǎn)化為圖像特征提取和關(guān)節(jié)點(diǎn)坐標(biāo)回歸問題，使用AlexNet提取圖像特征，并使用級(jí)聯(lián)回歸器修正淺層網(wǎng)絡(luò)在全連接層回歸得到的關(guān)節(jié)點(diǎn)坐標(biāo)，提高了算法預(yù)測(cè)精度。但該方法僅關(guān)注關(guān)節(jié)點(diǎn)坐標(biāo)信息，忽視了關(guān)節(jié)點(diǎn)周圍的特征信息，導(dǎo)致其預(yù)測(cè)結(jié)果缺乏魯棒性[12]。Wei等人[13]提出了卷積姿態(tài)機(jī)(Convolutional Pose Machines，CPM)模型，CPM使用一種順序化的卷積結(jié)構(gòu)來提取圖像特征信息，每個(gè)階段將上一階段的預(yù)測(cè)結(jié)果作為本階段的輸入，輸出含有預(yù)測(cè)關(guān)節(jié)點(diǎn)信息的熱圖，并引入中間監(jiān)督模塊，用以解決訓(xùn)練過程中的梯度消失問題。Newell等人[14]以CPM為基礎(chǔ)，提出了堆疊沙漏網(wǎng)絡(luò)(Stacked Hourglass Networks，SHN)，該網(wǎng)絡(luò)由多個(gè)沙漏網(wǎng)絡(luò)堆疊組成。與CPM不同的是，SHN在多個(gè)分辨率上學(xué)習(xí)關(guān)節(jié)點(diǎn)的特征，并且可以學(xué)習(xí)關(guān)節(jié)點(diǎn)之間的結(jié)構(gòu)特征，預(yù)測(cè)結(jié)果更加準(zhǔn)確。但是，該網(wǎng)絡(luò)也存在一些缺陷。由于輸入網(wǎng)絡(luò)的圖像僅通過簡(jiǎn)單預(yù)處理，無法提取出更加細(xì)致的底層特征用于后續(xù)的關(guān)節(jié)點(diǎn)預(yù)測(cè)，需要通過增加沙漏模塊數(shù)量以改善預(yù)測(cè)精度。此外，因網(wǎng)絡(luò)的上采樣使用最鄰近插值方法，在將圖像從低分辨率還原為高分辨率的過程中，會(huì)丟失大量局部特征信息，影響各關(guān)節(jié)部位的紋理和形狀特征提取。

針對(duì)以上問題，本文提出一種改進(jìn)沙漏網(wǎng)絡(luò)，主要改進(jìn)工作為：

(1)使用預(yù)訓(xùn)練好的ResNet50[15]網(wǎng)絡(luò)取代SHN的預(yù)處理模塊，提高輸入網(wǎng)絡(luò)的圖像底層特征的質(zhì)量，從而提高模型的檢測(cè)精度。

(2)通過調(diào)整殘差模塊的參數(shù)，改進(jìn)網(wǎng)絡(luò)中使用的殘差模塊，使得網(wǎng)絡(luò)能在不同分辨率下學(xué)習(xí)到差異化的特征，增強(qiáng)網(wǎng)絡(luò)對(duì)于局部細(xì)節(jié)特征的學(xué)習(xí)能力。

(3)使用反卷積替代上采樣。相較于最鄰近差值方法，反卷積在還原原始圖像像素的任務(wù)上表現(xiàn)更好，有利于網(wǎng)絡(luò)對(duì)于細(xì)節(jié)特征的學(xué)習(xí)。

1 算法描述

1.1 堆疊沙漏網(wǎng)絡(luò)

沙漏模塊的結(jié)構(gòu)(圖1)與全卷積網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)[16]相似，沙漏模塊的前半部分通過4個(gè)殘差模塊和下采樣操作降低圖像分辨率并擴(kuò)大感受野，在其中心的C5卷積層得到最低分辨率和最大感受野的特征圖(feature map)后，進(jìn)行4次上采樣操作，并將通過跳連接傳遞的圖像特征與上采樣得到的圖像特征進(jìn)行融合，逐步將圖像還原至高分辨率。SHN通過堆疊沙漏網(wǎng)絡(luò)，重復(fù)地進(jìn)行自下而上(高分辨率至低分辨率)、自上而下(從低分辨率到高分辨率)的過程，同時(shí)結(jié)合中間監(jiān)督評(píng)估整個(gè)圖像的初始特征和檢測(cè)結(jié)果，學(xué)習(xí)人體各關(guān)節(jié)點(diǎn)的圖像特征以及各關(guān)節(jié)點(diǎn)之間的相對(duì)位置信息。

圖1 堆疊沙漏網(wǎng)絡(luò)

1.2 改進(jìn)的沙漏網(wǎng)絡(luò)

1.2.1 預(yù)處理模塊

SHN在對(duì)圖像進(jìn)行預(yù)處理時(shí)，首先使用64個(gè)7×7、步長(zhǎng)為2的卷積核，將輸入圖像的分辨率從256×256降至128×128，隨后使用一個(gè)殘差模塊和一次最大池化操作，再將分辨率從128×128降至64×64，以此減少后續(xù)訓(xùn)練所需的GPU內(nèi)存量。但是，該操作無法很好地提取圖像的底層特征，影響了SHN前部沙漏網(wǎng)絡(luò)的關(guān)節(jié)點(diǎn)預(yù)測(cè)精度。因此，使用在ImageNet上預(yù)訓(xùn)練好的ResNet50網(wǎng)絡(luò)提取更高質(zhì)量的底層特征，使后續(xù)網(wǎng)絡(luò)能更快地學(xué)習(xí)到關(guān)節(jié)點(diǎn)部位的紋理和形狀特征。ResNet50的網(wǎng)絡(luò)參數(shù)見表1。

表1 ResNet50網(wǎng)絡(luò)參數(shù)

由于ResNet50輸出的圖像分辨率為原始圖像的1/32，因此本文使用3次反卷積操作，將ResNet50輸出的圖像還原至原圖像1/4分辨率大小。預(yù)處理模塊如圖2所示。

圖2 預(yù)處理模塊

1.2.2 改進(jìn)的殘差模塊

SHN中使用maxpooling作為下采樣手段，maxpooling除了可以減少feature map的尺寸從而降低計(jì)算量外，還能抑制圖象中的噪聲，被廣泛應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)中。然而，池化會(huì)帶來特征信息丟失的問題，影響網(wǎng)絡(luò)預(yù)測(cè)性能。因此，本文使用步長(zhǎng)為2的卷積核代替池化實(shí)現(xiàn)圖片的下采樣。在ResNet網(wǎng)絡(luò)中，對(duì)于一個(gè)如圖3所示的殘差模塊，其下采樣是在bottleneck的1×1卷積處完成的，但該方式會(huì)使3/4的信息丟失，影響下采樣得到的feature map質(zhì)量。若推后至在3×3卷積處進(jìn)行下采樣操作，使卷積核寬度大于步長(zhǎng)，則卷積核在移動(dòng)過程中能夠遍歷輸入特征上的所有信息，保證下采樣后的feature map能完整保留原圖像特征。

圖3 下采樣結(jié)構(gòu)

當(dāng)圖片輸入網(wǎng)絡(luò)后，隨著下采樣次數(shù)的增加，卷積核的感受野隨之增大，在圖像下采樣至最小辨率時(shí)，能得到信息最為豐富的feature map。由于SHN對(duì)于不同分辨率的圖像均使用相同的殘差模塊進(jìn)行處理，并未考慮到不同分辨率下圖像信息的差異性。因此，本文使用一種差異化的殘差模塊，處理不同分辨率下單圖像信息。對(duì)于不同分辨率的圖像，對(duì)應(yīng)的殘差模塊見表2。通過使用差異化的殘差模塊處理不同分辨率的圖像信息，能增加網(wǎng)絡(luò)對(duì)圖像特征的學(xué)習(xí)能力，從而提升網(wǎng)絡(luò)整體性能。

表2 改進(jìn)的殘差模塊參數(shù)

1.2.3 反卷積模塊

SHN使用最近鄰差值的方法對(duì)圖像進(jìn)行上采樣，將圖像從低分辨率還原至高分辨率。該方法在還原圖像分辨率時(shí)，只能根據(jù)當(dāng)前圖像的內(nèi)容進(jìn)行還原，還原出的圖像像素值區(qū)分度不強(qiáng)，與下采樣前的圖像信息差距過大。本文使用反卷積層取代SHN中使用的上采樣和殘差模塊，對(duì)于每一層反卷積層，記反卷積層輸入分辨率為i，則輸出分辨率o為

o=s×(i-1)+k-2p

式中：s為步幅，k為卷積核大小，p為邊界擴(kuò)充參數(shù)。

反卷積模塊需要按照對(duì)應(yīng)殘差模塊生成的feature map尺寸，適當(dāng)調(diào)整卷積核和通道數(shù)的大小，以得到相同分辨率的feature map。

2 實(shí)驗(yàn)結(jié)果及分析

為評(píng)估本文提出的改進(jìn)沙漏網(wǎng)絡(luò)性能，在COCO[17]數(shù)據(jù)集和MPII[18]數(shù)據(jù)集上進(jìn)行性能驗(yàn)證。本文實(shí)驗(yàn)使用TensorFlow深度學(xué)習(xí)框架作為實(shí)驗(yàn)框架，操作系統(tǒng)為Ubuntu18.04 LTS，使用Python3.6作為編程語言， GPU為RTX3080，顯存為42 GB，采用Adam優(yōu)化器對(duì)訓(xùn)練進(jìn)行優(yōu)化。

2.1 實(shí)驗(yàn)數(shù)據(jù)及評(píng)價(jià)標(biāo)準(zhǔn)

2.1.1 實(shí)驗(yàn)數(shù)據(jù)集

本文選用兩個(gè)公開數(shù)據(jù)集：COCO數(shù)據(jù)集和MPII數(shù)據(jù)集對(duì)本文提出的網(wǎng)絡(luò)進(jìn)行性能評(píng)估。COCO數(shù)據(jù)集包括約200 K的圖像，圖像中含有約250 K個(gè)人體實(shí)例。COCO數(shù)據(jù)集定義了17個(gè)人體關(guān)鍵點(diǎn)，并對(duì)這些關(guān)鍵點(diǎn)進(jìn)行了標(biāo)注。本文將數(shù)據(jù)集中的train2017圖像集(約57 K張圖像，包含150 K人體實(shí)例)作為訓(xùn)練集，val2017圖像集作為驗(yàn)證集。MPII(Max Planck Institute for Information, MPII)人體姿勢(shì)數(shù)據(jù)集包含約25 K的圖像，涵蓋410種人類日常活動(dòng)。本文將數(shù)據(jù)集劃分為兩部分，其中20 K用于訓(xùn)練，其余用于驗(yàn)證。

訓(xùn)練時(shí)，使用隨機(jī)旋轉(zhuǎn)(-30°，30°)，隨機(jī)縮放(0.75，1.25)和左右翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)手段，加強(qiáng)網(wǎng)絡(luò)的泛化能力。

2.1.2 評(píng)價(jià)標(biāo)準(zhǔn)

對(duì)于COCO數(shù)據(jù)集，采用官方指定關(guān)節(jié)點(diǎn)相似度OKS(Object Keypoint Similarity, OKS)為模型性能評(píng)價(jià)的度量方法。OKS的值在0～1之間，越接近1說明預(yù)測(cè)得到的人體關(guān)節(jié)點(diǎn)與數(shù)據(jù)集標(biāo)注的真實(shí)值(groudtruth)越相似，預(yù)測(cè)效果越好。OKS的定義為

式中：p表示groudtruth中人的id，i為每個(gè)關(guān)鍵點(diǎn)的id，dpi表示每個(gè)人預(yù)測(cè)關(guān)鍵點(diǎn)和groundtruth的歐氏距離，vi為關(guān)鍵點(diǎn)的可見性標(biāo)志，Sp為當(dāng)前人體的尺度因子，σi表示第i個(gè)關(guān)鍵點(diǎn)的歸一化因子，vpi代表第p個(gè)人的第i個(gè)關(guān)鍵點(diǎn)是否可見，δ用于將可見點(diǎn)選出用于計(jì)算。

此外，使用平均精確度AP(Average Precision, AP)和評(píng)價(jià)召回率AR(Average Recall, AR)，作為算法在COCO數(shù)據(jù)集上預(yù)測(cè)性能的評(píng)估指標(biāo)。

對(duì)于MPII數(shù)據(jù)集，采用關(guān)鍵點(diǎn)準(zhǔn)確估計(jì)百分比PCKh(Head-Normalized Probability of Correct Keypoint, PCKh)作為實(shí)驗(yàn)評(píng)估指標(biāo)。若預(yù)測(cè)的關(guān)鍵點(diǎn)落在groundtruth的αlr(兩個(gè)參數(shù)的乘積)個(gè)像素內(nèi)，則認(rèn)為該關(guān)節(jié)點(diǎn)預(yù)測(cè)正確。其中，α為一個(gè)常數(shù)，lr為參考距離。評(píng)估時(shí)采用α=0.5(PCKh@0.5)作為評(píng)估標(biāo)準(zhǔn)，lr取頭部邊界對(duì)角線長(zhǎng)度。

2.2 實(shí)驗(yàn)結(jié)果及分析

本文算法在COCO數(shù)據(jù)集上的結(jié)果與其它相關(guān)算法所得準(zhǔn)確率的對(duì)比結(jié)果見表3。可以看出，本算法較SHN的AP和AR分別提升了4.7%和1.9%。相較于Baseline[19],本文算法的AP和AR分別高出1.2%和0.5%。

表3 不同方法在COCO數(shù)據(jù)集上結(jié)果對(duì)比

在MPII數(shù)據(jù)集上，測(cè)試7個(gè)部位的準(zhǔn)確率。可以看出，本文提出的方法相較其它方法，對(duì)于部位檢測(cè)的準(zhǔn)確率更高。

表4 不同方法在MPII數(shù)據(jù)集上結(jié)果對(duì)比

3 結(jié)束語

本文以堆疊沙漏網(wǎng)絡(luò)為基礎(chǔ)進(jìn)行改進(jìn)，設(shè)計(jì)了一種基于改進(jìn)沙漏網(wǎng)絡(luò)的人體姿態(tài)估計(jì)網(wǎng)絡(luò)。改進(jìn)模型的預(yù)處理模塊使用特征提取能力更強(qiáng)的ResNet50網(wǎng)絡(luò)，提高了底層特征的質(zhì)量；使用改進(jìn)的殘差模塊處理不同分辨率的feature map，并使用步長(zhǎng)為2的卷積代替最大池化進(jìn)行下采樣操作，確保圖像信息的完整性；用反卷積模塊擴(kuò)大圖片分辨率，使圖片像素值多樣化，減少上采樣得到的圖片與原圖片間的信息損失。本文的模型相較SHN精度更高，能有效識(shí)別遮擋的關(guān)節(jié)點(diǎn)。如何對(duì)模型進(jìn)行輕量化改進(jìn)并應(yīng)用到實(shí)際工作中，將是下一步的研究方向。