基于改進(jìn)時(shí)空特征的三維人體位姿估計(jì)方法

謝立靖，任勝兵

(1.湖南商務(wù)職業(yè)技術(shù)學(xué)院 信息學(xué)院，湖南 長(zhǎng)沙 410205；2.中南大學(xué) 計(jì)算機(jī)學(xué)院，湖南 長(zhǎng)沙 410083)

0 引 言

隨著深度相機(jī)的發(fā)展，可以獲取很多有代表性的運(yùn)動(dòng)捕捉結(jié)果，但是普通單目視頻序列中的三維人體位姿還原依然是一個(gè)極具挑戰(zhàn)的問題[1]。

針對(duì)該問題的研究，已經(jīng)有一些研究成果。如OuYang等[2]提出的單目三維位姿估計(jì)方法，是一種幀對(duì)幀的回歸跟蹤，但由于場(chǎng)景中其它人或物體的干擾和遮擋，該方法容易失效。為此，出現(xiàn)一些致力于通過探測(cè)進(jìn)行位姿跟蹤估計(jì)的方法，即探測(cè)每幀中或多或少的獨(dú)立人體位姿，然后將各幀中的位姿聯(lián)系起來[3,4]，這類方法在一定程度上提高獨(dú)立幀計(jì)算的魯棒性。Zhou等[5]研究將二維HOG特征的核基回歸到三維位姿的方法。通過探究運(yùn)動(dòng)的后驗(yàn)信息來消除選擇連續(xù)幀中的錯(cuò)誤位姿，能夠?qū)⑦@種歧義限定到一定范圍內(nèi)。然而，當(dāng)這種錯(cuò)誤在幾幀中連續(xù)發(fā)生時(shí)，僅僅進(jìn)行后期時(shí)序處理是不夠的。

為解決遮擋和鏡像對(duì)后期處理的影響，本文直接從輸入序列中提取運(yùn)動(dòng)信息，提出一種位姿估計(jì)回歸方法，可從位于中心的時(shí)空體中某一序列的給定幀中直接預(yù)測(cè)出三維位姿。本文找出連續(xù)幀中人群周圍的邊界盒。利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)方法進(jìn)行運(yùn)動(dòng)補(bǔ)償，將時(shí)空體中的連續(xù)邊界盒關(guān)聯(lián)起來，使目標(biāo)始終保持在中央位置，提取改進(jìn)時(shí)空特征，最后利用不同的回歸法對(duì)位姿進(jìn)行預(yù)測(cè)估計(jì)。主要工作包括：①結(jié)合外觀信息和運(yùn)動(dòng)信息，提取多分辨率的時(shí)空特征；②利用CNN方法對(duì)人體進(jìn)行運(yùn)動(dòng)補(bǔ)償，提高位姿估計(jì)準(zhǔn)確性。

1 整體體系

本文以骨架的形式呈現(xiàn)三維人體位姿。該形式能夠更好地適應(yīng)回歸，且不需要知道人體目標(biāo)的具體比例，同時(shí)可以使用時(shí)間信息解決方向問題。

2 提出的方法

本文方法包含以下幾個(gè)步驟：

(1)找出連續(xù)幀中人周圍的邊界框；

(2)進(jìn)行運(yùn)動(dòng)補(bǔ)償，使目標(biāo)始終位于中央位置，形成修正時(shí)空體；

(3)從修正時(shí)空體中提取三維梯度方向直方圖(histograms of oriented gradients，HOG)特征，作為修正時(shí)空特征(modified spatio-temporal feature，MSTF)。通過回歸估計(jì)中央幀的人體三維位姿。

下面對(duì)主要步驟進(jìn)行具體描述。

2.1 時(shí)空特征提取

本文提取的特征矢量Z以三維HOG描述符為基礎(chǔ)，該描述符同時(shí)將外觀信息和運(yùn)動(dòng)信息進(jìn)行編碼。首先將數(shù)據(jù)集細(xì)分為同等大小的多個(gè)部分；然后計(jì)算每部分的三維時(shí)空梯度直方圖[6]。為提高特征描述能力，本文使用多尺度方法，即使用不同的尺寸計(jì)算三維HOG特征。本文在空間維度中使用3種等級(jí)(2×2、4×4和8×8)；在時(shí)間維度上每個(gè)時(shí)間單元設(shè)定為較小值(對(duì)于每秒50幀的視頻設(shè)置為4)，以此來捕捉特征細(xì)節(jié)。通過將多種分辨率的描述符與單一矢量的描述符聯(lián)系起來，獲得最終的特征矢量Z。

2.2 運(yùn)動(dòng)補(bǔ)償

三維HOG描述符表示人體位姿時(shí)，要求時(shí)間序列上各幀中人體部分位置相一致。這表明，在用于構(gòu)建時(shí)空體的邊界盒幀序列中，人應(yīng)該始終處于中央位置。本文使用可變形部件模型(deformable part model，DPM)[7]檢測(cè)器來獲得這些邊界盒，但事實(shí)上，這些邊界盒可能并沒有與人體很好地聯(lián)合起來。因此，本文在生成時(shí)空體之前，對(duì)這些序列幀進(jìn)行運(yùn)動(dòng)補(bǔ)償。

運(yùn)動(dòng)補(bǔ)償以人體目標(biāo)為中心，訓(xùn)練回歸器(本文選擇CNN[8]作為回歸器)來估計(jì)人在各序列幀中向中心位置的轉(zhuǎn)換關(guān)系，將這些轉(zhuǎn)換關(guān)系應(yīng)用到各幀中，使目標(biāo)始終處于中央位置。

假定m是從DPM返回的邊界盒中提取的圖像塊，則所需的理想回歸器φ(·)能夠返回人從中心m:φ(m)=(δu,δv)移動(dòng)的水平距離δu和豎直距離δv。為了更加有效地實(shí)現(xiàn)這一目的，本文引入兩個(gè)不同的回歸器φcoarse(·)和φfine(·)。訓(xùn)練第一個(gè)回歸器處理大的移動(dòng)，訓(xùn)練第二個(gè)回歸器完成精細(xì)處理，兩種回歸器迭代使用。每次迭代后，用計(jì)算好的距離對(duì)圖像進(jìn)行轉(zhuǎn)移，并進(jìn)行下一次估計(jì)移動(dòng)。通常這個(gè)過程需要4次迭代：兩次φcoarse(·)和兩次φfine(·)。

這兩種CNN回歸器具有相同的構(gòu)架，均包含完全連接層、卷積層和池化層。池化層用于將回歸器轉(zhuǎn)變?yōu)樾〉膱D形轉(zhuǎn)移，盡管其降低了需要的參數(shù)數(shù)量，但同時(shí)會(huì)降低定位性能。由于本文的目標(biāo)是精準(zhǔn)定位，因此，在第一個(gè)卷積層中并未進(jìn)行池化處理，只在隨后的層中使用。這有助于進(jìn)行精準(zhǔn)定位，同時(shí)保留較少的參數(shù)數(shù)量，以防止過度擬合。

進(jìn)行CNN補(bǔ)償時(shí)，需要對(duì)邊界盒中的人進(jìn)行初始估計(jì)，其由DPM實(shí)現(xiàn)。然而，將DPM探測(cè)器應(yīng)用到序列中的每個(gè)人非常耗時(shí)；因此，本文只在第一幀中使用DPM，進(jìn)行精確定位，得到的邊界盒在第二幀中作為初始估計(jì)。之后，依次類推。

如圖1所示，給出“打招呼”行為有運(yùn)動(dòng)補(bǔ)償和沒有運(yùn)動(dòng)補(bǔ)償時(shí)的梯度熱圖。沒有運(yùn)動(dòng)補(bǔ)償時(shí)，梯度會(huì)分散到整個(gè)可能的區(qū)域中，降低特征的穩(wěn)定性。進(jìn)行運(yùn)動(dòng)補(bǔ)償后，人體部分與幀中三維HOG單元相協(xié)調(diào)，所提取的時(shí)空特征處在中央位置，更加穩(wěn)定。

圖1 進(jìn)行運(yùn)動(dòng)補(bǔ)償前后梯度熱圖

2.3 位姿回歸

本文使用的三維位姿估計(jì)模型為Z→f(Z)≈Y，其中Z是提取的三維HOG修正時(shí)空特征，Y是中央幀的三維位姿。本文分別使用最小絕對(duì)收縮與選擇算子(least absolute shrinkage and selection operator，LASSO)方法[9]、核維納濾波(kernel Wiener filter，KWF)方法[10]和深度學(xué)習(xí)網(wǎng)絡(luò)(deep learning network，DLN)方法來進(jìn)行回歸函數(shù)f研究。

LASSO方法為位姿矢量的每個(gè)維度均訓(xùn)練一個(gè)模型。為找到從時(shí)空特征到三維位姿的影射，其解決如式(1)所示的最小二次規(guī)劃問題

(1)

其中，(Zj,Yj)是訓(xùn)練對(duì)，ΦZ是核基指數(shù)的傅里葉近似，該問題可以通過式(2)進(jìn)行求解

W=(ΦZ(Z)TΦZ(Z)+I)-1ΦZ(Z)TY

(2)

KWF方法為有結(jié)構(gòu)的回歸器，其處理三維位姿空間之間的相互關(guān)系，分別使用核基影射ΦZ和ΦY，將輸入和輸出矢量轉(zhuǎn)換至高維度Hilbert空間[11]，根據(jù)高維度輸入空間和輸出空間之間的依存關(guān)系建模線性函數(shù)。用標(biāo)準(zhǔn)核嶺回歸來計(jì)算相應(yīng)矩陣W，如式(3)所示

(3)

為了生成最終預(yù)測(cè)Y，進(jìn)行式(4)處理，將高維度Hilbert空間中的預(yù)測(cè)與輸出影射間的差異最小化

(4)

DLN方法以多層構(gòu)架為依托，估計(jì)三維位姿的影射。本文在前兩層中使用包含線性單位激活函數(shù)的3個(gè)完全連接層，在最后一層使用一個(gè)線性激活函數(shù)。前兩層中每一層包含3000個(gè)神經(jīng)元，最后一層包含與17個(gè)三維節(jié)點(diǎn)位置相對(duì)應(yīng)的51個(gè)輸出。本文通過交叉驗(yàn)證方法選擇網(wǎng)絡(luò)中的最佳超參數(shù)。本文將通過最小化預(yù)測(cè)與真實(shí)三維位姿的差值，獲取由Θ參數(shù)化的影射函數(shù)f，如式(5)所示

(5)

3 實(shí)驗(yàn)結(jié)果與分析

本文對(duì)Human3.6m、HumanEvaI/II和KTH多視角足球II數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。Human3.6m含有360萬張圖像及復(fù)雜移動(dòng)場(chǎng)景中相應(yīng)的三維位姿，包括4個(gè)不同視角下捕捉到的11個(gè)目標(biāo)的15個(gè)不同行為；同時(shí)，人體形態(tài)、衣著、位姿和視角在訓(xùn)練/測(cè)試集中均有較大差別。Human-EvaI/II數(shù)據(jù)集提供的是合成圖像和移動(dòng)捕捉數(shù)據(jù)，為三維人體位姿估計(jì)的評(píng)價(jià)基準(zhǔn)。KTH多視角足球II數(shù)據(jù)集是運(yùn)動(dòng)員移動(dòng)時(shí)的抓拍圖像，用于評(píng)價(jià)本文方法在野外環(huán)境時(shí)的性能。為了說明本文方法的有效性，與未進(jìn)行運(yùn)動(dòng)補(bǔ)償或其它三維位姿估計(jì)的代表算法進(jìn)行比較。

3.1 Human3.6m數(shù)據(jù)集

目前的位姿估計(jì)方法普遍使用未進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)亩SHOG特征，并使用LASSO方法、KWF方法等方法進(jìn)行回歸，本文實(shí)驗(yàn)中稱其為L(zhǎng)ASSO方法和KWF方法。本文利用運(yùn)動(dòng)補(bǔ)償?shù)娜SHOG的修正時(shí)空特征MSTF，稱作為MSTF+LASSO、MSTF+KWF或MSTV+DLN，以上3種方法使用的回歸器分別為L(zhǎng)ASSO、KWF和DLN。為了評(píng)價(jià)位姿估計(jì)的準(zhǔn)確性，本實(shí)驗(yàn)以預(yù)測(cè)位姿與真實(shí)位姿的平均歐幾里得距離(以毫米為單位)為誤差評(píng)價(jià)標(biāo)準(zhǔn)。

本實(shí)驗(yàn)對(duì)15個(gè)不同行為訓(xùn)練回歸器，使用了5個(gè)目標(biāo)(目標(biāo)1、5、6、7、8)進(jìn)行訓(xùn)練，兩個(gè)目標(biāo)(目標(biāo)9、11)進(jìn)行測(cè)試；訓(xùn)練測(cè)試時(shí)使用所有的攝像機(jī)視角。三維人體位姿均用17個(gè)節(jié)點(diǎn)的骨架表示，其三維定位與捕捉圖像的攝像機(jī)坐標(biāo)系統(tǒng)的根節(jié)點(diǎn)有關(guān)。

表1給出不同方法對(duì)Human3.6m數(shù)據(jù)集15種行為的位姿估計(jì)誤差值。本文通過提取MSTF特征，對(duì)于LASSO方法，平均誤差由181.30降低到150.26，降低了17%；對(duì)于KWF方法，平均誤差由164.17降低到127.08，降低22%。可以看出MSTF特征可以顯著提高位姿檢測(cè)的準(zhǔn)確性。比較結(jié)合MSTF特征的3種回歸方法，MSTF+KWF和MSTF+DLN的誤差值明顯低于MSTF+LASSO方法。對(duì)于“買東西”、“坐”、“坐下”3種行為，MSTF+KWF方法的結(jié)果稍微好于MSTF+DLN方法；但對(duì)于其它行為，MSTF+DLN有更好的位姿估計(jì)準(zhǔn)確性能，并且平均誤差最低。

表1 不同方法的位姿估計(jì)誤差結(jié)果

下面更加直觀的對(duì)各種方法進(jìn)行比較。圖2給出傳統(tǒng)KWF方法和本文MSTF+DLN方法的結(jié)果，第1～3行分別對(duì)應(yīng)“買東西”、“討論”、“吃飯”3個(gè)行為。可以看出傳統(tǒng)的KWF方法的位姿估計(jì)結(jié)果中存在自我遮擋和方向歧義的情況，而本文MSTF+DLN方法的位姿還原結(jié)果的效果最好。圖3給出結(jié)合MSTF特征的3種回歸器，對(duì)“散步”行為的位姿估計(jì)結(jié)果，可以看出MSTF+KWF和MSTF+DLN方法的位姿估計(jì)結(jié)果較MSTF+LASSO方法更加準(zhǔn)確，而MSTF+DLN與真實(shí)位姿更加接近。

圖2 不同方法的位姿估計(jì)結(jié)果比較

圖3 提取MSTF特征時(shí)不同方法的位姿估計(jì)結(jié)果比較

為了說明運(yùn)動(dòng)補(bǔ)償?shù)闹匾裕旅鎸?duì)有無運(yùn)動(dòng)補(bǔ)償?shù)慕Y(jié)果進(jìn)行比較。未進(jìn)行CNN運(yùn)動(dòng)補(bǔ)償是直接提取時(shí)空特征，稱作STF(spatio-temporal feature)。選擇兩種有代表性的行為進(jìn)行比較，“遛狗”行為涉及大量移動(dòng)情形，“打招呼”行為中的主體并沒有太多走動(dòng)。結(jié)果見表2，可以看出，即使未進(jìn)行運(yùn)動(dòng)補(bǔ)償，提取的STF特征結(jié)果優(yōu)于傳統(tǒng)的KWF方法；與STF相比，運(yùn)動(dòng)補(bǔ)償MSTF進(jìn)一步提高了位姿估計(jì)性能。

表2 有無運(yùn)動(dòng)補(bǔ)償?shù)恼`差結(jié)果

為說明臨時(shí)窗口大小對(duì)位姿估計(jì)的影響，比較不同窗口大小情況下的結(jié)果。選擇“行走”和“吃”兩種行為進(jìn)行比較，臨時(shí)窗口大小從12幀調(diào)整到48幀，回歸方法為MSTF+DLN，結(jié)果見表3。可以看出窗口大小在24幀～48幀的范圍時(shí)，獲得最佳的結(jié)果，即對(duì)于每秒50幀的情況，對(duì)應(yīng)為0.5 s～1 s。臨時(shí)窗口較小時(shí)，提取特征中的信息數(shù)量不足以進(jìn)行精準(zhǔn)估計(jì)；窗口太大時(shí)會(huì)造成過度擬合問題，因?yàn)橛?jì)算輸入數(shù)據(jù)中的差別顯得更加困難。本文對(duì)于Human3.6m數(shù)據(jù)集的實(shí)驗(yàn)，窗口大小均使用24幀，其不僅可以進(jìn)行準(zhǔn)確的位姿還原，還可以進(jìn)行有效的特征提取。

表3 不同臨時(shí)窗口大小的誤差結(jié)果

3.2 HumanEva數(shù)據(jù)集

由于HumanEva的訓(xùn)練集太小，不能用于訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，因此本實(shí)驗(yàn)主要使用MSTF+KWF方法與其它傳統(tǒng)方法進(jìn)行比較。本實(shí)驗(yàn)與Human3.6m數(shù)據(jù)集實(shí)驗(yàn)一樣，使用預(yù)測(cè)位姿節(jié)點(diǎn)位置與真實(shí)位姿節(jié)點(diǎn)位置歐幾里得的平均距離差值作為評(píng)價(jià)標(biāo)準(zhǔn)。

對(duì)于HumanEvaI數(shù)據(jù)集，本實(shí)驗(yàn)與文獻(xiàn)[12]的二維位姿探測(cè)器、文獻(xiàn)[13]的三維圖像架構(gòu)、文獻(xiàn)[14]中依賴自上而下的動(dòng)態(tài)優(yōu)化方法進(jìn)行比較。表4顯示了不同方法對(duì)于“行走”和“拳擊”行為的位姿誤差結(jié)果。對(duì)目標(biāo)1、2、3的訓(xùn)練序列選了不同的回歸器，本文方法只從第一個(gè)攝像機(jī)視角計(jì)算時(shí)空特征。由表4可以看出，本文方法對(duì)于“行走”的循環(huán)運(yùn)動(dòng)和“拳擊”的非循環(huán)運(yùn)動(dòng)中的位姿估計(jì)性能在此基準(zhǔn)上均優(yōu)于其它方法。

對(duì)于HumanEvaII數(shù)據(jù)集，本實(shí)驗(yàn)與文獻(xiàn)[3]檢測(cè)跟蹤的方法進(jìn)行比較。不同方法對(duì)于“combo”序列的位姿誤差結(jié)果見表5。HumanEvaII數(shù)據(jù)集只有一個(gè)測(cè)試集，沒有訓(xùn)練集，因此，本實(shí)驗(yàn)利用HumanEvaI數(shù)據(jù)集中不同攝像機(jī)視角拍攝的數(shù)據(jù)訓(xùn)練回歸器，對(duì)HumanEvaII數(shù)據(jù)集進(jìn)行測(cè)試，以驗(yàn)證本文方法對(duì)其它攝像機(jī)視角的泛化能力。本實(shí)驗(yàn)分別使用HumanEvaI數(shù)據(jù)集的目標(biāo)1、2、3數(shù)據(jù)進(jìn)行訓(xùn)練，對(duì)HumanEvaII數(shù)據(jù)集前350幀中目標(biāo)2的位姿進(jìn)行估計(jì)，估計(jì)誤差結(jié)果如表5所示。可以看出本文方法的性能最佳，說明本文方法具有較好的泛化能力。

表4 不同方法在HumanEvaI數(shù)據(jù)集上位姿估計(jì)誤差結(jié)果

表5 不同方法在“combo”序列的位姿估計(jì)誤差結(jié)果

3.3 KTH多視角足球數(shù)據(jù)集

本實(shí)驗(yàn)對(duì)KTH多視角足球數(shù)據(jù)集的運(yùn)動(dòng)員2序列進(jìn)行位姿估計(jì)；同HumanEva數(shù)據(jù)集一樣，主要利用MSTF+KWF方法。該序列的前半部分用作訓(xùn)練，后半部分用作測(cè)試。本實(shí)驗(yàn)以正確估計(jì)部分得分為位姿估計(jì)準(zhǔn)確性的評(píng)價(jià)標(biāo)準(zhǔn)，并與文獻(xiàn)[3]的方法進(jìn)行比較，結(jié)果如表6所示。可以看出，即使本文方法使用單目攝像機(jī)，而文獻(xiàn)[3]使用雙攝像機(jī)，本文方法的位姿估計(jì)結(jié)果更加準(zhǔn)確。這是因?yàn)椋墨I(xiàn)[3]的方法依賴于二維人體部分探測(cè)，當(dāng)外觀信息較模糊時(shí)，位姿估計(jì)準(zhǔn)確性受到較大影響。而本文方法從修改時(shí)空體中實(shí)時(shí)綜合提取外觀信息和運(yùn)動(dòng)信息，三維位姿估計(jì)的精準(zhǔn)性更好。

表6 KTH多視角足球集位姿估計(jì)結(jié)果

4 結(jié)束語

本文在位姿估計(jì)過程中，綜合考慮外觀信息和運(yùn)動(dòng)信息，并進(jìn)行CNN運(yùn)動(dòng)補(bǔ)償，建立修正時(shí)空體。該方法比利用后驗(yàn)信息連接單幀的位姿估計(jì)性能有很大提升。修正時(shí)空體在修改時(shí)空體中提取外觀信息和運(yùn)動(dòng)信息，能夠降低因自我遮擋或鏡像的歧義。對(duì)于不同數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果表明，本文方法的三維人體位姿估計(jì)準(zhǔn)確性較其它方法有較大提高。即本文所提方法較為通用，可以應(yīng)用于不同連貫運(yùn)動(dòng)中。