基于漸進(jìn)高斯濾波融合的多視角人體姿態(tài)估計(jì)

楊旭升 吳江宇 胡 佛 張文安

隨著人工智能和傳感器技術(shù)的發(fā)展,人體姿態(tài)估計(jì)(Human pose estimation,HPE)逐漸應(yīng)用于各種不同的領(lǐng)域,如人機(jī)交互、運(yùn)動(dòng)捕捉[1-2]、虛擬替身、康復(fù)訓(xùn)練[3]、自動(dòng)駕駛、視頻監(jiān)控和運(yùn)動(dòng)表現(xiàn)分析等[4-6].然而,受視覺(jué)遮擋等因素影響[7],這將增加視覺(jué)人體姿態(tài)估計(jì)中腕、肘等人體部件誤識(shí)別的風(fēng)險(xiǎn),從而導(dǎo)致量測(cè)不確定性的存在,而多視覺(jué)融合方法是處理視覺(jué)遮擋下HPE 的主流方法之一[8-11].

針對(duì)多視覺(jué)融合估計(jì)問(wèn)題,文獻(xiàn)[8]提出一種面向人體關(guān)節(jié)點(diǎn)位置信息的可靠性判別方法,通過(guò)調(diào)節(jié)加權(quán)觀測(cè)融合中的量測(cè)融合權(quán)重,以提高HPE 的魯棒性.而在文獻(xiàn)[12]中,將多視覺(jué)下的融合估計(jì)問(wèn)題轉(zhuǎn)換為優(yōu)化問(wèn)題,利用骨骼長(zhǎng)度作為約束條件,并基于關(guān)節(jié)點(diǎn)位置信息的可靠性,來(lái)調(diào)整優(yōu)化過(guò)程中的權(quán)重大小,從而減小視覺(jué)遮擋時(shí)的人體骨架抖動(dòng).然而,在求目標(biāo)函數(shù)的過(guò)程中,該方法易受初始數(shù)據(jù)的影響.針對(duì)基于多視角融合的HPE問(wèn)題,文獻(xiàn)[9]首次提出信息加權(quán)一致性濾波器(Information weighted consensus filter,IWCF),通過(guò)平均一致性(Average consensus)[13]來(lái)獲得鄰近節(jié)點(diǎn)的信息.同時(shí),使用Metropolis 權(quán)重來(lái)提高IWCF 的收斂速度,實(shí)驗(yàn)證明融合后的人體姿態(tài)信息可獲得更高的動(dòng)作識(shí)別精度.之后,針對(duì)多視覺(jué)HPE 中各傳感器節(jié)點(diǎn)估計(jì)誤差引起的關(guān)節(jié)點(diǎn)波動(dòng)問(wèn)題,文獻(xiàn)[10]將IWCF 與交互式多模型(Interacting multiple model-based,IMM)相結(jié)合,獲得混合恒定速度(Constant velocity,CV)、恒定加速度(Constant acceleration,CA)和Singer 運(yùn)動(dòng)等多模型下的姿態(tài)估計(jì),從而減小視覺(jué)遮擋的影響以及提高估計(jì)的精度.

另一方面,針對(duì)人體姿態(tài)量測(cè)存在的噪聲問(wèn)題,卡爾曼濾波(Kalman filtering,KF)[14]是一種有效的去噪方法.其不僅在目標(biāo)跟蹤領(lǐng)域應(yīng)用廣泛[15-17],而且在人體姿態(tài)估計(jì)領(lǐng)域也發(fā)揮重要的作用[18-20].例如,文獻(xiàn)[19]利用卡爾曼濾波器提高人體姿態(tài)估計(jì)的準(zhǔn)確性.針對(duì)人體姿態(tài)量測(cè)噪聲統(tǒng)計(jì)特性的難以精確描述問(wèn)題,文獻(xiàn)[20]提出一種基于魯棒卡爾曼濾波的HPE 方法,利用假設(shè)檢驗(yàn)對(duì)視覺(jué)遮擋下的復(fù)雜噪聲進(jìn)行識(shí)別,并引入自適應(yīng)因子來(lái)對(duì)量測(cè)噪聲協(xié)方差進(jìn)行調(diào)整,從而減小量測(cè)不確定性對(duì)濾波器性能的影響.此外,針對(duì)量測(cè)信息缺失的目標(biāo)跟蹤問(wèn)題,文獻(xiàn)[21]同樣利用假設(shè)檢驗(yàn)對(duì)量測(cè)信息進(jìn)行有效篩選,并利用漸進(jìn)濾波方法來(lái)處理量測(cè)信息缺失造成的誤差增大問(wèn)題,從而提高濾波器的魯棒性.針對(duì)漸進(jìn)濾波對(duì)量測(cè)不確定性補(bǔ)償?shù)膯?wèn)題,文獻(xiàn)[22-23]提出帶自適應(yīng)量測(cè)更新的漸進(jìn)高斯濾波方法,給出漸進(jìn)量測(cè)更新的終止條件.這不僅有利于計(jì)算效率,而且提高了對(duì)量測(cè)不確定性的自適應(yīng)能力.然而,針對(duì)視覺(jué)遮擋造成量測(cè)噪聲的復(fù)雜性,現(xiàn)有估計(jì)方法并未充分考慮到局部量測(cè)不確定性的差異.同時(shí),基于假設(shè)檢驗(yàn)的方法局限于單一維度對(duì)量測(cè)進(jìn)行篩選,沒(méi)有充分考慮到先驗(yàn)信息和局部量測(cè)以及不同局部量測(cè)之間的相容性問(wèn)題.

為此,本文構(gòu)建分布式的漸進(jìn)貝葉斯濾波融合框架,提出基于漸進(jìn)高斯濾波融合的人體姿態(tài)估計(jì)方法.針對(duì)量測(cè)信息包含的復(fù)雜噪聲,設(shè)計(jì)分層性能評(píng)估方法,從空間維度到時(shí)間維度對(duì)量測(cè)進(jìn)行分類(lèi)處理.為解決量測(cè)不確定性下的融合估計(jì)問(wèn)題,設(shè)計(jì)一種分層分類(lèi)的融合估計(jì)方法.特別地,針對(duì)量測(cè)統(tǒng)計(jì)特性變化問(wèn)題,引入漸進(jìn)濾波方法,利用局部估計(jì)間的交互信息來(lái)引導(dǎo)漸進(jìn)量測(cè)更新,從而隱式地補(bǔ)償量測(cè)不確定性.最后,仿真與實(shí)驗(yàn)結(jié)果表明,相比于現(xiàn)有的方法,提高了人體姿態(tài)估計(jì)的準(zhǔn)確性和魯棒性.

1 問(wèn)題描述

如圖1 所示,考慮一類(lèi)多視覺(jué)融合環(huán)境下的人體姿態(tài)估計(jì)系統(tǒng),其中,視覺(jué)傳感器為深度相機(jī),用于采集人體目標(biāo)的深度信息.本文將人體目標(biāo)視為由頭、軀干、臂、手、腿、足等部件相互連接構(gòu)成的多剛體系統(tǒng).這樣,人體姿態(tài)估計(jì)問(wèn)題可看作人體各關(guān)節(jié)點(diǎn)位置估計(jì)問(wèn)題.首先,利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)的方法[24]從圖像中識(shí)別出人體各部件,并計(jì)算出人體各關(guān)節(jié)點(diǎn)在各個(gè)相機(jī)坐標(biāo)系下的3D 位置;其次,通過(guò)棋盤(pán)格標(biāo)定法可獲得相機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系(即,棋盤(pán)格)的旋轉(zhuǎn)矩陣Rci2w和平移向量tci2w,從而將在不同相機(jī)坐標(biāo)系下檢測(cè)的3D 關(guān)節(jié)點(diǎn)統(tǒng)一到世界坐標(biāo)系.同時(shí),對(duì)人體運(yùn)動(dòng)建模如下:

圖1 多視覺(jué)人體姿態(tài)估計(jì)示意圖Fig.1 Schematic diagram of multi-vision human pose estimation

其中,k=1,2,··· 表示離散時(shí)間序列,xk=[(xk,1)T··· (xk,L)T]T表示k時(shí)刻人體姿態(tài)的狀態(tài),xk,l表示關(guān)節(jié)點(diǎn)l狀態(tài),l=1,···,L,L為選取的人體關(guān)節(jié)數(shù)量;Fk=diag{Fk,1···Fk,L} 表示狀態(tài)轉(zhuǎn)移矩陣;過(guò)程噪聲wk=[(wk,1)T···(wk,L)T]T服從零均值高斯分布,其方差為 c ov(wk)=Qk.最后,在此基礎(chǔ)上,將融合運(yùn)動(dòng)模型和單視覺(jué)量測(cè)信息形成人體姿態(tài)的局部估計(jì),進(jìn)而融合各局部估計(jì)形成人體姿態(tài)的全局估計(jì).注意到視覺(jué)遮擋程度的不同,將給人體關(guān)節(jié)點(diǎn)的檢測(cè)與測(cè)量帶來(lái)不同程度的影響,從而導(dǎo)致復(fù)雜的量測(cè)噪聲.

因此,對(duì)人體姿態(tài)量測(cè)建模如下:

相應(yīng)地,針對(duì)量測(cè)信息包含的復(fù)雜噪聲,將對(duì)量測(cè)進(jìn)行檢測(cè)和分類(lèi)處理,從而剔除高程度視覺(jué)遮擋下的量測(cè)野值,同時(shí)通過(guò)漸進(jìn)濾波隱式地補(bǔ)償?shù)统潭纫曈X(jué)遮擋下的量測(cè).

注1.針對(duì)視覺(jué)遮擋程度的不同,本文將量測(cè)主要分為兩類(lèi).即: 1)低程度視覺(jué)遮擋下的量測(cè),例如,人體雙臂交叉引起的腕、肘等關(guān)節(jié)小面積視覺(jué)遮擋,用來(lái)描述該情形下的量測(cè)不確定性;2)高程度視覺(jué)遮擋下的量測(cè),例如,人體側(cè)身時(shí)腕、肘等關(guān)節(jié)受背部大面積視覺(jué)遮擋,用來(lái)描述這種情況下的量測(cè)野值.

2 自適應(yīng)漸進(jìn)高斯濾波融合

不同程度的視覺(jué)遮擋將造成量測(cè)統(tǒng)計(jì)特性變化,進(jìn)而導(dǎo)致局部濾波器性能下降并最終影響融合結(jié)果.因此,分兩步從空間維度和時(shí)間維度上分別對(duì)量測(cè)進(jìn)行相容性檢測(cè)來(lái)實(shí)現(xiàn)量測(cè)篩選和分類(lèi)處理.

考慮多視覺(jué)傳感器的坐標(biāo)位置和感知范圍不同,可能導(dǎo)致量測(cè)具有不同的噪聲特性與誤差模型.如圖2 所示,首先,在空間維度上檢測(cè)不同量測(cè)間馬氏距離的平方,即

圖2 量測(cè)相容性分析Fig.2 Measurement compatibility analysis

圖3 方法框圖Fig.3 Method block diagram

則表示量測(cè)中存在額外干擾,否則視為野值.

低程度視覺(jué)遮擋下的量測(cè)集合表示為

1)人體姿態(tài)全局估計(jì)

2)人體姿態(tài)局部估計(jì)

利用量測(cè)迭代更新,漸進(jìn)地引入量測(cè)信息.其中λm表示偽時(shí)間,且滿足

φλm表示在漸進(jìn)量測(cè)更新前后的估計(jì)值與參照量間馬氏距離的差值,當(dāng)φλm ≥0 時(shí)停止中的漸進(jìn)量測(cè)更新,從而對(duì)量測(cè)不確定性隱式地補(bǔ)償,即通過(guò)φλm值來(lái)判斷是否繼續(xù)引入偽量測(cè)來(lái)漸進(jìn)迭代和逐步修正狀態(tài)估計(jì),而無(wú)需顯式地將不確定性(如協(xié)方差矩陣)作為輸入.結(jié)合式(17)和式(18),量測(cè)漸進(jìn)更新過(guò)程中的后驗(yàn)概率密度函數(shù)(Probability density function,PDF)可以表示為

定理1.考慮系統(tǒng)(1)和(2)中,當(dāng)若先驗(yàn)概率密度函數(shù)給出如式(20)和式(21),則可得到全局狀態(tài)濾波融合估計(jì),即

式中,I表示單位矩陣.

證明.見(jiàn)附錄A.

最后,帶量測(cè)分類(lèi)處理的漸進(jìn)高斯濾波融合算法(Progressive Gaussian filtering fusion with classification,PGFFwC)給出如下:

算法1.PGFFwC 算法

如定理1 所示,人體姿態(tài)估計(jì)性能改善表現(xiàn)在兩方面: 1)通過(guò)量測(cè)分層性能評(píng)估,對(duì)量測(cè)進(jìn)行分類(lèi)處理;2)利用局部估計(jì)間的交互信息來(lái)引導(dǎo)漸進(jìn)量測(cè)更新,從而隱式地補(bǔ)償量測(cè)不確定性.此外,當(dāng)漸進(jìn)濾波中截止條件尚未觸發(fā)時(shí),定理1 將等價(jià)于集中式融合.特別地,當(dāng)量測(cè)信息均為同一種情形下時(shí),則具有如下的等價(jià)形式:

推論1.當(dāng)時(shí),式(26)和式(27)可以表示為

證明從略.

3 仿真與實(shí)驗(yàn)

3.1 仿真驗(yàn)證

為驗(yàn)證本文方法的合理性與有效性,設(shè)計(jì)由多個(gè)視覺(jué)傳感器組成環(huán)境下的人體姿態(tài)估計(jì)仿真.考慮存在不同程度視覺(jué)遮擋等因素,采用式(2)的觀測(cè)模型,并假設(shè)人體關(guān)節(jié)目標(biāo)的運(yùn)動(dòng)學(xué)模型如

便于仿真結(jié)果分析與比較,定義位置誤差指標(biāo)為均方根誤差(Root mean square error,RMSE),其計(jì)算式為

其中,FRMSE表示均方根誤差,s=1,···,S為仿真實(shí)驗(yàn)的序號(hào),S為蒙特卡羅仿真總次數(shù),k|k表示k時(shí)刻的狀態(tài)估計(jì)值,xk表示k時(shí)刻的狀態(tài)真實(shí)值.在局部濾波中采用帶量測(cè)分類(lèi)處理的漸進(jìn)高斯濾波(PGF with classification,PGFwC)(即,PGFFwC 中局部的濾波結(jié)果)、卡爾曼濾波、粒子濾波(Particle filtering,PF)、魯棒卡爾曼濾波(Robust Kalman filtering,RKF)[20].同時(shí)為進(jìn)一步驗(yàn)證量測(cè)分層分類(lèi)處理的作用,加入不帶量測(cè)分類(lèi)處理的漸進(jìn)高斯濾波方法(PGF without classification,PGFwoC)(即,采用PGF 方法無(wú)差別地處理量測(cè)數(shù)據(jù))進(jìn)行對(duì)比.另外,為驗(yàn)證PGFFwC 的性能,在融合算法中對(duì)比了集中式融合(Centralized fusion,CF)、協(xié)方差交叉(Covariance intersection,CI)融合、基于觀測(cè)融合的自適應(yīng)卡爾曼濾波(Adaptive measurement fusion-based Kalman filter,AMFKF)[25],以及IWCF[9]的方法,蒙特卡羅仿真結(jié)果如圖4 所示.通過(guò)仿真結(jié)果可知,無(wú)論在局部濾波還是在全局狀態(tài)融合中,本文所提方法的性能都更好.同時(shí),通過(guò)圖4 可知,帶有量測(cè)分類(lèi)處理的方法(PGFwC,PGFFwC)比未帶量測(cè)分類(lèi)處理的方法(PGFwoC,PGFFwoC)誤差更小.特別地,包含量測(cè)分類(lèi)處理的分布式狀態(tài)融合方法(PGFFwC)提升的精度明顯高于其他方法,說(shuō)明通過(guò)對(duì)量測(cè)進(jìn)行分類(lèi)處理后,濾波器對(duì)量測(cè)不確定性的描述更準(zhǔn)確,從而在狀態(tài)融合的過(guò)程中獲得更高的精度.

圖4 不同濾波融合方法下的位置誤差Fig.4 Position error under different filtering fusion methods

3.2 實(shí)驗(yàn)驗(yàn)證

為進(jìn)一步驗(yàn)證所提方法的有效性,設(shè)計(jì)多視覺(jué)人體姿態(tài)估計(jì)實(shí)驗(yàn),實(shí)驗(yàn)平臺(tái)如圖5 所示,由兩臺(tái)微軟公司的Azure Kinect DK 相機(jī)[26-27],一臺(tái)Windows10 操作系統(tǒng)的電腦和一個(gè)人體姿態(tài)估計(jì)對(duì)象組成.Azure Kinect DK 視覺(jué)傳感器包括彩色攝像頭和深度攝像頭,采集到的彩色圖像分辨率為1 920×1 080 像素,深度圖像分辨率為512× 512 像素,拍攝速度為30 幀/s,使用同步線纜硬件觸發(fā)對(duì)兩臺(tái)相機(jī)進(jìn)行同步數(shù)據(jù)采集,并通過(guò)張正友相機(jī)標(biāo)定法,計(jì)算出從相機(jī)到主相機(jī)的旋轉(zhuǎn)矩陣與平移向量,以主相機(jī)坐標(biāo)系作為世界坐標(biāo)系.在計(jì)算機(jī)上,編寫(xiě)基于Visual Studio 2017 的開(kāi)發(fā)環(huán)境,利用CNN的方法得到在深度相機(jī)空間下人體骨骼關(guān)節(jié)點(diǎn)的空間位置信息.

圖5 人體姿態(tài)估計(jì)實(shí)驗(yàn)平臺(tái)Fig.5 Human pose estimation experimental platform

實(shí)驗(yàn)場(chǎng)景設(shè)置如下: 實(shí)驗(yàn)環(huán)境位于室內(nèi),兩臺(tái)Azure Kinect DK 呈約45?角擺放,人體目標(biāo)位于兩臺(tái)相機(jī)前方1.5 m 左右的位置進(jìn)行揮臂運(yùn)動(dòng),用Azure Kinect DK 來(lái)完成對(duì)人體關(guān)節(jié)點(diǎn)的捕捉,整個(gè)過(guò)程會(huì)引入自遮擋以及由手持物遮擋造成的誤識(shí)別.這里需要補(bǔ)充說(shuō)明的是,人體關(guān)節(jié)點(diǎn)對(duì)應(yīng)的實(shí)際人體位置并不明確,即人體關(guān)節(jié)點(diǎn)的物理意義是不明確的.故以高精度動(dòng)作捕捉系統(tǒng)OptiTrack System[28](精度0.5 mm)來(lái)獲取人體關(guān)節(jié)點(diǎn)的真實(shí)軌跡,如圖5 所示,該定位系統(tǒng)由12 個(gè)Prime 13相機(jī)組成,能夠?qū)崟r(shí)捕捉運(yùn)動(dòng)目標(biāo)的位姿,以追蹤到的光學(xué)標(biāo)記點(diǎn)的位置為真值,即視為真實(shí)人體關(guān)節(jié)點(diǎn)位置進(jìn)行對(duì)比.

在實(shí)驗(yàn)中,采用的對(duì)比方法與仿真一致,局部濾波分別采用PF,KF,RKF,PGFwC 和PGFwoC 的方法對(duì)比,全局融合分別采用CF,CI,AMFKF,IWCF,PGFFwC 和PGFFwoC 的方法對(duì)比.捕捉對(duì)象為人體右臂,其中包括肩關(guān)節(jié)、肘關(guān)節(jié)和腕關(guān)節(jié).以人體右臂腕關(guān)節(jié)點(diǎn)為例分析,濾波參數(shù)與仿真設(shè)置的一致,圖6 表示該關(guān)節(jié)點(diǎn)在運(yùn)動(dòng)過(guò)程中,不同方法處理下的累積位置誤差分析圖.進(jìn)一步,表1 所示為腕關(guān)節(jié)點(diǎn)、肘關(guān)節(jié)點(diǎn)以及肩關(guān)節(jié)點(diǎn)的位置誤差均值,從中可看出,PGFFwC 方法下得到的誤差更低.由此說(shuō)明該方法能有效提高人體姿態(tài)估計(jì)的精度和魯棒性.另外,從3 組關(guān)節(jié)點(diǎn)誤差均值的整體對(duì)比中,可看出腕關(guān)節(jié)點(diǎn)的誤差相對(duì)更大,肩關(guān)節(jié)點(diǎn)的誤差相對(duì)更小,表明機(jī)動(dòng)性更強(qiáng)的關(guān)節(jié)點(diǎn)存在的誤差也更大.

表1 累積誤差均值統(tǒng)計(jì)(mm)Table 1 Cumulative error mean statistics (mm)

圖6 不同濾波融合方法下的累積位置誤差Fig.6 Cumulative position error under different filtering fusion methods

4 結(jié)束語(yǔ)

為處理視覺(jué)遮擋下人體姿態(tài)估計(jì)性能下降問(wèn)題,提出基于漸進(jìn)高斯濾波融合的姿態(tài)估計(jì)方法.首先,采用CNN 的方法從深度圖像中識(shí)別并得出人體各關(guān)節(jié)點(diǎn)在相機(jī)坐標(biāo)系下的3D 位置,并將其轉(zhuǎn)換到世界坐標(biāo)系下;其次,在多視覺(jué)骨架數(shù)據(jù)融合中,構(gòu)建分布式的漸進(jìn)貝葉斯濾波融合框架并提出基于漸進(jìn)高斯濾波融合的人體姿態(tài)估計(jì)方法.針對(duì)量測(cè)信息中包含的復(fù)雜噪聲,分別從空間、時(shí)間維度對(duì)量測(cè)進(jìn)行相容性分析與分類(lèi)處理.同時(shí),引入漸進(jìn)量測(cè)更新與引導(dǎo)機(jī)制,隱式地補(bǔ)償量測(cè)不確定性.

附錄 A 定理1 的證明

根據(jù)后驗(yàn)概率密度函數(shù)(8),可得最大后驗(yàn)估計(jì)為

解法與式(A1)～(A4)類(lèi)似,得