人體運(yùn)動分析及其在三維互動娛樂中的應(yīng)用

楊寧學(xué) 李艷萍

（西南交通大學(xué)軟件學(xué)院，四川成都，610031）

0 引言

人體運(yùn)動分析指的是在不需要人為干預(yù)的情況下，綜合利用計算機(jī)視覺、模式識別、圖像處理、人工智能等諸多方面的知識和技術(shù)，運(yùn)用某種手段跟蹤、捕捉人體的運(yùn)動，獲得人體的運(yùn)動參數(shù)并從運(yùn)動中重建人體的結(jié)構(gòu)和姿態(tài)。人體運(yùn)動分析的最終目的是達(dá)到對人體運(yùn)動的理解并加以應(yīng)用。人體運(yùn)動分析主要應(yīng)用在智能監(jiān)控、虛擬現(xiàn)實、感知接口、運(yùn)動分析以及基于模型的視頻編碼等領(lǐng)域。人體運(yùn)動分析的首要任務(wù)和基本問題是獲取人體的運(yùn)動參數(shù)，而運(yùn)動參數(shù)的獲取有多種方法。如采用專用的機(jī)械裝置或電子裝置等。就廣義而言，人體運(yùn)動分析的研究對象既可以是以人臉、唇、手勢等為代表的較小尺度的局部人體運(yùn)動；也可以是手臂、腿部或全身等大尺度的全身或肢體運(yùn)動。

隨著社會、經(jīng)濟(jì)和技術(shù)的高速發(fā)展，人類社會在經(jīng)歷了早期的農(nóng)業(yè)經(jīng)濟(jì)、工業(yè)經(jīng)濟(jì)時代之后，正以驚人的速度從“服務(wù)經(jīng)濟(jì)”向“體驗經(jīng)濟(jì)”演進(jìn)。人們對娛樂的需求，特別是對數(shù)字化娛樂內(nèi)容的需求，極大地推動數(shù)字娛樂產(chǎn)業(yè)的迅速崛起。游戲作為數(shù)字娛樂的一種主要形式正在以驚人的速度向前發(fā)展，其形式也正在從“參與型”向“體驗型”轉(zhuǎn)換，玩家通過鼠標(biāo)鍵盤進(jìn)行交互的方式，其娛樂性會受到極大的限制，而本文提及的人體運(yùn)動分析則可以將人體的動作、表情等信息通過獲取、處理和分析之后將其轉(zhuǎn)換為電腦可以理解的信號傳入游戲場景，并作為游戲場景中的一部分內(nèi)容參與控制玩家角色，從而極大的增強(qiáng)游戲的娛樂性和沉浸感?；诨ヂ?lián)網(wǎng)絡(luò)的交互式空間的開發(fā)剛剛起步，如虛擬聊天室，它在通過文本交流的同時可以通過二維圖標(biāo)來導(dǎo)航用戶，如果增加手勢、頭的姿勢、面部表情等線索，將會給參與者們提供更加豐富的交互形式；另外，人的運(yùn)動分析在視頻會議、人物動畫、虛擬工作室等其它虛擬現(xiàn)實場合也有著相當(dāng)廣泛的應(yīng)用。

本文利用視頻信息來對人體局部運(yùn)動進(jìn)行獲取、處理和分析，通過在單一視頻中，跟蹤人體的運(yùn)動，提取人體的運(yùn)動參數(shù)，并加上時間參數(shù)使之形成運(yùn)動曲線，從而控制三維場景中特定物體的運(yùn)動，實現(xiàn)互動娛樂的效果，增強(qiáng)娛樂性和交互性。

1 運(yùn)動分割

運(yùn)動分割的目的是從視頻圖像序列中將變化的區(qū)域從背景圖像中提取出來。通常情況下，背景是靜止的，但是由于背景圖像的動態(tài)變化，如天氣、光照、陰影以及其他噪聲等的影響，使得運(yùn)動分割成為一項相當(dāng)困難的工作。

運(yùn)動分割可以分為運(yùn)動背景和靜止背景下運(yùn)動目標(biāo)的檢測和提取。運(yùn)動背景通常指攝像機(jī)隨著運(yùn)動物體運(yùn)動從而使得圖像背景也產(chǎn)生相應(yīng)的運(yùn)動；靜止背景通常指攝像機(jī)固定不動，視頻圖像中除了運(yùn)動的物體在視頻圖像中存在位移之外，其余部分相對靜止。本文將研究靜止背景下的運(yùn)動目標(biāo)檢測和提取。靜止背景下運(yùn)動物體的檢測主要有背景差法、幀差法和光流法。

背景差法是目前靜止背景下運(yùn)動分割中最常用的一種方法，它是利用當(dāng)前圖像與背景圖像的逐象素的灰度差通過設(shè)置閾值來檢測出運(yùn)動區(qū)域的一種技術(shù)。采用背景差法來檢測前景時，需要解決的首要問題是獲取背景圖像。一方面可以人為給定若干背景圖像，然后通過求平均值來獲取背景圖像，或者通過圖像訓(xùn)練集的中值圖像或者混合高斯模型等方法來獲取背景圖像。這類方法的優(yōu)點在于對復(fù)雜背景的情況效果較好，它一般能夠提供最完全的特征數(shù)據(jù)，但對于動態(tài)場景的變化，如光照和外來無關(guān)事件的干擾等特別敏感。

背景差法可以用如下的算法流程進(jìn)行描述:

1、背景估計值B(0)（通常取圖像第1 幀）

3、對于以后的每一幀F(xiàn)，減去B(n+1),即可獲得運(yùn)動物體的區(qū)域。

在實驗中，本文采用了預(yù)先拍攝一段無人的視頻，接著人再進(jìn)入做運(yùn)動（如圖1 所示），這樣在無人區(qū)域時間段內(nèi)，采用大的加權(quán)值，然后在人體進(jìn)入后采用小的加權(quán)值，這樣背景的估計就較為準(zhǔn)確了。

圖1 背景差實驗

這類方法的優(yōu)點在于對復(fù)雜背景的情況效果較好，它一般能夠提供最完全的特征數(shù)據(jù)，但對于動態(tài)場景的變化，如光照和外來無關(guān)事件的干擾等特別敏感。

幀差法是在連續(xù)的圖像序列中，在相鄰兩幀間計算逐象素的灰度差，并通過設(shè)置閾值來確定對應(yīng)運(yùn)動前景的象素，進(jìn)而得到運(yùn)動前景區(qū)域。Lipton 等利用雙幀差進(jìn)行運(yùn)動目標(biāo)檢測，進(jìn)而用于目標(biāo)的分類與跟蹤。

理想情況下，如果相減后差值為零。則認(rèn)為該點屬于靜止背景，反之則屬于運(yùn)動物體區(qū)域。在實際情況中由于存在噪聲等多種外來因素的干擾，只根據(jù)差值是否為零還不能確定該點的變化情況，可以通過設(shè)置閾值來分離運(yùn)動目標(biāo)和背景。

這種方法的突出特點是實現(xiàn)簡單、運(yùn)算速度快。而且由于相鄰幀間環(huán)境亮度變化很小，幀間差分法受光照變化影響較小。

一個改進(jìn)的方法是利用三幀差分代替兩幀差分，如VSAM 開發(fā)了一種自適應(yīng)背景減除與三幀差分相結(jié)合的混合算法，它能夠快速有效地從背景中檢測出運(yùn)動目標(biāo)。

幀差法對于動態(tài)環(huán)境具有較強(qiáng)的自適應(yīng)性，但一般不能完全提取出所有相關(guān)的特征像素點，在運(yùn)動實體內(nèi)部容易產(chǎn)生空洞現(xiàn)象，特別是對運(yùn)動速度過慢的物體，不利于進(jìn)一步的對象分析和識別。

基于光流方法的運(yùn)動檢測采用了運(yùn)動目標(biāo)隨時間變化的光流特性。光流法除了可以檢測靜止背景下的運(yùn)動目標(biāo)之外，還可以檢測運(yùn)動背景下的運(yùn)動目標(biāo)。

由于光流表達(dá)了圖像的變化，包含了目標(biāo)一定的運(yùn)動信息，因此通過計算光流場可以從圖像中近似計算不能直接得到的運(yùn)動場。1981年，Horn 和Schunck 創(chuàng)造性地將二維速度場與灰度相聯(lián)系，引入光流約束方程，得到光流的基本算法。目前，比較流行的光流計算方法有基于匹配的方法、基于梯度的方法、基于相位的方法、基于能量的方法和神經(jīng)動力學(xué)方法。其中最常用的是基于梯度的方法——Lucas-Kanade 方法。

通過給定特征點的初始位置和兩幅連續(xù)的圖像幀，利用上述等式就可以用來解決該特征點的大致位移。

光流法計算復(fù)雜，實用性較差，對背景噪聲非常敏感。

本文通過實驗將背景差法、改進(jìn)幀差法和光流法進(jìn)行了比較，結(jié)果如圖2 所示。由比較結(jié)果可知，背景差發(fā)和改進(jìn)幀差法提取結(jié)果比較理想，光流法提取結(jié)果較差。

圖2 幾種方法比較

2 運(yùn)動特征提取

通過上述介紹的運(yùn)動分割方法將運(yùn)動人體從背景中提取出來之后，由于提取的運(yùn)動人體具有一定的體積，不便于描述人體的運(yùn)動，因此可以將運(yùn)動人體抽象成一個沒有體積的點，用這點來描述人體的運(yùn)動，即所謂的特征點。特征點的選取方式有多種，如質(zhì)心、最高點、最低點、最小包圍盒的中心等等，本文選取包圍盒上邊的中點（如圖3 所示）作為頭部運(yùn)動的特征點來描述人體頭部運(yùn)動。在單一視頻中，運(yùn)動可以分解為x 方向的運(yùn)動和y 方向的運(yùn)動，將此兩方向的運(yùn)動分別繪制在時間軸上，便形成了特征點在兩個方向上的運(yùn)動軌跡，如圖4 所示。

圖4 特征點在隨時間發(fā)生的位移變化

3 三維互動娛樂場景

將人體運(yùn)動特征提取出來之后，就可以用來控制三維互動娛樂場景中的相應(yīng)對象，使之產(chǎn)生與研究目標(biāo)一致的運(yùn)動，從而達(dá)到互動娛樂的效果。由于人體運(yùn)動分析和三維互動娛樂場景屬于兩個相對獨立的內(nèi)容，按照面向?qū)ο蟪绦蛟O(shè)計思想，即高內(nèi)聚，松耦合的設(shè)計原則，本文在人體運(yùn)動分析和三維互動娛樂場景之間加入了一個數(shù)據(jù)池，如圖5 所示。兩者通過共享數(shù)據(jù)池中的數(shù)據(jù)來實現(xiàn)數(shù)據(jù)共享。

圖5 互動娛樂系統(tǒng)結(jié)構(gòu)圖

圖6 場景節(jié)點及場景元素結(jié)構(gòu)示意圖

為了構(gòu)建一個通用的三維互動娛樂場景以適應(yīng)更廣泛的互動娛樂場景開發(fā)，將現(xiàn)實世界中的場景劃分成抽象的不同空間，不同空間中還可以劃分成不同的小空間，每個空間由一個場景節(jié)點(SceneNode)對象來管理，如圖6所示為場景節(jié)點關(guān)系示意圖，場景節(jié)點的具體組織結(jié)構(gòu)關(guān)系視各個場景具體情況而定。場景節(jié)點將負(fù)責(zé)處理移動、旋轉(zhuǎn)和縮放等與空間相關(guān)的行為。在每個場景節(jié)點上可以掛接各種場景元素（如Entity、Light、Camera 等），場景元素本身并不負(fù)責(zé)與空間位置相關(guān)的行為，這些與空間位置相關(guān)的行為全部交給場景節(jié)點來處理。大量的場景節(jié)點按照空間的劃分層次組織成樹狀結(jié)構(gòu)，從而完成對整個場景的有序組織。本文為了通過在室內(nèi)構(gòu)建球、球板這樣一個簡單的互動場景來說明互動娛樂的整個過程，其空間組織結(jié)構(gòu)如圖7 所示。

圖7 互動娛樂場景中場景元素組織結(jié)構(gòu)

圖8 三維互動娛樂場景

互動娛樂場景通過輪詢的方式檢查是否有新的數(shù)據(jù)產(chǎn)生，當(dāng)產(chǎn)生新的數(shù)據(jù)，該新數(shù)據(jù)便可用于控制場景節(jié)點RacketNode，使之與人體運(yùn)動軌跡保持一致；球節(jié)點BallNode 的運(yùn)動方式為自由落體運(yùn)動，初速度設(shè)為0，球在重力作用下往下掉，當(dāng)與球板接觸時，兩者發(fā)生碰撞，根據(jù)物體碰撞過程中的能量守恒定律(設(shè)為剛性碰撞），可求得球碰撞后的速度，如此往復(fù)產(chǎn)生互動娛樂效果。軟件運(yùn)行結(jié)果如圖8 所示。

4 結(jié)束語

本文通過研究單一視頻的人體運(yùn)動分析，并將取得的運(yùn)動特征數(shù)據(jù)用于控制三維互動娛樂場景中的目標(biāo)元素使之產(chǎn)生相似的運(yùn)動，由于單一視頻獲取的是平面運(yùn)動，因此其運(yùn)動數(shù)據(jù)只能使三維場景中的目標(biāo)元素產(chǎn)生平面運(yùn)動，如果要使其能控制目標(biāo)元素產(chǎn)生三維空間運(yùn)動，則需要獲取人體運(yùn)動的空間特征數(shù)據(jù)，可以通過雙視頻的方式解決。

[1]王亮,胡衛(wèi)明,譚鐵牛.人運(yùn)動的視覺分析綜述[J].計算機(jī)學(xué)報,2002,25 (3) :2252237.

[2] Collins R,Lipton A and Kanade T.Introduction to the special section on video surveillance[J].IEEE Trans Pattern Analysis and Machine Intelligence,2000,22 (8):745-746.

[3]10 Maybank S and Tan T.Introduction——special section on visual surveillance[J].International Journal of Computer Vision,2000,37 (2):173-173.

[4]Turk M.Visual interaction with lifelike characters[C].In:Proc IEEE International Conference on Automatic Face and Gesture Recognition,Killington,Vermont USA,1996,368-373.

[5]鄭江濱,趙榮椿.慢運(yùn)動背景下運(yùn)動目標(biāo)提取算法[J].計算機(jī)應(yīng)用研究.第25 卷第7 期 2008.2185～2186,2218

[6]欒慶磊,陳正偉,何勇.一種運(yùn)動背景下移動目標(biāo)的檢測方法[J].計算機(jī)與數(shù)字工程.總第228 期 2008年第10期.165～169

[7]侯一民,郭雷,倫向敏.運(yùn)動背景下基于粒子濾波的目標(biāo)跟蹤[J].計算機(jī)工程與應(yīng)用.2007,43(8).62～64,102.

[8]徐秋平,郭敏.靜止背景下基于圖割的運(yùn)動目標(biāo)檢測算法[J].計算機(jī)工程與應(yīng)用.2008，44(32).186～188,219

[9]I.Haritaoglu,D.Harwood and L.Davis.W4:Real-T i m e S u r v e i l l a n c e o f P e o p l e a n d T h e i r Activities[J],PAMI,vol.22,no.8,2000.

[10]Lipton A,Fujiyoshi H and Patil R.Moving target classification and tracking from real-time video[J].In:Proc IEEE Workshop on Applications of Computer Vision,Princeton,NJ,1998,8-14.

[11]Collins R et al.A system for video surveillance and monitoring:VSAM final report[C].Carnegie Mellon University,Technical Report:CMU-RITR-00-12,2000.

[12]B.Lucas and T.Kanade,An Iterative Image Registration Technique with an Application to Stereo Vision[C],Proceedings of the 7th International Joint Conference on Artificial Intelligence,pp.674-679,1981.