利用基于顏色的自適應(yīng)形狀模型實(shí)現(xiàn)手勢(shì)跟蹤

摘要:提出了一種基于顏色的自適應(yīng)形狀模型，并利用該模型實(shí)現(xiàn)了圖像序列中的實(shí)時(shí)手勢(shì)跟蹤。跟蹤算法基于自適應(yīng)的顏色模型實(shí)現(xiàn)準(zhǔn)確的手部輪廓提取，并利用基于二維顏色模型的粒子濾波器實(shí)現(xiàn)序列圖像中跟蹤目標(biāo)的運(yùn)動(dòng)估計(jì)。實(shí)驗(yàn)結(jié)果表明了基于顏色的自適應(yīng)形狀模型對(duì)凸形與凹形手部輪廓均能達(dá)到準(zhǔn)確的手部輪廓提取，并能滿(mǎn)足圖像序列手勢(shì)跟蹤的實(shí)行性要求。

關(guān)鍵詞:手勢(shì)跟蹤; 形狀模型; 顏色分布模型; 粒子濾波器

中圖分類(lèi)號(hào):TP391.41文獻(xiàn)標(biāo)志碼:A

文章編號(hào):1001－3695(2008)02－0485－03

0引言

隨著計(jì)算機(jī)應(yīng)用的深入，并伴隨著計(jì)算機(jī)及相關(guān)學(xué)科的迅猛發(fā)展，研究符合人際交流習(xí)慣的新穎人機(jī)交互技術(shù)(HCI)變得異常活躍，并取得了一定的進(jìn)展。總體來(lái)說(shuō)，人機(jī)交互技術(shù)已經(jīng)從以計(jì)算機(jī)為中心逐步轉(zhuǎn)移到以人為中心，手勢(shì)識(shí)別也逐漸成為一個(gè)研究熱點(diǎn)[1]。手勢(shì)識(shí)別技術(shù)按照實(shí)現(xiàn)途徑可分為基于數(shù)據(jù)手套的手勢(shì)識(shí)別和基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別兩大類(lèi)[2]。基于視覺(jué)的手勢(shì)識(shí)別是利用攝像機(jī)采集手勢(shì)信息，并進(jìn)行識(shí)別。該方法不需要復(fù)雜的數(shù)據(jù)手套作為輸入設(shè)備，輸入相對(duì)簡(jiǎn)單#65380;方便，但識(shí)別率比較低，實(shí)時(shí)性較差，故提高識(shí)別率與實(shí)時(shí)性是其關(guān)鍵問(wèn)題。同時(shí)在基于視覺(jué)的手勢(shì)分析與識(shí)別中，手勢(shì)跟蹤是一個(gè)關(guān)鍵環(huán)節(jié)。本文研究了基于單目視覺(jué)的手勢(shì)跟蹤，在圖像序列中實(shí)現(xiàn)手部區(qū)域的定位并提取手部輪廓信息。

通常圖像序列目標(biāo)跟蹤狀態(tài)估計(jì)是非線(xiàn)性#65380;非高斯的，粒子濾波器正是一種根據(jù)帶有噪聲的觀(guān)測(cè)數(shù)據(jù)序列估計(jì)未知運(yùn)動(dòng)狀態(tài)的技術(shù)，而且它主要用于非線(xiàn)性#65380;非高斯的系統(tǒng)[3]。本文應(yīng)用基于二維顏色模型的粒子濾波器來(lái)實(shí)現(xiàn)復(fù)雜場(chǎng)景下的手部區(qū)域的實(shí)時(shí)跟蹤，并以一種自適應(yīng)機(jī)制來(lái)快速地對(duì)手部輪廓進(jìn)行提取。該方法對(duì)凸形與凹形輪廓均能實(shí)現(xiàn)準(zhǔn)確的跟蹤，解決了其他輪廓跟蹤方法(如snake#65380;active contour等)[4]不能實(shí)現(xiàn)對(duì)凹形輪廓準(zhǔn)確跟蹤的問(wèn)題。

1利用基于顏色的自適應(yīng)模型實(shí)現(xiàn)輪廓提取

1.1顏色分布模型

本文算法用于實(shí)現(xiàn)手勢(shì)的跟蹤與識(shí)別，因此目標(biāo)的顏色分布模型主要為膚色信息模型，采用核函數(shù)直方圖來(lái)表示[6，7]。核函數(shù)直方圖是一種多元核函數(shù)無(wú)參數(shù)密度估計(jì)，它同時(shí)適用于低維空間和高維空間。而且核函數(shù)直方圖對(duì)光照變化及部分遮擋具有魯棒性#65380;旋轉(zhuǎn)和尺度不變性，適應(yīng)于變形物體的特征信息表示。假定將彩色特征空間量化為M級(jí)，則本文采用顏色分布模型—核函數(shù)直方圖表示為q={qu}Mu=1，滿(mǎn)足∑uqu=1;

基于式(1)的顏色分布模型與式(3)的形狀模型，本文提出一種改進(jìn)的自適應(yīng)形狀模型，使得形狀模型中smi能夠由顏色特征自適應(yīng)地收縮或膨脹，且在視覺(jué)跟蹤中無(wú)須在當(dāng)前幀中重新初始化，只需進(jìn)行目標(biāo)定位即可。可由下式表示:

dE/dt=-sign(vi)smiEimg(4)

其中:E表示輪廓能量信息;Eimg特指輪廓點(diǎn)處的梯度信息，且

sign(vi)=1qb(vi)>ε-1其他(5)

其中:ε為一較小閾值。

由式(4)的能量最小化過(guò)程，則找到能量最小的輪廓。在式(4)的作用下，能量函數(shù)沿著向量smi的方向隨著跟蹤目標(biāo)的顏色特征變化，從而使輪廓線(xiàn)自適應(yīng)地放縮，降低了對(duì)初始輪廓的敏感性，克服了Snake模型的不足，從而保證了視覺(jué)跟蹤中對(duì)目標(biāo)輪廓的準(zhǔn)確提取。

1.3利用基于顏色的自適應(yīng)形狀模型實(shí)現(xiàn)輪廓提取

基于式(4)的自適應(yīng)形狀模型，可實(shí)現(xiàn)輪廓的跟蹤與提取，具體步驟如下:

a)由式(4)獲取同一向量方向的邊界點(diǎn)，如圖1(a)所示。由式(3)形狀模型的狀態(tài)判斷當(dāng)前三個(gè)輪廓點(diǎn)所組成的輪廓邊界為凹形還是凸形，若為凸形，則執(zhí)行b);否則執(zhí)行c)。

b)保持當(dāng)前輪廓點(diǎn)不變，如圖1(a)所示。

c)對(duì)于這種情況，對(duì)三個(gè)輪廓點(diǎn)所成的兩條線(xiàn)段分別執(zhí)行拆分操作，如圖1(b)所示。

(a)取于線(xiàn)段的二分之一處作為新的節(jié)點(diǎn)，并由式(4)來(lái)放縮到恰當(dāng)位置;(b)重復(fù)執(zhí)行(a)直到新的輪廓點(diǎn)所成的輪廓線(xiàn)為凸形為止。

d)根據(jù)曲率方向重新排列得到的邊界點(diǎn)集合，對(duì)于距離小于固定較小閾值ε相鄰輪廓點(diǎn)可進(jìn)行合并操作。這樣，可得輪廓點(diǎn)數(shù)目適中的光滑輪廓，并得新的形狀模型。

對(duì)圖1所示的手部輪廓分別應(yīng)用傳統(tǒng)的Snake 模型與本文提出的算法進(jìn)行輪廓提取，其結(jié)果分別如圖2(黑線(xiàn)代表初始輪廓，白線(xiàn)代表曲線(xiàn)演化后輪廓)所示。圖2(a)~(d)為Snake 模型輪廓提取結(jié)果;(e)~(h)為應(yīng)用本文算法輪廓提取結(jié)果。從圖2可以看出，自適應(yīng)輪廓模型能夠自適應(yīng)地收縮與擴(kuò)張。初始輪廓的選擇可在物體內(nèi)部，也可在物體外部，而且距離物體可遠(yuǎn)可近，有較強(qiáng)的魯棒性。對(duì)圖2(d)和(h)的凹形手部輪廓自適應(yīng)輪廓模型能夠準(zhǔn)確地提取手部輪廓的凹形處，解決了Snake模型對(duì)曲形凹形處不能提取的問(wèn)題[8]。

2手勢(shì)跟蹤算法

在圖像序列中實(shí)現(xiàn)實(shí)時(shí)地目標(biāo)跟蹤，需要對(duì)目標(biāo)進(jìn)行運(yùn)動(dòng)估計(jì)與預(yù)測(cè)。通常圖像序列中目標(biāo)跟蹤狀態(tài)估計(jì)是非線(xiàn)性#65380;非高斯的。粒子濾波器正是一種根據(jù)帶有噪聲的觀(guān)測(cè)數(shù)據(jù)序列估計(jì)未知運(yùn)動(dòng)狀態(tài)的技術(shù)。而且它主要用于非線(xiàn)性#65380;非高斯的系統(tǒng)。本文利用基于式(1)的顏色分布模型的粒子濾波器實(shí)現(xiàn)序列圖像中跟蹤目標(biāo)的動(dòng)態(tài)估計(jì)。

2.1基于顏色的粒子濾波器

粒子濾波器是一種從帶噪聲的數(shù)據(jù)中估計(jì)運(yùn)動(dòng)狀態(tài)的技術(shù)，其模型構(gòu)成的重要組成部分有狀態(tài)轉(zhuǎn)移模型和觀(guān)測(cè)模型。它用一組帶權(quán)的粒子近似系統(tǒng)的后驗(yàn)概率分布。本文中基于顏色的粒子濾波器系統(tǒng)模型表示為

在每一幅幀圖像中，由式(12)取得的系統(tǒng)狀態(tài)作為粒子濾波器的最終跟蹤結(jié)果。

2.2手勢(shì)跟蹤算法

本文利用基于顏色的自適應(yīng)形狀模型及基于顏色的粒子濾波器實(shí)現(xiàn)圖像序列的手勢(shì)跟蹤。跟蹤算法分為模型初始化#65380;濾波器的運(yùn)動(dòng)跟蹤及形狀模型自適應(yīng)調(diào)整三個(gè)階段。其實(shí)現(xiàn)手部區(qū)域的輪廓調(diào)整，最終實(shí)現(xiàn)圖像序列的實(shí)時(shí)手勢(shì)跟蹤。流程圖如圖3所示。

3實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)是在序列圖像的HSV空間中實(shí)現(xiàn)算法。針對(duì)不同類(lèi)型的序列在不同的情況下進(jìn)行跟蹤，均取得了不錯(cuò)的跟蹤效果，對(duì)凸形和凹形的手部輪廓也有較好的跟蹤效果。在hand 1序列中手的位置和形狀快速變化，共有920幀，幀率為25 Hz。圖4顯示了第5#65380;185#65380;325#65380;625#65380;842幀的跟蹤效果，可以看出算法能夠?qū)崟r(shí)#65380;準(zhǔn)確地跟蹤其輪廓。對(duì)于凹形的手部輪廓的跟蹤效果如圖5所示。

4結(jié)束語(yǔ)

本文提出了利用基于顏色的自適應(yīng)形狀模型實(shí)現(xiàn)了實(shí)時(shí)的手勢(shì)跟蹤算法。該算法不僅能實(shí)現(xiàn)凸形手部輪廓的準(zhǔn)確提取與跟蹤，而且對(duì)凹形的手部輪廓也同樣有較好的效果，克服了其他輪廓算法的缺點(diǎn)。此外，基于顏色的粒子濾波器使圖像序列中運(yùn)動(dòng)目標(biāo)跟蹤達(dá)到了實(shí)時(shí)性效果，從而實(shí)現(xiàn)了很好的手勢(shì)跟蹤效果。

參考文獻(xiàn):

[1]SHAN Cai－feng， WEI Yu－chen， TAN Tie－niu， et al. Real－time hand tracking by combining particle filtering and mean shift[C]//Proc of the 6th IEEE International Conference on Automatic Face and Gesture Recognition. 2004:669－674.

[2]CHEN F S， FU C M， HUANG C L. Hand gesture recognition using a real－time tracking method and hidden Markov models[J]. Image and Vision Computing， 2003，21(8):745－758.

[3]康健，司錫才，芮國(guó)勝.基于貝葉斯原理的粒子濾波技術(shù)概述[J].現(xiàn)代雷達(dá)，2004，6(1):34－36.

[4]KASS M， WITKINM A， TERZOPOULOS D. Snakes: active contour models[C]//Proc of the 1st International Conference on Computer Vision. 1987:259－269.

[5]LANNIZZOTTO G， VITA L. On－line object tracking for colour video analysis[J]. Real－time Imaging， 2002，8(2):145－155.

[6]COMANICIU D， RAMESH V， MEER P.Kernel－based object trac－king[J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 2003，25(5):564－577.

[7]NUMMIARO K. An adaptive color－based particle filter[J]. Image and Vision Computing， 2003，21(1):99－110.

[8]HOU Zhi－qiang， HAN Chong－zhao. Force field analysis snake: an improved parametric active contour model[J]. Pattern Recognition Letters， 2005，26(5):513－526.

[9]NUMMIARO K. Object tracking with an adaptive color－based particle filter[C]//Proc of Symposium on Pattern Recognition. 2002:353－360.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文”