基于Kinect 機(jī)器的三維手勢(shì)識(shí)別研究

龐 飛，周 婷

（東軟睿馳汽車技術(shù)（沈陽(yáng)）有限公司，遼寧 沈陽(yáng) 110179）

0 引言

手勢(shì)識(shí)別由于具有簡(jiǎn)單易學(xué)、種類多樣、動(dòng)作清晰等特點(diǎn)，是人機(jī)交互中非常直觀而且非常自然的一種形式，從而使之成為近年以來人機(jī)交互[1-2]形式里對(duì)用戶制約最小的識(shí)別方式。在車載、游戲等領(lǐng)域有著良好的應(yīng)用前景。駕駛員在駕車的過程中，使用手勢(shì)發(fā)出命令，不需要將視線偏離駕駛方向，使交通事故的發(fā)生率大大降低。本文主要以車載環(huán)境下的三維手勢(shì)識(shí)別研究作為重點(diǎn)。

對(duì)于基于Kinect 取得深度圖像然后進(jìn)行手勢(shì)識(shí)別目前已經(jīng)有很多課題研究。本文通過Kinect 機(jī)器獲得手的三維立體信息作為信息輸入，對(duì)相鄰手心計(jì)算其手中心坐標(biāo)變換后的角度值，將其量化成16 個(gè)可觀察狀態(tài)，取得觀察手勢(shì)序列進(jìn)而設(shè)置HMM 的各項(xiàng)參數(shù)，最后應(yīng)用多維隱馬爾科夫模型對(duì)輸入信息進(jìn)行識(shí)別，進(jìn)而對(duì)手勢(shì)進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明，本文提出的研究方法的識(shí)別率可達(dá)到97%，而且通過Kinect 取得手部的深度圖像做手部圖像分割時(shí)只有手與Kinect 攝像頭之間的距離會(huì)對(duì)其造成影響，所以本文研究方法在背景的干擾下能達(dá)到較強(qiáng)的魯棒性和較好的實(shí)時(shí)性。

1 基于Kinect 提取手部信息

1.1 Kinect 設(shè)備簡(jiǎn)介

Kinect 是由微軟公司開發(fā)的一種周邊設(shè)備，主要用于Xbox360 等主機(jī)。它是一款集圖像識(shí)別，語(yǔ)音識(shí)別，社群互動(dòng)等功能于一體的3D 體感設(shè)備[3]。Kinect 包含三個(gè)攝像頭，RGB 攝像頭位置中間，構(gòu)成3D 結(jié)構(gòu)光深度感應(yīng)器的紅外線發(fā)射器和紅外線CMOS 攝像頭則位于兩側(cè)。Kinect 不同于普通攝像頭的是它具有CMOS，它利用這個(gè)紅外傳感器在不受周圍光照的影響下感應(yīng)周圍環(huán)境并標(biāo)注目標(biāo)物的深度值。

1.2 Kinect 獲取深度圖像

Kinect 通過3D 結(jié)構(gòu)光深度感應(yīng)器來提取圖像的深度，整個(gè)待檢測(cè)的區(qū)域被紅外發(fā)射器發(fā)射的紅外光覆蓋，同時(shí)深度圖像由CMOS 接收反射光而取得。CMOS 取得的圖像可以理解為一個(gè)“深度場(chǎng)”，這個(gè)圖像中的每個(gè)像素值表示那點(diǎn)物體與攝像機(jī)之間的距離，越黑代表離攝像頭越遠(yuǎn)，越白代表離攝像頭越近。Kinect 最終獲得一張深度圖像來表示感知范圍內(nèi)物體的深度信息。

在提取深度數(shù)據(jù)時(shí)需要注意的是Kinect 受限于其硬件本身。對(duì)于近場(chǎng)手勢(shì)的檢測(cè)，手掌如果超過了50cm 的臨界距離，則得不到有效的深度圖像。

1.3 手部信息的提取

本文采用Kinect 取得深度圖像，并對(duì)圖像深度信息進(jìn)行處理識(shí)別，不受背景光照等外部環(huán)境的影響，很大程度上提升了手勢(shì)識(shí)別的魯棒性。

有很多種方法都能在深度信息中提取手部。本文采用的方案實(shí)時(shí)性較好，即設(shè)定一個(gè)虛擬區(qū)域，此虛擬區(qū)域中認(rèn)為手部與攝像頭之間的距離最近，將深度圖像進(jìn)行二值化，將手部輪廓分離出來，然后再取均值得到手心的位置信息，從而進(jìn)行手勢(shì)跟蹤。

為了方便用戶做手勢(shì)動(dòng)作，本文將Kinect 機(jī)器置于電腦屏幕正前方，在距Kinect 正前方50～70cm 深度范圍內(nèi)，將本實(shí)驗(yàn)所用的17 寸（5:4）PC 機(jī)看做手勢(shì)識(shí)別感應(yīng)屏，即以PC 機(jī)屏幕的寬和高作為矩形虛擬區(qū)域，在此矩形虛擬區(qū)域內(nèi)進(jìn)行手勢(shì)動(dòng)作。Kinect 將此矩形區(qū)域進(jìn)行坐標(biāo)轉(zhuǎn)換映射到RGB 彩色圖像上，然后矩形區(qū)域內(nèi)進(jìn)行圖像分割得到手部，最后基于多維HMM 進(jìn)行手勢(shì)樣本訓(xùn)練和手勢(shì)識(shí)別，并將識(shí)別結(jié)果在電腦上顯示出來。

2 基于多維HMM 的手勢(shì)識(shí)別

隱馬爾科夫模型是一種用來描述隨機(jī)狀態(tài)序列的統(tǒng)計(jì)分析模型，應(yīng)用馬爾科夫鏈模擬狀態(tài)序列如何變化，由觀察序列對(duì)狀態(tài)序列變化進(jìn)行間接描述。

普通HMM 可以用λ=（S，V，A，B，π）表示，對(duì)于要檢測(cè)的樣本，在每個(gè)時(shí)間點(diǎn)上可觀測(cè)輸出都用一個(gè)數(shù)值表示。在Kinect 機(jī)器下，能夠獲取到的手勢(shì)信息多于普通攝像機(jī)，因此可以采用多種可觀測(cè)輸出來刻畫手的狀態(tài)，那么每個(gè)時(shí)間點(diǎn)可生成多個(gè)可觀測(cè)輸出，這些數(shù)值可以組成一個(gè)向量。普通HMM 無(wú)法解決可觀測(cè)輸出是一個(gè)向量的情況，因此訓(xùn)練識(shí)別就需要需采用多維HMM。

2.1 多維隱馬爾科夫模型訓(xùn)練

多維HMM 與普通HMM 相似，同樣用λ=（S，V，A，B，π）來表示，唯一與普通HMM不同的是，當(dāng)可觀測(cè)輸出維數(shù)為F時(shí)，輸出概率分布矩陣B[bij（k）]是一個(gè)N×M×F的三維矩陣。

2.2 可觀測(cè)輸出設(shè)定

可觀測(cè)輸出是一個(gè)可以觀察并測(cè)量的值，需要能夠刻畫出手勢(shì)運(yùn)動(dòng)的軌跡，根據(jù)動(dòng)作的可觀測(cè)輸出序列，可以判斷出該動(dòng)作是否是手勢(shì)以及是何種手勢(shì)。用來描述手勢(shì)運(yùn)動(dòng)軌跡的量包括運(yùn)動(dòng)方向、位置、速度、加速度等。由于平移不變性和縮放不變性是手勢(shì)識(shí)別的特點(diǎn)，可以用旋轉(zhuǎn)來區(qū)分，運(yùn)動(dòng)方向是用來描述手勢(shì)運(yùn)動(dòng)軌跡的最優(yōu)選擇。將整個(gè)360°的區(qū)域平均劃分為相鄰的16塊，每一塊分別對(duì)應(yīng)1～16中的一個(gè)可觀測(cè)輸出數(shù)值，當(dāng)相鄰幀的運(yùn)動(dòng)方向落在某個(gè)區(qū)域時(shí)，該時(shí)刻的可觀測(cè)輸出就是該區(qū)域所對(duì)應(yīng)的可觀測(cè)輸出數(shù)值。特別的，當(dāng)相鄰幀的運(yùn)動(dòng)距離過短時(shí)，可觀測(cè)輸出記為0。

為了對(duì)動(dòng)態(tài)手勢(shì)進(jìn)行觀測(cè)，需要處理連續(xù)視頻的每一幀，手的位置在每幀當(dāng)中都會(huì)產(chǎn)生變化。由于每一幀的時(shí)間間隔較短，所以連續(xù)幀之間手的相對(duì)位移量不會(huì)特別大，但也會(huì)有明顯變化。因此可以取相鄰幀之間手運(yùn)動(dòng)方向作為觀測(cè)值。

在Kinect機(jī)器下，可以得到在任意時(shí)間手在空間中的三維信息，與普通攝像機(jī)相比，在保留了XOY平面信息的基礎(chǔ)上，增加了XOZ平面和YOZ平面信息。因此可以取手在三個(gè)平面上的運(yùn)動(dòng)方向組成具有三個(gè)元素的一維可觀測(cè)輸出向量，用來進(jìn)行訓(xùn)練和識(shí)別，在每個(gè)平面上獲取可觀測(cè)輸出的方法和普通HMM相同。

3 實(shí)驗(yàn)結(jié)果與分析

3.1手勢(shì)識(shí)別實(shí)驗(yàn)

本實(shí)驗(yàn)一共設(shè)計(jì)8種手勢(shì)，包括上、下、左、右直線，順、逆時(shí)針圓形，停止不動(dòng)以及左右快速搖晃。

對(duì)于多維離散HMM，維數(shù)F的確定非常重要。數(shù)目太多會(huì)導(dǎo)致計(jì)算速度下降，并且對(duì)于手勢(shì)的描述可能出現(xiàn)過擬合的情況；數(shù)目太少可能導(dǎo)致無(wú)法描述完整手勢(shì)運(yùn)動(dòng)的所有信息。本文將手勢(shì)運(yùn)動(dòng)分別投影到XOY面、YOZ面和ZOX面這三個(gè)平面，取得手勢(shì)在三個(gè)平面上運(yùn)動(dòng)軌跡。由于三個(gè)平面是最少的能夠不丟失信息的描述手勢(shì)運(yùn)動(dòng)軌跡的平面，并且這三個(gè)平面分別正交，因此設(shè)定維數(shù)為能夠在保證識(shí)別精讀的情況下，最大的提升識(shí)別性能。

3.2實(shí)驗(yàn)結(jié)果分析

本文實(shí)驗(yàn)重復(fù)做以上8個(gè)動(dòng)作若干次，通過Kinect機(jī)器可以得到手在運(yùn)動(dòng)過程中的三維信息。將所有這些手勢(shì)坐標(biāo)序列作為訓(xùn)練樣本訓(xùn)練出8種手勢(shì)的多維HMM，并根據(jù)8個(gè)手勢(shì)的多維HMM計(jì)算出多維HMM閾值模型。測(cè)試過程中將所有樣本都當(dāng)作新的手勢(shì)輸入進(jìn)去，各種手勢(shì)識(shí)別率如表1所示。

表1 各種手勢(shì)識(shí)別率

通過實(shí)驗(yàn)結(jié)果可以看出，根據(jù)Kinect機(jī)器得到的三維信息并運(yùn)用多維HMM基本能夠達(dá)到對(duì)手勢(shì)進(jìn)行識(shí)別的效果，對(duì)上、下、左、右直線，左右快速搖晃、順時(shí)針圓形及逆時(shí)針圓形等手勢(shì)基本都能準(zhǔn)確識(shí)別，但對(duì)于停止不動(dòng)手勢(shì)的識(shí)別效果沒有其他手勢(shì)識(shí)別效果好，主要因?yàn)橛脩糇鲮o止的手勢(shì)時(shí)，由于使用者本身的無(wú)意識(shí)抖動(dòng)或者Kinect機(jī)器檢測(cè)的誤差，導(dǎo)致在產(chǎn)生誤差的時(shí)間點(diǎn)，運(yùn)動(dòng)方向是隨機(jī)的，并無(wú)規(guī)律可循，無(wú)法進(jìn)行較好的識(shí)別，可嘗試采用其他可觀測(cè)輸出計(jì)算方法或者采用其他模型對(duì)這一手勢(shì)進(jìn)行識(shí)別。

4結(jié)語(yǔ)

本文研究基于體感設(shè)備Kinect取得深度信息從而進(jìn)行動(dòng)態(tài)手勢(shì)識(shí)別的方法，通過OpenCV對(duì)手部進(jìn)行檢測(cè)跟蹤與分割等一系列預(yù)處理，采用多維HMM訓(xùn)練與識(shí)別手勢(shì)軌跡，對(duì)手勢(shì)運(yùn)動(dòng)軌跡的提取與分類進(jìn)行改進(jìn)。實(shí)驗(yàn)結(jié)果可以看出，基于HMM的手勢(shì)識(shí)別方法更靈活，對(duì)三維動(dòng)態(tài)手勢(shì)有較高的識(shí)別率。

為了保障實(shí)時(shí)性和準(zhǔn)確性，本文采用簡(jiǎn)易的動(dòng)態(tài)手勢(shì)進(jìn)行測(cè)試，從而保證實(shí)時(shí)準(zhǔn)確性。以后將生成一個(gè)完整多樣的動(dòng)態(tài)手勢(shì)樣本集來對(duì)本文的方法進(jìn)行改進(jìn)，，進(jìn)而提高本研究的魯棒性和推廣性。