基于雙目視覺的手勢關(guān)節(jié)點跟蹤方法*

高 璐 史金龍 孔 秀

（江蘇科技大學(xué)計算機(jī)學(xué)院 鎮(zhèn)江 212003）

1 引言

隨著人工智能、圖像識別技術(shù)和通訊技術(shù)的迅速發(fā)展，人機(jī)交互技術(shù)［1］成為了科學(xué)家研究的熱點。基于視覺的手勢識別，作為一種非接觸的人機(jī)交互模式，因其符合人們的動作習(xí)慣，具有直觀、操作性強(qiáng)等優(yōu)點［2］，受到廣大用戶的關(guān)注與認(rèn)可，并逐漸普及到人們的生活中。

基于視覺的手勢跟蹤主要分為手勢關(guān)節(jié)點的檢測與識別、特征點匹配、手勢的跟蹤、手勢運動預(yù)測。從兩個相機(jī)拍著的視頻中獲得手勢關(guān)節(jié)點的三維坐標(biāo)和運動參數(shù)，進(jìn)行軌跡預(yù)測。與靜態(tài)物體的三維重建相比，動態(tài)手勢的軌跡跟蹤更為復(fù)雜。除了將靜態(tài)物體建成三維立體模型［3］外，還需要考慮時間序列上目標(biāo)的跟蹤。因此，從二維視頻中恢復(fù)三維軌跡，仍具有挑戰(zhàn)性［4］。

2 相關(guān)工作

近年來，越來越多的學(xué)者投入到人機(jī)交互、手勢跟蹤的研究中。文獻(xiàn)［5］中采用三維空間加速度來記錄手的軌跡，然后采用時間動態(tài)規(guī)劃算法進(jìn)行手勢分類、并轉(zhuǎn)化成機(jī)器手的控制指令。該方法較為復(fù)雜，成本較高。文獻(xiàn)［6］中，融合Camshift和粒子濾波進(jìn)行手勢跟蹤。文中將整個手作為一個目標(biāo)物體，尋找輪廓并找到手勢運動的大概位置，且基于單目視覺跟蹤，具有單一性。文獻(xiàn)［7］采用Kinect傳感器得到手勢運動的三維數(shù)據(jù)，并轉(zhuǎn)化成一維手勢軌跡進(jìn)行動態(tài)規(guī)劃。雖然提高了魯棒性，但是借助傳感器等機(jī)械設(shè)備，在人機(jī)交互的應(yīng)用中具有局限性。

本文通過基于仿射變換的馬氏距離算法和動態(tài)線性模型跟蹤方法，重建手勢關(guān)節(jié)點的軌跡，進(jìn)行手勢跟蹤和軌跡預(yù)測。從而實現(xiàn)了基于雙目視覺的手勢跟蹤，提高了特征點匹配的精確度和手勢跟蹤的準(zhǔn)確性，并降低了時間復(fù)雜度。

3 基于雙目視覺的跟蹤模型

3.1 跟蹤模型概述

本文使用兩臺參數(shù)相同、已經(jīng)標(biāo)定的相機(jī)模擬人體雙眼，拍攝目標(biāo)的運動視頻，并獲取每一幀圖像，進(jìn)行特征點檢測、軌跡重建與分析。首先，采用張正友標(biāo)定法［8～9］對兩臺相機(jī)進(jìn)行立體標(biāo)定，得到相機(jī)在世界坐標(biāo)系的相對位置，圖像坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換。運用標(biāo)定得到的相機(jī)內(nèi)外參數(shù)、畸變系數(shù)，對原始圖像進(jìn)行立體校正［10］，使同一時刻左右視圖對應(yīng)的圖像塊保持在同一水平上，從而降低匹配復(fù)雜度。在空間匹配過程中，首先通過基于邊緣特征的優(yōu)化排序Hough梯度法進(jìn)行關(guān)節(jié)點目標(biāo)提取，找到特征點的中心坐標(biāo)。其次，采用基于仿射變換的馬氏距離算法進(jìn)行左右對應(yīng)點的匹配。再根據(jù)立體視覺原理［11］和三角形相似法則得到特征點的三維坐標(biāo)。時間序列跟蹤過程中，采用基于金字塔光流［12］的線性運動模型方法進(jìn)行跟蹤，并通過特征點的運動參數(shù)，進(jìn)行手勢姿態(tài)分析和運動軌跡預(yù)測。跟蹤模型的結(jié)構(gòu)框圖如圖1所示。

圖1 手勢跟蹤模型的結(jié)構(gòu)框圖

本文根據(jù)手部的骨骼構(gòu)成，構(gòu)建19個標(biāo)記點，分別表示手背、腕掌關(guān)節(jié)和指關(guān)節(jié)。進(jìn)行有效性手勢判定后，只要跟蹤關(guān)節(jié)點，就可以對其運動軌跡進(jìn)行識別。關(guān)節(jié)點模型如圖2所示。

3.2 立體校正

立體校正是為了使左右視圖平行對準(zhǔn)，從而降低匹配復(fù)雜度。在相機(jī)標(biāo)定步驟中，已經(jīng)獲得旋轉(zhuǎn)矩陣R、平移向量T和畸變系數(shù)。通過建立左右相機(jī)的合成矩陣和行對準(zhǔn)轉(zhuǎn)換矩陣，實現(xiàn)立體校正。步驟如下：

Step1：通過畸變系數(shù)消除圖像的畸變。

Step2：相機(jī)旋轉(zhuǎn)矩陣R劃分為左右相機(jī)的合成矩陣rl、rr，目的是實現(xiàn)圖像平面平行。

Step3：得到行對準(zhǔn)矩陣，建立換行矩陣Rrect，使極點轉(zhuǎn)換到無窮遠(yuǎn)處。其中，Rrect的創(chuàng)建如下：

圖2 手勢關(guān)節(jié)模型

3.3 目標(biāo)檢測

目標(biāo)檢測有許多經(jīng)典算法，如模板匹配、Hough變換、SURF、SIFT［13～14］等。本文檢測的目標(biāo)是帶有標(biāo)記圓點的手勢關(guān)節(jié)點。如果使用SURF、SIFT等算法，每個圓點上會檢測出多個特征點，無法進(jìn)行精準(zhǔn)匹配。相較而言采用優(yōu)化的Hough變換，可以找到更精確的目標(biāo)位置。

首先將圖像轉(zhuǎn)化成灰度圖，采用非局部歐式中值去噪算法［15］消除整幅圖像中存在的高斯噪聲，再調(diào)用形態(tài)濾波函數(shù)進(jìn)行圖像邊緣增強(qiáng)［16］，最后進(jìn)行特征點提取。對于形狀較清晰、形變不大的稀疏粒子，采用優(yōu)化的Hough梯度法提取特征點。

經(jīng)典的Hough變換是在參數(shù)空間上畫出一個完整的圓進(jìn)行投票，雖然對噪聲不敏感，但精度不足、對參數(shù)要求比較嚴(yán)格，總體穩(wěn)定性不佳。所以，提出基于優(yōu)化排序的Hough梯度法，在傳統(tǒng)的梯度法中，加入分?jǐn)?shù)過濾，將找出的圓與實際輪廓對比重合率，按照分?jǐn)?shù)高低排序，過濾掉低分的圓。具體如下。

1）先計算多個輪廓梯度向量；

2）根據(jù)搜索半徑R，沿著梯度方向和反方向距離輪廓點R長度各投一點，將候選中心存放在累加器中降序排列，記數(shù)越大越可能為圓心。

3）根據(jù)所有邊界圖中的非零點到中心的距離進(jìn)行升序排列，估計最佳半徑。

4）保留得分高的圓，與canny算子檢測到的實際輪廓進(jìn)行比對，按照重合像素的總數(shù)進(jìn)行排序，得到分?jǐn)?shù)最高的圓。

3.4 目標(biāo)匹配

通過目標(biāo)檢測，可以得到手勢關(guān)節(jié)點的特征中心，然后采用基于仿射變換的馬氏距離算法進(jìn)行對應(yīng)點匹配。

圖像中的任意一點的特征屬性可以由該特征點以及周圍的特征點之間的局部關(guān)系進(jìn)行描述。由于每個點離散分布，馬氏距離的大小不僅與各個點集的自身分布有關(guān)，還與各個點集的相對分布有關(guān)。因此，找到合適的點集是目標(biāo)匹配的關(guān)鍵。不僅可以降低匹配復(fù)雜度，還可以提高匹配正確率。

在雙目視覺模型中，通過立體校正后，兩臺相機(jī)的成像平面是共面的，且左右視圖的x方向和y方向相互平行。根據(jù)仿射變換原理［17］，將左圖的向量空間映射到右向量空間上。并構(gòu)成投影點點集L'={(x1，y1)l，(x2，y2)l，…，(xm，ym)l} ，與右圖的特征點點集R={(x1，y1)r，(x2，y2)r，…，(xm，ym)r} 構(gòu)成兩個待匹配集合。接著，遍歷L'和R，取相同的樣本空間，根據(jù)式（3）得到每個點對應(yīng)的馬氏距離遍歷左圖中每個點，計算差值，根據(jù)馬氏距離譜特征［17］的不變性可推導(dǎo)出：Δd的最小值所對應(yīng)的 (xi，yi)l和 (xi，yi)r為匹配點。

3.5 手勢跟蹤

本文采用基于金字塔光流的動態(tài)線性模型法進(jìn)行手勢關(guān)節(jié)點跟蹤。令線性運動二階線性狀態(tài)空間函數(shù)為，其中為第n幀圖像的特征點坐標(biāo)，則動態(tài)線性模型為

由于手勢在運動過程中發(fā)生不同的變化，只采用動態(tài)模型進(jìn)行預(yù)測，前后兩幀之間易出現(xiàn)跟蹤錯誤現(xiàn)象，隨著時間步長的推移，錯誤率會逐漸增加，因此結(jié)合光流法進(jìn)行優(yōu)化。采用金字塔分層Lucas-Kanade光流跟蹤法，以待跟蹤點P為中心的一個小的空間域Ω上，P點周圍各點運動矢量保持恒定；給每個點分配不同的權(quán)重，離中心點越近的點所占的權(quán)重越大；最后使用加權(quán)最小二乘法估計光流。本文結(jié)合金字塔LK光流和線性模型法，以提高跟蹤準(zhǔn)確度。具體步驟如下：

Step1：第n幀圖像上初始化特征點窗口大小和位置。

Step2：采用動態(tài)線性模型迭代獲得新的搜索窗口。

Step3：采用金字塔分層LK光流法預(yù)測第n+1幀特征點的位置。

Step4：篩選出跟蹤成功的點，即光流跟蹤的預(yù)測位置出現(xiàn)在搜索窗口中。

此方法先用過動態(tài)線性模型得到搜索范圍，再根據(jù)光流估計值平移鄰域窗口，計算圖像光流值。在搜索范圍內(nèi)篩選最佳對應(yīng)點，精確度較高。

4 實驗結(jié)果分析

本文使用兩臺FDR-AX30相機(jī)來模擬人的雙目視覺，水平并排放置。首先對相機(jī)進(jìn)行立體標(biāo)定，得到兩個相機(jī)在世界坐標(biāo)的相對位置。然后根據(jù)標(biāo)定參數(shù)建立雙目相機(jī)的合成矩陣和行對準(zhǔn)轉(zhuǎn)換矩陣，實現(xiàn)立體校正。立體校正對比如圖3所示。

圖3 立體校正對比示意圖

4.1 目標(biāo)檢測與匹配

本文使用傳統(tǒng)的Hough和優(yōu)化的Hough梯度法進(jìn)行對比，可以優(yōu)化的Hough梯度檢測的結(jié)果較為精準(zhǔn)。比較結(jié)果如圖4所示。

圖4 特征點提取方法對比圖

在點的匹配上，采用SURF算法與本文方法進(jìn)行比較。匹配數(shù)據(jù)如表1所示，匹配效果如圖5所示。

表1 特征點匹配方法比較

圖5 匹配方法對比

圖5（a）為本文所使用方法，對應(yīng)點連接線互相平行，匹配效果達(dá)到要求。圖5（b）存在許多錯誤匹配點。引入極線約束條件后，去除了781個匹配錯誤的點，但匹配率仍然較低。可見，本文方法精確度較高。

4.2 手勢跟蹤

在時間序列跟蹤上，采用經(jīng)典LK光流、動態(tài)線性動態(tài)模型跟蹤法和本文的優(yōu)化方法進(jìn)行對比。比較下一幀特征點的預(yù)測值與真實值在x方向和y方向的坐標(biāo)差Δx，Δy和誤差距離Δs。其中，Δx=x1-x0，Δy=y1-y0，。如圖6所示。

圖6 三種方法的誤差對比

圖6（a）和（b）分別展示了第69幀手勢運動數(shù)據(jù)集的19個關(guān)節(jié)點在x方向和y方向的坐標(biāo)差。x軸為關(guān)節(jié)點的序號，y軸表示誤差值。圖6（c）表示時間序列上所有點的平均誤差距離(Δs1+Δs2+...+Δsn)/n。其中，x軸表示時間序列t，y軸表示平均誤差距離。采用動態(tài)線性動態(tài)模型跟蹤法和LK光流法得到的預(yù)測值，與真實值之間誤差較大。本文方法的誤差范圍較小，在時間序列上可以跟蹤成功。

4.3 三維重建與軌跡擬合

根據(jù)三角測量和雙目立體視覺的原理，將空間上對應(yīng)匹配，時間序列上連續(xù)的手勢關(guān)節(jié)點的二維坐標(biāo)轉(zhuǎn)化成三維坐標(biāo)。并通過最小二乘曲線擬合［18］方法重建手勢關(guān)節(jié)點的運動軌跡。

如圖7（a）在Matlab中展示了第60幀手勢的三維關(guān)節(jié)點，并將關(guān)節(jié)點骨架連接。（b）展示了第37幀、第60幀、第93幀和第161幀的手勢形態(tài)和整個時間序列上關(guān)節(jié)點的運動軌跡。

4.4 軌跡預(yù)測

通過三維重建，準(zhǔn)確得到手勢關(guān)節(jié)點的空間坐標(biāo)。通過時間序列跟蹤，可以計算出關(guān)節(jié)點的運動信息，以推斷其運動趨勢。運動速度、加速度公式如下所示：

圖7 手勢重建與軌跡跟蹤示意圖

在三維坐標(biāo)集中，計算第m幀中特征點Pm在x，y，z方向上的速度Vxi，Vyi，Vzi和加速度axi，ayi，azi。令：

將運動參數(shù)代入式（8），得到手勢運動的預(yù)測位置，并在Matlab中展示，其中點畫線為真實軌跡，加粗段為預(yù)測軌跡。如圖8所示。

圖8 軌跡跟蹤

5 結(jié)語

本文主要研究手勢關(guān)節(jié)點運動的跟蹤。在傳統(tǒng)的三維重建模型的基礎(chǔ)上，提出了優(yōu)化的特征點匹配和跟蹤方法。實驗結(jié)果顯示，采用基于仿射變換的馬氏距離算法，相較傳統(tǒng)的SURF算法提高了匹配準(zhǔn)確率；此外，基于金字塔光流的動態(tài)線性模型法，減少了跟蹤誤差，實現(xiàn)了軌跡跟蹤和預(yù)測。在人機(jī)交互、三維手勢跟蹤方面具有一定的研究價值。下一步將根據(jù)手勢關(guān)節(jié)點的運動參數(shù)、運動方向進(jìn)行手勢行為分析，為后期用動態(tài)數(shù)據(jù)驅(qū)動靜態(tài)機(jī)器手臂打下基礎(chǔ)。