一種融合視覺不變矩參數(shù)表征的動(dòng)態(tài)手勢(shì)識(shí)別方法

文政穎，王旭輝，于海鵬

（1 河南工程學(xué)院 軟件學(xué)院 鄭州 451191；2 河南工程學(xué)院 計(jì)算機(jī)學(xué)院，鄭州 451191）

0 引 言

隨著計(jì)算機(jī)視覺跟蹤和信息識(shí)別技術(shù)的發(fā)展，結(jié)合計(jì)算機(jī)視覺參數(shù)分析，建立視覺融合下的連續(xù)幀變換下動(dòng)態(tài)手勢(shì)識(shí)別模型，根據(jù)視覺變化參數(shù)和遮擋參數(shù)分析，實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)識(shí)別，并將動(dòng)態(tài)手勢(shì)算法應(yīng)用在監(jiān)控、智能交通、機(jī)器人控制規(guī)劃等領(lǐng)域中，提高動(dòng)態(tài)手勢(shì)識(shí)別和智能檢測(cè)能力，相關(guān)的動(dòng)態(tài)手勢(shì)方法在計(jì)算機(jī)視覺領(lǐng)域中具有重要意義［1］。

傳統(tǒng)方法中，連續(xù)幀變換下動(dòng)態(tài)手勢(shì)識(shí)別方法主要有主成分分析方法、模板匹配方法、聯(lián)合自相關(guān)檢測(cè)方法等，結(jié)合對(duì)連續(xù)幀變換下動(dòng)態(tài)手勢(shì)特征檢測(cè)和匹配分析結(jié)果，結(jié)合視覺跟蹤，實(shí)現(xiàn)連續(xù)幀變換下動(dòng)態(tài)手勢(shì)識(shí)別［2－3］。文獻(xiàn)［4］提出基于約束光照變化下的連續(xù)幀變換下動(dòng)態(tài)手勢(shì)識(shí)別方法，結(jié)合Harris 角點(diǎn)檢測(cè)，實(shí)現(xiàn)連續(xù)幀變換下動(dòng)態(tài)手勢(shì)檢測(cè)識(shí)別，但該方法識(shí)別的精度較高，時(shí)間開銷較大；文獻(xiàn)［5］提出基于最佳特征匹配的連續(xù)幀變換下動(dòng)態(tài)手勢(shì)識(shí)別方法，結(jié)合匹配濾波檢測(cè)，實(shí)現(xiàn)識(shí)別，提高檢測(cè)精度，但該方法的系統(tǒng)穩(wěn)定性不好，對(duì)連續(xù)動(dòng)作變化下的手勢(shì)識(shí)別能力不好。

針對(duì)上述問題，本文提出一種基于融合視覺不變矩參數(shù)表征的動(dòng)態(tài)手勢(shì)識(shí)別方法。首先，采用圖像處理和視覺融合分析技術(shù)進(jìn)行連續(xù)幀變換下動(dòng)態(tài)手勢(shì)特征采集和信息預(yù)處理；其次，對(duì)動(dòng)態(tài)手勢(shì)特征參數(shù)檢測(cè)分析，提取動(dòng)態(tài)手勢(shì)圖像的模糊特征分量，采用空間輪換變換方法，結(jié)合融合視覺不變矩參數(shù)表征方法，實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)的參數(shù)檢測(cè)和識(shí)別；最后，進(jìn)行仿真測(cè)試分析，表明本文方法在提高動(dòng)態(tài)手勢(shì)識(shí)別能力方面具有優(yōu)越性能。

1 連續(xù)幀變換下動(dòng)態(tài)手勢(shì)視覺圖像采集及預(yù)處理

1.1 連續(xù)幀變換下動(dòng)態(tài)手勢(shì)視覺圖像采集

采用圖像處理和視覺融合分析技術(shù)進(jìn)行連續(xù)幀變換下動(dòng)態(tài)手勢(shì)特征采集和信息預(yù)處理，通過匹配濾波檢測(cè)方法，構(gòu)建動(dòng)態(tài)手勢(shì)的參數(shù)檢測(cè)模型，結(jié)合分區(qū)域特征匹配方法進(jìn)行動(dòng)態(tài)手勢(shì)視覺圖像的分塊檢測(cè)，通過字典集模塊匹配，構(gòu)建動(dòng)態(tài)檢測(cè)和分布式融合模型，采用相關(guān)性融合方法進(jìn)行動(dòng)態(tài)手勢(shì)視覺圖像的特征檢測(cè)和聚類處理［6］，得到動(dòng)態(tài)手勢(shì)圖像的隨機(jī)背景子塊分布和背景字典集，如圖1 所示。

圖1 動(dòng)態(tài)手勢(shì)圖像的隨機(jī)背景子塊分布和背景字典集Fig.1 Random background sub－ block distribution and background dictionary set of dynamic gesture image

根據(jù)圖1 所示動(dòng)態(tài)手勢(shì)圖像的隨機(jī)背景子塊分布特征，初始化前景字典［7］，手動(dòng)獲取第一幀目標(biāo)參數(shù)，得到動(dòng)態(tài)手勢(shì)圖像的采集和視覺更新模型，如圖2 所示。

圖2 動(dòng)態(tài)手勢(shì)圖像的采集和視覺更新模型Fig.2 Dynamic gesture image acquisition and visual update model

在第一幀手動(dòng)截取動(dòng)態(tài)手勢(shì)特征圖像模板尺度，按m × n的大小進(jìn)行無標(biāo)記連續(xù)幀變換下動(dòng)態(tài)手勢(shì)特征識(shí)別［8］，采用等間隔特征匹配方法，得到動(dòng)態(tài)手勢(shì)圖像子塊，∈Rl×M，i＝1：M，其中l(wèi)＝m × n為子塊的維數(shù)。將動(dòng)態(tài)手勢(shì)圖像的前景字典Φtarget∈Rl×M匯聚為一個(gè)灰度不變矩。由于目標(biāo)的外觀會(huì)不斷變化，得到圖像的隨機(jī)分布序列∈Rl×N，i＝1：N，圖像的背景字典Φbca∈Rl×N，采用隨機(jī)概率密度分析，得到動(dòng)態(tài)手勢(shì)圖像的分辨率權(quán)重，式（1）：

采用模板匹配，得到動(dòng)態(tài)手勢(shì)圖像的狀態(tài)特征分布最優(yōu)解，式（2）：

其中，G（x，y；t）是當(dāng)前幀下動(dòng)態(tài)手勢(shì)圖像檢測(cè)的觀測(cè)區(qū)域；Gy為模板的像素坐標(biāo)；Gx是隨機(jī)分布不變矩；?u為仿射不變函數(shù)，該函數(shù)由參數(shù)σ決定，根據(jù)上述分析，構(gòu)建圖像的梯度融合模型，得到梯度特征增量c（x，y），式（3）：

構(gòu)建了連續(xù)幀變換下動(dòng)態(tài)手勢(shì)圖像的采集和信息融合模型，根據(jù)模糊度特征檢測(cè)結(jié)果，實(shí)現(xiàn)對(duì)連續(xù)幀變換下動(dòng)態(tài)手勢(shì)圖像的檢測(cè)和特征識(shí)別［9］。

1.2 連續(xù)幀變換下動(dòng)態(tài)手勢(shì)圖像降噪處理

通過匹配濾波檢測(cè)方法，實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)圖像的增強(qiáng)和濾波檢測(cè)，去除干擾分量，提高圖像的空間分辨率。根據(jù)圖像信息融合分布檢測(cè)，得到動(dòng)態(tài)手勢(shì)視覺圖像的分區(qū)域特征，匹配過程如圖3 所示。

圖3 動(dòng)態(tài)手勢(shì)視覺圖像的分區(qū)域特征匹配過程Fig.3 Sub－regional feature matching process of dynamic gesture visual image

假設(shè)連續(xù)幀變換下動(dòng)態(tài)手勢(shì)視覺圖像的灰度像素集為（i，j），以此為像素中心，根據(jù)運(yùn)動(dòng)動(dòng)作軌跡的特征量進(jìn)行動(dòng)作變換［10］，在銳化模板匹配集下，得到動(dòng)態(tài)手勢(shì)視覺圖像的檢測(cè)分量，式（4）：

其中，T為采樣時(shí)間；a為邊緣幅值；bm為邊界區(qū)域輪廓特征量。

為了降低連續(xù)幀變換下動(dòng)態(tài)手勢(shì)視覺圖像軌跡特征識(shí)別的誤差，結(jié)合平均幀間距離來度量參數(shù)分析，進(jìn)行像素重構(gòu)，得到連續(xù)幀變換下動(dòng)態(tài)手勢(shì)動(dòng)作位置誤差，式（5）：

其中，σθ（k）為幀點(diǎn)誤差；σx（k）為幀輸出交叉項(xiàng)；σy（k）為插值系數(shù)。

插值重建得到重建運(yùn)動(dòng)片段rm，提取動(dòng)態(tài)手勢(shì)視覺圖像W的R、G、B分量，設(shè)om，rm分別為原始運(yùn)動(dòng)序列和重構(gòu)運(yùn)動(dòng)序列，相應(yīng)得到動(dòng)態(tài)手勢(shì)視覺圖像的濾波檢測(cè)輸出，式（6）：

其中，0＜t ＜1 表示采樣序列；qi為手勢(shì)的動(dòng)態(tài)誤差；t1為第一幀采樣點(diǎn)；t2為第二幀采樣點(diǎn)。

設(shè)定RGB 分量分別為AR、AG、AB和WR、WG、WB，根據(jù)上述分析，構(gòu)建了動(dòng)態(tài)手勢(shì)視覺的降噪模型。根據(jù)圖像降噪結(jié)果，提高圖像的動(dòng)態(tài)識(shí)別能力。

2 動(dòng)態(tài)手勢(shì)識(shí)別優(yōu)化

2.1 手勢(shì)特征提取

根據(jù)圖像信息融合分布檢測(cè)，建立動(dòng)態(tài)手勢(shì)特征分析模型，采用高分辨的特征變換和模糊度檢測(cè)方法，得到特征參數(shù)分布集，式（7）：

其中，t1＜t ＜t2，t為t1和t2時(shí)刻之間的幀序號(hào)，p（t1）和p（t2）分別為不同采樣點(diǎn)的關(guān)聯(lián)維數(shù)，采用連續(xù)幀變換檢測(cè)方法，得到特征參數(shù)融合分解結(jié)果，式（8）：

其中，Rf為幀干擾項(xiàng)，表示視覺圖像的像素特征點(diǎn)在方向上的濾波輸出。

構(gòu)建動(dòng)態(tài)手勢(shì)動(dòng)作圖像信息檢測(cè)的模板匹配函數(shù)f（gi）為式（9）：

其中，c1為連續(xù)幀變換系數(shù)；為動(dòng)態(tài)手勢(shì)視覺檢測(cè)分量；ρj為匹配參數(shù)；ε為空間自由度系數(shù)，由此獲得圖像信息的背景差分量。

在圖像的分布域中，采用融合視覺不變矩參數(shù)表征方法，實(shí)現(xiàn)連續(xù)幀變換下動(dòng)態(tài)手勢(shì)的參數(shù)檢測(cè)和識(shí)別，得到特征提取輸出，式（10）～式（12）：

其中，wj為聯(lián)合信息熵，d（omi，rmi）表示原始視覺圖像第i幀和重構(gòu)運(yùn)動(dòng)第i幀之間的歐氏距離。

2.2 動(dòng)態(tài)手勢(shì)檢測(cè)輸出

在提取動(dòng)態(tài)手勢(shì)圖像模糊特征分量的基礎(chǔ)上，采用空間輪換變換方法，實(shí)現(xiàn)對(duì)連續(xù)幀變換下動(dòng)態(tài)手勢(shì)的不變矩特征檢測(cè)，考慮視覺圖像的灰度像素級(jí)f，圖像的模糊運(yùn)動(dòng)序列誤差定義為式（13）：

其中，Dp（om，rm）描述動(dòng)態(tài)手勢(shì)視覺圖像的位置誤差；Dv（om，rm）表示關(guān)節(jié)速率之差；u是調(diào)整動(dòng)態(tài)手勢(shì)視覺速率差的比例。

采用灰度不變矩特征分解方法得到圖像的任意灰度像素點(diǎn)為（x，y），得到動(dòng)態(tài)手勢(shì)視覺融合輸出，式（14）：

姿態(tài)變換特征概率權(quán)重ρi可以通過對(duì)連續(xù)幀變換下動(dòng)態(tài)手勢(shì)視覺的區(qū)域特征分布量化集Si(i＝1，2，…，M) 求得，動(dòng)態(tài)手勢(shì)視覺圖像的像素點(diǎn)子集輸出為式（15）：

其中，A為視覺圖像三維尺度信息，t（x）為視覺圖像采樣間隔。

人體動(dòng)作的軌跡分布場(chǎng)為式（16）：

其中，ft(i，j，k) 為融合視覺不變矩，求得動(dòng)態(tài)手勢(shì)視覺特征增量Δτ，式（17）：

動(dòng)態(tài)手勢(shì)特征識(shí)別輸出為式（18）、式（19）：

其中，σ為關(guān)聯(lián)分布集，Δu為動(dòng)態(tài)手勢(shì)動(dòng)作分量。

綜上分析，構(gòu)建連續(xù)幀變換下動(dòng)態(tài)手勢(shì)動(dòng)作圖像的識(shí)別模型，實(shí)現(xiàn)對(duì)動(dòng)態(tài)手勢(shì)的不變矩特征檢測(cè)，融合視覺不變矩參數(shù)表征方法，實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)的參數(shù)檢測(cè)和識(shí)別。

3 實(shí)驗(yàn)測(cè)試

采用Matlab 仿真實(shí)驗(yàn)驗(yàn)證本文方法在實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)的參數(shù)檢測(cè)識(shí)別中的應(yīng)用性能，動(dòng)態(tài)手勢(shì)采集的圖像樣本數(shù)為200 幅圖像，幀變換的速率為290 BPS／s，聯(lián)合關(guān)聯(lián)匹配數(shù)λ 設(shè)定為0.01，采用512×512 像素點(diǎn)作為訓(xùn)練集，基本手勢(shì)動(dòng)作樣本如圖4 所示。

以圖4 的手勢(shì)動(dòng)作作為測(cè)試樣本序列，實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)視覺分析識(shí)別，識(shí)別結(jié)果如圖5 所示。

圖4 基本手勢(shì)動(dòng)作樣本Fig.4 Basic gesture action sample

分析圖5 可知，本文方法能有效實(shí)現(xiàn)對(duì)連續(xù)幀變換下動(dòng)態(tài)手勢(shì)識(shí)別，對(duì)手勢(shì)動(dòng)態(tài)特征點(diǎn)的標(biāo)記能力較強(qiáng)，測(cè)試動(dòng)態(tài)手勢(shì)的二維動(dòng)作流形分布稀釋解，如圖6 所示。

圖5 動(dòng)態(tài)手勢(shì)識(shí)別結(jié)果Fig.5 Dynamic gesture recognition results

圖6 連續(xù)幀變換下動(dòng)態(tài)手勢(shì)的二維動(dòng)作流形分布稀釋解Fig.6 Dilution solution of two－ dimensional action manifold distribution of dynamic gestures under continuous frame transformation

分析圖6 可知，本文方法對(duì)連續(xù)幀變換下動(dòng)態(tài)手勢(shì)的二維動(dòng)作流形檢測(cè)的可靠性較高，測(cè)試識(shí)別精度如圖7 所示。

圖7 識(shí)別精度測(cè)試Fig.7 Identification accuracy test

分析圖7 可知，本文方法對(duì)連續(xù)幀變換下動(dòng)態(tài)手勢(shì)的二維動(dòng)作識(shí)別的精度更高。

4 結(jié)束語

本文根據(jù)視覺變化參數(shù)和遮擋參數(shù)分析，提出一種基于融合視覺不變矩參數(shù)表征的動(dòng)態(tài)手勢(shì)識(shí)別方法。構(gòu)建動(dòng)態(tài)檢測(cè)和分布式融合模型，采用相關(guān)性融合方法進(jìn)行特征檢測(cè)和聚類處理，根據(jù)圖像信息融合分布檢測(cè)，建立動(dòng)態(tài)手勢(shì)特征分析模型，結(jié)合圖像降噪和信息增強(qiáng)以及特征提取結(jié)果，實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)特征識(shí)別，提高圖像的動(dòng)態(tài)識(shí)別能力。該方法對(duì)動(dòng)態(tài)手勢(shì)視覺特征識(shí)別的精度較高，解析結(jié)果準(zhǔn)確可靠。