基于運動歷史圖和支持向量機的手勢識別

文/于樂

基于運動歷史圖和支持向量機的手勢識別

文/于樂

利用背景建模得到運動目標的前景后，如何對動作提取有效的信息進行分類是能否成功識別手勢的關鍵。本文利用混合高斯模型GMM得到的前景圖像序列獲得運動歷史圖MHI，進而對各個動作的MHI提取HOG特征，通過支持向量機SVM的訓練后可以準確識別不同的手勢動作。

手勢識別背景建模 MHI 支持向量機

運動的跟蹤和分類是計算機視覺中重要的研究方向，在視頻監控、人機交互中有廣泛的應用。目前利用深度傳感器和可穿戴傳感器可以準確地識別動作，但是成本較高，本文采用普通攝像頭采集圖像，通過分割前景、特征提取和訓練分類器三步實現手勢識別。

1 基于背景建模提取前景

本文采用背景建模法中的混合高斯模型，該模型對每一個像素用多個高斯分布函數來描述，從而建立起場景的背景圖像，在用當前幀與背景圖像進行背景減除，再通過膨脹和腐蝕等操作得到運動前景。因為混合高斯采用多峰分布，所以可以濾去反復抖動的背景，從而提高了魯棒性和準確性。

得到的運動前景圖和背景圖像如圖1所示，可見背景圖像保留了不運動的區域，而前景圖有效地分割出了運動區域。

圖1：基于混合高斯模型的前景圖和背景圖

2 獲取MHl圖像并提取特征

運動歷史圖MHI的原理是根據連續圖像序列在時間上的疊加，對運動動作提供一個全局描述。具體操作是對一段時間內每個像素的值進行加權疊加，從而得到有方向性的動作描述圖像。該方法的計算公式如式(1)所示，其中B(X,Y)是前景圖像序列，τ是時間窗口長度。

得到的當前前景圖和運動歷史圖如圖2所示，其中前景圖值包含當前幀運動目標的信息，而運動歷史圖可以描述整個動作，圖中為畫圓的動作，其中顏色越深說明距離當前時間越近，所以可以推斷出圖中的圓為逆時針畫圓。

圖2：根據前景圖得到的運動歷史圖

在得到MHI后對其提取方向梯度直方圖HOG特征，因為一幅圖像中目標的表象和形狀能夠被梯度或邊緣的方向密度分布來描述，所以可以通過計算和統計圖像局部區域的梯度方向直方圖來提取特征。具體操作為將MHI二值圖分成細胞單元，然后采集每個小的連通區域中像素點的方向直方圖，最后將直方圖結合起來。

在本文中先對MHI降維成64×64的圖像，進行提取后每張MHI得到1764個HOG特征，將所有單元的HOG特征串聯起來就得到該時刻MHI的檢測子descriptor。

圖3：依次為向右、向下、對鉤、畫圓

3 手勢動作的標記和識別

在得到大量手勢識別的樣本后，可以進行SVM訓練。其中正樣本為每個動作結束時的運動量歷史圖，標記為1，負樣本為其他非特殊動作圖像，標記為0，將正負樣本的HOG特征作為輸入向量放入SVM中進行訓練，訓練好的分類器保存在XML文件中，在之后識別時不再需要訓練SVM，只需載入該分類器即可。

4 實驗結果分析

本文采用的樣本包括上下左右移動、對鉤、打叉、畫圓七個動作，最終測試錄像未參與訓練。分類器得到的結果會實時顯示在圖像上，結果如圖3所示。

將7個動作一次標號為1-7，未檢測標號為0，得到動作-時間圖像如圖4所示。

圖4：動作序號-時間圖像

由圖像可以發現兩個問題，一是第一個動作沒有識別處理，這是因為開始混合高斯模型還未完全建立，此時無法準確提取出前景目標，想要快速建立可以提高模型更新的學習率。二是在第五個和第六個動作中出現了誤檢，這是因為在訓練SVM分類器時正樣本數量還不夠，若繼續增加樣本數量，可以進一步提高準確率。

至此完成了對手勢動作的識別，其中準確率較高，誤檢率為1.9%，同時處理圖像的速度也滿足實際應用的要求。在此基礎上，可以將識別出的結果應用于諸多領域，實現手勢操控的人機交互。

[1]Stauffer C,Grimson W E L.Adaptive Background Mixture Models for Real-Time Tracking[C].cvpr.IEEE Computer Society,1999:2246.

[2]Davis J W.Hierarchical Motion History Images for Recognizing Human Motion[C].Detection and Recognition of Events in Video, 2001.Proceedings. IEEE Workshop on. IEEE,2001:39-46.

[3]Dalal N,Triggs B.Histograms of oriented gradients for human detection[C].IEEE Computer Society Conference on Computer Vision & Pattern Recognition.IEEE Computer Society,2005:886-893.

作者單位東南大學自動化學院 江蘇省南京市 210096