基于條件隨機場的連續手勢識別算法

耿海霄（四川大學視覺合成圖形圖像技術國防重點學科實驗室，成都　610065)

基于條件隨機場的連續手勢識別算法

耿海霄
（四川大學視覺合成圖形圖像技術國防重點學科實驗室，成都610065)

0　引言

傳統的人機交互方式，主要通過鍵盤、鼠標、觸摸屏等設備來進行，這與人在日常生活中自然的交流方式仍有很大不同。為實現更加自然的人機交互，隨著計算機科學的飛速發展，學者們對人體動作捕獲和識別做了大量研究，手勢識別技術也成為其研究核心之一。特別近年來，手勢控制被越來越多地運用到各種產品中，這種更加直觀的人機交互方式讓手勢識別技術擁有了更廣闊的應用前景，如虛擬現實、娛樂游戲、工業控制和航空航天等領域。

手勢識別的目標是將人手作為直接輸入設備，不再需要中間的媒介，直接通過已定義的手勢來控制機器。在現實生活中，人們的手勢往往是動態的、連續的，靜態手勢能夠表達的信息量難以滿足人們的需求。而動態手勢包含了連續的動作序列，不同的手勢動作常具有相似或重復的運動軌跡，且相同的手勢也會因為不同人而具有不同的運動速度。因此，提高手勢分割的的準確性和高效性，提升手勢識別的精度成為其主要的難點和突破點。

1　相關工作

如今，國內外在手勢識別方面均取得了頗多研究成果，張良國等人采用基于Hausdorff距離的模板匹配方法，建立了一個靜態手勢識別系統。Santemiz P等人利用動態時間規整法（DTW）進行多序對比，采用計算兩個序列之間的歐氏距離，區分出了不同手勢序列的起點和終點，解決了手勢分割中的分了和識別問題。W. J.Tan等人將DTW和神經網絡結合起來，實現了一種手形和運動軌跡同時變化的識別方法。Hyeon-Kyu Lee等人提出了一種基于自適應閾值的隱馬爾可夫模型（HMM）手勢識別算法，大大降低了手勢訓練和識別的難度。Elmezain M等人將CRF運用到連續手勢的分割和識別中，建立自適應閾值模型將手勢的起點和終點清晰的定位出來，提高了識別的精確度。

其中，HMM的時間尺度不變性以及訓練時較強的擴充性，使其在動態手勢識別中取得很好的效果。然而手勢動作序列之間具有長距離依賴性，但HMM需假設手勢動作序列相互獨立，采用CRF可以避免條件無關性假設，既降低了對訓練成本的要求，又更容易提高識別的精確性。

本文主要工作是采用CRF算法實現連續手勢識別，并將實驗結果與HMM算法進行比較，證明CRF算法在連續手勢識別上有一定的優勢。

2　條件隨機場

2.1條件隨機場理論基礎

條件隨機場（Conditional Random Fileds，CRF）是一種用于標注和切分有序數據 的條件概率模型，由Lafferty等人在2001年提出。該模型最早被用于有序數據的標注和分析，現在已經被廣泛應用到手勢識別領域中。

CRF本質上是給定了觀察值集合的馬爾科夫隨機場，可看作一種基于最大熵和隱馬爾可夫模型的無向圖模型。假設G=（V，E）是一個無向圖，Y={Yν|ν∈V}是以G中節點為索引的隨機變量Yν構成的集合。在給定的X條件下，如果每個隨機變量Yb服從馬爾可夫屬性，則（X，Y）就構成一個條件隨機場。即：

其中，u～v表示u和v是相鄰的邊。

假設有觀察序列X={x1，x2，…，xn}和有限狀態集合Y={y1，y2，…，yn}，則根據隨機場的基本理論，可得：

其中，tj（yi-1，yi，x，i）是觀察序列的標記位置i-1與i之間的轉移特征函數，sk（yi，x，i）是觀察序列的i位置的狀態特征函數。

將兩個特征函數統一為fj（y（i-1），yi，x，i），則：

2.2條件隨機場的三個關鍵問題

（1）特征函數的選取

狀態特征函數有過渡的性質，表示觀察序列一個特征值是否在兩個狀態之間，即若該特征值在前一狀態和當前狀態之間，則所有特征函數都是實數值：

其中，Ya和Yb表示CRF模型中的兩個特征值。

（2）參數估計

為了從訓練數據中估計特征函數的權重λ，CRF參數估計基于最大熵原則，采用極大似然估計來最大化對數似然函數。假定對于訓練數據有一組樣本集合D={x（j），y（j）}，?j=1，…，n，且樣本相互獨立的，CRF的似然函數為：

上式中，p～（x，y）為訓練樣本（x，y）的經驗概率。再對λj求偏導，得出：

令公式（6）等于0，便可求出λj。然而，極大似然估計有時并不能得到一個近似解，所以Lafferty提出了兩種迭代縮放算法——GIS（Generalised Iterative Scaling）算法和IIS（Improved Iterative Scaling）算法來選擇參數，使對數似然函數最大化。本文采用的GIS算法來訓練模型參數，使之得到最高的對數似然值。

（3）模型推斷

CRF模型見公式（2），其中，在模型訓練過程中通常會碰到一些問題，如需要求邊際分布p（yi-1，yi│x，λ），需要標記為標記的序列等。前者可以用forwardbackward算法來計算，后者則可以用Viterbi算法來找到全局最優解。

3　基于條件隨機場的手勢訓練與識別

任何一種手勢識別算法在進行手勢識別時，都需要提取手勢特征，為后續手勢建模和分類做準備。這些特征主要包括：形狀、方向角、運動速率、輪廓等。本文方法采用以方向角為主要特征，對手勢運動軌跡進行區分和分類。其中，訓練和識別的過程如圖1所示。

4　CRF算法實驗及結果

本文用Microsoft Studio 2010實現了基于CRF手勢識別算法。先利用OptiTrack硬件設備來捕獲目標三維空間坐標，并通過Motive軟件與NatNet SDK協同工作收集目標運動軌跡的坐標，最后采用已實現的CRF算法完成手勢的訓練和識別，從而完成連續手勢運動軌跡的識別工作。

圖1　 CRF訓練和識別流程圖

本文手勢數據庫由10位用戶共同錄制，其中包括圖2中的4種連續手勢序列（pug Tail，Number4，Check Mark，Delete），每種手勢收集20組樣本數據進行訓練。在手勢識別時，用戶在三維空間揮動裝置，系統對實時手勢軌跡進行識別。

圖2　手勢模板集

針對同樣的手勢庫，還采用了HMM方法進行手勢識別實驗，并與本文的CRF算法識別結果作對比，效果的對比指標是召回率（Recall）、精確率（Precision）和兩者相結合的函數F，分別表示為：

召回率 （Recall）=正確識別的手勢個數/標準結果中的手勢個數（7）

精確率 （Precision）=正確識別的手勢個數/識別出的所有手勢個數（8）

F值測試精度的描述，同時考慮了Recall表和Precision的值，表示為：

表1為使用CRF和HMM算法進行手勢識別時，根據上述指標收集手勢識別情況，計算均值后得到的統計結果。

表1　

5　結語

本文主要介紹了CRF算法和其在手勢識別中的應用。由實驗結果可知，CRF算法可以更好地描述手勢動作序列之間的相關性，使得在手勢識別過程中有更理想的識別效果。

[1]張良國，吳江琴，高文，等.基于Hausdorff距離的手勢識別[J].中國圖象圖形學報，2002（11）:1144-1150.

[2]Santemiz P，Aran O，Saraclar M，et al.Automatic Sign Segmentation from Continuous Signing Via Multiple Sequence Alignment[A]. 12th International Conference on Computer Vision Workshops（ICCV Workshops）[C].USA:IEEE，2009:2001-2008

[3]Probabilistic Models for Segmenting and Labeling Sequence Data[A].Proc of International Conference on Machine Learning[C].San Francisco:Morgan Kaufman，2001.

[4]C.Sminchisescu，A.Kanaujia，D.Metaxas.Conditional Models for Contextual Human Motion Recognition.Computer Vision and Image Understanding，2006,104（2）：210-220.

Continuous Gesture Recognition;Condition Random Fields;Likelihood Maximization;Human-Computer Interaction

Condition Random Fields for Continuous Gesture Recognition

GENG Hai-xiao

（National Key Laboratory of Fundamental Science on Synthetic Vision，Sichuan University，Chengdu 610065）

1007-1423（2016）05-0049-04

10.3969/j.issn.1007-1423.2016.05.011

耿海霄（1990-），女，四川武定人，碩士研究生，研究方向為圖形圖像技術

2016-01-08

2016-02-08

近年來，隨著計算機技術的飛速發展，基于非接觸手勢控制的人機交互方式在不同領域都得以廣泛應用。由于連續手勢之間的相互依賴性，而傳統的HMM手勢識別方法必須先假設動作序列相互獨立，對手勢識別效果會造成一定的影響。為了有更精確的識別率，在連續手勢識別過程中采用CRF算法。實驗證明，該方法提高連續手勢運動軌跡的識別率，優于傳統的HMM算法。

連續手勢識別；條件隨機場；極大似然；人機交互

Recently，with the rapid development of computer science，the human-computer interaction technology based on untouched gesture control has been widely used in different fileds.The traditional Hidden Markov Model（HMM）has the assumption that the sequence of observations is mutually independent in temporal domain.However，continuous gesture is interdependent，and HMM method has some negative impact on the result.To improve the accuracy of recognition rate,in the process of continuous gesture recognition the Condition Random Fields(CRF)method are used.The experimental results show that the method effectively improve the accuracy of recognition rate and have some advantages compared with HMM method.