條件隨機場在手勢識別中的應用研究

趙玉芹，劉 琳

東華理工大學軟件學院，江西 南昌 330013

0 引言

隨著計算機應用技術的不斷發展，人與計算機的交互活動越來越成為人們日常生活的一個重要組成部分。最近幾年，符合實際交流習慣的新穎人機交互技術取得了可喜的進步。手勢識別是其中比較熱門的一個研究課題。手勢是人類最自然的表達方式之一，手勢指的是一種自然、直觀、易于學習的人機交互手段，是人與人溝通的重要媒介。在手勢識別中，由于不同的手勢動作經常同時包含類似的動作，而且動作之間的轉換在時間點上具有模糊性和重疊性。所以手勢動作的識別是人機交互領域一個復雜而具有挑戰性的研究。動態手勢識別中手勢運動序列的描述是一個關鍵問題，一些文獻使用隱馬爾可夫模型來描述手勢運動，隱馬爾可夫模型要求手勢動作序列是獨立的，而實際上手勢動作序列具有長距離依賴性。利用條件隨機場描述手勢動作序列則可以避免數據必須獨立的假設。

1 條件隨機場

1.1 包含回路的條件隨機場的轉換

可以認為條件隨機場（CRF）是一個無向圖模型，或者隨機馬爾科夫場，定義G=（V,E）為一個無向圖，存在隨機變量序列X。隨機變量sv服從馬爾科夫性質，即：

其中(X,S)為一個條件隨機場。條件隨機場是一個以觀察序列X為條件的隨機場。在給定X條件下，狀態序列S的聯合概率為

其中X是樣本序列，S為狀態序列。

可以將S認為是狀態，而X認為是觀察樣本。與隱馬爾可夫模型不同，條件隨機場模型不需要估計狀態的概率分布模型。

不同的應用模式，可以運用不同的圖形來描述條件隨機場中變量之間的關系。當變量之間存在層次概念時，可以選擇樹狀結構來描述層次關系；當要描述兩個不同路徑但是有共同時間索引的馬爾科夫模型狀態與數據之間的關系時。可以選擇動態條件隨機場架構。

在條件隨機場的相關研究中，往往使用現行鏈狀結構來描述變量之間的依賴性。事實上，在隨機場中，變量的依賴關系有時候會出現回路。尤其是在時間順序上前后相互影響的變量。這時，精確的樹狀推論方法就不能用來正確的推算變量的聯合概率。因此我們可以依照聯合樹的步驟來分析該圖形，并建立一個樹狀的結構。使得可以用標準的推演方法來推算這一圖形模型。假如圖形符合建構聯合樹的條件，則建構相對應的聯合樹圖。

1.2 特征函數的定義

條件隨機場模型的特征函數的定義取決于狀態與狀態之間的關系，以及觀察狀態序列之間的關系，因此應用最大似然訓練的隱馬爾可夫模型（HMM）進行特征提取。可以用似然度分數和狀態轉移概率來定義特征函數。首先用隱馬爾可夫模型獲得經過狀態分割的狀態序列，以及每一個時間點觀測值與每個狀態的相似度分數。即可求出特征函數的值。

定義特征函數的方法如下：對每一個手勢動作中的每一個狀態建立一個特征函數：

其中p(xt|st)代表相似度。可以得到相對應的三個特征函數為：

使用GIS（Genera1ized Iterative Sca1ing）訓練模型參數。求出對應的特征函數的值，建構條件隨機場模型。

2 基于條件隨機場模型的手勢識別

2.1 條件隨機場模型的訓練

最大化條件似然對數P（c|X）是條件隨機場模型訓練的目標，其中c為類別，每一個類別c中都存在特定的狀態序列，因此最大化P（c|X）等同于最大化p (S ∈c|X)，通過微分求極值的運算后得到最終結果，即特征函數的期望與真實模型期望相等時，條件似然對數最大。

特征函數實驗期望值的計算，每一個接受訓練的模型都有對應的訓練數據。我們可以得到這些數據對自己所屬模型的分割與似然分數，因此我們可以求出每一個對應的特征函數值，最后再將相同的特征函數在訓練數據中得到的分數相加，就的到了特征函數的實驗期望。

在計算特征函數真實模型期望時，要考慮每一個觀察序列對每一個類別都有影響，因此不能認為觀察序列所屬的類別是已知的。我們必須獲得所有觀察序列對每一個類別的分割信息與累積分數。在計算某個特征函數時，因為這個狀態只會出現在某個類別中，因此在計算時，只會有一個被加進來。因此我們可以計算出每一個特征函數的真實模型期望。步驟如下：

1）計算每一個特征函數的實驗期望值；

2）參數初始化；

3）計算每一個特征函數的真實模型期望；

4）調整參數使得每一個特征函數的真實模型期望值逼近實驗期望；

5）回到3），直到終止條件成立。

2.2 基于條件隨機場模型的識別

當一個觀察序列進入條件隨機場之前，我們可以求出每一個特征函數值，在特征函數值算好后，則可以代入鑒別函數中，求的這個觀察序列對于每一個動作的分數。鑒別函數為

其中ci為第i個動作類別，X為測試中的觀測值序列。

使用Microsoft Visau1 C++ 6.0實現了本文的算法。動態手勢樣本選用瑞士IDIAP的兩手數據庫。這個數據庫中總共包括7個雙手手勢視頻 ，分別為 Push、Up、Down、Front、Back、Left、Right。數據庫中包括訓練樣本和測試樣本，訓練樣本中，每個動作有70部。訓練樣本中，每個動作有60部。從數據庫中取100部視頻，其中30部作為訓練樣本，70部作為測試樣本。通過訓練條件隨機場模型，并進行識別實驗，實驗結果顯示識別率均在70%以上。

3 結論

本文將條件隨機場應用于動態手勢識別，解釋手勢動作序列之間的相關性。用聯合樹算法將存在回路的條件隨機場架構轉換成子圖樹，用樹狀推演算法計算整體的聯合概率。基于隱馬爾可夫模型，獲得適合于連續變量的特征函數。利用本文的算法進行了手勢識別實驗，取得了較理想的識別率。

[1]杜友田.基于視覺的人的運動識別綜述[J].清華大學自動化系.電子學報，2007(1).

[2]任雅祥.基于手勢識別的人機交互發展研究[J].計算機工程與設計，2006(7).