基于特征融合的動作識別

周金成

摘要??? 為解決動作識別問題，本文提出一種基于特征融合的方法。提取視頻特征時，同時獲得運動特征和表觀特征，然后融合這兩種特征訓練SVM分類器。實驗時，在J-HMDB數據集上獲得了優異的表現，動作識別的精度可以達到94.8%。

【關鍵詞】視頻動作識別特征融合分類器

1 引言

計算機視覺中的動作識別任務需要確定視頻中發生動作的類別。伴隨著互聯網地發展，需要處理的視頻數量激增，而在視頻數據處理方面，動作識別方向受到越來越多人的關注。在視頻監控、視頻描述和視頻搜索等領域，動作識別有著廣泛地應用。近年來針對動作識別問題涌現了眾多優秀的解決方法，文獻[1]的思想是將圖片的空間檢測算子擴展到視頻時空檢測算子，然后獲取視頻特征，識別動作類別。文獻[2]提出用稠密軌跡來描述視頻，首先從視頻的每一幀上稠密采樣興趣點，然后基于光流場位移信息跟蹤興趣點形成軌跡，最后基于運動邊界直方圖引進一種新穎的軌跡描述子獲得視頻特征。文獻[3]在文獻[2]基礎上做了改進，降低相機運動帶來的影響，提高動作識別的精度。

由于很多方法在解決動作識別任務時，要么只考慮運動信息，要么只考慮表觀信息，無法獲得視頻中動作包含的完整信息，導致最終識別動作的準確度降低。本文利用特征融合思想，在獲取視頻特征時同時考慮運動信息和表觀信息，使得獲得的特征更具代表性。獲取視頻特征后訓練一個SVM分類器，這樣就可以判定任意一個視頻中動作的類別。

2 運動特征

一個完整的動作由連續不同的姿態組成，這種運動性是判定視頻中動作類別的重要線索。按照文獻[3]，利用公開的代碼和相同的參數設置提取視頻的稠密軌跡，但是最終只利用稠密軌跡中的HOF、MBHx和MBHy部分，因為這三個部分特征在實際應用中效果最好。然后利用BOW（bag of words）思想獲得每個視頻的運動特征。

3 表觀特征

由于一個動作中包含不同的姿態，顯然這些姿態的表觀信息對于識別動作的類別有很大幫助。對于每一個視頻，均勻采樣獲得6幀圖像，然后將每幀圖像調整成64*128大小提取HOG特征，這樣每幀圖像會獲得3780維的特征。級聯6幀圖像的表觀特征，整個視頻的表觀特征維度是6*3780。

4 融合特征及訓練SVM分類器

將運動特征和表觀特征級聯在一起，得到的融合特征就是用來描述整個視頻的特征，圖1是特征融合的過程。使用one-vs-all方案對每個動作類別訓練SVM分類器。

5 實驗結果

實驗中使用的數據集是J-HMDB，這是HMDB的一個子集，包含928個視頻，有21類動作。劃分訓練視頻和測試視頻的比例是3：1。實驗取得了很好的結果，識別的正確率可以達到94.8%。

參考文獻

[1]I.Laptev and T. Lindeberg. Space-time interest points. In ICCV. 2003.

[2]Heng Wang， Alexander Kl?ser， Cordelia Schmid， Liu Cheng-Lin. Action Recognition by Dense Trajectories. IEEE Conference on Computer Vision.2011

[3]H. Wang and C. Schmid， Action Recognition with Improved Trajectories， 2013 IEEE International Conference on Computer Vision， Sydney， NSW， 2013， pp. 3551-3558. doi： 10.1109/ICCV.2013.