基于局部描述子的人體行為識別*

齊美彬，朱啟兵，蔣建國

(1.合肥工業大學 計算機與信息學院,安徽 合肥 230009；2.合肥工業大學 安全關鍵工業測控技術教育部工程研究中心,安徽 合肥 230009)

視頻監控系統存儲了大量數據，但是大部分情況下需要人工來對監控場景中的目標行為和事件做出分析和判斷。隨著監控技術的發展，人們開始要求計算機能夠自動識別監控場景中不同類型的行為。

人體行為識別面臨諸多困難和挑戰。首先，同一種行為表現各異，沒有固定的運動模式;此外，由于背景和光照等環境的不斷變化，目標之間經常發生遮擋，使得行為識別非常困難。人體行為識別的本質是三維時空數據的分類問題，即將待識別的行為序列與預先標記好的代表典型行為的參考序列進行匹配。本文首先檢測圖像中的SURF興趣點，再根據一定的運動量準則選取能夠代表人體運動的興趣點來描述人體行為。

1 相關工作

人體行為識別通常包括兩個步驟：(1)特征提取和圖像表示；(2)行為建模和識別。目前流行的特征提取和圖像表示方法是局部方法。

局部方法通過許多相互獨立的斑塊集合來描述觀察結果，在計算時采用自下而上的方式，首先檢測時空興趣點，再計算興趣點周圍的局部斑塊，最后按照一定規則將斑塊組合起來表示人體的行為。局部方法對噪聲和部分遮擋的敏感性較小，也不要求嚴格的背景減法和跟蹤。

[1]將描述圖像的方向梯度直方圖（HOG）擴展到3D。將積分圖像的思想應用到視頻數據，計算任意尺度下的3D梯度，并基于規則正多面體對3D方向進行量化。采用這種類似于HOG的3D描述子對人體行為進行建模和分類。參考文獻[2]采用稱為方向矩形直方圖（HOR）的描述子表示和識別人體行為。參考文獻[3]用局部運動特征的分布以及特征的時空排列表示視頻序列的幀。首先檢測當前幀的運動特征，再檢測該幀的相鄰幀的運動特征，并根據相鄰幀到當前幀的時間距離對相鄰幀的運動特征進行加權。

2 局部時空特征描述

2.1 興趣點檢測方法

圖像配準領域使用的SURF描述子[4]對圖像旋轉、平移、縮放具有不變性，本文基于SURF提出一種新的局部特征檢測方法以及特征描述子。局部特征通常是指時空范圍內具有某種典型特性的興趣點。本文檢測時空興趣點的方法包括兩個步驟：(1)用SURF算法尋找多尺度空間的極值點，以獲得候選興趣點；(2)計算連續兩幀圖像的光流，只有超過最小運動量的候選興趣點才是最終的時空興趣點。

SURF算法使用快速海森檢測器來尋找空間極值點。圖像I在像素點x=(x,y)處的海森矩陣為：

其中 Lxx(x,σ)是圖像 I與二階高斯偏導積，σ 是尺度因子。G(x,σ)的定義如式(2)所示。同樣，Lyy=三個偏導數通常被稱為LoG（Laplacian of Gaussians）。

參考文獻[4]采用加權的盒子濾波器來近似計算LoG，取近似值后的 LoG分別用 Dxx、Dyy、Dxy來表示，同時提出利用式(3)來計算海森行列式的值：

其中，det(Happrox)也被稱為位置 x=(x,y,σ)處的塊響應。塊響應函數同時在空間和尺度上取得局部最大值的點就是圖像的興趣點。圖像I中每個像素和其本尺度的8個點以及相鄰尺度的18個點，共26個點做比較，以確保在尺度空間和二維圖像空間都檢測到極值點。

SURF算法檢測到的興趣點代表了圖像中的典型特征，稱為候選興趣點。視頻中雜亂的靜止背景圖像包含大量的候選興趣點，但這些候選興趣點對于描述圖像中的運動沒有任何作用。為了描述圖像中的運動模式，必須根據一定準則剔除代表背景的候選興趣點。對于視頻中的第n幀圖像In(n=1…N-1)(N是視頻的幀長度),利用SURF算法檢測到的興趣點集合為S。結合下一幀圖像In+1可以計算出集合S中每個候選興趣點的光流矢量。如果光流矢量的幅度值小于某個確定的閾值，則認為這樣的候選點為背景像素或者近似于背景的像素，從集合S中剔除代表背景的興趣點之后，就獲得了最終的時空興趣點。本文提取的時空興趣點與其他方法提取的興趣點的對比如圖1所示。

2.2 特征描述子

為了達到圖像旋轉不變性，SURF描述子首先計算每個興趣點的主方向。以檢測到的興趣點為圓心，在6σ(σ是檢測興趣點時確定的尺度)半徑范圍內計算所有像素的harr小波響應，并把響應分為沿橫坐標的水平響應和沿縱坐標的垂直響應。用一個覆蓋60°的滑動扇形窗口不斷移動，在其覆蓋的范圍內計算水平響應和垂直響應的和。這兩個響應和就產生了一個新的矢量，將其中最長的矢量作為興趣點的主方向。

描述興趣點時，以興趣點為中心建立一個邊長為20σ的正方形窗口，窗口的方向是該興趣點的主方向。把正方形窗口分成4×4個子窗口，子窗口的邊長為5σ。在每個子窗口內對所有興趣點計算尺寸為2σ的harr小波響應，并把x、y方向的響應記為dx和dy。為了增強興趣點對亮度變化的魯棒性，對整個正方形窗口內的所有像素的響應以一個興趣點為中心的二維高斯函數來加權。對每個子窗口內的所有像素分別計算dx、dy、|dx|、|dy|的和，因此每個子窗口都有一個4維矢量：vsubregion=[Σdx,Σdy,Σ|dx|,Σ|dy|]，所 以整個 SURF 描述子矢量維數是 4×4×4=64。

本文的時空興趣點不僅包含空間特征，還包含運動特征，所以應該增加對運動特征的描述。本文采用光流直方圖（HOF）來描述運動特征。在SURF描述子的每個子窗口內，計算5個bin的光流直方圖。整個窗口的光流矢量維數是5×4×4=80。把64維的 SURF描述子矢量和80維的光流矢量連接到一起形成144維的矢量，作為本文時空興趣點的描述子，如圖2所示。最終的描述子對旋轉、尺度、亮度保持不變性。

3 行為建模和分類

本文采用著名的詞袋模型BoW來表示人體行為。詞袋模型把一篇文檔表示為一些無序詞匯的集合，不考慮詞匯之間的順序，也不考慮句子中的語法關系。

詞袋模型基于詞典對文本進行建模，將每個文本看作是一個裝滿了詞的袋子，文本中的詞來自于詞典。和文本處理的方法類似，可以將一個視頻看作一個文本，將視頻圖像中提取的局部時空特征映射到詞，而局部時空特征就是2.2節闡述的描述子矢量。假設有M個包含人體行為的視頻，采用本文的方法檢測所有視頻幀中的興趣點，并用描述子對興趣點進行描述，再對所有描述子矢量進行K均值聚類，聚類中心就是詞，所有的詞合并在一起就形成了詞典。考慮單個視頻，根據視頻中出現的詞以及每個詞出現的次數可以建立一個反映詞頻分布的直方圖。

對詞袋模型進行學習和分類的典型方法是支持向量機(SVM)。訓練時將訓練視頻的詞頻直方圖以及視頻的類別標簽輸入SVM，通過訓練建立每種行為的模型；測試時將測試視頻的詞頻直方圖輸入SVM，就會輸出測試視頻的行為類別。

4 實驗結果分析

本文選擇更為復雜的UCF YouTube體育活動數據集[6]來進行行為識別和分類。該數據集有如下特點：(1)攝像機運動；(2)環境復雜、場景變化；(3)目標尺度不斷變化；(4)視角變化；(5)光照變化。該數據集包含11種行為，每種行為在25種不同的場景下完成。其樣例圖像如圖3所示。

根據2.1節所述，需要確定一個光流矢量的幅度閾值。在實驗中，水平方向和垂直方向的光流閾值分別為圖像寬度和高度的0.2%。在進行人體行為的訓練和分類時，對數據集中的視頻采用10折交叉驗證：將所有視頻分成10組，其中9組作為訓練集，剩余1組作為測試集，重復這種過程10次，取10次的平均值作為最終的行為分類精度。本文的算法對行為分類的混淆矩陣如圖4所示。

從混淆矩陣中發現，分類精度最高的行為是tennisswing，分類精度最低的行為是 biking，它與 diving、horseriding、walking、swinging都發生了混淆。導致混淆的原因是詞袋模型的假設沒有考慮文本中詞的順序。

本文結合SURF和光流提出一種新的局部時空特征檢測和描述方法。檢測出的時空興趣點既代表了空間上的顯著特征，也代表了人體運動的模式。在UCF YouTube數據集上進行了測試。實驗結果表明，本文的描述子能夠有效地表征人體運動模式，對背景變化、光照變化、視角變化具有一定的魯棒性。行為分類精度相比高于當前最好的分類方法。

參考文獻

[1]KL?SER A,MARSZALEK M,SCHMID C.A spatio-temporal descriptor based on 3d-gradients[C].Proceedings of the British Machine Vision Conference(BMVC),2008,995-1004.

[2]IKIZLER N,DUYGULU P.Histogram of oriented rectangles:a new pose descriptor for human action recognition[J].Image and Vision Computing,2009,27(10):1515-1526.

[3]ZHAO Z P,ELGAMMAL A.Human activity recognition from frame’s spatiotemporal representation[C].Proceedings of the International Conference on Pattern Recognition(ICPR),2008.

[4]BAY H,TUYTELAARS T,VAN Gl L.Surf:speeded up robust features[C].European Conference on Computer Vision,2006.

[5]LAPTEV I,LINDEBERG T.Space-time interest points[C].Proceedings of the International Conference on Computer Vision(ICCV),2003.

[6]LIU J,LUO J,SHAH M.Recognizing realistic actions from videos"in the wild"[C].Proceedings of the Computer Vision and Pattern Recognition(CVPR),2009.