基于密集光流的步態識別

商 磊， 張 宇， 李 平

( 浙江大學 控制科學與工程學院， 浙江 杭州 310027 )

?

基于密集光流的步態識別

商 磊， 張 宇*， 李 平

( 浙江大學 控制科學與工程學院， 浙江 杭州 310027 )

作為一種生物特征，步態在視頻監控、行為分析等領域具有很大的應用前景．提取步態特征的關鍵在于對步態在時間、空間兩個維度上的變化模式進行描述．基于密集光流提出了一種步態特征提取算法，通過密集光流表征每幀圖像人體區域各部位的運動強度和方向，綜合一個步態周期內所有單幀特征作為步態周期的特征．利用主成分分析、線性判別分析對步態特征進行降維處理，用支持向量機進行分類，驗證提取特征的分類性能．實驗結果表明，所提算法采用光流特征，提供了豐富的動態信息，可以很好地描述步態在時間維度上的變化，在與現有步態特征描述算法的對比中，體現出了良好的識別性能．

步態識別；背景減除；密集光流；降維

0 引 言

隨著視頻監控技術和設備的成熟，視頻監控網絡在安全領域已經有了大規模的應用，隨之也產生了大量的視頻數據．用人工方式對視頻進行分析會帶來巨大的任務量，長時間進行視頻分析會造成識別效率和準確率的降低，視頻監控領域對智能化視頻監控的需要也越來越迫切．

現有的智能化視頻監控系統多是對目標進行行為分析，通過判斷目標行為是否屬于預設的違法犯罪行為來報警．但是由于多種違法犯罪行為和普通行為之間普遍存在的類內多樣性和類間相似性[1]，監控系統識別效率會受到影響．現有視頻監控網絡對公安機關的輔助作用更多地體現在案發后對案件偵破提供線索，也就是在視頻監控網絡中對嫌疑目標進行追蹤．該應用背景可以被抽象成為一個多攝像頭目標跟蹤問題．

現有的多攝像頭跟蹤算法，多使用傳統的圖像學特征，如顏色直方圖[2]，以及SIFT、LBP、HOG等描述灰度紋理的特征描述子[3-4]．這些特征僅僅對目標區域進行靜態描述，且在實際應用中會不穩定，當目標存在偽裝時會很容易失效．因此，在安全領域，一些基于生物學特征的方法得到了關注，也有了大量的研究成果，比如虹膜、指紋識別等．

然而上述的圖像學特征以及虹膜和指紋等生物學特征都是靜態的特征，除了這些靜態特征，人體目標在運動的過程中還蘊含著豐富的動態信息，基于這些動作特征同樣可以對人體目標進行識別和分類．對動作特征的相關研究表明，可以利用步態信息來對目標進行識別[5-6]．步態描述了目標行走時所具有的一些動作上的特征，相較于指紋、虹膜等特征，步態特征具有更明顯的優勢：一是無須接觸和干擾，不需要被測試者配合，不具有侵犯性；二是其信息可以在相對較遠的距離獲得．基于這些優點，步態識別在門禁系統、安全監控、人機交互、醫療診斷等領域具有廣泛的應用前景和經濟價值．

對步態識別的研究可以分為基于模型的方法和無模型的方法．基于模型的方法通過建立人體運動模型，從視頻序列中判斷關鍵幀目標的姿態，通過分析參數來進行步態識別．Lee等[7]用7個橢圓擬合人體各部位，提取橢圓參數以及人體結構參數共29個參數作為步態特征．Yam等[8]將腿建模為耦合鐘擺模型，對大腿和小腿的擺動進行分析，在頻域對步態進行分析．基于模型的方法都涉及對身體部位的估計，一旦身體部位的估計出現偏差就會影響后續的分析．基于無模型的方法通常是對人體輪廓進行分析，以人體輪廓形狀的變化模式來分析步態．Foster等[9]采用區域度量的方法將各種掩膜圖像與人體形狀信息進行疊加產生用于識別的特征．Collins等[10]基于關鍵幀分析實現對序列的匹配．Sarkar等[11]利用提取的二元人體輪廓區域的相似性度量作為特征．Kusakunniran等[12]利用步態能量圖(GEI)的方法實現了對步態特征的分類．Lam等[13]通過計算人體二值化輪廓區域的變化情況，用GFI特征表達步態．Makihara等[14]對人體輪廓區域進行離散傅里葉變換在頻域對步態特征進行表達(FG特征)．這些無模型方法所使用的特征都是基于輪廓或輪廓的變化情況，沒有提取人體區域在步態周期每個時刻的動態信息，因而損失了人體區域內豐富的信息．

為了更好地表達步態的動態信息，本文提出一種基于密集光流的步態特征描述算法，用每個時刻人體輪廓區域上各個像素點的光流特征來表征這一時刻步態所具有的動態信息．再對一個步態周期內各個時刻的特征進行綜合表征，最終在中國科學院自動化研究所CASIA Gait Database B[15]上進行實驗驗證，并與現有的GFI、FG等特征進行對比．

1 基于密集光流的步態特征

基于密集光流的步態特征提取流程如圖1所示．

1.1 前景區域提取

從視頻序列中準確地提取出人體區域是后續特征提取和識別的基礎．監控攝像頭在大多數情況下的背景是恒定的，但存在著緩慢的變化，如光照變化、室外環境下風吹樹葉的變化等，直接背景差分會引入大量的噪聲．因此考慮采用混合高斯模型對背景進行建模來抑制這些干擾，為后續特征的提取和識別提供一個良好的目標區域．

混合高斯背景模型用M個高斯模型來表征圖像中各個像素點的特征，在獲得新的一幀圖像后，取其每一個像素點的像素值與相對應的M個高斯背景模型進行匹配來判斷該點是否為背景點．若被判定為背景則對原有的M個高斯背景模型進行更新．本文根據文獻[16]的方法對視頻進行背景建模，通過對比每一幀圖像得到各個幀的目標區域．

圖1 基于密集光流的步態特征提取流程

提取到粗糙的人體區域后，用中值濾波去除零星存在的噪聲．當人體區域和背景顏色比較接近，同時紋理特征也比較相似時，如圖2(c)中目標的頸部，無論是采用基于顏色的方法還是基于紋理的方法均無法消除這種情況帶來的干擾．為了消除這種干擾，用合適的模板對圖像進行閉運算，使頭部和身體能夠連接起來，提供完整的人體區域，用提取出的人體區域與原始視頻進行與運算，可以得到彩色的人體區域．

1.2 單幀光流特征

步態的變化模式是進行識別的關鍵信息，所以把提取出的人體區域原始彩色圖保持長寬比不變統一縮放到同一高度，并在水平方向上對齊重心后放進W×H的模板區域內形成一個步態幀，這種處理方式同時也減少了計算光流的時間．在兩個相鄰步態幀之間計算光流，得到t時刻目標區域的光流信息．光流信息可以分為稀疏光流和密集光流，稀疏光流只計算相應特征點的光流信息，為了獲取穩定的光流來表征人體各區域的動態信息，本文采用文獻[17]的方法計算密集光流．光流信息表征了目標區域上t時刻各個像素點的運動情況．設圖像左上角為圖像坐標系原點，水平方向為x軸，豎直方向為y軸，原始光流信息包含了每個像素點在x方向和y方向上的光流分量u、v，用δ代表光流強度，θ代表光流方向，通過式(1)、(2)計算出光流的強度和方向，通過式(3)、(4)對光流信息進行歸一化．歸一化之后的光流信息即作為表征t時刻步態動態信息的特征，每個像素點都有兩個分量fδ和fθ，步態區域內W×H個像素點的光流信息構成了單幀步態光流圖．

(a) 背景差分 (b) 混合高斯背景建模

圖2 前景區域分割

Fig.2 Foreground region segmentation

(1)

(2)

(3)

(4)

采用Munsell顏色系統來實現步態光流圖的可視化，用不同顏色表示不同的運動方向，顏色的深淺表示運動的快慢．圖3 展示了一個步態周期中各個時刻的步態光流圖．

1.3 步態特征表示

一個步態周期內所有單幀特征共同構成了目標的步態特征，對一個步態周期的所有單幀步態

圖3 一個步態周期中各個時刻的步態光流圖

光流圖進行平均可以得到光流能量圖，每個像素點的值為對應像素點在一個步態周期內光流信息的平均值．由于步態光流圖同時包括了光流強度和方向，可以構造出3種光流能量圖，Fδ、Fθ以及Fδ+θ，對應的維數分別為W×H、W×H和2×W×H，構造方法如式(5)～(7)所示：

(5)

(6)

(7)

式中：N為一個步態周期中單幀步態光流圖的個數；fδi(x,y)為第i個單幀步態光流圖每個像素點光流強度的值；fθi(x,y)為第i個單幀步態光流圖每個像素點光流方向的值．

為了比較能量圖和頻域方法的識別效果，同時用離散傅里葉變換的方法計算出fδi(x,y)在頻域上的特征FGF．

(8)

(9)

其中DFTF(x,y,k)是對單幀步態光流圖進行離散傅里葉變換，取離散傅里葉變換的幅值分量作為描述步態的特征，k=0對應直流分量，選取k=1,2,3作為步態光流的頻域特征．

本文將在實驗部分對比分析4種光流特征對于步態識別的影響．

1.4 用于比較的其他步態特征

為了將本文提出的步態特征和現有用于步態識別的GFI特征[13]、FG特征[14]做比較，本小節簡要介紹一下GFI和FG特征．

(1)GFI特征

Ft(x,y)=(ut(x,y),vt(x,y))=

OpticalFlow(St(x,y),St+1(x,y))

(10)

(11)

(12)

(13)

其中St(x,y)是人體區域t時刻的二值化輪廓，對相鄰兩幀二值化輪廓進行光流計算得到Ft(x,y)，表示輪廓變化的情況．然后進行二值化，B[Ft(x,y)] 就是二值化后的特征，同樣用能量圖的方法對一個周期內的步態進行描述得到GFI(x,y)．

(2)FG特征

(14)

(15)

其中DFT(x,y,k)是對輪廓序列進行離散傅里葉變換，取k=1,2,3構成步態的頻域特征．

1.5 特征降維

由前述方法得到的步態特征向量維數都很高，對于本文所使用的80×80模板，對應的特征向量維數分別高達6 400、12 800和19 200．對高維度特征向量進行學習將帶來龐大的計算量，采用主成分分析方法(principal component analysis,PCA)可以對高維特征進行降維處理．用于訓練的總樣本數為Mt，G(i)代表訓練樣本集中第i個樣本(i=1,2,…,Mt)，每個樣本都是一個特征向量，由式(16)計算訓練樣本的平均值μ，由式(17)減去均值．

(16)

(17)

令

(18)

(19)

求解協方差矩陣Σ的特征值和特征向量可以得到轉換矩陣，但是計算量比較大，可以采用奇異值分解的方法求解．

(20)

S為奇異值矩陣．U和V分別是左奇異向量和右奇異向量組成的矩陣．非負奇異值按順序排列在S的對角線上，較大的奇異值對應的特征向量對訓練模式有較大的影響，取前K個最大的奇異值所對應的右奇異向量，構成特征變換矩陣(v1v2… vK)．

每個樣本x(i)都可以通過式(21)被投影到特征子空間內的一點P(i)：

P(i)=(v1v2… vK)Tx(i)

(21)

P(i)只保留了K維關鍵特征，減少了樣本維數．用式(22)表示特征向量經過壓縮之后的性能，通過設置閾值即可決定K的取值，Sii為奇異值矩陣S對角線上的元素，可以看出主成分數量越多，降維帶來的誤差率(error rate,Re)也就越?。?/p>

(22)

其中n為降維前原始特征的維數．

PCA方法是一種無監督的分類方法，把原始特征投影到各樣本間差別最大的方向上，在降維的過程中會損失數據的可分特征，所以用PCA降維后的數據進行分類效果不理想．線性判別分析(linear discrimination analysis,LDA)是一種有監督的降維方法，用LDA降維可以最大化類間方差和類內方差的比值，從而使降維后的數據具有良好的可分性．

(23)

(24)

(25)

式中：m為樣本總體均值向量，Sb為樣本類間離散度矩陣，Sw為樣本類內離散度矩陣，C為總的類別數，Ci為屬于第i類樣本的個數．

通過式(26)使特征映射到新的空間中去，為了使降維后的特征具有最大的可分性，需找到合適的w使式(27)取最大值．

y=wTx

(26)

(27)

本文首先利用PCA降維，再用LDA使經過PCA降維后的特征投影到具有最好分類性質的特征子空間，形成具有良好分類性能的特征．

1.6 分類器

采用支持向量機(SVM)作為分類器．因為SVM是二分類器，用SVM實現多類別分類通常有兩種方法．(1)一對多法(one versus rest，簡稱1-v-r SVMs)，在訓練時依次把某個類別的樣本歸為一類，其他剩余的樣本歸為另一類，這樣就構造出了C個SVM，分類時將樣本歸為具有最大分類函數值的那一類．(2)一對一法(one versus one，簡稱1-v-1 SVMs)，其做法是在任意兩類樣本之間設計一個SVM，這樣共需設計C(C-1)/2個SVM，對一個未知樣本進行預測時，對分類結果進行投票，把樣本歸為得票最多的那類．本文采用1-v-1 SVMs方法進行學習與分類．

2 實 驗

2.1 實驗設計

本文實驗在中國科學院自動化研究所CASIA Gait Database B[15]上進行，CASIA Gait Database B是一個大型的步態數據庫，包含124個人在0°到180°共11個視角下3類狀態(帶包兩個、穿外套兩個、正常狀態6個)的步態視頻．選取每個人90°視角下，正常狀態的前4個視頻作為訓練樣本庫，另外兩個作為測試樣本庫，首先提取每個視頻序列中的步態特征信息，每一個視頻序列都會包含3～5個步態周期，每一個步態周期形成的光流能量圖都作為樣本參與訓練或是測試．

選擇正確分類率(correct classification rate,Rcc)和召回率(recall rate,Rr)作為評價指標．評價指標的定義為

(28)

(29)

式中：Ti表示被識別為i類的目標中真實類別為i類的測試樣本的數量；Fi表示被識別為i類但真實類別不是i類的測試樣本的數量；Rcc是對所有C類目標正確分類率的平均，表示分類的正確率；NCi表示真實類別是i類的樣本數量；Rr表示C類目標中每類測試樣本被正確識別出的概率的平均．

2.2 實驗結果及分析

分別取綜合光流信息Fδ+θ、光流強度分量Fδ、方向分量Fθ以及頻域特征FGF作為特征進行訓練和識別．設置PCA的誤差率Re分別為0.01 和0.05，由式(22)確定保留多少主成分K．TPCA、Ttrain分別表示PCA降維和SVM訓練所用的時間．

從表1、2呈現的識別結果看，綜合了光流強度和方向的Fδ+θ特征有較好的識別效果，單獨應用光流各個分量時，強度分量Fδ比方向分量Fθ的識別效果更好，實驗結果說明在步態光流能量圖中光流的強度分量能夠提供更具辨別力的特征．對比能量圖法和頻域方法可以看出，頻域特征并沒有能量圖法的識別效果好，這是因為頻域的分析方法把圖像序列中所有幀的對應點在時間維度的變化情況當作一個信號來進行分析，對步態幀質量要求較高，當人體區域的完整性和人體區域的對齊不能很好地保證時會引入噪聲，從而對識別造成干擾，用能量圖的方法反而可以抑制噪聲，提供魯棒的特征表述．

表1 PCA識別結果(Re=0.01)

表2 PCA識別結果(Re=0.05)

Fδ+θ降維過程使用LDA后，特征的可分性能得到了提升．從表3可以看出，應用LDA后識別率有大幅度提升．當適當降低PCA提取的特征維數，亦即Re較高時，LDA訓練的時間更短，同時分類性能也更好．

表3 PCA+LDA識別結果

2.3 與現有算法的對比

從表4可以看出，本文提出的步態特征的識別效果比GFI特征和FG特征均有提高．GFI特征是計算相鄰兩幀二值化輪廓圖像的光流信息，并且把特征進行二值化來表達步態，只能區分有運動和無運動區域，而本文提出的算法則是對原始圖像計算光流，能夠提供人體區域內所有像素點的運動情況，且綜合了光流強度和方向信息，使識別率得到大幅提升．FG特征是對二值化輪廓序列進行傅里葉變換得到的步態在頻域上的特征，從表4可以看出，同樣考慮頻域分析的FG特征比本文提出的FGF特征略差，這是因為FG只考慮了二值化的輪廓信息．

表4 算法對比

3 結 語

本文提出了一種基于密集光流的步態特征提取算法，對比現有基于輪廓的步態特征，能夠提供每個時刻步態圖像所具有的豐富的動態信息，用動態信息來表達步態在時間維度上的變化．通過綜合光流強度和方向信息，能夠提高識別率，對光流各個分量進行比較，得出光流強度分量，也就是人體區域運動的幅值強度，能夠提供比運動方向更具辨別力的特征．實驗結果表明利用光流能量圖可以達到較好的分類效果．

基于本文所提出的步態特征提取與識別框架，對各部分所用算法進行深入研究和改進，還可以進一步提高識別效率．比如研究更可靠的光流計算方法．由于基于光流的步態識別的基礎就是光流信息，現有的光流算法對大尺度運動和非剛體運動的光流計算存在不足，因此研究更魯棒的光流計算方法可以為步態光流特征的準確描述提供幫助，進而提高步態識別率．本文所采用的特征是把整個光流能量圖作為高維特征向量進行處理，再通過PCA、LDA方法進行降維．可以參照傳統圖像學的一些方法，人為構造光流能量圖中的低維有效特征，比如采用直方圖描述光流能量圖的統計特征，或提取穩定特征點及其描述子作為光流能量圖的特征．

[1] 孫倩茹,王文敏,劉 宏. 視頻序列的人體運動描述方法綜述[J]. 智能系統學報, 2013, 8(3):189-198.

SUN Qian-ru, WANG Wen-min, LIU Hong. Study of human action representation in video sequences [J]. CAAI Transactions on Intelligent Systems, 2013, 8(3):189-198. (in Chinese)

[2] Park U, Jain A K, Kitahara I,etal. ViSE:Visual search engine using multiple networked cameras [C]// Proceedings - 18th International Conference on Pattern Recognition, ICPR 2006. Piscataway:IEEE, 2006:1204-1207.

[3] WANG Xiao-gang, Doretto G, Sebastian T,etal. Shape and appearance context modeling [C] // 2007 IEEE 11th International Conference on Computer Vision, ICCV. Piscataway:IEEE, 2007:4409019.

[4] Hamdoun O, Moutarde F, Stanciulescu B,etal. Person re-identification in multi-camera system by signature based on interest point descriptors collected on short video sequences [C] // 2008 2nd ACM/IEEE International Conference on Distributed Smart Cameras, ICDSC 2008. Piscataway:IEEE Computer Society, 2008:4635689.

[5] Murray M P, Drought A B, Kory R C. Walking patterns of normal men [J]. Journal of Bone and Joint Surgery, 1964, A2(46):335-360.

[6] Murray M P. Gait as a total pattern of movement:including a bibliography on gait [J]. American Journal of Physical Medicine & Rehabilitation, 1967, 46(1):290-333.

[7] Lee L, Grimson W E L. Gait analysis for recognition and classification [C] // Proceedings - 5th IEEE International Conference on Automatic Face Gesture Recognition, FGR 2002. Piscataway:IEEE Computer Society, 2002:155-162.

[8] Yam C Y, Nixon M S, Carter J N. Automated person recognition by walking and running via model-based approaches [J]. Pattern Recognition, 2004, 37(5):1057-1072.

[9] Foster J P, Nixon M S, Prügel-Bennett A. Automatic gait recognition using area-based metrics [J]. Pattern Recognition Letters, 2003, 24(14):2489-2497.

[10] Collins R T, Gross R, Shi J. Silhouette-based human identification from body shape and gait [C] // Proceedings - 5th IEEE International Conference on Automatic Face Gesture Recognition, FGR 2002. Piscataway:IEEE Computer Society, 2002:366-371.

[11] Sarkar S, Phillips P J, Liu Z,etal. The humanID gait challenge problem:data sets, performance, and analysis [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(2):162-177.

[12] Kusakunniran W, Wu Q, Li H,etal. Automatic gait recognition using weighted binary pattern on video [C] // 6th IEEE International Conference on Advanced Video and Signal Based Surveillance, AVSS 2009. Piscataway:IEEE Computer Society, 2009:49-54.

[13] Lam T H W, Cheung K H, Liu J N K. Gait flow image:A silhouette-based gait representation for human identification [J]. Pattern Recognition, 2011, 44(4):973-987.

[14] Makihara Y, Sagawa R, Mukaigawa Y,etal. Gait recognition using a view transformation model in the frequency domain [C] // Computer Vision-ECCV 2006, 9th European Conference on Computer Vision, Proceedings. Graz:Springer Verlag, 2006:151-163.

[15] Center for Biometrics and Security Research, Institute of Automation, Chinese Academy of Sciences. CASIA Gait Database B [DB/OL]. [2015-03-30]. http://www.sinobiometrics.com.

[16] Zivkovic Z. Improved adaptive Gaussian mixture model for background subtraction [C] // Proceedings of the 17th International Conference on Pattern Recognition, ICPR 2004. Piscataway:IEEE, 2004:28-31.

[17] Farneb?ck G. Two-frame motion estimation based on polynomial expansion [C] // Image Analysis. Berlin:Springer Berlin Heidelberg, 2003:363-370.

Dense optical flow-based gait recognition

SHANG Lei, ZHANG Yu*, LI Ping

( College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, China )

As a biological feature, gait has great application prospect in many fields, such as video surveillance, behavior analysis and so on. The key point of extracting gait feature is to describe the change pattern of gait both in spatial and temporal dimensions. The proposed gait feature extracting algorithm is based on dense optical flow. Dense optical flow can offer the intensity and orientation of human motion of each point in the subject region, which is the feature of a single frame. Synthesizing the features of each frame in one gait cycle can obtain the feature of a gait cycle. The dimension of gait feature is reduced by principal component analysis (PCA) and linear discrimination analysis (LDA). Then, the subjects are classified by support vector machine (SVM) to verify the classification ability of the extracted feature. The experimental results show that the proposed algorithm uses the optical flow feature to offer rich dynamic information, which can describe gait′s change in temporal dimension well, and is proved to have a better recognition performance compared with the other gait representations.

gait recognition; background subtraction; dense optical flow; dimensionality reduction

1000-8608(2016)02-0214-07

2015-10-30；

2016-01-11．

國家自然科學基金青年基金資助項目(61005085)；中央高?；究蒲袠I務費專項資金資助項目(2012QNA4024).

商 磊(1991-)，男，碩士生，E-mail:shanglei@zju.edu.cn；張 宇*(1980-)，男，博士，講師，E-mail:zhangyu80@zju.edu.cn；李 平(1954-)，男，博士，教授.

TP391.4

A

10.7511/dllgxb201602016