摘 要:基于行走運動的關節角度變化包含更豐富的個體識別信息的觀點,提出利用下肢關節角度進行步態識別的新方法。依據人體解剖學的先驗知識,通過對下肢運動分析定位盆骨、左右膝、左右踝關節點,提取相鄰關節點連線與豎直線的夾角作為運動關節角度。識別時,考慮到NN,KNN等傳統步態分類器分類能力較弱的缺點,采用針對小樣本問題具有很好分類效果的支持向量機對步態特征向量進行分類。CASIA步態數據庫上的仿真結果證明該方法具有較高的識別性能。
關鍵詞:步態識別; 支持向量機; 關節角度; 輪廓特征
中圖分類號:TP391.41 文獻標識碼:A
文章編號:1004-373X(2010)10-0086-04
Gait Recognition Based on Joint Angles
ZENG Ying, LIU Bo
(Eastern Science and Technology College, Hunan Agricultural University, Changsha 410128, China)
Abstract:A gait recognition method based on joint angles is proposed according to the view point that joint angles of motion body contain richidentification information of individuals. The lower limbs, coordinates of pelvis, knee joints and ankle joints were computed with motion analysis according to the knowledge in body anatomy, The included angles of lower limbs are extracted as the angle of the moving joints. Considering low classification capacity of traditional gait classifiers such as NN and KNN classifiers, the support vector machine(SVM) which has an effective classifying ability for small sample was used for the gait classification. The experimental results obtained fromCASIA gait database demonstrate that the approach has an encouraging recognition performance.
Keywords:gait recognition; support vector machine(SVM); joint angle; silhouette feature
0 引 言
步態識別是一種新興的生物特征識別技術,旨在通過人行走的姿勢來識別人的身份。因其具備在遠距離或低視頻質量情況下的識別潛力,且難以隱藏或偽裝,近年來引起了各國學術界的廣泛關注。
人的步態是自身生理結構、行為習慣、心理狀態等諸多因素在行走時的外在綜合表現。由于個體之間存在差異,步態亦不盡相同,故步態特征可以為人的身份識別提供獨特的線索。步態特征既包括身高、體形等基于幾何度量的特征,也包括對行為變化較敏感的運動學特征,如關節點的運動軌跡及位移速度、肢體關節角度等。直觀上,人類視覺對步態的識別很大程度上依賴于人體輪廓形狀隨時間的變化過程[1],因此,現有的步態識別方法大多基于人體輪廓特征。文獻[2]應用傅里葉描述子描述人步行時的輪廓特征,利用模板匹配法獲取待測樣本與訓練樣本的相似度,最后采用最近鄰分類器進行決策;文獻[3]利用人體二值圖像的側面外輪廓寬度矢量作為步態特征,使用隱馬爾可夫模型(HMM)進行步態識別;文獻[4]提出一種是基于Procrustes形狀分析的步態識別方法,利用統計形狀分析提取步態特征向量,分別采用最近鄰分類器、K近鄰分類器及最近標本分類器進行分類識別。
上述方法經實驗驗證是成功的,但存在一定不足:人體輪廓特征雖然能反映運動人體的形狀變化,但無法直接表達步態的運動特性,屬于步態的低層信息;而且人體輪廓形狀容易受服飾改變、外物遮擋等因素的影響,識別性能很不穩定;在分類識別方面,上述方法采用的是最簡單的模式分類方法,如最近鄰分類器、隱馬爾可夫模型等,其共同理論基礎是經典統計學,采用的是樣本數目趨于無窮大時的漸進理論,但在實際問題中,研究樣本的數目是有限的,因此這些分類方法的分類效果并不十分理想。
針對這些問題,本文使用下肢關節角度作為步態特征。下肢關節角度是重要的步態運動學參數,能有效反映步態運動的細微變化,相較于人體輪廓,包含了更豐富的步態模式變化信息。在獲得了有效的特征向量之后,關鍵問題是設計具有良好分類能力的分類器。支持向量機無需先驗知識,與傳統的模式識別方法相比具有推廣性能強、能保證全局最優等優點。本文采用支持向量機與最近鄰分類原則相結合的策略進行分類決策。
1 步態特征提取
1.1 步態檢測
采用中值法[5]估計圖像序列的背景幀;然后使用背景減除法檢測圖像中的運動目標,并在設定的閾值下對圖像進行二值分割。二值化后的圖像會出現噪聲,使用3×3的腐蝕和膨脹濾波算子去除噪聲點,并執行連通性分析進一步填充小的空洞。對預處理后的二值圖像進行邊界跟蹤,即可獲得人體外輪廓邊界線。
1.2 下肢關節點定位
在人體輪廓圖像上定義一個能包含整個人體的最小矩形框,如圖1所示,人體身高即為矩形框的寬度,記為H。根據圖2給出的解剖學中人體下肢比例關系[6],可以確定盆骨、膝、踝關節點的縱坐標分別為:Y1=0.53H,Y2=0.285H,Y3=0.039H。各關節點橫坐標的定位過程如下:
(1) 盆骨關節點:從左至右水平掃描輪廓圖像的第Y1行,記錄像素值為1的點的坐標。由圖1可知,這樣的點有兩個,分別位于盆骨點左右兩側的輪廓邊界線上,其橫坐標分別記作X1L,X1R;盆骨關節點的橫坐標X1可用下式計算:
X1=X1L+(X1R-X1L)/2(1)
(2) 膝關節點:需要確定左、右膝關節點的位置。以坐標點(X1,Y2)為起始位置,分別向左、右兩側水平掃描輪廓圖像的第Y2行;然后按步驟1的相同方法得到左、右膝關節點的橫坐標值。
踝關節點 定位方法類似于步驟(2)。
圖1 下肢關節點位置
圖2 下肢占身高的比例
人在行走時,膝、踝關節點在某些時刻會出現自遮擋現象,此時無法檢測出它們的位置。本文采用插值的方法獲得近似的關節點位置。同一步態序列中,插值公式為:
xn+2=xn+2(xn+1-xn)(2)
yn+2=yn+2(yn+1-yn)(3)
式中:下標n,n+1分別代表第n幀和第n+1幀步態圖像,第n+2幀為遮擋點所在的幀,(x , y)表示關節點的坐標。
1.3 關節角度獲取
得到各關節點的位置后,用直線連接相鄰關節點以代表人體下肢,如圖1所示。下肢關節角度可以用關節點連線與豎直線的夾角表示。如圖3所示,設人體的左大腿、右大腿、左小腿、右小腿與豎直線的夾角分別表示為:θ1,θ2,β1,β2,使用下面的公式可以計算任意一個下肢關節角度α:
α=tan-1[(x-x′)/(y-y′)](4)
式中:(x,y),(x′,y′)分別表示任意兩個相鄰關節點的坐標。
圖3 下肢關節角度
步態運動是一種時空相關的行為模式,有效的步態描述不僅需要包含豐富的步態空間特征,還應描述步態隨時間的變化信息。步態的時間特性體現在一個步態周期內步態的變化,因此,對每個步態序列,本文使用一個步態周期的4個關節角度變化序列作為步態特征矢量D,則D記為:
D=[θ1(t),β1(t),θ2(t),β2(t)](5)
2 分類識別
2.1 支持向量機的基本原理
支持向量機(Support Vector Machine,SVM)是一種泛化能力很強的分類器,建立在統計學習理論的VC維理論和結構風險最小原理基礎上,主要用于解決小樣本、非線性及高維模式識別問題[7]。在模式識別方面,對于手寫體識別、語音識別、人臉識別等問題,SVM算法的精度已超過傳統學習算法。
支持向量機理論的主要思想是尋找一個滿足分類要求的最優分類超平面,該超平面在保證分類精度的同時,能夠使超平面兩側的空白區域,即分類間隔最大化[8]。這里,最優超平面的構造問題實質上是約束條件下求解一個二次規劃問題,其最優分類函數為:
f(x)=sgn[∑ni=1αiyiK(xi,x)+b](6)
式中:sgn()是符號函數;K(xi,x)表示核函數;n為訓練樣本的個數;yi∈{-1,+1}是特征空間的類標記;b是分類閾值。在分類函數中,某些xi對應的αi為0,某些xi對應的αi>0,這些具有非零值的αi對應的向量支撐了最優分類面,被稱為支持向量。
對于線性問題,核函數K(xi,x)就是兩向量的點積運算;對于非線性情形,由核空間理論,首先通過非線性變換將輸入空間變換到一個高維空間,然后在這個新空間中求取最優線性分類面,而這種非線性變換是通過定義適當的核函數實現的。不同的核函數將形成不同的SVM算法,目前常用的核函數主要有多項式、徑向基函數和Sigmoid函數等[9]。
2.2 基于支持向量機的步態識別
SVM本質上是一種二分類方法,而步態識別是一個典型的多分類問題,為此,本文采用“One-against-Rest”(即“一對多”)方案,通過構造多個SVM二值分類器來達到多分類的目的。
假設待識別的步態有m類,分別記為C1,C2,…,Cm,構造m個SVM分類器Si (i=1,2,…,m)。對每個分類器Si,用其中的一類樣本Ci作為正樣本進行訓練,余下的所有樣本Sj (j≠i)作為負樣本進行訓練。對于正樣本,系統輸出+1,而負樣本輸出為-1。測試時,將每個測試樣本輸入到這m個分類器中,如果只有一個分類器Si輸出為+1,則將該樣本判定為第i類;若有P(P>l)個分類器輸出為+1,再利用最近鄰分類原則,即計算測試樣本與這P個分類器所代表的訓練樣本之間的距離,將測試樣本判別為距離最小值對應的那個步態類別;如果所有分類器輸出都是-1,則判定本次識別錯誤。
3 實 驗
3.1 實驗過程
采用中科院自動化所提供的CASIA步態數據庫檢驗算法的有效性。步態數據集為Dataset B中0度視角下20個人的正常狀態行走序列。每人有6個步態序列,取前3個序列進行訓練,后3個序列用于測試。對于其他視角、其他行走狀態下的實驗,有待于進一步的研究工作。
首先對訓練集中每個步態序列進行步態檢測,以獲取人體輪廓的二值圖像;然后對每幀圖像提取4個下肢關節角度,使用一個完整步態周期內的4個角度序列構建步態特征向量;最后用這些步態特征參數訓練SVM分類器,采用的是多項式核函數:
K(x,xi)=[(xxi)+1]q,q=3(7)
圖4顯示了同一個人不同步態序列的某下肢角度變化軌跡;圖5顯示了不同人的步態序列的某下肢角度變化軌跡。很明顯,同一個人的不同序列差別較小,不同人的序列存在很大的差別,這說明利用下肢關節角度變化信息能夠達到步態識別的目的。
圖4 同一個體不同序列的某下肢角度變化軌跡
圖5 不同個體的某下肢角度變化軌跡
測試時,對每個測試樣本,使用與訓練過程相同的方法提取步態特征向量;然后用訓練好的SVM分類器按照2.2節所述方法進行分類決策。
為了對不同的模式分類方法進行比較,實驗還分別選取最近鄰分類器(NN)和K近鄰分類器(KNN)對算法進行驗證。對于NN測試,每個樣本被分到離它最近鄰居所屬的類中;對于KNN測試,取K=3,即找到離測試樣本最近的三個鄰居點,并選擇主要的類,如果沒有主要的類,就簡單使用最近鄰規則。
3.2 實驗結果
表1顯示了采用NN,3NN,SVM三種分類器的正確分類率(CCR)。很明顯,對于使用相同特征提取方法所獲得的樣本特征序列,采用SVM分類器的識別性能比NN分類器和3NN分類器有了大幅度提高。這表明更成熟的分類器將大大提高分類能力,也進一步證明利用支持向量機進行步態識別的優越性。
表1 采用不同分類器的識別率
分類器CCR
NN81.7%
3NN86.7%
SVM93.3%
為了全面地報告方法的性能,實驗還計算了在不同閾值下的錯誤接受率(FAR)和錯誤拒絕率(FRR),得到相應的ROC曲線,如圖6所示。從圖中可以得到:基于NN分類器、KNN分類器、SVM分類器的ROC曲線等概率點ERR值分別為14%,12%,8.2%。可見SVM分類器的校驗性能也優于另兩個分類器,同時也體現出SVM分類器所具有的良好推廣性能。
圖6 ROC曲線
3.3 方法比較
目前國際上還沒有建立通用的步態測試數據庫,故使用本文的步態數據集對幾種代表性的步態識別方法進行驗證,所得的實驗結果如表2所示。為了公平起見,采用與本文相同的步態檢測方法(即背景減除法)對每個步態序列進行預處理。
表2 不同方法的識別率
方 法CRR
文獻[2]方法76.7%
文獻[4]方法83.3%
文獻[10]方法88.3%
本文方法93.3%
通過比較可知,本方法的識別性能明顯高于其他文獻中的方法。這主要是因為文獻[2]、文獻[4]的方法是利用人體輪廓特征進行步態識別,而本文則提取更能反映步態運動本質的下肢關節角度作為步態特征,可以更有效地描述步態模式的細微變化。文獻[10]將腿部運動設定為一個鏈接的鐘擺運動模型,然后提取盆骨的起始位置、盆骨位移速度以及股的轉動作為步態特征;雖然同樣利用下肢運動特征進行步態識別,但在識別時采用的仍是簡單的KNN分類器和NN分類器;另外,由于需要對人體運動建模,存在較大的計算量,不利于在實時環節進行實時運算。本文方法采用了具有強大分類能力的支持向量機進行分類決策,故識別效果更理想;在獲取關節角度時無需建模,簡單而易于實現。
4 結 語
針對現有步態識別方法的不足,提出一種基于下肢關節角度及支持向量機的步態識別方法。通過對步態序列圖像的運動分析,分別確定盆骨、左右膝、左右踝關節點的位置,然后提取一個步態周期的關節角度變化軌跡作為步態特征,充分體現了步態運動的時空特性。識別時,采用了在小樣本問題上很有優勢、兼顧訓練誤差和泛化能力的支持向量機,能有效克服目前常用的步態分類器的不足,獲得更好的分類效果。CASIA數據庫上的仿真結果表明,本文方法能獲得令人滿意的識別性能。
本文方法也存在一些局限,如背景簡單、視角單一、小規模的評估數據庫等,因此下一步的研究將考慮視角變化對步態識別的影響,并在大規模、復雜背景下的步態數據庫中進行算法驗證,以提高算法的魯棒性。
參考文獻
[1]王亮,胡為明,譚鐵牛.基于步態的身份識別[J].計算機學報,2003,26(3):1-7.
[2]COLLINS R T,GROSS R,SHI Jian-bo.Silhouette-based human identification from body shape and gait[C]//Proceedings of International Conference on Automatic Face and Gesture Recognition. Washington DC.[s.n.],2002:351-356.
[3]KALE A,CUNTOOR N,YEGNANARAYANA B,et al.Gait analysis for human identification[C]//Proceedings of the Fourth International Conference on Audio- and Video-Based Biometric Person Authentication. Guildford.[s.n.],2003:706-714.
[4]WANG Liang, NING Hua-zhong, HU Wei-ming, et al. Gait recognition based on procrustes shape analysis[C]//Proceedings of the Ninth IEEE International Conference on Image Processing. New York: IEEE, 2002: 22-25.
[5]田見光,趙榮椿.步態識別綜述[J].計算機應用研究,2005,11(5):20-23.
[6]YOO J H,NIXON M S,HARRIS C J.Extracting human gait signatures by body segment properties[C]// Proceedings of the Fifth IEEE Southwest Symposium on Image Analysis and Interpretation.[S.l.]: IEEE, 2002: 35-39.
[7]邊肇棋,張學工.模式識別[M].2版.北京:清華大學出版社,2000.
[8]劉向東,陳兆乾.基于支持向量機方法的人臉識別研究[J].小型微型計算機系統,2004,25(12):2261-2263.
[9]柳元春,馬樹元.支持向量機研究現狀[J].中國圖像圖形學報,2002,7(6):618-623.
[10]CUNADO D,NIXON M,CARTER J.Automatic extraction and description of human gait models for recognition purposes[J].Computer Vision and Image Understanding,2003,90(1):1-41.