基于下肢輪廓角度距離和步幅變化的步態識別算法研究

王 希 娟

(陜西國際商貿學院信息與工程學院　陜西 西安 712046)(西安科技大學計算機科學與技術學院　陜西 西安 710054)

0　引　言

如今，作為保障人們生命、財產安全的有效方式，人臉識別、語音識別、虹膜識別等生物特征識別技術在智能視頻監控門禁系統中的應用越來越廣泛。盡管如此，由于不法分子的偽裝手段隨著科技的發展而花樣百出，時常令人們防不勝防，這些技術也迎來了新的挑戰。由于人體走路姿態的各異性和唯一性，因此步態具有難以偽裝和不易隱藏的特點，而且視頻監測時無需受試者配合、對硬件要求低、可以遠距離感知，現已成為國內外學者研究的熱點之一[1]。

國外以卡內基梅隆大學為代表的眾多院校為此做出了諸多貢獻，而國內雖起步較晚，但以中科院自動化研究所為代表的各大院校也紛紛進行了步態識別的相關研究。Luo等[2]基于虛擬姿態合成技術進行了3D人體重構，并實現多視角的人體步態識別。Xing等[3]提出一種多視角的步態識別完整典型相關分析方法，該方法通過使用傳統的典型性相關分析(CCA)方法得到奇異廣義特征系統，并將其計算問題轉化為兩個穩定特征值分解的問題，在保存了包含重要區別信息和相關性信息維度的情況下，降低了運算的復雜度，有效地緩解了傳統的典型性相關分析(CCA)方法在高維矩陣方面的計算負擔。Chen等[4]通過整合多視角超圖學習(MHL)方法和基于超圖的重排序框架，將稀疏編碼融合到重排序模型中，提出了一種多視角超圖學習重排序方法，將問題轉化為對超圖進行拉普拉斯稀疏編碼的問題。該方法不僅達到了較高的識別率，而且明顯優于排序的方法，尤其適用于困難的受試者不協作的場合。

由于步態與人體走路的姿態密切相關，而人體輪廓蘊含著諸多步態特征，因此輪廓圖像也成為了步態特征提取的關鍵信息之一。Zeng等[5]運用代表了步態運動動力學的多幀圖像輪廓寬高比、面積、質心和寬度的變化信息，有效地識別了具有微小差異的步態模式。Kushwaha等[6]基于多視角捕獲步態圖像，提取了人體質心到輪廓點的歐式距離和局部二進制模式(LBP)特征進行了人體活動的識別。趙子健等[7]提取了二值圖像質心到各輪廓像素的角度，并以角度直方圖向量作為步態特征進行了步態識別，該算法計算量小、易于實現，對噪聲和陰影等干擾具有魯棒性。趙志杰等[8]基于步態圖像輪廓選取了圖像不變矩、幀差百分比和改進的角度距離三種步態特征，并提出了一種改進的K近鄰算法，實現了圖像的步態識別。陳玲等[9]通過提取人體質心高度、質心到頭頂的距離、質心到左足邊緣的距離和質心到右足邊緣的距離四個特征，采用動態時間規整算法(DTW)實現了較好的識別性能。王浩等[10]基于人體輪廓解卷繞方法提取了質心到輪廓的距離為步態特征，對線性判別分析(LDA)算法進行了改進，將各樣本間的距離作為權重來重新定義類間離散度，解決了線性判別分析(LDA)算法在重疊類區分時的困難，降低了邊緣類對特征投影空間的影響，取得高識別率的同時，降低了計算復雜度。李凱等[11]提取了腿部輪廓與整體圖像相結合的步態特征，采用了改進的PCA方法，將非負特征值對應的特征向量構成低維變換空間，克服了傳統PCA方法在拋棄小的主成分時隨之丟失有用鑒別信息的問題，提高了算法的識別率。連旭[12]提取了人體下肢角度變化軌跡作為特征矢量，并與人臉識別相結合，提出了一種人臉與步態混合進行身份識別方法。

上述基于輪廓圖像進行步態識別的算法各有側重，也取得了較好的識別效果，但也有一定的局限性。如文獻[10]僅在固定視角下可以進行步態識別。文獻[5]對微小步態差異的識別具有魯棒性，但該算法僅能識別人體側面圖，并且在人體背包狀態下算法的健壯性不強。文獻[8]采用了具有龐大計算量的圖像不變矩作為步態特征，以致于該算法的識別率雖然很高，但耗費的時間也較長等。文獻[9]降低了算法的計算復雜度，提高了計算效率，但易受受試者背包和衣著變化的影響，識別率比正常行走時明顯降低。而在實時響應要求較高的視頻監控門禁系統中，需要的是一種識別率高的、響應時間快、對衣著、背包等狀態不敏感的步態識別算法，因此算法設計應在保證較高識別率的同時盡可能地縮短步態識別的時間，并對衣著、背包狀態具有較好的魯棒性。

為了實現上述目標，并考慮到步態識別主要與下肢運動相關，本文提出一種基于下肢輪廓角度距離變化的步態識別算法。在圖像檢測與預處理階段，首先使用背景減除法對視頻監控獲取的圖像幀提取前景目標，然后按各幀前景目標圖像最小外接矩形的高度最大值進行圖像裁剪、縮放，實現目標圖像的二值化和歸一化處理，最后根據目標圖像的寬高比變化確定步態序列的周期。在特征提取階段，不僅提取了圖像質心變化和步幅變化兩種步態特征，還將文獻[8]中提取的角度距離特征及其方法進行了改進，將文獻[8]采用的質心到人體全部輪廓的角度距離改為骨盆關節點到人體下肢輪廓的角度距離，并提取了所有圖像幀的下肢角度距離，以其動態變化作為一種步態特征。在中科院CASIA步態數據庫中的實驗表明，本文算法既完整的表達了人體運動的關鍵特征，達到了較好的識別率，同時又降低了計算的復雜度，縮短了視頻監控中人們步態識別的響應時間。

1　步態識別流程

視頻實時監控系統的步態識別過程主要包括讀取視頻圖像幀、分割前景圖像、預處理、步態周期檢測、步態特征提取、步態的分類識別等過程，如圖1所示。

圖1　步態識別流程圖

2　圖像預處理

由于視頻監控是全天候的，背景圖像易于獲取，因此，通過背景減除法獲取前景圖像也十分便捷。通過將讀取的視頻圖像幀與背景圖像相減，并選取閾值對差分結果進行二值化處理，即可得到前景圖像幀的二值化圖像，計算公式如下：

(1)

式中:Fd表示獲得的前景圖像幀的二值化圖像，Ft表示讀取的t時刻視頻圖像幀，F0表示背景圖像，T表示選取的固定閾值，重復計算即可獲得一系列前景圖像的二值化圖像。

由于攝像頭獲取的人體目標大小會隨人們由遠及近的移動而由小變大，造成提取的前景目標圖像大小出現差異。為了保證圖像的高度一致和寬高比保持不變，對獲取的一系列圖像幀需要進行處理。具體方法如下：

(1) 對獲取的一系列圖像計算人體最小外接矩形，并求出最小外接矩形的寬度w、高度h和寬高比ρ，其中ρ的計算公式如下：

ρ=w/h

(2)

(2) 對計算得到的所有人體最小外接矩形的高度進行對比，求出最小外接矩形的高度最大值Hmax。

(3) 按照最小外接矩形對圖像進行裁剪，公式如下：

bw1=imcrop(bw,[col6,row6,w,h])

(3)

式中:imcrop()表示裁剪函數，bw表示Fd中的某幀圖像，bw1表示bw按照最小外接矩形裁剪之后的圖像，col6表示bw1左上角的像素點在bw中的橫坐標，row6表示bw1左上角的像素點在bw中的縱坐標。

(4) 以Hmax為參數，利用雙三次插值算法在保持寬高比ρ不變的情況下按照Hmax對系列圖像幀進行等比例縮放，即可獲得歸一化的人體區域圖像序列，公式如下：

bw2=imresize(bw1,[Hmax,ρHmax],bicubic)

(4)

式中:imresize()表示縮放函數，bw2表示bw1進行縮放后的圖像，bicubic表示采用雙三次插值算法進行圖像縮放。

由此可見，在預處理過程中，首先按照最小外接矩形對圖像進行了裁剪，然后在保持寬高比不變的情況下，按照所有圖像幀的圖像高度最大值進行了圖像的縮放。經過預處理的圖像幀，首先是關于步態運動的人體最小外接矩形圖像，其次是所有圖像幀的高度一致，以及圖像處理前后寬高比保持不變。預處理的目標圖像如圖2所示。

人體步態具有周期性特點，根據預處理圖像的寬高比ρ的變化求出人體寬高比隨時間變化曲線，如圖3所示。其中，橫坐標表示步態序列幀數，縱坐標表示寬高比大小，波峰表示雙腿著地分開最大時的寬高比，波谷表示雙腿并攏著地時的寬高比，連續三個波谷的時間間隔即為一個步態周期。

圖3　步態序列周期曲線

3　特征提取

在視頻實時監控中，人們的步態識別應在保持準確的識別率情況下盡可能地縮短響應時間。因此，提取的步態特征應盡可能的簡單、有效，算法也應在保證識別準確率的同時盡可能降低計算復雜度、提高效率。相關研究[13]表明，人體質心的變化反映了人體重心隨人體姿態變化的情況，步態識別對其有一定的依賴作用，因此，本文采用人體質心高度的變化作為一種步態特征。步態是人們的行走姿態，由人體的肢體和關節協調完成，與人們行走時下肢肢體運動參數的變化緊密相關[14-15]。因此，本文又選取了人體行走時的步幅變化作為另一步態特征。文獻[8]提取了人體質心到二值圖像各輪廓點的角度距離作為步態特征，該特征僅能反映出某幀圖像的幀內靜態信息，對人體步態的周期性變化則顯得無能為力。除此之外，該特征所依賴的質心坐標也會隨著步態的變化而有所浮動。相比質心坐標在一個步態周期中的浮動大小，在對圖像進行了預處理之后，根據解剖學知識得到的人體骨盆關節點坐標變化率就顯得微不足道了。因此，以人體骨盆關節點到下肢各輪廓點的角度距離變化作為本文第三個步態特征，可以更加準確地反映人體步態特征隨周期的變化。

3.1　質心高度特征提取

圖像預處理后，質心的高度即提取的質心橫坐標絕對值，該特征可以在一定程度上反映出步態周期內人體輪廓的相對變化情況。

(1) 計算人體輪廓的質心(plotx,ploty)

(5)

式中，N表示二值圖像的輪廓像素點總數，xi、yi為第i個像素的橫坐標和縱坐標。

(2) 計算一個周期內第m幀圖像的質心高度hm：

hm=(|plotx|)m

(6)

將質心高度作為單幀圖像的一個特征向量，記作Fa。

3.2　步幅特征提取

圖像預處理后，除雙腳并攏情況以外，一個步態周期內第m幀圖像的步幅wm定義為該幀圖像的寬度，計算如下：

(7)

式中：weimin表示一個步態周期內所有圖像寬度的最小值。

將步幅作為單幀圖像的第二個特征向量，記作Fb。

3.3　下肢角度距離特征提取

根據人體解剖學理論，人體步態特征主要與骨盆、膝和踝等關節點緊密相關，各關節點與人體的比例關系如圖4所示。

圖4　人體解剖學主要關節點位置

其中，骨盆關節點記為P，hei表示人體的身高(即最小外接矩形的高度)，骨盆關節點高度是人體身高的0.53倍，膝關節節點高度是人體身高的0.28倍，踝關節節點高度是人體身高的0.039倍。據此，下肢角度距離特征的提取方法如下：

(1) 求骨盆關節點坐標

設骨盆關節點坐標為P(xp,yp)，根據圖4的比例關系可以很方便地得到骨盆關節點的橫坐標值xp為：

xp=(1-0.53)×hei

(8)

根據計算得到的xp，對存儲人體輪廓像素的矩陣進行掃描，找出橫坐標值等于xp的像素點坐標，記錄距離P點最近的兩個像素點，其中橫坐標值較小的像素點記為Pl(xl,yl)，橫坐標值較大的像素點記為Pr(xr,yr)，如圖5所示，則骨盆關節點的縱坐標為：

yp=yl+(yr-yl)/2

(9)

(2) 求下肢輪廓點到骨盆關節點方向與y軸的夾角

圖5　骨盆關節點位置

首先，對提取的人體輪廓像素點進行逐個掃描，記錄橫坐標值大于等于xp的像素點，記錄的像素點坐標即為下肢輪廓點的所有像素坐標，記為Di(xi,yi)。

其次，由Pl(xl,yl)和骨盆關節點P(xp,yp)構造基準向量Mp；將下肢輪廓的每個像素點Di(xi,yi)與骨盆關節點P(xp,yp)構造向量Np；Np沿逆時針方向與Mp的夾角記為該像素點的角度α，如圖6所示，計算公式如下：

(10)

圖6　運動角度提取

(3) 計算下肢輪廓點到骨盆關節點的距離

從下肢輪廓像素點Pl(xl,yl)開始，到下肢輪廓像素點Pr(xr,yr)為止，選取n個等間距間隔，每個間隔為(180/n)°。根據式(10)，計算出第i個間隔在下肢輪廓的起止像素點坐標，并以此為依據，求出第i個間隔內所有像素點坐標到骨盆關節點的距離linj。

(4) 計算第i個間隔內各下肢輪廓點到骨盆關節點的距離均值，公式如下：

(11)

式中：t表示各間隔內不同的像素個數。

(5) 對于一個周期內的f幀圖像，計算每相鄰兩幀圖像在第i個間隔的角度距離均值變化率，公式如下：

(Δlini)k-1,k=

(12)

(6) 將相鄰兩幀圖像各個間隔的角度距離均值變化率組合在一起，形成角度距離的一維特征向量，記作：Fc=[(Δlin1)k-1,k,(Δlin2)k-1,k,…,(Δlini)k-1,k,…,(Δlinn)k-1,k]，其中k=1,2,…,f；i=1,2,…,n。

將上述3個特征組合在一起形成單幀圖像的一維特征向量，記為F=[Fa,Fb,Fc]。

3.4　周期內運動序列步態特征提取

在一個步態周期內，人體運動的步態特征可以使用該周期內所有圖像幀的特征參數集表示，記為：Z(e)=[Fe(1),Fe(2),Fe(3),…,Fe(k),…,Fe(f)]，其中，Z(e)表示第e號運動目標周期內的整體步態特征，Fe(k)是e號運動目標第k幀圖像的步態特征向量，f表示周期內圖像幀數總額。

4　步態識別

4.1　相似性度量

由于人體行走速率的變化性，一個周期內的圖像幀數會有所不同，為了解決待測樣本與參考模板的周期長度不一致問題，本文采用基于動態規劃思想的動態時間規整DTW(Dynamic Time Wrapping)算法進行步態特征的相似性度量。

假設兩個樣本的步態特征向量分別為Q和P，其中Q表示待測樣本的步態特征向量，記為：Q={Q(1),Q(2),…,Q(i),…,Q(m)}；P表示參考樣本的步態特征向量，記為：P={P(1),P(2),…,P(j),…,P(n)}。待測樣本Q與參考樣本P在一個周期內的圖像總幀數不一定相同，即m可以不等于n，但每個分量的維數須相同。構造一個直角坐標系，橫軸表示待測樣本的特征值，縱軸表示參考樣本的特征值，將特征值的整數坐標畫出可形成一個m×n的網格，如圖7所示。網格中的任一交叉點表示待測樣本與參考樣本任意特征矢量之間的失真度d[Q(i),P(j)]，失真度常用歐式距離計算：

(13)

式中：h表示特征矢量的維數。

圖7　DTW算法搜索路徑

動態時間規整算法的基本思想為在圖7所示坐標軸中，找出網格交叉點上的若干點，使得相鄰兩點之間連接的路徑總和為最小，即該路徑上的交叉點失真度總和最小[16]。由于步態運動具有先后次序，因此這條路徑上的交叉點選擇必須滿足起于網格左下角、終于網格右上角的條件，并且交叉點不能跨格選擇。另外，為防止漫無目的的搜索，選擇的路徑不能向橫軸或縱軸過于傾斜，一般規定相鄰兩點間的路徑斜率控制在(1/2,2)范圍內。

求解最佳路徑時，從原點坐標(1,1)開始，從左至右、從下至上通過若干交叉點(qi,pj)，到達終點(qm,pn)時累積距離最小的路徑即為最佳路徑。因此，當前交叉點(qi,pj)所搜索到的最佳路徑累積距離為：

D(qi,pj)=d[Q(i),P(j)]+D(qi-1,pj-1)

(14)

由于交叉點(qi,pj)的前一點僅為(qi-1,pj)、(qi-1,pj-1)、(qi,pj-1)三點之一，則式(15)中的D(qi-1,pj-1)為：

D(qi-1,pj-1)=min{D(qi-1,pj),D(qi-1,pj-1),D(qi,pj-1)}

(15)

至此，計算得到的最佳路徑累積距離即為待測樣本Q與參考樣本P間的最小失真度累積和。因失真度越小，相似性越大，故可得待測樣本Q與參考樣本P間的相似度。

4.2　分類識別

分類識別的算法較多，本文采用K近鄰分類器(KNN)進行步態識別(其中K=3)，即首先通過DTW算法計算出待測樣本與參考樣本之間的相似度，并按照相似度進行排序；然后，找出距離參考樣本最近的K個鄰居；最后，判別這些鄰居的樣本類別大部分屬于哪一類，并采用這個類別作為待測樣本的類別。若這些鄰居的樣本類別各不相同，則按照相似度大小，選擇相似度最大的那個參考樣本類別作為待測樣本的類別[17]。

5　實驗與結果分析

為了驗證算法的有效性，本文采用中科院自動化所公開的CASIA-B數據庫在MATLAB環境下進行仿真實驗。在CASIA-B數據庫中，本文選取了4人，每人3個視角(36°、54°、90°)，每個視角3種行走狀態(正常行走、背包行走和穿大衣行走)進行實驗。

在實驗中，首先對樣本序列求得最小外接矩形，并按照最小外接矩形進行圖片的裁剪和縮放，縮放時保證寬高比不變。其次，按照寬高比的變化確定樣本序列的步態周期。然后，提取樣本序列的步態特征，包括質心高度變化、步幅變化和相鄰幀下肢輪廓的角度距離變化三組特征。最后，采用DTW算法進行樣本間的相似度度量，以及采用KNN算法進行步態的分類識別。本文算法在不同視角和行走狀態下的步態識別率如表1所示。

表1　不同視角和行走狀態下的步態識別率一覽表

從表1可以看出，通過對不同樣本選擇不同的視角與行走狀態，本文算法的識別率從89.37%～98.85%不等，綜合識別率達到93.72%。其中，正常行走狀態的識別率最高，背包行走和穿大衣行走識別率略低。但在不同視角下，各行走狀態的算法識別率均值均在92%以上，說明本文算法對衣著和背包有較強的魯棒性。

為了進一步驗證算法的有效性，本文選取了三種基于輪廓特征的同類算法進行綜合識別率和時間代價的對比，如表2所示。

表2　不同算法實驗結果對比一覽表

表2中，文獻[8]提取了角度距離、圖像不變矩和幀差百分比三種步態特征，采用改進的KNN算法進行步態識別，綜合識別率最高，達到96.29%，但耗費的時間也最長，為69.4 s/周期。文獻[9]以質心高度和質心到雙足距離作為步態特征，采用DTW算法進行步態識別，耗費時間最短，為38.7 s/周期，但綜合識別率略低，為91.57%。文獻[12]提取了人體下肢角度變化軌跡作為步態特征，并與人臉識別相結合進行身份識別，綜合識別率最低，為85.4%，時間代價較高，為52.5 s/周期。本文算法與表2中的其他算法對比總結如下：

(1) 四種算法均采用CASIA-B數據庫進行仿真實驗，可比性強。

(2) 本文算法綜合識別率為93.72%，僅次于文獻[8]的綜合識別率，但比文獻[8]耗費的時間明顯縮短。

(3) 本文算法耗費的時間僅次于文獻[9]，但比文獻[9]的綜合識別率有所提高。

綜上所述，本文算法在保證較高識別率的基礎上，有效地縮短了識別時間，并對衣著和背包有著較好的魯棒性，更加適于實時視頻監控環境下的用戶身份識別。

6　結　語

本文提出了一種基于下肢輪廓角度距離和步幅變化的步態識別算法，在前人研究進行了改進。首先，本文在圖像預處理過程中，對提取的二值輪廓圖像按照其最小外接矩形進行了裁剪，并在保持寬高比不變的情況下按照所有圖像幀的圖像高度最大值進行了圖像的縮放。因此，經過預處理的所有圖像幀不僅高度一致，而且保持了圖像處理前后寬高比不變，為特征提取提供了保障。其次，本文不僅選擇了易于提取的質心高度變化和步幅變化作為步態特征，而且還提取了下肢輪廓角度距離變化率作為步態特征，融合DTW算法和KNN算法進行步態識別，避免了因待測樣本與參考樣本周期長度不一致而導致的誤判。最后，在圖像高度一致的情況下，因骨盆關節點比質心點隨圖像輪廓精度的不同產生的變化率更小，故本文在提取下肢輪廓角度距離步態特征時，采用骨盆關節點替代了通常使用的質心點，計算下肢輪廓角度距離時比使用質心點準確率更高。實驗結果表明，本文算法能夠耗費較短的時間進行高識別率的人體步態識別，對衣著和背包的狀態也具有較好的魯棒性，特別適合應用于實時視頻監控環境中進行用戶身份的識別。

[1] 賁晛燁，徐森，王科俊.行人步態的特征表達及識別綜述[J].模式識別與人工智能，2012，25(1):71-81.

[2] Luo Jian, Tang Jin, Tjahjadi Tardi, et al. Robust arbitrary view gait recognition based on parametric 3D human body reconstruction and virtual posture synthesis[J]. PatternRecognition,2016,60(3):361-377.

[3] Xing Xianglei, Wang Kejun, Yan Tao, et al. Complete canonical correlation analysis with application to multi-view gait recognition[J]. Pattern Recognition, 2016,50(5):107-117.

[4] Chen Xin, Xu Jiaming. Uncooperative gait recognition: Re-ranking based on sparse coding and multi-view hypergraph learning[J]. Pattern Recognition, 2016,53(8):116-129.

[5] Zeng Wei, Wang Cong, Yang Feifei. Silhouette-based gait recognition via deterministic learning[J]. Pattern Recognition,2014,47(11):3568-3584.

[6] Kushwaha A K S, Srivastava S, Srivastava R. Multi-view human activity recognition based on silhouette and uniform rotation invariant local binary patterns[J]. Multimedia Systems, 2016, 23:1-17.

[7] 趙子健，吳曉娟，劉允才.基于角度直方圖的步態識別算法[J].計算機工程與科學，2006，28(6):73-76.

[8] 趙志杰，孫小英，金雪松，等. 多重圖像輪廓特征結合的步態識別算法[J].哈爾濱工業大學學報，2016，48(4):182-188.

[9] 陳玲，楊天奇.基于質心和輪廓關鍵點的步態識別[J].計算機工程與應用，2015，51(19):173-188.

[10] 王浩，范媛媛，方寶富. 基于輪廓分析的廣義步態識別算法研究[J].小型微型計算機系統，2016，37(7):1504-1507.

[11] 李凱，王國超. 融合腿部局部特征的步態識別方法[J].計算機工程與設計，2016，37(5):1340-1345.

[12] 連旭. 基于步態的身份識別研究與實現[D].遼寧科技大學，2014:24-25.

[14] 劉磊. 基于多源信息的步態識別算法研究[D].河北工業大學，2015:11-13.

[15] 李凱, 王國超. 融合腿部局部特征的步態識別方法[J].計算機工程與設計，2016，37(5):1340-1345.

[16] 張浩, 劉志鏡. 加權DTW距離的自動步態識別[J]. 中國圖象圖形學報, 2010, 15(5):830-836.

[17] 葉漢民，黃培亮. 基于加權區域特征的快速步態識別[J].計算機工程與應用，2016，52(10):157-160.