基于改進時空步態圖的步態識別

蔣敏蘭，吳 穎，陳昊然

(浙江師范大學 物理與電子信息工程學院，浙江 金華 321001)

0 引言

步態識別是根據不同個體間的步態差異進行身份識別的技術，可實現遠距離、隱蔽的身份識別，在智能視頻監控領域應用廣泛[1]。步態識別的性能主要取決于步態特征的提取和分類器的選擇，所以在研究步態特征時，如何最大化提取行人步態運動中的動態特征和靜態特征，是提高步態識別準確率的關鍵。

目前，已有的步態識別方法分為基于模型和基于圖像兩種[1]。基于模型的步態識別方法[2-9]主要根據人體結構對下肢步態運動進行建模。這類方法直接使用人體靜態或關節點動態變化參數作為步態特征，在一定程度上能處理遮擋和噪聲。該方法首先要準確定位人體關節點的位置，以關節點間的規律變化作為區分身份的重要特征。而僅依賴步態輪廓圖的關節點定位容易受到圖像噪聲影響，且建模過程時間長、復雜，很難抽取出步態運動的本質。基于圖像的步態識別方法[10-19]，主要對人體步態圖像的二值化輪廓、外形原始圖像等進行特征提取從而進行身份識別。但基于圖像的步態識別方法忽略了步態運動中身體各關節點規律變化的特征，當改變視角導致步態輪廓發生一定程度的形變時，能直接影響步態識別精度。顯然基于圖像的步態識別方法在簡單條件下識別精度較高且計算簡單，而在視角或攜帶物品發生改變等復雜環境下魯棒性還不夠。

基于圖像的步態識別方法在一定條件下識別精度高、計算高效，在一定程度上優于基于模型的方法。但是在解決遮擋、跨視角等復雜環境下，基于模型的步態識別方法有著明顯的優勢。所以，針對基于圖像步態識別復雜環境下準確率低，而基于模型步態識別平均準確率低、效率不高的問題，本文將基于模型和圖像的步態識別方法結合起來，提出一種改進時空步態圖及特征融合策略，結合機器學習算法進行步態識別研究。

1 關節點定位及動態特征

基于模型的步態識別方法是最早應用在步態識別上的方法之一，通過分析人體結構及步態運動中姿態的周期性變化，將人體各部分簡單地分成軀干、四肢、頭等幾部分，如五連桿步態模型。近年來大量學者不斷優化關節定位算法，提高在步態輪廓圖上關節點定位精度。在此基礎上若對整個步態輪廓圖建模，提取全身主要關節點作為步態特征顯然效率低下，且未區分最具表征性步態特征。而步態運動主要活動區域在下肢，因此，本文僅對下肢簡單建模，抽取下肢主要關節點作為主要步態特征。通過優化基于模型的步態特征，以解決下肢動態特征維度不足的問題。

1.1 下肢關節定位

假設人體高度為H，根據人體解剖學原理，髖關節的縱坐標為從頭頂往下0.47H的高度，記為y0。在0.47H處橫向掃描得到人體輪廓寬度L，則髖關節的橫坐標為L/2，記為x0，即髖關節坐標為(x0，y0)。

膝關節點：人行走過程中，大腿上半部分可以看作圍繞髖關節點做前后鐘擺運動[16]。因此，根據膝關節運動軌跡，圓心為髖關節坐標;半徑為大腿上半部分長l1，其長度為0.245H。由以下公式計算膝關節橫、縱坐標[16]：

(1)

(2)

其中，(x1,y1)、(x2,y2)分別為左右膝關節的橫、縱坐標，θ1、θ2為髖關節、左右膝關節間直線段與豎直方向的夾角，l1為大腿上半部分長度。膝關節定位如圖1(a)所示，以髖關節(x0，y0)為圓心，從左往右做向下半圓掃描，當第一次碰到像素點為大于100可標記為左腳膝關節外邊緣，第二次碰到大于100可標記為左腳膝關節內邊緣，取內外兩坐標的平均值，即可得到左膝關節坐標。同理可得到右膝關節坐標。為了便于區分，將左膝關節坐標標記為(x1,y1)，右膝關節坐標標記為(x2,y2)。

踝關節點：與膝關節定位原理相同，人體行走時，小腿以膝關節為軸心、小腿長(0.246H)為半徑做圓周擺運動。以此確定踝關節坐標。同樣踝關節也分為左右關節。采取以左膝關節(x1，y1)為圓心，從左往右做向下半圓掃描，當第一次碰到像素點為大于100可標記為左腳踝關節外邊緣，第二次碰到大于100可標記為左腳內邊緣，取內外兩坐標的平均值，即可得到左踝關節坐標。同理可得到右踝關節坐標。為了便于區分，將左踝關節坐標標記為(x3,y3)，右踝關節坐標標記為(x4，y4)，可采用畫圓弧的方法定位踝關節。

(3)

(4)

公式(3)為左踝關節的表達式，(x1,y1)為左膝關節的橫、縱坐標，θ3為左膝關節、左踝關節間直線段與豎直方向的夾角，l2為小腿長度。同理公式(4)中，(x2，y2)為右膝關節的橫、縱坐標，θ4為右膝關節、右踝關節間直線段與豎直方向的夾角，l2為小腿長度。踝關節定位如圖1(b)所示。

1.2 動態特征

如圖1(c)所示，獲得關節點信息后，文獻[13-15]中分別提取關節點間四個角度θ1，θ2，θ3，θ4作為步態運動中的動態特征。

(5)

圖1 下肢關節定位示意圖

因每個人的身高差異且行走習慣等不同，導致人在步態運動中，不同的人步幅的差異相比于其他關節點間角度的變化更為明顯，而髖關節與左右踝關節間的角度能直接反映出步幅狀態。具體如圖2所示，不同行人A，B，C在一段序列上的步幅特征有著明顯的差異(為了效果更加明顯取的步態序列更長)，故本文在動態特征θ1，θ2，θ3，θ4的基礎上加入髖關節與左右踝關節的角度θ5，以構成一個新的動態特征集：S= [θ1，θ2，θ3，θ4，θ5]。其中，

(6)

圖2 不同行人的步幅特征

2 改進時空步態圖

2.1 步態模板

不同于人臉、指紋等其他生物識別特征，人的步態運動特征可以看成身體上各個部分規律運動的集合。所以不能以單張步態輪廓圖作為識別的樣本。因此，文獻[8]首次提出可以用一個綜合步態模板GEI來代表一段步態序列，GEI通過將周期內的步態輪廓圖平均疊加所得，合成效果如圖3(a)所示。GEI不僅能減少步態輪廓噪聲帶來的影響，還保留了原人體靜態特征且計算高效，取得了不錯的效果。CGI則借鑒GEI的思想，首次將時序信息以偽色彩的形式加入步態模板，合成效果如圖3(b)所示，與GEI相比取得了更好的效果。通過對比效果圖3(a)、圖3(b)，GEI與CGI均依賴于步態輪廓，對于視角、攜帶物引起的輪廓形變仍然識別精度不高，而基于模型的關節動態特征能有效克服遮擋、跨視角的影響。因此，有必要引入人體建模的思想，將時序特征和下肢關節點動態特征結合起來，在步態模板增加時序信息的同時，能突出下肢關節點間的規律變化。那么由此所合成的步態模板是否更具魯棒性，本文從這點出發，對改進時空步態模板展開研究。

2.2 改進時空步態圖

基于GEI和CGI兩類步態模板的局限性，本文希望以偽色彩突出步態模板時序信息的基礎上，引入下肢關節點動態特征。延續文獻[11]中利用偽色彩描述時序的思想，提出一種改進時空步態圖，將時序信息以彩色線條的形式加在關節點間，在加入時序信息的基礎上，更加突出關節點在步態運動過程中的規律變化。具體做法為：將通過建模獲得的下肢關節點定位信息，并把髖關節和左、右膝、踝關節的距離連線，通過偽色彩編碼技術，將關節間連線編碼畫成不同顏色，以獲得關節間包含時空信息的改進時空步態圖。偽色彩映射公式如式(7)所示：

(7)

其中，Rkt,Gkt,Bkt分別為單幀步態圖中的紅、綠、藍三個顏色分量，kt= (Wt-Wmin)/(Wmax-Wmin)，Wi表示兩條腿分開的程度，Wmax、Wmin表示一個周期內兩條腿分開的最大距離和最小距離,I為像素的最大值255。編碼后的第t幀圖像Ct(x,y)可以表示為：

(8)

其中,L為髖關節與膝、踝關節間的連線，改進時空步態圖ICGI(x,y)可定義為：

(9)

其中，ICGI(x,y)為改進后周期內時空步態圖，N為一個周期內輪廓圖片的數量，Ct(x,y)表示t時刻編碼后的步態輪廓圖。合成ICGI的整個過程如圖3(a)所示。為了區別與步態能量圖(GEI)、時空步態圖(CGI)的不同，本文列出了GEI與CGI的合成過程，如圖3(b)、3(c)所示。

圖3 步態模板合成圖

3 基于改進時空步態圖的步態識別

3.1 特征融合

改進時空步態圖在加入時序信息的基礎上，引入了關節點動態特征，由此獲得的步態模板顯然包含更豐富的動態特征。而通過基于圖像特征提取方法，僅是對改進后步態模板輪廓、邊緣、偽色彩線條等特征進行提取，較原步態模板增加了一定的時序特征、動態特征，一定程度上提高了步態識別平均精度。但單純依靠圖像特征提取算法顯然無法完全理解加入的動態特征，故有必要融合基于模型提取到的下肢動態特征，構建一個更加豐富且有效的特征集，來提高各種環境下步態識別的平均精度。

3.2 分類器

k近鄰法(KNN)是一種簡單高效的分類算法，其基本思想是：所給定一個測試樣本在特征空間上K個最接近的樣本中的大多數屬于某一個類別，則該樣本被劃分為這一類別。基于改進時空步態圖特征融合模型和KNN的步態識別分類的步驟如下：

(1)將實驗數據集劃分為兩類：訓練數據集、測試數據集。

(2)讀取訓練、測試數據集，分別提取兩類數據集中的樣本(圖像尺寸為M×N×3，則轉化成三個M×N矩陣分別提取特征降維處理)，同時取出關節點間的動態特征集S，將RGB三通道處理后的子特征集V1、V2、V3與S級聯形成一個綜合特征集，以行的形式存入特征矩陣中。遍歷處理所有訓練集。

(3)設置K值(低于測試數據集某類樣本數)。

(4)讀取測試數據集合，重復步驟(2)，遍歷測試集合，并存入測試特征矩陣中。

(5)遍歷訓練特征矩陣和測試特征矩陣，計算出與測試特征矩陣中每一個樣本相似的K個訓練特征樣本，其中K個樣本中標簽的多數類，即為該測試樣本的類別。

(6)統計完測試集中每類樣本的標簽，與原標簽進行對比，遍歷每個測試樣本統計正確率。

4 實驗

本次實驗數據集采用中科院自動化所公開的大型步態數據庫CASIA-B。該數據庫包含 124人(男93人，女31人)，每人11個視角(0°,18°,36°,54°,72°，90°，108°，126°，144°，162°，180°)，每個視角下有 3種行走狀態(正常狀態、大衣狀態、背包狀態)。

(1)基于改進時空步態圖對比實驗

為了驗證所提改進步態模板的有效性，將步態模板直接結合KNN，對比改進步態模板前后的識別效果。在正常狀態36°～144°視角不變情況下進行步態識別對比實驗。實驗結果如圖4所示，表明改進時空步態圖能有效提高步態識別精度。

(2)特征融合后步態識別對比實驗

為了驗證融合特征后在復雜環境下步態識別的有效性，實驗分別設置正常狀態、大衣狀態、背包狀態下訓練集36°～144°視角下步態序列(不包含測試視角)，測試集為36°～144°視角下步態序列。同時加入了文獻[15]實驗數據進行對比。實驗結果如圖5～圖7所示，表明所提方法能有效提高視角發生變化時的步態識別精度。

圖4 改進步態模板對比實驗

圖5 特征融合后正常狀態對比實驗

圖6 特征融合后背包狀態對比實驗

圖7 特征融合后大衣狀態對比實驗

5 結論

本文針對基于圖像步態識別中時空步態圖(CGI)、步態能量圖(GEI)的不足，結合步態過程中下肢關節點間規律運動的現象，提出一種改進時空步態圖(Improved Chrono Gait Energy Image，ICGI)。將偽色彩映射到下肢關節間，在原有加入時序信息的基礎上，引入關節點間動態特征，最大限度地保留步態模板內部動態信息。通過在CASIA-B數據集上的對比實驗，表明基于ICGI的步態識別相比CGI、GEI精度更高。同時結合基于模型和基于圖像步態識別的優勢，提出一種特征融合策略。將關節間動態特征和基于ICGI步態圖特征融合，結合KNN算法建立步態識別模型。實驗表明，特征融合后的識別模型能有效提高跨視角步態識別精度。