基于無標記點運動跟蹤的步態參數提取

摘要：提出一種無標記點的步態參數提取方法，采用基于模型的人體運動跟蹤方法，無須標記點即可從視頻圖像序列中獲取運動步態參數。利用粒子濾波算法跟蹤人體目標運動過程，通過基于外觀模型的相似度計算及邊界匹配誤差判斷定位腿部關節點。依據曲線擬合方法在跟蹤與定位結果上提取運動步態參數。實驗結果表明，該方法能精確定位腿部關節點且有效地提取步態參數。

關鍵詞：無標記點； 人體模型； 人體運動跟蹤； 步態參數

中圖分類號：TP391.9文獻標志碼：A

文章編號：1001－3695(2008)06－1759－03

步態分析是利用生物力學的概念和已知的人體解剖學、生理學知識，借助現代計算機技術對人的行走姿態進行分析的研究方法。步態分析的研究內容主要包括人體動力學和人體運動學。近年來，隨著計算機視覺和圖像處理技術的快速發展，步態分析在臨床醫學、康復醫療、矯形外科、體育運動分析等相關領域得到了廣泛應用。

過去的研究中，運動步態參數基本上是通過對標記點的定位得到的。標記點的定位方法主要分為兩類：a)通過傳感器設備獲取標記點位置及運動數據[1，2]；b)利用數字圖像處理技術識別、跟蹤標記點[3，4]。上述方法，通過儀器定位標記點通常會對人體運動形成一定限制，存在精度不高、無法消除電磁干擾等缺點。對標記點進行識別與跟蹤，雖然提高了標記點自動化跟蹤程度，但這些標記點有時被遮擋或變形，容易產生錯位導致定位不精確，影響測試結果。

本文提出了一種新的運動步態參數提取方法，區別于步態分析原型系統中標記點的定位方法，提出利用無標記點的運動跟蹤方法跟蹤及定位人體關節點。采用背景剪除技術從視頻圖像序列中提取運動人體目標，用于運動跟蹤。通過對人體建模，利用一個帶外觀模型的人體骨架模型描述人體關節特征。粒子濾波算法用于跟蹤整個步態運動，在基于外觀模型的相似度計算和邊界匹配誤差判斷的基礎上精確定位腿部關節點。利用曲線擬合方法，復現了離散關節點的連續變化運動軌跡，從而提取出運動步態參數。利用無標記點的人體運動跟蹤方法提取步態參數，解決了步態分析原型系統中影響標記點定位精度和步態參數準確性的問題。

1人體目標提取

人體目標提取結果的好壞直接影響到后面人體關節點跟蹤與定位的精確性。通過背景估計初始化背景模型，恢復圖像序列中的背景圖像。在具有運動物體的場景中，由于場景在整個視頻序列中近似靜止，可以通過濾波方法估計靜止背景，利用公式重建背景：Bk(x，y)=∑N-ii=0hi×fk-1。其中：hi為中值濾波器；N為濾波器長度。

采用背景消減技術從圖像序列中檢測出人體運動目標：首先利用公式Dk(x，y)=｜fk(x，y)-Bk-1(x，y)｜計算背景圖像Bk與當前幀圖像fk的差。其中：fk(x，y)、Bk-1(x，y)分別為當前幀圖像和背景圖像；Dk(x，y)為背景減得到的差分圖像。然后依據公式Rk(x，y)=1foregroundDk(x，y)＞T0background Dk(x，y)≤T

對差分圖像Dk進行二值化和形態學處理，并對所得結果Rk進行區域連通性分析。當某一連通區域的面積大于給定閾值，則為檢測目標，并認為該區域就是目標的區域范圍。其中：T是目標分割時設定的閾值。

由于亮度變化，差分的結果不能滿足需求，需要選擇合適的閾值。一般情況下，亮度的變化取決于物體和背景的對比度，也就是要知道圖像灰度的分布情況；閾值的選擇可以根據差分圖像直方圖確定。運動人體檢測中的圖像結果如圖1所示。其中圖1（c）為最終提取的人體二值圖像。

2人體建模

人體各部位可近似看做剛體，各部位之間通過關節點（如頸關節、髖關節、膝關節、踝關節等）相連。為分析人體步態運動，采用如圖2（b）所示的多關節人體骨架模型[5]。本文依據身體各部分相對于身高的比例關系（圖2（a）），計算身體各部位的長度，如頸、軀干、大腿、小腿的長度等。

人體骨架模型由關節點和連接兩個相鄰關節點的直線段一起構成。用狀態向量Xt={(x1，y1)，…，(x8，y8)，θ1，θ2，θ3，θ4}來表示人體在時刻t的運動姿態。其中：(xi，yi)表示人體步態模型中各關節點的坐標位置，包括頭頂點、頸關節、肩關節、髖關節、左右膝關節、左右踝關節（圖中左上角為原點位置，X軸向右為正，Y軸向下為正），i=1…8；θi表示大、小腿與豎直方向的夾角（X軸正向夾角為正角，反之為負角），i=1…4。

為精確定位腿部關節點，建立人體骨架模型對應的外觀模型用于相似度計算及邊界匹配誤差判斷。圖2（c）為人體步態模型中腿部的四個方形區域，每個區域包含兩個關節點，方形區域的中軸線即為連接兩個相鄰關節點的直段。依據狀態向量的四個關節角度，通過計算腿部各區域的四個頂點得到外觀模型。方形區域寬的長度依據恰好覆蓋下肢的原則，由實驗過程確定區域寬的長度為十個像素單位。

3人體步態運動跟蹤

3．1步態運動約束

人體步態運動作為一種高度約束的活動，其步行模式具有對稱性和周期性。通常，人體運動是由擺動腿踏出向前邁進的單腳支撐期和雙腿完全著地重心下沉的雙腳支撐期兩個不同運動階段構成；一個步態周期由兩個單腳支撐期和兩個雙腳支撐期組成。人行走的過程就是上述周期不斷重復的過程。由于不同視頻中人體的運動規律存在差異，通過獲得特定人體的運動規律對跟蹤視頻中特定人體的運動姿態進行預測。本文利用運動約束[6]選擇關節角度，用于避免跟蹤過程中產生的不可能運動姿態及人體步態運動分析。人體腿部的運動約束包括：a）下肢關節角度變化細微，不會突然地或增大或變小，而且一個步態周期內角度變化大致上呈單調性；b）當關節的角度接近0時，雙腿出現遮擋，角度正負開始交替；c）前面大、小腿的夾角與后面大、小腿的夾角方向相反，大小不一定相等。

3．2粒子濾波算法

粒子濾波[7]是一種基于遞推貝葉斯狀態估計的濾波方法。依據貝葉斯原理，其基本思想是從狀態的假設分布中抽取一定數量的隨機樣本，即粒子，在測量的基礎上通過調節各粒子權值的大小來近似實際狀態分布，原則上用這些帶權的隨機樣本集合來估計狀態分布的后驗概率密度。

假定X={x1，x2，…，xk}、Z={Z1，Z2，…，Zk}分別表示t=tk時刻的狀態向量和測量向量。基于蒙特卡羅積分的粒子濾波算法，通過從一個已知的容易抽樣的提議分布(函數)q(·）上抽樣來逼近，此時后驗概率分布可以用如下離散粒子集來估計：p(Xk｜Zk)≈∑Ni=1w∧ikδ(Xk-Xik)。其中：Xik~q(·）為第i個在t時刻從提議分布上抽取的粒子；δ(·）為狄拉克函數；w∧ik為歸一化權值。在預測過程中，粒子權值wk由方程wk(Xk)=p(Xk｜Zk)p(Zk)/q(Xk｜Zk)計算獲得。如果將提議函數分解為q(Xk｜Zk)=q(X0)∏ki=1q(xk｜Xk-1，Zk)，則可用wik=wik-1p(zk｜xik)p(xik｜xik-1）/q(xik｜Xik-1，Zk)來表示重要的權值的遞推估計形式。綜上可知，粒子濾波算法實現的關鍵在于尋找一組在狀態空間中傳播的粒子對條件概率密度函數p(Xk｜Zk)進行最優估計。

3．3跟蹤與定位人體關節點

采用粒子濾波算法跟蹤人體運動，結合相似性計算及邊界匹配誤差判斷精確定位人體關節點。跟蹤與定位下肢關節點的具體過程如下：

a）初始化。初始化過程就是從圖像序列的前N幀找出一幀作為跟蹤的起始幀。依據人體各部位占整個身高的比例關系確定關節點的縱坐標yi，橫坐標xi=xl+(xr-xl)/2。其中：xl和xr分別表示二值圖像上身體各部位區域的最左邊點和最右邊點的橫坐標；下肢各部位相對于垂直方向的夾角θj=tan-1 (｜xi-xi-1｜/｜yi-yi-1｜)。由上述過程確定表示各幀姿態的狀態向量，通過選擇左右大、小腿之間夾角差均為最小時的一幀為跟蹤起始幀。

b）預測和觀測。根據上述步態運動約束對下一幀的關節角度進行估計，預測其運動姿態。角度估計過程是一個或遞增或遞減的過程。每一次遞增或遞減都產生一個新進的姿態。在視頻圖像序列中，由于上半身只做平移運動，軀干以上關節點的坐標計算方式同初始化，但腿部關節除了做平移運動外，還有旋轉運動，其關節點的位置根據估計的角度重新確定。

觀測過程是將每一個預測姿態對應的外觀模型與當前圖像中對應的區域進行相似度計算及邊界匹配誤差[6]判斷，選擇帶有最佳相似度及邊界匹配誤差最小的狀態向量表示當前幀的運動姿態，由此精確定位下肢各關節點。相似度計算公式為：

wi=（Ni1+Ni2+Ni3+Ni4）/N。其中：wi表示第i個姿態的權值；Ni1、Ni2、Ni3、Ni4分別表示第i個姿態對應外觀模型中下肢四個區域中包含的像素點個數；N表示人體目標區域包含的像素點個數。假定圖像中下肢區域的像素為pi，邊界上的像素為qi，邊界匹配誤差判斷公式為：Eb=1/n∑ni=1‖Fi‖。其中：Eb表示邊界上所有像素的匹配誤差均值；Fi為向量piqi；‖Fi‖為像素pi到qi的匹配誤差；n為腿部區域邊界上的像素點總數。

c）重采樣。按照上述預測、觀測過程完成當前幀的跟蹤與關節定位后，將當前幀的最佳姿態作為下一幀的跟蹤起始幀，進而可對下一幀進行新的預測和觀測，迭代進行直至跟蹤到圖像序列的最后一幀，完成整個關節跟蹤與定位過程。

4人體運動步態參數的確定

4．1運動曲線和步態參數

對人體運動視頻圖像序列跟蹤后，得到下肢關節點離散的坐標序列和關節角度序列。關節運動是連續的，為從運動軌跡中反映人體運動規律。本文采用多項式的最小二乘曲線擬合方法獲得下肢關節連續運動軌跡曲線。設關節點P(x，y)隨時間t的變化滿足n次多項式：[X(t)Y(t)]=A0tn+A1tn-1+…+An-1t+An，t=采樣頻率×圖像序列數。其中：Ai為多項式系數；n為多項式的階。理論上，n+1個數據點可以惟一地確定n階多項式，通過考慮曲線平滑程度與數據點之間的數據振蕩問題合理選擇擬合多項式的階數。

人體運動步態參數計算包括下肢關節位移、線速度/加速度、關節角度、角速度/加速度、步幅和步態周期等。對關節的連續運動軌跡曲線求一階導（對時間t），得到該關節的線速度參數，求二階導則得到線加速度參數；角速度是對關節角度時間曲線求一階導得到，角加速度的計算方法同上；步幅是同一只足連續兩次著地之間的距離；步態周期即平均步幅時間。

4．2實驗結果分析

本文用MATLAB實現了無標記點的下肢關節點跟蹤與定位過程，通過將下肢各關節點的離散運動軌跡曲線按時間順序擬合獲得連續運動變化軌跡，對其進行參數分析，最終完成步態分析原型系統的各運動步態參數提取部分。測試對象的單目視頻由中國科學院的NLPR數據庫提供。該數據庫包含20人，每人3個不同視角（側視、45°和90°視角），每視角4個步態序列，共240個序列。圖像采集速率為25 fbps，分辨率為352×240的PNG格式的彩色圖像文件。

圖3、4給出了圖像序列被跟蹤與定位之后步態參數提取結果。圖3（a）是下半身各關節點跟蹤與定位后的離散數據。從這些數據可以看到髖關節運動軌跡在[110，120]及兩膝關節運動軌跡在[140，160]的運動幅度較為平穩，但左右膝關節仍在x軸[250，300]和左腿在x軸[200，250]位置輕微波動，這主要是由于兩腿交疊至一腿上提往前邁出造成的。踝關節運動軌跡在[170，190]的運動幅度明顯較大，運動呈周期性變化規律。軌跡擬合過程中，取決于關節運動軌跡擬合效果的關鍵因素是曲線擬合多項式的階，多項式的階數過高，雖然擬合效果好，但數據點之間會出現數據振蕩的問題，且計算時間長；反之階數過小，則擬合效果不好。在考慮擬合誤差的基礎上，實驗選取多項式的階n為5，分別在x軸和y軸上對左膝關節運動數據進行擬合。實驗結果如圖3（b）所示。

參照文獻[3，4]給出的基于標記點識別與跟蹤方法的實驗結果，圖4為左膝速度參數和大腿角度參數。從圖4（a）可以看出，測試者以較均勻的速度行走，這驗證了左膝關節跟蹤與定位離散數據的正確性；（b）中左右大腿角度的變化在[30，-30°]，實驗結果符合文獻[5]給出的下肢關節角度范圍。從給出的角度參數中還

可以看到，角度呈周期變化，人體在正常運動情況下的步態運動具有周期性變化規律。 

5結束語

本文研究了靜止背景下人體運動目標檢測，以及基于人體運動跟蹤方法的人體主要關節點的跟蹤與定位，提出了一種新的無標記點運動步態參數提取方法。該方法結合無標記和運動跟蹤的思想，通過定位腿部關節點獲得關節運動軌跡，用于各運動步態參數提取。無標記點解決了帶標記點步態分析系統中因標記點粘貼位置不準確、標記點滑動和遮擋產生的誤差等問題。利用曲線擬合對運動軌跡曲線進行分析，準確地獲得了各運動步態參數。實驗結果表明，無標記人體運動跟蹤思想在步態參數提取中簡單有效。

本文方法實現了人體關節點的跟蹤與定位，并在此基礎上提取出了各運動步態參數。但所面對的研究問題本身仍有許多困難，如復雜背景的人體目標提取、粒子濾波算法等。針對這些困難，本文步態參數方法還需要進一步的改良與完善。下一步的工作主要集中在：一方面，進一步提高粒子濾波算法在運動跟蹤過程中的執行效率，提高本文方法的實用性能；另一方面，在多個視角下對人體運動進行跟蹤與定位，更大規模地驗證方法的有效性。

參考文獻：

［1］KAIVU T，MALCOLM H，GRANAT. A practical gait analysis system using gyroscopes[J]．Medical Engineering Physics，1999，21(2):87－94．

[2]KISS R M，KOCSIS L，KNOLL Z，et al. Joint kinematics and spatial－temporal parameters of gait measured by an ultrasound－based system[J]． Medical Engineering Physics，2004，48(1):41－54．

[3]王人成，董華，黃昌華，等.低成本人體步態檢測系統[J].清華大學學報:自然科學版，2002，42(2)：165－167．

[4]郭忠武，王廣志，劉永斌，等.基于數字視頻和數字圖像處理的步態分析系統[J].航天醫學與醫學工程，2004，15(2)：122－126．

[5]YOO J H，NIXON M S，HAMIS C J.Extracting human gait signatures by body segment properties[C]//Proc of the 5th IEEE Southwest Symposium on Image Analysis and Interpretation. [S．l．]: IEEE，2002．

[6]NING Hua－zhong， TAN Tie－niu， WANG Liang，et al．People tracking based on motion model and motion constraints with automatic initia－lization[J].Pattern Recognition，2004，37(7):1423－1440.

[7]DENG Xiao－long，XIE Jian－ying，YANG Yu－pu.Improved particle filter for passive target tracking[J].Journal of Shanghai University:English Edition，2005，9(6):534－538.

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文