視頻流中基于特征匹配的人體肘關節跟蹤算法研究

【摘要】對視頻流中運動員肘關節進行檢測和跟蹤。本文主要對肘關節的跟蹤算法做了詳細的研究，利用光流特征匹配算法完成了對肘關節特征點的跟蹤。胳膊肘運動幅度不是很大時，該算法能有一個很好的跟蹤效果，并且給出了運動員從拉滿弓到箭出靶這段時間內肘關節的運動曲線。得到視頻中射箭運動員在箭射出的瞬間，運動員肘關節運動軌跡和運動速度。

【關鍵詞】跟蹤算法;光流特征匹配算法;運動軌跡;運動速度

引言

在體育競技和訓練當中，常常需要不接觸運動員任何身體部位，對運動員的位置、動作、姿態進行檢測和跟蹤，獲取運動員自身的動作參數，以便對運動員的姿態進行規范，達到更好的訓練效果和比賽成績。肘關節檢測和跟蹤算法是基于特征點的檢測和跟蹤算法。基于特征點的目標檢測和跟蹤算法主要分為特征點提取和特征點匹配兩個部分，特征點檢測可以用Harris算子對肘關節進行了特征提取。本文則詳細介紹肘關節的跟蹤算法。在特征跟蹤過程中，主要對特征匹配階段進行分析。匹配技術如何滿足實時系統的需求同時又能保證匹配后得到特征點具有較好的穩定性，是本文研究的關鍵。因此就射箭運動員射箭的視頻對其肘關節檢測算法進行研究。

1.基于特征匹配的肘關節跟蹤算法

本文所選的視頻是一組運動員射箭過程的視頻。迄今為止，針對不同的應用場合及需求，研究人員已經研發了許多的目標檢測和跟蹤方法。一般情況下目標跟蹤方法被分為以下幾類：（1）基于目標區域的跟蹤。該方法利用高斯分布建立目標模型和背景模型，目標的像素點被分配于不同的區域部分，通過跟蹤各個小塊區域的匹配來完成對整個目標的跟蹤[1]。（2）基于變形輪廓的跟蹤。該方法通過跟蹤目標的輪廓信息在圖像中找出感興趣的部分，缺點是跟蹤的效果受系統初始化和局部噪聲地影響[2]。（3）基于特征匹配的跟蹤。該方法通過提取圖像中的特征元素，在連續幀圖像上對這些特征進行匹配從而實現目標跟蹤。圖像特征是圖像中呈現的特有屬性。與其他類的目標跟蹤方法相比，基于特征匹配的目標跟蹤原理簡單易懂，在跟蹤過程中對目標物的定位比較準確，并且對遮擋也有一定的適應能力。同時該方法只利用了目標上的局部特征進行計算，因此計算量比較小。

2.特征點匹配技術概述

在基于特征點的目標跟蹤系統中，特征點的匹配就是尋找兩幅圖像的特征點之間某種映射關系或者特征點坐標之間的某種變換矩陣。目前，特征點匹配技術可以大概分為兩類：一類為基于窮盡搜索的特征點匹配技術，該技術是較為經典的匹配技術，即分別獲取兩幅圖像的特征點以及特征描述子，根據一定的搜素策略對這些特征點和描述符進行計算，最終獲得最優極值點即為匹配結果，典型的如SIFT和SURF特征點的匹配就是采用的窮盡搜索的特征點匹配策略。這種基于窮盡搜索的特征的匹配準則的計算量很大，不適合實時目標跟蹤系統。另外一類匹配技術是基于最優估計的特征點匹配技術，這種匹配技術只需要獲取參考幀圖像的特征點信息，并利用它在當前幀上的一個搜索范圍內尋找其最優值，估計匹配點的最優位置，這種匹配準則的最大的優點是只需要提取參考幀的特征點，節約了一半的特征點提取的時間。其中基于最優估計的特征點匹配技術最經典的算法是KLT光流匹配算法，本文就是采用了KLT光流匹配算法[3]完成對視頻流中肘關節進行跟蹤。

3.KLT光流匹配算法原理

KLT光流匹配技術[4]由Lucas Kanade等人提出，是一種典型的利用幀間連續的特征點信息并且采用最優估計策略實現幀間特征點的匹配。其中該匹配技術采用了圖像灰度差的平方和（Sum of squared intensity Differences，SSD）作為特征點的匹配準則。該匹配技術由于原理相對較簡單、耗時量少，被廣泛的應用于實時目標跟蹤系統中。

該算法定義了一種不相似準則，在仿射變化模式下通過這種準則來量化序列圖像相鄰兩幀的差值，將所得的差值用牛頓迭代法進行迭代來跟蹤選好的特征點。與傳統的匹配技術相比，該匹配算法不需要分別全局提取參考幀和當前幀的特征點，只需要提取參考幀的特征點，對其采用最優估計策略實現參考幀上的特征點匹配，這樣大大減少了匹配過程中的搜索范圍，降低了匹配算法的耗時量。

在視頻圖像序列中，用一個平移模型來描述特征窗口內（設特征窗口為W）的像素點變化，則在特征窗口W內，t時刻對應的圖像序列表示為時刻對應的圖像序列表示為，根據第一條目標物的亮度不隨時間變化的假設，則它們的位置滿足式（1）：

（1）

根據第二條空間鄰近點相似的假設，即特征窗口W內所有點的運動偏移量一致，則在的每個像素點，都可以由中特征窗口W的像素點平移得到。設兩幅圖像分別為I和J，該算法的核心是尋找使相鄰兩幀在特征窗口W上SSD（用表示）最小化的d，則表示為：

（2）

式（2）寫成積分的形式為：

（3）

（2）式中，W為視頻序列中既定的特征窗口，是不同像素點的加權函數。可以是高斯分布函數，這樣可以強調從窗口的中心區域。為了最小化則應對式（3）求導，使得極值點導數為零。即：

（4）

對式（4）中的進行泰勒級數展開，根據第三條假設目標運動是連續的“小運動”，即d要比X小的多，因此可以去掉高次項，只保留前三項得：

（5）

將式（5）代入式（4）得：

（6）

其中：

（7）

則令式（6）為零，得到：

（8）

上式等式可以寫成的形式，則：

（9）

（10）

為了使d能得到解，要求矩陣Z為可逆矩陣，一般情況下特征點滿足這樣的特點。這樣，將參考幀中的特征點代入式進行牛頓迭代，直到迭代滿足一定的精度就可以找到當前幀的最優匹配特征點，求得最終解，實現特征點的跟蹤。

（11）

式（11）中，d表示特征窗口中心的平移，表示第k次牛頓迭代法計算得到的d的值。迭代計算d需要一個初始估計值。Lucas 使用了最簡單的估計。

本文的基于特征點的目標跟蹤算法流程做一個介紹。特征點跟蹤算法的流程圖如圖1所示。

4.實驗結果

本文對一組運動員射箭過程的視頻圖像進行肘關節的檢測和跟蹤，把運動員擺好拉弓姿勢的那一幀圖像作為首幀圖像，用本文所用的算法對視頻圖像進行肘關節的檢測和跟蹤，圖2所示是對幾幅視頻幀圖像的檢測和跟蹤結果進行了截圖。

圖1 基于Harris角點特征點的目標跟蹤算法基本流程圖

a.1494作為首幀的特征檢測結果 ? ?b.1495幀圖像的特征跟蹤結果

c.1496作為首幀的特征檢測結果 ? ?d.1497幀圖像的特征跟蹤結果

e.1498作為首幀的特征檢測結果 ? ?f.1499幀圖像的特征跟蹤結果

圖2 用KLT光流匹配算法對肘關節特征點的跟蹤結果

圖3 運動員箭射出瞬間肘關節運動軌跡

5.肘關節運動軌跡

本文通過研究視頻流中人體肘關節檢測和跟蹤算法，想要得到視頻中射箭運動員在箭射出的瞬間，運動員肘關節運動軌跡和運動速度，因此需要重點分析射箭運動員從拉滿弓開始到箭出靶的這段時間內肘關節的運動情況，通過本文的檢測和跟蹤算法可以得到這段時間內肘關節的運動軌跡的坐標，通過對這些坐標進行擬合，得到了箭出靶瞬間肘關節的運動曲線，如圖3所示。

圖3所示為運動員肘關節的運動曲線圖，視頻流每秒有25幀圖像，所以兩幀圖像之間的間隔是0.04s，如果知道視頻圖像中運動員的身高與運動員實際身高的比例，就可以計算出運動員射箭瞬間肘關節的運動速度。

6.總結

本文主要對肘關節的跟蹤算法做了詳細的研究，利用光流特征匹配算法完成了對肘關節特征點的跟蹤。胳膊肘運動幅度不是很大時，該算法能有一個很好的跟蹤效果，并且給出了運動員從拉滿弓到箭出靶這段時間內肘關節的運動曲線。當運動員肘關節運動幅度很大時，將不能很好的進行跟蹤，本文用的光流匹配肘關節跟蹤算法還有很大的局限性，對此還有待進一步的研究。

參考文獻

[1]王劍，王敬東，李鵬.一種基于主動輪廓模型的自適應模板更新算法[J].光電子技術，2009，29（1）：42-46.

[2]Kass M，Witkin A，Terzopoulos D.Snakes：active contour models[J].International Journal of Computer Vision，1988，1（4）：321-332.

[3]Bruce D.Lucas，Takeo Kanade.An Iterative Image Registration Technique with an Application to Stereo Vision[C].Proc.IJCA181，Vancouver B.C.Canada：1981：674-679.

[4]Shi J B，Tomasi C.Good feature to track[C].IEEE Conference on Computer Vision and Pattern Recognition，Seattle USA：IEEE Press，1994：21-23.

[5]Zhou S K，Chelappa R，Moghaddam B.Visual tracking and recognition using appearance adaptive models in particle filters[J].IEEE Trans on Image Processing，2004，13（11）：1491-150.

作者簡介：劉曉榮，女，碩士研究生，主要從事圖像處理、無損檢測的研究。