基于計算機視覺的藝術體操軌跡跟蹤研究

鄭亮

摘 要： 為了解決傳統基于卡爾曼濾波算法進行藝術體操軌跡跟蹤時存在的跟蹤漂移以及跟蹤效率低等問題，研究基于計算機視覺的藝術體操軌跡跟蹤方法，通過ViBe運動目標檢索算法對圖像的顏色以及深度信息建模，基于圖像顏色以及深度的波動檢測出視頻中的運動目標，采用KCF算法實現運動目標的初步跟蹤，在該方法的基礎上，通過改進KCF算法解決運動目標被遮擋出現的跟蹤漂移問題，提高運動目標跟蹤的精度和穩定性。通過Hermite插值運算運動目標質心，基于時刻[t]的運動模糊方向獲取瞬時質心軌跡，得到最佳的運動目標質心軌跡，采用曲線擬合措施獲取精確的運動目標質心軌跡。實驗結果說明，所提方法可準確跟蹤藝術體操運動軌跡，具有較高的跟蹤效率和穩定性。

關鍵詞： 計算機視覺； 藝術體操； 軌跡跟蹤； 曲線擬合

中圖分類號： TN911.73?34； TP391.41 文獻標識碼： A 文章編號： 1004?373X（2017）19?0086?05

Research on computer vision based trajectory tracking of rhythmic gymnastics

ZHENG Liang

（Chongqing Three Gorges University， Chongqing 404000， China）

Abstract： Since the traditional trajectory tracking of rhythmic gymnastics based on Kalman filtering algorithm exists tracking drifting and has low tracking efficiency， a trajectory tracking method of artistic gymnastics based on computer vision is studied， in which the ViBe moving target retrieval algorithm is used to model the color and depth information of the image， the moving target in video is detected according to the variation of the image color and depth， and KCF algorithm is adopted to realize the preliminary tracking of moving target. Based on this method， the KCF algorithm is improved to solve the problem of tracking drifting while the moving target is occluded， and improve the tracking accuracy and stability of the moving target. The Hermite interpolation is used to calculate the centroid of moving target to get the instantaneous centroid trajectory of motion blur direction at t moment， which can acquire the optimal centroid trajectory of moving target. The curve fitting method is employed to obtain the accurate centroid trajectory of moving target. The experimental results show that the method can track the trajectory of artistic gymnastics accurately， and has high tracking efficiency and high stability.

Keywords： computer vision； rhythmic gymnastics； trajectory tracking； curve fitting

當前我國體育事業處于上升過程，體育科研工作逐漸受到人們的關注，特別是藝術體操運動項目成為熱門運動項目。采用合理的方法對藝術體操軌跡實施跟蹤，能夠協助教練以及運動員科學分析運動和比賽過程中的姿態準確性，為提高運動質量提供可靠分析依據。傳統基于卡爾曼濾波算法的藝術體操軌跡跟蹤過程存在跟蹤漂移以及跟蹤效率低的問題[1]。因此，提出基于計算機視覺的藝術體操軌跡跟蹤方法，實現藝術體操軌跡的準確跟蹤。

1 基于計算機視覺的藝術體操軌跡跟蹤研究

1.1 基于ViBe的運動目標檢測算法

ViBe運動目標檢測算法是基于樣本背景模型的背景差分方法，向圖像的各像素位置采集[N]個近鄰樣本塑造背景模型，基于合理的調整方案存儲波動信息[2]，進而對藝術體操視頻圖像的背景變化實施描述，最終差分出前景目標。具體過程為：

（1） 背景建模。基于首幀藝術體操運動視頻圖像中的各相似點隨機采集[N]個近鄰樣本填充背景模型[M（x）]。ViBe算法基于即刻像素點的8鄰域區域獲取背景樣本，在鄰域中任意采集20個像素塑造背景模型，如下：

[M（x）=v1，v2，…，vn-1，vn] （1）

（2） 模型修正。為了提高背景模型樣本集的真實性，ViBe算法采用隨機修正方案，各背景位置在時間維度上基于均衡分布概率實施修正[3]，修正概率基于像素波動的時間窗口大小實施控制，通常設置修正概率為[116]。ViBe算法通過背景采樣傳播方案確保背景模型空間維度的統一，如果某背景點模型實施修正，則隨機通過背景模型的某樣本位置對即刻像素實施填充，同時基于相應的概率通過即刻像素值對其鄰域點背景模型進行填充。

（3） 前景檢測。為了對即刻像素點實施分類，在顏色空間設置一個以即刻像素[v（x）]為中心，半徑是[R]的球[SR（v（x））]，則背景模型內與即刻像素[v（x）]距離低于[R]的樣本數是：

[#SR（v（x））?v1，v2，…，vN] （2）

即刻像素點顏色與背景模型集內的全部采樣像素點，如果顏色空間的距離低于[R]高于最低匹配規范[Cmin，]則將即刻像素當成背景，否則即刻像素是前景目標，最終檢測出藝術體操運動目標。

1.2 基于KCF的運動目標跟蹤算法

基于計算機視覺的藝術體操研究領域需要解決的技術難關是視頻目標跟蹤技術，當目標面對環境復雜、形變顯著、有遮擋物等不利因素時，視頻目標跟蹤技術的提高需求迫切。本文采用KCF算法實現藝術體操運動目標的初步跟蹤，在該方法的基礎上，采用改進KCF算法解決傳統KCF算法無法解決藝術體操運動目標被遮擋而出現的跟蹤漂移問題，提高運動目標跟蹤的精度。

1.2.1 KCF算法基本原理

KCF（Kernelized Correlation Filter）是一種利用與核相關的濾波器跟蹤算法，通過 Tracking By Detection完成跟蹤任務，實踐過程中設定跟蹤的藝術體操運動目標為主樣本，再將運動目標周圍的可視范圍設定為負樣本。采用判別分類器完成跟蹤任務時主樣本的回應值達到最高點。根據目標移動范圍收集樣本，主樣本位于中間，負樣本分布于周圍區間，運用矩陣迭代更新算法，排除矩陣逆值的出現，將求解變化到離散傅里葉變換域中得益于循環矩陣，從而提高運算效率。

目標中心為收集主樣本提供資源，周邊影像為收集負樣本提供資源。基于樣本中心與目標的距離將各樣本用不間斷的數值進行標識記錄。數值接近1時與目標距離小，數值接近0時與目標距離大。

（1） 求解過程

KCF運算是通過收集藝術體操運動樣本的求解嶺回歸過程實現的，也稱為最小二乘法[4]，可表示為：

[minwxf（xi）-yi2+λw2] （3）

式中：[λ]表示嶺系數，求出一組權值[w]是實踐的最高目標。

[w=（XTX+λI）-1XTY] （4）

在傅里葉域里計算共軛權值[w*：]

[w*=（XHX+λI）-1XHY] （5）

將藝術體操運動樣本矩陣[X]由循環矩陣替代，則得到的簡化運算式為：

[X=Cx=x1x2x3…xnxnx1x2…xn-1xn-1xnx1…xn-2?????x2x3x4…x1] （6）

如果藝術體操運動樣本矩陣[X]是循環矩陣，則有以下屬性：

[X=FdiagxFH， x=Fx] （7）

其中，[F]表示離散傅里葉變換矩陣。

將式（7）運用到權值的運算中：

[w*=FHdiagx*FFHdiagxF+λI-1FHdiagx*Fy=F-1diagx*·x+λI-1diagx*Fy=F-1diagx*x*·xλFy] （8）

如果把向量[w]的運算過程轉換到傅里葉域，將大大提高整個運算的效率。

借助于核函數，KCF會有更好的表達方式。如果設置核函數的映射是[?x]，那么權重[w]為：

[w=iαi?x] （9）

回歸函數可表示為：

[fz=wTz=i=1nαikz，xi，Kv=kxi，xj] （10）

（2） 運算過程

依據核函數的嶺回歸求解過程，則：

[α=K+λI-1y] （11）

利用核函數循環矩陣[K，]使離散傅里葉域的解成為：

[α=ykxx+λ] （12）

則由[K]的第一行元素構成的向量是[kxx]。

（3） 檢測過程

藝術體操運動樣本的核函數矩陣利用循環更新的方法組建：

[Kz=Ckxz] （13）

由第一行元素生成的向量用[kxz]表示。

與此同時，可依據藝術體操樣本[z]計算出藝術體操運動循環移動的響應，實現藝術體操運動軌跡的跟蹤。

[fz=KzTα] （14）

處于DFT范圍內的響應[fz=kxz?α，]“[?]”表示元素之間相乘。

1.2.2 改進的融合深度信息的KCF算法

1.2.1節分析的KCF運動目標檢測方法處理目標長時間遮擋問題時，無法解決藝術體操運動員運動過程中的遮擋問題，因此本文采用融合深度信息的遮擋檢測和操作方法。遮擋會產生跟蹤漂移現象[5]，導致參加跟蹤器訓練的樣本中融入遮擋物噪聲，使得跟蹤器漂移，跟蹤精度降低。因此，為了解決跟蹤漂移問題，采用如下兩種解決措施：

（1） 識別目標遮擋。本文跟蹤的藝術體操運動員運動具有復雜性，識別目標遮擋問題也較為復雜。普通的視頻序列無法獲取體操運動目標遮擋特征，目標遮擋主要是不同深度運動對象的混合，距離攝像機近的體操運動員肢體遮擋了距離遠的肢體，此時通過深度信息對遮擋問題進行識別。但是視頻深度檢測會形成錯誤數據，對這些信息實施操作的過程中應進行特殊操作[6]。如果跟蹤過程初始化，則目標區域的特征屬性較佳，跟蹤區域中被跟蹤的藝術體操運動目標完整，跟蹤目標不存在遮擋問題。本文基于原始視頻跟蹤范圍的深度分布特征，運算獲取藝術體操運動目標深度和背景分割閾值。

（2） 減少負樣本噪聲。藝術體操運動目標存在遮擋問題，使得訓練集中存在遮擋物的像素，隨著跟蹤模型的不斷調整，導致對藝術體操運動軌跡跟蹤出現漂移問題。因此，在跟蹤模型不斷調整狀態時，為了提高對藝術體操運動目標遮擋問題的適應度，應降低負樣本噪聲。在目標訓練樣本集內降低目標以往負樣本量[7]，避免跟蹤模型向背景以及遮擋物漂移。本文通過遮擋MASK對藝術體操運動目標被遮擋范圍進行識別，采用完整的目標圖像對被遮擋范圍實施填充，保留檢測范圍中不存在遮擋的區域。存在遮擋情況下藝術體操運動目標的訓練樣本是：

[trainSample（x）=detectSample（x）， MASK（x）=1originalSample（x）， MASK（x）=0] （15）

即刻檢測的目標樣本是detectSample，遮擋前保留的完整目標樣本是originalSample。

如果藝術體操運動目標不存在遮擋，則對original Sample樣本進行調整，保留完整目標，采用完整目標樣本對跟蹤器進行訓練；如果藝術體操運動目標存在遮擋，則通過遮擋MASK得到新訓練樣本trainSample。新的訓練樣本中存在即刻目標未被遮擋的區域以及目標被遮擋前的區域，訓練樣本存儲完整的目標像素，降低遮擋的不利影響，確保目標跟蹤過程不存在漂移。

1.3 藝術體操運動目標軌跡重建

1.3.1 運動模糊目標的處理

由于藝術體操運動員運動速度較快，運動變化幅度較大，使得運動出現模糊問題，不能獲取準確的運動質心，修正后的左右視圖目標無法對齊。基于立體匹配的極線限制關系可得，在某個視圖中的點能夠在另一個視圖中的極線中檢索到匹配點[8]。若可獲取運動目標質心的大概位置，則可獲取運動目標質心的準確位置。

圖像高頻成分在不同的運動方向上的波動具有一定的規律性，目標運動方向中的高頻能力最低，偏離運動方向過程中的高頻能力不斷提升，運動目標垂直方向中的高頻能力最高。通過方向微分方法運算不同方向的高頻能量和，基于高頻能量累積分布直方圖可得，如果圖像的微分灰度值最低，則高頻分量損失最高的角度則是運動模糊方向。

設置即刻運動圖像像素點灰度值以及插值像素灰度值分別是[g（i，j）]以及[g（i，j）]，微分距離是[Δr，]微分方向是[α，]則當前像素和插值像素的位置關系為：

[i=i+Δr?sinαj=j+Δr?cosα] （16）

基于插值點坐標相鄰的四個像素點灰度值二次樣條插值得到插值像素灰度值[g（i，j）]。

在不同方向中對圖像實施微分處理，獲取不同方向的圖像微分能量和，獲取能量直方圖，將直方圖中高頻分量最小的方向當成目標運動方向。

1.3.2 Hermite插值質心軌跡

采用改進的融合深度信息的KCF方法獲取運動目標區域后，通過Hermite插值運算運動目標質心，基于時刻[t]的運動模糊方向獲取瞬時質心軌跡，最終得到最佳的運動目標質心軌跡。時刻[t]目標投影區域中，目標質心處于經過目標投影中心以及經過目標投影的質心軌跡中。對左右視圖實施對齊處理[9]，當左右視圖目標的預測質心軌跡一致，則能夠得到大量的可能匹配的質心點。獲取的可能匹配質心軌跡因為目標質心位置以及速度方向存在一定的偏差，應通過曲線擬合措施獲取精確的質心軌跡。

1.3.3 目標軌跡擬合

通過誤差向量[r]的2?范數方法，評估近似函數[p（x）]同對應節點[（xi，yi），i=0，1，2，…，m]間的誤差[ri=p（xi）-yi，][i=0，1，2，…，m]。數據擬合的具體過程為：設置藝術體操運動數據[（xi，yi），i=0，1，2，…，m，]在函數類[?]內，獲取[p（x）∈?，]確保誤差的2?范數最低，也就是使得式（17）最低，則為近似。

[i=1mr2i=i=1mp（xi）-yi2] （17）

在集合空間中檢索同點[（xi，yi），i=0，1，2，…，m]間具有最低距離的曲線[y=p（x）]，該曲線則是擬合函數，也就是最小二乘解。如果藝術體操運動數據[（xi，yi），i=0，1，2，…，m，]存在少于[n]次由多項式構成的函數類[?]，則：

[pn（x）=k=0makxk∈?] （18）

確保式（19）中的[I]最小：

[I=i=0mpn（xi）-yi2=i=0mk=0nakxki-yi2] （19）

若[pn（x）]是多項式，則滿足式（19）的[pn（x）]為最小二乘擬合多項式。如果[n=1，]則該過程是線性擬合。

[I]是關于[a0，a1，a2，…，an]的多元函數，最小二乘擬合的過程則是獲取[I]極值的過程，對式（19）進行求導運算能夠獲取：

[?I?aj=2i=0mk=0nakxki-yixji=0， j=0，1，2，…，n] （20）

則有：

[k=0ni=0mxj+kiak=i=0mxjiyi， j=0，1，2，…，n] （21）

式（21）是關于[a0，a1，a2，…，an]的線性方程組，并且存在[ak（k=0，1，2，…，n）]，多項式為：

[pn（x）=k=0nakxk] （22）

其中，[pn（x）]滿足最小二乘約束，也就是待求解的多項式，則：

[r22=i=0mpn（xi）-yi2] （23）

式（23）稱為擬合的平方誤差。

2 實驗結果與分析

實驗對某體育學院藝術體操運動員的運動軌跡實施跟蹤監測，將雙目攝像機架于某體育院校的藝術體操運動場地中，通過左右攝像機拍攝運動員的第1幀和350幀連續的運動圖像序列，如圖1所示。

采用本文跟蹤算法獲取實驗運動員的平面軌跡圖，如圖2所示。分析圖2可以看出，藝術體操運動員運行的平面軌跡同實際運動軌跡基本一致，說明本文方法跟蹤的藝術體操運動員平面軌跡具有較高的精確度。

實驗得到的藝術體操運動視頻幀率是18 f/s，則350幀圖像內的運動員共運行14 s。為了提高運動員軌跡跟蹤精確度，將圖2中運動員的平均運動軌跡當成運動員的部分運動軌跡，采用雙目視覺獲取部分藝術體操運動員運動軌跡后，分別采用本文算法和卡爾曼濾波算法實現運動員運動軌跡的跟蹤，結果如圖3所示。分析圖3能夠獲取實驗藝術體操運動員的實時運動狀態，能夠看出，本文算法跟蹤的運動員軌跡同實際運動軌跡更匹配，而卡爾曼濾波算法跟蹤的運動軌跡出現顯著的波動，同實際運動軌跡間存在較高的偏差，說明本文跟蹤算法具有較高的跟蹤精度和穩定性。

為了客觀分析兩種跟蹤算法對實驗藝術體操運動員軌跡跟蹤的準確度，兩種算法在300 m（200 s）內對運動員運動狀態的預測誤差如圖4所示。其中圖4（a）和圖4（b）分別描述兩種算法對運動員軌跡的預測誤差以及運動速度的預測誤差。分析圖4可得，相對于卡爾曼濾波算法，本文算法軌跡預測誤差小，跟蹤精度高，在藝術體操運動員軌跡跟蹤中的性能較高，收斂效率較高。

為了更好地檢測兩種算法的藝術體操軌跡跟蹤精度，實驗通過蒙特卡洛迭代1 000次，預測兩種算法對實驗藝術體操運動員軌跡的預測誤差以及速度的預測誤差的均方根誤差（RMSE），結果如表1所示。

從表1中能夠看出，相對于卡爾曼濾波的軌跡跟蹤算法的軌跡跟蹤均方根誤差，本文算法的軌跡跟蹤均方根誤差更小，本文算法的藝術體操運動員軌跡跟蹤的準確性更高，算法復雜度更低。

3 結 論

本文提出基于計算機視覺的藝術體操軌跡跟蹤方法，先通過ViBe運動目標檢測算法獲取視頻中的運動目標，再使用改進的KCF跟蹤方法跟蹤運動目標，解決了跟蹤過程中存在的漂移問題，最后基于立體視覺原理得到目標的三維空間位置，擬合軌跡點得到運動目標軌跡。

參考文獻

[1] 熊建平.基于計算機視覺的墻地磚表面缺陷檢測[J].電子測量技術，2015，38（5）：53?55.

[2] 華貴山，梁棟，葛浩.基于改進光流算法的機器人目標跟蹤系統[J].控制工程，2014，21（5）：634?637.

[3] 蔡壯，張國良，田琦.基于函數滑模控制器的機械手軌跡跟蹤控制[J].計算機應用，2014，34（1）：232?235.

[4] 李龍，白瑞林，吉峰，等.結構光視覺引導的軌跡跟蹤系統的標定技術[J].計算機工程與應用，2014，50（16）：259?264.

[5] 于淼.基于行為視覺分析的運動角度規范性智能判斷[J].科技通報，2015，31（12）：199?201.

[6] 侯向丹，董永峰，坎啟嬌，等.基于運動軌跡的視頻目標跟蹤算法[J].計算機工程與設計，2015（4）：995?998.

[7] 柯文德，彭志平，蔡則蘇，等.仿人機器人相似性運動軌跡跟蹤控制研究[J].自動化學報，2014，40（11）：2404?2413.

[8] 楊建華，劉衛東.遙控潛水器軌跡跟蹤自適應模糊滑模控制方法研究[J].計算機測量與控制，2014，22（8）：2447?2450.

[9] 于宏嘯，段建民.關于車道線圖像識別軌跡規劃跟蹤仿真[J].計算機仿真，2015，32（4）：144?148.