基于圖像識別的武術動作分解方法研究

王俊峰

摘 要： 提出以圖像識別為基礎分解識別人體武術動作的方法。首先，通過形態學梯度操作使大部分噪聲背景可以消除，進而取得人體輪廓邊緣，將視頻中每幀圖像輪廓邊緣提取出來并在同一幅圖像中實現累積，利用累積邊緣圖像計算出以網格為基礎的HOG，獲取圖像動作特征向量；其次，運用改良動態時間規整理論結合動作時間序列下各關節角度變化的特征，即可識別出各類武術動作間關節變化序列的相似性，再設計分類器并向其輸入圖像中人體動作時變特征數據，從而實現基于圖像識別的武術動作分解過程。實驗結果表明，利用圖像識別可有效分解武術動作。

關鍵詞： 人體動作； 圖像識別； 動作時間序列； 動作分解

中圖分類號： TN911.73?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2017）15?0033?04

Abstract： A method based on image recognition to identify and decompose the human?body Wushu action is proposed. The operation of morphological gradient is used to eliminate most of background noise to obtain the edge of the human?body contour. The contour edge of each frame image is extracted in the image， and accumulated in the same image. The cumulative edge image is used to calculate the HOG based on grid， and acquire the action feature vector of the image. The improved dynamic characteristics of time warping theory is combined with the change characteristic of the angle of each joint under movement time series to recognize the similarity of joint change sequence among various Wushu movements. The classifier was designed， and the time?varying characteristic data of human?body movement in the image is input into it to realize the Wushu movement decomposition based on image recognition. The experimental results show that the image recognition can decompose the Wushu movement effectively.

Keywords： human?body movement； image recognition； movement time series； movement decomposition

0 引 言

文獻[1]中提到使計算機擁有與人類相同的視覺感知功能，并像人類一樣可以識別外界事物、感知場景、解析周圍事物活動情況是計算機視覺研究的最終目標。運用計算機分析和理解人體動作具有挑戰性，這一課題涉及多個學科領域，包括認知科學、模式識別、機器學習等，具有一定學術研究價值。該技術應用會使計算機具備觀察外部世界的能力，然后通過圖像信息的自動分析和理解做出決策響應，計算機將具備更優秀的適應環境能力[2?4]。

文獻[5]指出分析與理解視頻中人的動作可以總結為：通過在視頻中提取運動及表現特征，對動作類別以及動作發生方位給出合理判斷，細致分析出與動作相對應的語義信息，最終確定人的行為意圖。動作表示、動作分割、動作識別和動作定位是人體動作分析與理解過程中最為重要的幾項研究。動作表示指的是通過提取輸入視頻中表現運動和結構等信息，獲得描述該視頻的特征向量。文獻[6]中定義動作分割是通過分割連續視頻流，使其成為若干組只包含一個動作事例的子視頻段。通過建立視頻內容與動作類別之間的關聯實現人體動作識別。

因此文中運用此項技術，提出以圖像識別為基礎實現分解識別人體武術動作的方法。首先，利用形態學梯度操作去除掉大部分噪聲背景，獲取人體輪廓邊緣界限，在視頻中獲得每幀圖像的形狀邊緣同時累積在一幅圖像中，通過累積邊緣圖像計算出以網格為基礎的HOG，得出圖像動作特征向量；其次，結合動作時間序列下各關節角度的變化特征，運用改進動態時間規整理論對各類武術動作間關節變化序列的相似性進行識別，通過設計分類器并將圖像中人體動作時變特征數據輸入其中，最終完成基于圖像識別的武術動作分解過程[7?8]。

1 基于圖像的武術動作分解識別過程

1.1 基于累積邊緣圖像的動作特征提取

利用組合形態學操作能夠消除視頻圖像上部分背景，形態特征能夠完好保留，獲得人體側影輪廓圖像，其與背景相減技術的作用非常相似。則組合形態學操作公式可表述為：

式中：表示通過組合形態學操作處理完成的圖像；表示原視頻中一幀圖像；表示結構元素；表示閉合操作。通過式（1）閉合操作可將原始圖像中比背景暗，且尺寸比結果元素尺寸小的區域去除，選擇合適的結構元素，通過閉合操作得到剩余背景圖像，使其與原始圖像相減就能夠完成目標提取。

人體武術動作視頻圖像中一幀圖像并不能充分表述一個動作，一般都需要提取多幀圖像特征才能完整展示一個人體動作。由于存在動作速率差異，即便是同一動作，每個視頻圖像的幀數也可能不同。為了處理這兩種速率的變化，考慮到速率變化特征，文中將同一時間窗口上每一幀邊緣圖像灰度特征累積到同一幅圖像當中，利用建立的累積邊緣圖像提取出其特征，用于表示人體武術動作。

累積邊緣圖像操作流程為：視頻圖像中通過形態學梯度操作處理后的一幀圖像用表示；運用邊緣檢測算子在上獲取的邊緣檢測圖像用表示，此圖像是二值圖像；通過和在每個像素點上相乘得到的邊緣圖像即為，灰度圖像由表示，灰度信息處在邊緣點上，若像素點處于邊緣之外，則灰度值為0；累積邊緣圖像用表示，其尺度與大小一致，獲取是為了累積視頻圖像中所有處于某一時間窗口上的到一幅圖像上。

針對進行初始化，設置所有像素為0，時間條件為=0；基于邊緣檢測能夠在視頻時間窗口的第一幀形態學梯度圖像上得出邊緣圖像；灰度圖像通過梯度圖像和邊緣圖像相乘獲得；在全部像素點上比較和上一幀取得的累積邊緣圖像，灰度值較大的像素點其灰度值將作為的新值；重復邊緣檢測步驟，直至全部圖像操作完成。

本文方法的主要思想是壓縮視頻序列中的信息成為一幀圖像來表達動作，累積邊緣圖像中信息含量巨大，時刻在點上累積邊緣圖像的公式可描述為：

累積邊緣圖像是在每個像素點讓二值圖像和形態學梯度圖像相乘，獲得具有灰度信息的邊緣圖像后，累積全部邊緣圖像到一幅圖像中，并不是累積每一幀二值圖像到一幅圖像中。0和1是二值圖像像素灰度值僅有的兩個值，若邊緣圖像所對應的二值圖像中像素值為1，則該點處灰度值范圍相比二值圖像信息更多。

針對目標圖像進行累積邊緣圖像，則圖像信息中心已包含了較多幀圖像的邊緣信息，因此不需再提取邊緣特征，可在累積邊緣圖像的每一點上直接求解方向梯度直方圖。

計算以網格為基礎的方向梯度直方圖就是求解在累積邊緣圖像上所有點的方向梯度。將累積邊緣圖像分為個空間網格，計算每個網格上的直方圖向量，將其中一個尺度特征向量提取出來并作為動作特征，統計該目標獲取的局部形狀，進而獲得累積邊緣圖像的特征向量。

1.2 基于動態時間規整的人體武術動作識別

動作表達具有時間上的持續性，即動作可在某一時段上是一系列靜態動作的集合。人體運動過程可以通過關節角度曲線變化反映出動作的變化趨勢，隨著時間變化關節產生角度變化曲線可稱之為關節角度時間序列。人體運動特征利用關節角度時間序列描述，若某一武術動作持續時間設為則可定義運動特征為：

式中：某一關節角度時間序列由行向量表示；運動特征數量為時的行向量由表示；運動特征數量由表示，且范圍為。

行向量可理解為時變一維信號，則演化成以簡單動作識別歸類為時變特征數據的分類問題。由先驗數據能夠看出，當測試者自由展示武術動作時，相同動作具有不同的波形和幅值，無法排除與相近的可能性。因此，動作識別利用對比時間序列的相似度來實現，即武術動作分解判斷通過比較不同長度向量之間的距離來實現。

曲線之間相似度的比較是時間序列變化趨勢關注的重點，因為視頻反饋系統與測試者等都存在不確定性因素，會導致數據的偏差與波動，所以利用下式對序列完成光滑處理：

式中：序列中第個時間點的關節角度值由表示；分別為及階時關節角度值；為大于0的整數。

基于動態規劃思想的動態時間規整理論，其目的是找出2個不同長度的測試樣本與參考模板間的最優匹配路徑以及最短距離。參考時間序列設為測試樣本設為。時間的關節角度值分別用和表示；與表示向量長度，若向量和非線性匹配，則可描述累計距離矩陣為：

若要使時間序列上的點和具有不同的關節角度軸值，需要基于點和構建一個三維向量重新定義替代原來的歐氏距離，即和，下面依次描述參考序列一階導數與參考序列二階導數：

式中：表示第個時間點關節角度值；表示第個時間點關節角度值。由于構造了上述向量有利于映射的準確性，則可定義為：

式中：表示測試樣本序列關節角度一階導數值；表示測試樣本序列關節角度二階導數值；分別表示調節關節角度值最短距離的權值、調節關節角度一階導數值最短距離權值及調節關節角度二階導數值最短距離權值。

根據式（4），存在運動模板特征矩陣和待測樣本若為與的改進距離，則與的距離可描述為：

式中：表示樣本間的改進距離；表示改進距離的運動特征數量；是運動特征數量為時與的改進距離。

計算期望距離值為：

式中：為期望距離的權重值。給定一個武術動作圖像測試樣本，使期望距離ED獲得最小值的模板對應的武術動作即為識別結果：

式中表示參考庫中的已知模板。

綜上所述，通過累積邊緣圖像對視頻圖像中的武術動作特征進行特征向量提取，然后運用動態時間規整理論對武術動作時間序列進行計算，對待識別的武術動作與參考時間序列樣本進行匹配后，完成武術動作分解識別過程。

2 仿真實驗與結果分析

為準確分解武術動作，文中利用基于累積邊緣圖像的動態時間規整方法對武術動作進行識別，通過仿真實驗驗證本文方法的可行性。

實驗1：文中給出兩幅武術動作圖像為實驗對象，為將目標輪廓從圖像中有效提取出來，利用文中的形態學操作及活動輪廓模型法對圖像目標輪廓進行提取，具體圖像處理效果如圖1～圖6所示。

由第一組圖像（圖1～圖3）可以看出，圖1為原圖像，圖2為利用文中形態學操作對圖像進行輪廓提取后的效果圖，通過觀察圖2形態學操作，首先是將圖像變換為二值圖像后進行武術動作輪廓提取，從圖2中可清晰地識別出動作的邊緣圖像；將圖2與圖3進行比較后，可以看出，圖3是運用活動輪廓模型法對武術動作輪廓實現提取，但該方法對輪廓邊緣提取并不準確，不能清楚地識別出動作的輪廓。

由第二組實驗的圖像（圖4～圖6）同樣可以證明運用本文形態學操作對圖像進行處理時，可有效地提取武術動作輪廓邊緣，表明文中形態學操作是提取圖像輪廓邊緣的有效方法。

實驗給出5組圖像，運用本文形態學操作及活動輪廓模型法對5組圖像實現輪廓提取處理，比較圖像輪廓提取耗時及清晰度，具體數據如表1所示。

通過觀察表1可以看出，通過給定圖像數量運用本文形態學操作及活動輪模型法對5組圖像實現輪廓邊緣特征提取，采用本文方法對5組圖像進行處理，平均圖像輪廓提取時間在1.2 s；而利用活動輪廓模型法對圖像進行處理，平均圖像輪廓提取時間耗時嚴重，都在10 s以上。比較圖像輸出清晰度可以看出，本文形態學操作處理后的圖像清晰度明顯要比活動輪廓模型法處理后的圖像清晰度高出很多，顯示本文形態學操作的性能優越。

實驗2：實驗給出一組不同武術動作樣本集，每組樣本集中包括4個動作，通過運用本文動態時間規整法及運動歷史圖像識別法對武術動作樣本進行動作識別，對比兩種方法識別動作的成功率，具體數據如表2所示。

通過運用本文動態時間規整法及運動歷史圖像法對武術動作集中的動作進行識別，從表2可以看出，采用本文方法識別動作的成功率為95%以上，而利用運動歷史圖像法識別動作的成功率為50%以下，表明本文動態時間規整法可以有效地對武術分解動作進行識別。

3 結 論

由于人體動作識別技術可廣泛地應用于很多領域，因此本文提出基于圖像識別對武術分解動作實現有效識別。利用基于累積邊緣圖像的形態學梯度操作對武術圖像進行輪廓邊緣圖像特征提取，累積成為一幅圖像，計算該圖像的方向梯度直方圖，獲取圖像特征向量；運用動態時間規整法，計算出不同武術動作的關節動作變化序列，形成參考樣本集；最后將待測樣本與參考樣本進行比照，實現武術分解動作的圖像識別。

參考文獻

[1] 李榮，徐燕華.基于視覺信息的圖像特征提取算法研究[J].電子設計工程，2016，24（9）：188?190.

[2] 許麗娟，劉大龍.公交車危險動作視覺圖像識別仿真[J].計算機仿真，2015，32（6）：150?153.

[3] 王明良，孫懷江.基于分層運動姿態協方差的人體動作識別[J].計算機應用研究，2015，32（12）：3794?3797.

[4] 白琛，孫軍華.基于局域性約束線性編碼的人體動作識別[J].北京航空航天大學學報，2015，41（6）：1122?1127.

[5] 萬劍鋒，黎洪松.基于圖像識別的生產線零件分揀系統[J].現代電子技術，2016，39（12）：62?65.

[6] 余萍，趙繼生，張潔.基于非線性修正函數的卷積神經網絡圖像識別研究[J].科學技術與工程，2015，15（34）：221?225.

[7] 林濤，柳孝云，張相芬，等.基于新的形態學梯度參數的DTI圖像分割算法[J].電視技術，2015，39（6）：5?7.

[8] 汪成峰，陳洪，張瑞萱，等.帶有關節權重的DTW動作識別算法研究[J].圖學學報，2016，37（4）：537?544.

[9] 黃菲菲，曹江濤，姬曉飛.基于多通道信息融合的雙人交互動作識別算法[J].計算機技術與發展，2016，26（3）：58?62.

[10] 宋健明，張樺，高贊，等.基于深度稠密時空興趣點的人體動作描述算法[J].模式識別與人工智能，2015，28（10）：939?945.