基于骨骼點相對位置的動作對比矯正模型*

張偉來 谷 林

（西安工程大學計算機科學學院 西安 710600）

1 引言

人體動作的識別、對比與矯正等是計算機視覺技術的研究熱點，可以廣泛應用于監控分析、人機交互、體育教學、康復訓練等領域。其中人體動作對比矯正技術指從視頻或圖像信息中獲取人體目標及其動作特征描述，依據特征描述對人體的動作進行對比分析，從而給出評價和矯正指導，幫助用戶做出正確的動作。Tang 等［1］提出了一種基于神經網絡的相似性度量系統，使用對應關節間的歐式距離為基本特征，利用受試者的主觀感受來作為標簽評價一對運動是否相似，訓練系統計算任意一對運動的相似度，并給出評價。Hu 等［2］設計了一種包含身體輪廓和關節位置、形狀和深度信息的特征描述，將被測動作序列對齊后比較特征描述的相似度，從而給出評估結果和矯正提示。千承輝［3］等設計了一種基于視覺方法的康復訓練系統，利用骨骼點信息比較被測人骨骼角度序列與動作庫的標準動作序列的相似度，從而給出評價和指導建議。受限于傳統特征描述方法，前人研究者對動作對比分析系統的研究主要集中于對動作的分析評價，往往只能給出矯正意見，如方向、角度、距離等方面的建議，無法給出精確的矯正位置。

為解決上述問題，本文使用基于骨骼點相對位置的特征描述方法，包含單幀圖像中每個骨骼點與其他骨骼點的二維向量信息，結合余弦相似度僅對方向敏感的特點計算目標人體與被測人體的相似度，建立基于統計方法的對比分析模型對圖像中被測動作中的骨骼點位置進行正誤判斷，最后基于目標動作的特征描述計算錯誤骨骼點的正確位置，給出矯正建議。

2 相關研究

對人體動作進行對比分析主要有兩個關鍵環節，選取合適的特征和特征描述方法，以及設計高效、準確的對比分析方法。

圖像中人體特征主要有包含完整信息的全局特征和對部分興趣點敏感的局部特征［4～6］。全局特征是對檢測出的整個人體進行描述，通常采用邊緣、輪廓等信息，其包含更多、更完整的信息，但對噪聲、遮擋、視角變化等敏感。局部特征提取是對圖像或者視頻中的一個塊進行描述，通常檢測到人體動作時變化顯著的關鍵點，以這些點為中心在鄰域內捕獲局部形狀、外觀和運動等特征進行描述。此外還有近年來應用廣泛的人體骨骼點特征［7～8］，使用骨骼點特征能更準確描述出人體肢體姿態，減小背景環境和攝像機等因素的干擾和影響，且由于骨骼點特征數據規模小，研究者可以進行更為復雜的計算。

對特征的對比分析的經典方法是建立算法模型，對單個動作之間特征描述的位移、角度、加速度等變化，或對整個運動過程中特征信號的時域、頻域特征等進行采集，并進行計算分析［9～10］。此外還有近來在計算機視覺領域運用廣泛的機器學習、深度學習等方法［11～13］，通過足量的數據和時間訓練神經網絡，自動從數據中提取出便于識別對比的特征，并進行分析，最后輸出結果。

3 對比矯正模型

3.1 特征描述

基于骨骼點的人體特征描述方法主要保存人體骨骼的位置信息、距離信息、角度信息、加速度信息等，骨骼點特征信息可由傳感器直接獲取或由人體姿態估計（Human pose estimation）技術獲得。傳感器通常為陀螺儀、加速度傳感器、磁力強度計等，其直接獲取的數據較為準確、迅速，不受光照、陰影、遮擋等因素影響，能較好地保護用戶隱私，但此方法受器材、場地等條件制約，難以推廣、普及［14］。人體姿態估計技術是采用圖像處理的方法，對圖像中的特征進行處理分析，獲得人體骨骼點的特征。此方法對軟硬件要求較低，只需輸入圖像信息即可通過算法模型或機器學習等方法獲取需要的特征，但其準確率和速度受圖像質量、數據預處理效果和算法模型設計等多種因素影響［15］。目前常用的人體姿態估計系統有基于圖像和深度學習方法的Openpose、Alphapose等，以及基于深度攝像機的Kinect等。

基于骨骼點間相對位置信息的人體特征描述方法，對于一個動作的特征描述，由連續多幀圖像中的人體姿態特征組合而成。單幀中的人體姿態特征包含每個骨骼點與其他骨骼點的向量信息，形成二維矩陣，如式（1）。

其中vij表示在該幀中骨骼點i與骨骼點j的相對位置信息，即由點i指向j的二維向量，則矩陣Ft包含了在第t幀中所有骨骼點之間的相對位置信息，由連續的特征矩陣Ft組成的集合F即為一個含有n個骨骼特征點的人體動作特征描述。

3.2 錯誤點檢測

獲取動作特征描述后進行對比分析，針對人體動作對比矯正，分析的重點在于錯誤動作點的檢測和矯正。由于余弦相似度只對方向敏感，可減小體型、拍攝遠近等距離層面的影響，故本文采用余弦相似度來衡量同一動作中，兩個進行對比的人體特征描述的相似程度，并形成相似度矩陣。再結合統計分析方法分析、篩選出錯誤動作點。余弦相似度通過兩個向量的夾角余弦值來評估兩個向量的相似程度，值越接近1 即夾角越小，表示兩個向量越相似，如式（2）。

由此方法結合所獲取的特征描述矩陣，對兩個矩陣中對應的向量計算余弦相似度，可獲得相似度矩陣，如式（3），其中sij指目標圖像中向量vij與被測圖像中向量vij之間的余弦相似度。

對相似度矩陣數據進行分析，可以發現一些能夠區分正確點和錯誤點的數據特征。如圖1 為兩個骨骼點的相似度數據和它們與其他骨骼點的平均相似度數據，其中點A 是錯誤動作的骨骼點，點B 是正確動作骨骼點。可以發現：1）正確點的平均相似度明顯高于錯誤點。2）在一個骨骼點與其他骨骼點的相似度數據中，錯誤點的相似度數據明顯低于正確點的相似度數據，表現為偏低的異常值。針對這兩種特點，設計兩種方法來綜合判斷一個骨骼點在動作中的正確性。

圖1 骨骼點相似度

由于正確點的平均相似度數據要明顯高于錯誤點，因此可以使用平均相似度來判斷骨骼點是否正確。但由于動作的錯誤程度不同，所表現出的平均相似度難以用固定閾值進行衡量，因此使用所有點平均相似度的平均值，再結合均方差作為閾值進行判斷，如式（4）、（5）。最后將低于閾值的數據認為是異常值，將其的相對差記錄下來并累加，用于最終判斷，如式（6）。

針對錯誤骨骼點的相似度在其他骨骼點相似度數據中體現為低異常值的特點，同樣可以設計方法加以判斷。由圖可發現此類異常值一般遠低于正常值，又由于均值和均方差的耐抗性較差，在多錯誤點動作的特征中，此類低異常值可能會大幅影響平均值與均方差，造成判斷不準確，所以不適合使用此類方法進行篩選。使用四分位數和四分位距能更好地針對這種數據進行分析，四分位數是將數據均勻劃分為四部分，其中每部分包含四分之一的數據，由此得出上四分位數、中位數和下四分位數，再由上、下四分位數的差得出四分位距，如式（7）。四分位數具有一定的耐抗性，允許多達四分之一的數據有較大誤差而不會大幅影響四分位數，所以異常值不能對這個標準施加影響。在上、下四分位數的基礎上結合四分位距可以得出異常值的內限和外限，由內限和外限可將異常值劃分為溫和異常值和極端異常值。本文方法將內限作為判斷閾值，且由于本文數據特征，錯誤點只會產生相似度較低的低異常值，因此只需計算下內限，如式（8），最后記錄異常值與閾值的相對差并累加，如式（9）。

最后將兩種方法的相對誤差相加形成相對誤差矩陣，用于判斷。

3.3 動作矯正

將所有骨骼點區分為正確骨骼點和錯誤骨骼點后，需要對錯誤骨骼點進行矯正。針對錯誤點的矯正需要使用正確骨骼點的位置信息，以及正確的相對位置信息來預測錯誤點應屬的正確位置，從而實現動作矯正。經判斷為正確的骨骼點可以提供正確骨骼點的位置信息，而正確的相對位置信息可以從正確動作的特征描述中獲得，將所有正確點算得的矯正點坐標取平均，可得最終矯正點坐標，因此有公式如式（11）。

其中k 是設定用于判斷骨骼點正誤的閾值，ei＜k表示第i 個骨骼點的相對誤差小于閾值，即判斷該點為正確點，m為正確骨骼點的個數。

4 實驗分析

4.1 實驗數據

本文使用自建數據集對模型進行實驗和分析，由于一個動作視頻可由連續多幀圖像表達，將目標動作與被測動作關鍵幀對齊后，圖像中的對比矯正即可拓展至視頻層面，因此本文只設計圖像數據集對模型進行實驗驗證。數據集由46 組正確動作和錯誤動作圖像組成的對照圖像組成，對照圖像為固定靜態動作或對照動作視頻中的關鍵幀，出處為實驗室拍攝和網絡視頻。其中正確動作為一名教師或實驗人員做出的目標動作，錯誤動作為受試者模仿正確動作做出的包含錯誤點的模仿動作。錯誤動作包含單點錯誤、單肢體錯誤、多點錯誤、多肢體錯誤，涵蓋常見錯誤類型。

4.2 骨骼點定義及獲取

相較于傳感器方法，計算機視覺方法在獲取骨骼點時不受硬件條件制約，應用范圍更廣泛，因此實驗中人體骨骼點獲取方式采取Openpose［16～17］開源模型。Openpose 基于卷積神經網絡和有監督學習開發，可實現對人軀干的主要關鍵點、人臉關鍵點的和手腳關鍵點的姿態估計。其模型速度快、魯棒性強、準確度高，已被研究者們廣泛認同。實驗采集的關鍵點為對人體運動敏感的軀干骨骼點，包含15 個骨骼點，如圖2、表1 所示，通過這些骨骼點可以清楚地觀察出人體的運動姿態。

圖2 骨骼點結構圖

表1 骨骼點對照表

4.3 模型效果驗證

使用本文模型對46 組對照圖像進行分析發現，共690個骨骼點數據中，有312個骨骼點被記錄了本文所定義的相對誤差值，但大部分為相對誤差值較低，如圖3。實驗說明本文模型對動作錯誤導致的骨骼點位置異常較為敏感，后設置合適閾值驗證對比效果和矯正效果。

圖3 相對誤差值分布圖

為驗證本文模型對錯誤點識別的準確度，首先對數據集中錯誤節點進行人工標注，其中自行拍攝的圖像在拍攝時已對錯誤動作中的錯誤骨骼點進行了設計、記錄，網絡圖像部分則是由多位動作對比領域研究者共同進行觀察與經驗分析。通過計算本模型錯誤點檢測準確率和F1 對模型進行評測，公式如下。其中準確率表示所有樣本中分類正確的比率，精確率為被分為正例中實際也為正例的比率，召回率為真是為正例中被分為正例的比率，由于精確率與準確率通常情況下此消彼長，F1 值是對這兩種指標的綜合評價。

表2 評測指標參數定義

根據圖4 結果可見隨著閾值k 值增加，準確率與F1 值呈先上升后下降趨勢，二者在近似k=0.1 處取得最大值，準確率可達90%，F1 值達86%，效果較為理想。因此近似取k=0.1，在此閾值下使用數據集中圖像驗證對比與矯正模型，如圖5。

圖4 評測指標

圖5 矯正效果圖

圖中淺色點、線表示正確的骨骼點及其所連接的肢體，黑色加粗點、線表示錯誤骨骼點及其所連接的肢體，淺色圓圈及其相連線表示本文模型所預測的動作矯正點及其所連接的肢體。經觀察在數據集中圖像上矯正效果良好，可實現預期目標，在性能有限的個人PC 上對46 組對照圖片處理速度可達3.6組/秒，整體效果良好。

5 結語

受限于傳統特征描述方法，前人研究者對動作對比分析系統的研究主要集中于對動作的分析評價，往往只能給出矯正意見，如方向、角度、距離等方面的建議。本文使用基于骨骼點相對位置的動作特征描述方法，在對動作對比分析后可根據骨骼點相對位置計算出錯誤骨骼點的正確位置，矯正效果更為清晰、準確。從實驗結果中發現，本文模型在閾值k 取0.1 時能有較好的效果，準確率、召回率可達近90%，基本能滿足動作對比矯正系統的要求。本模型可應用于康復訓練、體育教學等領域，相較于傳統的現實教學訓練方法可幫助教師提高教學效率和教學效果。

在自建數據集的小部分實驗中，發現了分析矯正效果略不理想的情況，經研判可能原因有：1）余弦相似度只對方向敏感，缺少距離維度的數據；2）在錯誤點較多的情況下，模型克服極值影響的能力仍然有限；3）由于人體肢體動作總是由相近的骨骼、肌肉帶動，因此距離相近的正確骨骼點在矯正過程中應擁有更大的權值。在后續的研究工作中期望針對上述原因對模型進行改進。