基于SVR-LSTM的人體上肢運動遮擋軌跡補償方法

摘要： 在人機協作過程中，由于光照條件等環境因素和機器人設備擺放等遮擋原因，導致使用基于視覺的運動捕捉設備對人體運動進行捕捉時時間序列的軌跡數據有缺失，進而導致意圖識別不準確，增加了機器人運動的不確定性。因此，提出了一種基于支持向量回歸（support vector regression，SVR）和長短期記憶（long short-term memory，LSTM）的人體上肢運動時間序列軌跡缺失補償方法。采用網格搜索法對SVR模型中的參數進行優化來完善歷史樣本數據集，結合長短期記憶網絡對短、長時間序列軌跡缺失的預測補全更精確的優勢，將SVR模型補全的歷史樣本數據集輸入LSTM模型訓練，進一步降低補償誤差。實驗結果表明，在三維空間350 mm的運動尺度范圍內，軌跡缺失程度為10%時，SVR-LSTM模型補償軌跡的平均誤差是0.14 mm；軌跡缺失程度為30%時，SVR-LSTM模型補償軌跡的平均誤差是0.47 mm。

關鍵詞： 遮擋軌跡； 時間序列； 意圖識別； 軌跡補償； SVR-LSTM模型

中圖分類號： TP391

文獻標志碼： A

文章編號： 1671-6841（2025）01-0001-07

DOI： 10.13705/j.issn.1671-6841.2023101

Human Upper Limb Motion Occlusion Trajectory Compensation

Method Based on SVR-LSTM

PENG Jinzhu¹， LIU Hanfei¹， BIAN Yingnan²

（1.School of Electrical and Information Engineering， Zhengzhou University， Zhengzhou 450001， China;

2.Logistics School， Henan Communication Vocational Technology College， Zhengzhou 451460， China）

Abstract： In the process of human-computer cooperation， the usage of vision-based motion capture equipment could cause the lack of human upper limb time series motion trajectory due to environmental factors such as lighting conditions and site restrictions such as the placement of robot equipment， resulting in inaccurate intention recognition， and thus increasing the uncertainty of robot motion. Therefore， an occlusion time series trajectory of human upper limb motion compensation method was proposed based on support vector regression （SVR） and long short-term memory （LSTM）. The grid search method was used to optimize the parameters in the SVR model to improve the historical sample data set. Combining the advantages of the LSTM in more accurate prediction and completion resulted for short and long-time series track missing， the historical sample data set supplemented by the SVR model was input into the LSTM model training to further reduce the compensation error. The experimental results showed that the average error of the SVR-LSTM model compensation trajectory was 0.14 mm in the range of 350 mm motion scale in three-dimensional space when the trajectory missing degree was 10%. When the degree of track missing was 30%， the average error of SVR-LSTM model compensation track was 0.47 mm within the range of 350 mm motion scale in three-dimensional space.

Key words： occlusion trajectory; time series; intent identification; trajectory compensation; SVR-LSTM model

0引言

“工業4.0”智能制造戰略的提出，使人機協作技術應用范圍得到了擴大及發展^［1-2］，探索從傳統向智能的人機協作模式的轉變顯得尤為重要^［3-4］。其中，人機協作系統的安全性和穩定性是眾多學者研究的重點^［5］。

人機協作廣泛應用于生命科學、工業生產、醫療康復和軍事等領域。彭金柱等^［6］提出了一種基于視覺特征和肌電信號時域特征融合的方法對人的手勢進行識別，提高了人機協作的效率。Corteville等^［7］將人類上肢的運動特性與導納控制相結合，實現了點對點的協同運動控制。Erden等^［8］假設在交互任務中動量保持不變，人類合作者的運動意圖由交互作用力的變化來表示，由合作者控制力的變化來估計運動意圖。

在研究人體上肢運動意圖識別的過程中，由于光照等環境因素和機器人設備擺放等場地限制，導致人體上肢運動數據缺失，為了避免軌跡數據的缺失影響意圖識別的準確性，需要對三維空間中的軌跡數據進行補償處理。

相關的研究和實驗表明，SVR在具有非線性的歷史樣本集中具有較好的預測補償優勢^［9］。但是長時間軌跡序列的缺失使SVR無法精準地補全軌跡信息。在深度學習的框架內，遞歸神經網絡（recurrent neural network， RNN）解決了長時間序列缺失的問題，在自然語言處理^［10］和軌跡交通^［11］等領域證明了其時間序列預測的優越性。但RNN無法保留和學習長時間序列信息。具有時間記憶功能的LSTM應運而生。陳友東等^［12］提出了一種基于長短時記憶網絡的動作終點預測方法對人抓取動作的終點進行預測，在觀測到50%的動作軌跡時，預測準確率超過80%。Tang 等^［13］使用粒子群優化算法（particle swarm optimization， PSO）對LSTM進行優化，提出了一種最優參數的自適應選擇與LSTM預測相結合的算法，并基于表面肌電信號使用PSO-LSTM網絡連續地預測人體的肘關節和腕關節的角度。

上述研究在模型數據采集過程中不可避免地會出現局部遮擋的情況，本文以Vicon運動捕捉系統采集到的人體上肢運動軌跡為研究對象，針對數據采集過程中由于遮擋造成歷史數據不完整和軌跡數據缺失的問題，提出一種基于支持向量回歸-長短期記憶（SVR-LSTM）模型的軌跡缺失補償方法，實驗主要分為兩個部分：建立SVR歷史數據集補全模型，采用網格搜索法對其參數進行尋優，解決歷史樣本不完整的問題；將SVR模型補全后的歷史數據集作為LSTM模型的輸入，并進行雙向補償訓練，解決了長短時間序列軌跡缺失的問題，大大減少了計算時間，提高了軌跡補償的精確度。

1數據集的建立

1.1數據采集

在人機交互的過程中，由于人和機器人合作方式、工作環境等不同，協作方式也不盡相同。本文使用Vicon運動捕捉設備在搭建的特定環境下來檢測上肢運動狀態，并記錄人體上肢進行不同抓取動作時的實時數據，根據獲取的數據進行預處理，構成本文實驗所需要的數據集。

機器人前的共享操作臺上擺放了五種物品：膠槍（1號物品）；PCB板（2號物品）；尖嘴鉗（3號物品）；螺絲刀（4號物品）以及螺絲（5號物品）。物品擺放位置如圖1所示。將標定桿水平放置于桌面，桿短的一邊與桌邊平行，為三維空間坐標系的x軸，桿長的另一邊與桌邊垂直，為三維空間坐標系的y軸，三維空間坐標系的z軸垂直于桌面交于原點。通過Vicon運動捕捉相機捕捉標定桿的位置來確定系統的基準坐標系。

Vicon運動捕捉設備獲取一個目標的位姿信息至少需要三個熒光標記球對其進行定位，標記點分別為人體的肩、肘、腕關節。對不同的物品進行抓取，Vicon運動捕捉系統都是以300 Hz的頻率對人體上肢運動進行數據采集。

本文實驗硬件平臺配置：Inter i5-4460處理器，8 GB內存（1 600 MHz），算法在Python平臺基于sklearn和keras功能包實現。

1.2數據預處理

本文的實驗數據是人手抓取螺絲、PCB板、膠槍、螺絲刀以及鉗子五種物品動作所記錄下來的肩、肘、腕關節的運動數據。Vicon運動捕捉設備采集到的運動數據是連續的時間序列數據，以CSV文本形式保存，如圖2所示。一個CSV文件包含了進行一次抓取動作所獲得的肩、肘和腕關節在三維空間中的位姿信息。

為了減少工作量，在保證掌握上肢運動細節和運動數據量的前提下，對原始的運動數據進行以10 Hz頻率的降采樣處理，即在1 s內記錄十次上肢運動的位姿信息。

一套完整的數據集包括了對某一物品抓取過程中肩、肘、腕關節在空間中的位置和姿態信息。根據本課題研究內容，在人機協作的過程中，機器人需要通過人體的位置信息才能判斷并做出相應的協助動作，因此，本數據集僅包含每種動作的關節位置的三維坐標數據即可。10 Hz頻率的Vicon運動捕捉系統對抓取五種物品的肩、肘、腕關節的動作進行數據采集，每種物品的運動數據包含了140組有效數據，共有700組數據樣本，此700組數據構成了實驗的時序數據集。本實驗所需的有效信息是位置信息，因此，在模型數據集的劃分中，每個動作均選擇100條軌跡作為訓練集，20條軌跡作為測試集，20條軌跡作為驗證集。

1.3問題陳述（數據缺失）

在采集數據的過程中，由于光照等環境因素和機器人設備擺放遮擋等原因，導致使用基于視覺的運動捕捉設備對人體運動進行捕捉時軌跡數據有缺失，即運動軌跡在時間序列上不連續，如圖3所示。上肢運動數據的缺失會造成后續研究工作意圖識別的不準確，大大增加工作量，甚至增加機器人運動的不確定性，在人機協作過程中影響人身安全。因此，對缺失部分的軌跡數據信息進行補全是十分必要的。

2SVR-LSTM組合預測模型

2.1SVR模型

SVR是支持向量機（SVM）的重要應用分支，可以有效地預測時間序列數據，已經廣泛應用于預測模型^［14-15］。針對回歸預測的問題，其基本原理是通過引入核函數，把非線性預測估計問題轉換為線性回歸問題，從而構造決策函數進行預測估計。

相比傳統的統計學習方法和神經網絡算法，SVR可以始終獲得全局最優解，在小樣本數據集的預測中收斂性強、收斂速度快和預測性能好，具有稀疏的解空間^［16-17］。但輸入特征較多時，需要進行特征提取，工作量大且處理時間較長，無法滿足軌跡數據補全的實時性、高效性以及準確性。

2.2LSTM模型

BP神經網絡可以通過已知數據調整神經元個數、模型的層數以及各層的權值系數來對未來數據進行預測。但是由于其不能更準確地描述時間序列之間的長距離、長間隔關系，因此加入門控單元對其進行改進^［18］。

LSTM模型是由Hochreiter和Schmidhuber提出的典型的基于門控的遞歸神經網絡模型^［19］，后又由Gers和Schmidhuber對其進行改進^［20］。LSTM模型由于門控遞歸單元的優勢，被廣泛應用于時間序列預測模型^［21］。LSTM模型可以獲取到時間序列數據中的動態信息，以便進行多步預測。它的核心思想是在存儲單元中存儲時變狀態，其非線性門單元，即遺忘門f、輸入門i和輸出門o可以控制信息的流入和流出。LSTM網絡的循環單元結構如圖4所示。網絡中三個門的計算公式為

i=σ（WX+Uh+V），（1）

f=σ（WX+Uh+V），（2）

o=σ（WX+Uh+V），（3）

其中：σ表示激活函數；X是當前時刻的輸入；h是上一時刻的外部狀態；W，U，V都是可學習的網絡參數。

2.3SVR-LSTM模型

SVR模型雖然在處理長時間序列缺失的問題上效果不理想，但由于其決策模型可以輕松更新、對異常值具有魯棒性和出色的泛化能力等優點，在短時間序列缺失問題上具有很高的預測精度，也保證了實驗的實時性，可以很好地解決歷史數據集不完整的問題。在實驗過程中，遮擋情況的出現具有隨機性，遮擋時間的長短也具有不確定性，而LSTM模型具有門控單元和存儲器存儲單元，因此，不管是在短時間序列還是長時間序列的預測問題上都比較靈活，雙向補償訓練也使補償結果更準確。SVR-LSTM模型利用歷史軌跡和實時數據進行雙向補償預測，在長、短時間序列預測上比單一的模型補償誤差更小。本文提出的SVR-LSTM模型補償流程如圖5所示。歷史樣本中會存在空值或是異常值的情況，異常特征由SVR模型得到，并進行預測來完善歷史樣本數據集，再將完整的歷史樣本數據集輸入LSTM模型中訓練學習，對雙向補償得到的結果進行比較，選擇誤差最小的結果作為最終的補償軌跡數據。

使用的SVR模型選用徑向基核函數（RBF），其具有較好的收斂性，易于調參，可以在一定程度上消除高維空間中的復雜內積運算。通過網格搜索法對懲罰系數C以及核參數gamma進行尋優。懲罰系數C和核參數gamma的取值范圍為［-10，50］，尋優步長設置為1。

LSTM模型的參數包含神經元的個數、模型的層數、最大迭代數、各層的權值系數以及初始學習率等。大部分的模型參數取值按照經驗值設定，對于神經元的個數，經實驗設定為10。

2.4評價指標

上肢運動是在三維空間中進行的，因此得到的數據軌跡是三維空間數據，在三維空間中，歐氏距離是最直觀的評判標準。本文的補全評價指標為不同抓取動作下肩、肘、腕三個關節分別對應的X、Y、Z軸坐標的平均誤差，以及不同抓取動作下肩、肘、腕三個關節分別對應的三維空間坐標的平均誤差。

1） 不同抓取動作下肩、肘、腕三個關節分別對應的X、Y、Z軸坐標的平均誤差為

ERR=1N∑Ni=1A_B-A_B，（4）

其中，A={j，z，w}表示肩、肘、腕三個關節；B={X，Y，Z}表示三維空間下的X、Y、Z軸；i=1，2，…，N，N表示一條軌跡缺失點的個數；A_B表示在i時刻下A關節的B軸坐標的預測值；A_B表示在i時刻下A關節的B軸坐標的真實值。

2） 不同抓取動作下肩、肘、腕三個關節分別對應的三維空間坐標的平均誤差為

ERR_A=1N∑Ni=1（（A_X-A_X）²+

（A_Y-A_Y）²+（A_Z-A_Z）²），（5）

其中：A_X、A_X表示在i時刻下A關節的X軸坐標的預測值和真實值；A_Y、A_Y表示在i時刻下A關節的Y軸坐標的預測值和真實值；A_Z、A_Z表示A關節的Z軸坐標的預測值和真實值。

3實驗結果與對比

本文采用多步補償的方法對缺失的軌跡位置信息進行補全，基于SVR-LSTM模型實現對五種抓取動作的不同缺失程度的軌跡進行預測補償。

一個抓取動作的肩、肘、腕關節所對應的空間運動范圍不同，腕關節的運動范圍明顯大于肘關節的運動范圍，而肘關節的運動范圍又明顯大于肩關節的運動范圍。因此，在上肢抓取過程中，肩關節的運動可看作定點運動，本文主要側重于在抓取過程中對腕關節和肘關節軌跡缺失的預測補償。

隨機選取一條抓取膠槍動作肘關節30%缺失程度的軌跡進行補償，補償軌跡和真實軌跡對比結果如圖6所示，補償軌跡與真實軌跡之間的誤差曲線圖如圖7所示。由圖7的結果可知，隨著模型的多步補償，補償后的軌跡與真實軌跡之間的誤差值在逐漸減小，即補償軌跡越接近于真實軌跡。

相同的實驗條件下，分別對單一的SVR模型、RF（random forest，RF）模型進行五種抓取動作，缺失程度分別為10%、30%的軌跡位置補償實驗，并將得到的誤差結果與本文提出的SVR-LSTM模型作對比，對比情況如圖8所示。

上述實驗結果對比發現，本文提出的多步補償和長短時結合補償的SVR-LSTM模型，在補償10%程度缺失的抓取螺絲刀動作軌跡的過程中，SVR模型對異常值具有魯棒性、泛化能力強的同時，也過分依賴于參數和核函數的選擇，而SVR-LSTM模型進行短時序數據補償時具有對異常值有魯棒性、泛化能力強、雙向補償等優勢，X、Z坐標補償效果明顯均比SVR模型好，誤差相差在1.3 mm以上，Y坐標

補全效果優于SVR模型，誤差相差在0.2 mm以上。由于RF模型在小樣本集中收斂速度快，SVR-LSTM模型在補償小樣本數據集中有可能出現過擬合的現象，因此在短時序數據補償中，本文提出的方法比RF模型效果稍差，但是誤差范圍控制在1.5 mm以內。在補償30%程度缺失的抓取螺絲刀動作軌跡的過程中，SVR模型和RF模型在較大樣本集中容易出現過擬合現象，而SVR-LSTM模型進行短時序數據補償時具有更新速度快、收斂效果好和雙向補償訓練等優勢，軌跡補償效果明顯優于SVR模型和RF模型，X、Y、Z坐標補償誤差相差范圍分別至少在3 mm、1.5 mm和1.5 mm以上。

在補償10%程度缺失的抓取PCB板動作軌跡的過程中，SVR-LSTM模型的X、Y坐標補償效果均明顯優于SVR模型和RF模型，誤差分別相差至少0.4 mm和0.8 mm，Z坐標補償效果稍差于RF模型，誤差范圍控制在1.5 mm以內。在補全30%程度缺失的抓取PCB板動作軌跡的過程中，本文提出的SVR-LSTM模型軌跡補償效果明顯優于SVR模型和RF模型，X、Y、Z坐標補償誤差相差范圍分別在0.3 mm、3.1 mm和0.2 mm以上。

在對軌跡預測的過程中，選取一條缺失軌跡進行補償的結果具有隨機性，為了減小隨機性對預測結果產生的影響，選取同一抓取動作的三條腕關節缺失軌跡，使用十折交叉驗證評價各個模型的預測性能，并記錄每種模型的各條軌跡的預測補償誤差如表1所示。由表1可知，對于每一次的三維空間坐標軌跡補償結果，SVR-LSTM模型的補償效果均優于RF模型和SVR模型。隨機選取的三條缺失軌跡經過各模型補償后的三維空間坐標的平均誤差也是SVR-LSTM模型效果最優，其次是SVR模型，RF模型的三維空間軌跡補償效果最差，SVR-LSTM模型三維空間坐標誤差低于RF模型44.7mm左右，SVR-LSTM模型三維空間坐標誤差低于SVR模型5.5mm左右。

4結論

為了解決在裝配任務過程中由于遮擋造成的歷史數據集不完整和軌跡缺失的問題，本文利用SVR模型在短時間序列預測上具有高預測精度和泛化能力強的優勢來補全歷史數據集，并采用網格搜索法對模型參數進行尋優，以達到最好的補全效果。針對在長、短時間序列上的軌跡缺失問題，將補全后的歷史數據集作為LSTM模型的輸入，并對LSTM模型進行雙向補償訓練來補償軌跡缺失。實驗結果表明，在軌跡序列長達10%缺失的情況下，SVR-LSTM模型補償軌跡的歐氏距離平均誤差分別比SVR、RF模型至少小1.4 mm和1.2 mm；在軌跡序列長達30%缺失的情況下，SVR-LSTM模型補償軌跡的歐氏距離平均誤差分別比SVR模型、RF模型至少小6 mm和45 mm。與RF模型、SVR模型的實驗對比結果表明SVR-LSTM模型可以更精確地完成軌跡預測補償，減少計算量的同時，有效提高精確度。

參考文獻：

［1］DUMORA J， GEFFARD F， BIDARD C， et al. Robot assistance selection for large object manipulation with a human［C］∥2013 IEEE International Conference on Systems， Man， and Cybernetics. Piscataway：IEEE Press， 2013： 1828-1833.

［2］HUSSAIN S， XIE S Q， JAMWAL P K. Adaptive impedance control of a robotic orthosis for gait rehabilitation［J］. IEEE transactions on cybernetics， 2013， 43（3）： 1025-1034.

［3］劉洋， 孫愷. 協作機器人的研究現狀與技術發展分析［J］. 北方工業大學學報， 2017， 29（2）： 76-85.

LIU Y， SUN K. State of the art and future directions of collaborative robot［J］. Journal of North China university of technology， 2017， 29（2）： 76-85.

［4］計時鳴， 黃希歡. 工業機器人技術的發展與應用綜述［J］. 機電工程， 2015， 32（1）： 1-13.

JI S M， HUANG X H. Review of development and application of industrial robot technology［J］. Journal of mechanical & electrical engineering， 2015， 32（1）： 1-13.

［5］FRITZSCHE M， ELKMANN N， SCHULENBURG E. Tactile sensing： a key technology for safe physical human robot interaction［C］∥International Conference on Human-Robot Interaction. Piscataway：IEEE Press， 2011： 139-140.

［6］彭金柱， 董夢超， 楊揚. 基于視覺和肌電信息融合的手勢識別方法［J］. 鄭州大學學報（工學版）， 2021， 42（2）： 67-73.

PENG J Z， DONG M C， YANG Y. Human gesture recognition method based on vision and EMG signal information［J］. Journal of Zhengzhou university （engineering science）， 2021， 42（2）： 67-73.

［7］CORTEVILLE B， AERTBELIEN E， BRUYNINCKX H， et al. Human-inspired robot assistant for fast point-to-point movements［C］∥Proceedings 2007 IEEE International Conference on Robotics and Automation. Piscataway：IEEE Press， 2007： 3639-3644.

［8］ERDEN M S， TOMIYAMA T. Human-intent detection and physically interactive control of a robot without force sensors［J］. IEEE transactions on robotics， 2010， 26（2）： 370-382.

［9］CHUNG J， GULCEHRE C， CHO K， et al. Empirical evaluation of gated recurrent neural networks on sequence modeling［EB/OL］.（2014-12-11）［2023-04-30］.https：∥arxiv.org/pdf/1412.3555.pdf.

［10］趙淑芳， 董小雨. 基于改進的LSTM深度神經網絡語音識別研究［J］. 鄭州大學學報（工學版）， 2018， 39（5）： 63-67.

ZHAO S F， DONG X Y. Research on speech recognition based on improved LSTM deep neural network［J］. Journal of Zhengzhou university （engineering science）， 2018， 39（5）： 63-67.

［11］QIAO S J， SHEN D Y， WANG X T， et al. A self-adaptive parameter selection trajectory prediction approach via hidden Markov models［J］. IEEE transactions on intelligent transportation systems， 2015， 16（1）： 284-296.

［12］陳友東， 劉嘉蕾， 胡瀾曉. 人機協作中人的動作終點預測［J］. 北京航空航天大學學報， 2019， 45（1）： 35-43.

CHEN Y D， LIU J L， HU L X. Human motion end point prediction in human-robot collaboration［J］. Journal of Beijing university of aeronautics and astronautics， 2019， 45（1）： 35-43.

［13］TANG G， SHENG J Q， WANG D M， et al. Continuous estimation of human upper limb joint angles by using PSO-LSTM model［J］. IEEE access， 2020， 9： 17986-17997.

［14］WU C H， HO J M， LEE D T. Travel-time prediction with support vector regression［J］. IEEE transactions on intelligent transportation systems， 2004， 5（4）： 276-281.

［15］陳榮， 梁昌勇， 謝福偉. 基于SVR的非線性時間序列預測方法應用綜述［J］. 合肥工業大學學報（自然科學版）， 2013， 36（3）： 369-374.

CHEN R， LIANG C Y， XIE F W. Application of nonlinear time series forecasting methods based on support vector regression［J］. Journal of Hefei university of technology （natural science）， 2013， 36（3）： 369-374.

［16］李琳輝， 周彬， 任威威， 等. 行人軌跡預測方法綜述［J］. 智能科學與技術學報， 2021， 3（4）： 399-411.

LI L H， ZHOU B， REN W W， et al. Review of pedestrian trajectory prediction methods［J］. Chinese journal of intelligent science and technology， 2021， 3（4）： 399-411.

［17］AWAD M， KHANNA R. Support vector regression［M］∥Efficient Learning Machines. Berkeley： Berkeley Press， 2015： 67-80.

［18］劉嘉敏， 蘇遠歧， 魏平， 等. 基于長短記憶與信息注意的視頻-腦電交互協同情感識別［J］. 自動化學報， 2020， 46（10）： 2137-2147.

LIU J M， SU Y Q， WEI P， et al. Video-EEG based collaborative emotion recognition using LSTM and information-attention［J］. Acta automatica sinica， 2020， 46（10）： 2137-2147.

［19］HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural computation， 1997， 9（8）： 1735-1780.

［20］GERS F A， SCHMIDHUBER J. Recurrent nets that time and count［C］∥Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks. Piscataway：IEEE Press， 2000： 189-194.

［21］KE J T， ZHENG H Y， YANG H， et al. Short-term forecasting of passenger demand under on-demand ride services： a spatio-temporal deep learning approach［EB/OL］. （2017-06-20）［2023-04-30］.https：∥arxiv.org/pdf/1706.06279.pdf.