人臂可達運動手部軌跡規劃與臂構型學習人臂可達運動手部軌跡規劃與臂構型學習

夏晶　邱學晶　鄺林娟　周世寧

摘要：應用最小沖擊優化理論與多層感知器建立虛擬數字人可達運動模型，研究了人臂可達運動中臂構型與末端手部軌跡的規劃、復現問題，并與最小二乘法的軌跡進行了對比研究。搭建三維紅外運動數據采集系統，采集約束下的人臂可達運動日常行為數據并分析人臂運動機理，基于最小沖擊優化理論對人臂可達運動末端手部軌跡進行規劃;建立人臂運動學模型，采用多層感知器的學習方法學習人臂可達運動中的擬人臂構型;最后建立人臂末端軌跡和臂構型數學模型，并搭建和顯示虛擬數字人體三維模型，將人臂可達運動中末端軌跡與臂構型相結合，驅動虛擬數字人臂可達運動生成。發現使用多層感知器學習的人臂可達運動中人臂構型誤差平均誤差MAE為0.053 2，均方根誤差RMSE為0.003 1;末端手部在約束可達運動中路徑近似為直線，且速度大致呈單峰鐘形曲線。結果表明：最小沖擊優化理論的末端手部軌跡規劃與多層感知器學習的人臂構型相結合可以很好地反映人臂可達運動機理，是一種研究約束下人臂可達運動復現的有效方法。

關鍵詞：可達運動;虛擬數字人;人臂運動模型;臂構型預測;人臂運動復現

中圖分類號：TH 242文獻標識碼：A文章編號：1672-7312（2021）03-0288-07

Hand Motion Planning and Arm Configuration

Learning for Human Arm Reachable MotionXIA Jing，QIU Xuejing，KUANG Linjuan，ZHOU Shining

（School of Mechanical Engineering，Xi’an University of Science and Technology，Xi’an 710054，China）

Abstract：Applying the theory of minimum impact optimization and multilayer perceptions to establish a virtual digital human reachable movement model，this paper conducted a study on the arm configuration and the end hand trajectory planning and reproduction problems in the reachable movement of the human arm，and compared the trajectory of the least square method.Setting up a threedimensional infrared motion data acquisition system，the paper collected daily behavior data of human arm reachable motion under constraints，analyzed the mechanism of human arm motion，and planed the hand trajectory at the end of human arm reachable motion based on the optimization theory of minimum impact;then，established human arm motion Learning model by using the learning method of multilayer perceptron to learn the anthropomorphic arm configuration in the reachable motion of the human arm;and finally established the human arm end trajectory and the mathematical model of the arm configuration，and built the virtual digital human threedimensional model.In the reachable motion，the terminal trajectory is combined with the arm configuration to drive the virtual digital human arm to generate the reachable motion.It is found that the human arm configuration error MAE in the reachable motion of the human arm using the multilayer perceptron is 0.0532，and the RMSE is 0.0031;the path of the end hand in the restrained reachable motion is approximately a straight line，and the speed is roughly a singlepeak bell curve.The results indicate that the combination of the end hand trajectory planning of the minimum impact optimization theory and the human arm configuration learned by the multilayer perceptron can well reflect the human arm reachable motion mechanism，which is an effective method to study the reproduction of human arm’s reachable motion under restraint.

Key words：reachable movement;virtual digital human;human arm motion model;arm configuration prediction;human arm movement reproduction

0引言

人臂可達運動通常定義為人臂在執行任務時自然的運動過程，包括接近階段、調整階段。例如無約束點到點的運動或開門、喝咖啡等帶有任務約束的運動。在千百萬年的進化中人臂可達運動已經形成了特定的規律，這種規律體現在人們在執行各種任務時手臂運動軌跡基本趨于一致＼[1-3＼]。研究人臂數學運動模型來描述這種規律，對于動畫、冗余機械臂運動規劃甚至是家居和環境規劃都有著重大意義。

人體是一個復雜的系統，有著非線性、強耦合、時變的特性，因此，促使人臂運動的驅動力不是單一生理量控制的結果。KAWATO指出，人臂可達運動的研究大致分為2部分，分別是末端軌跡的規劃問題與對應臂構型的選擇問題＼[4＼]。在末端軌跡規劃方法中，有著著名的“質量-彈簧假說”，該假說指出運動是由肢體平衡位置的改變引起的，并且在運動開始前大腦就計算好最終關節的運動角度＼[5-6＼]。然后每個關節獨立地移動到它的位置使得運動的生成，其本質上就是逆運動學的過程。FLASH和HOGAN提出了一個基于沖擊的動態優化模型，該模型再現了在平面上觀察到的人臂多關節可達運動的特征，即握緊手柄的手臂平面運動產生近似直線的運動，并伴有對稱的鐘形速度剖面＼[7＼]。Desmurget表示在任務約束下通常觀察得到近似直線的末端軌跡，而無約束的可達運動較易產生彎曲軌跡＼[8＼]。另外，在無重力影響下，即手臂被限制在水平面的可達運動末端軌跡也是近似直線＼[9-10＼]。

上述末端軌跡規劃方法都沒有考慮人臂可達運動中臂構型的選擇問題。KANG使用關節力矩所做總功最小化的指標，解決4自由度手臂模型的逆運動學冗余問題＼[11＼]。另外，處理冗余解的方法還有能量最小指標＼[12＼]、肌肉力最小指標、勢能最小指標＼[7＼]、操作橢球指標＼[13＼]、快速上肢評價指標、關節力矩最小和關節平滑度最大凸結合的指標＼[14＼]等這些基于指標的方法。另外，LI使用fPCA方法從人臂日常活動中提取主要的運動模式，用于理解人臂可達運動中的構型問題＼[15＼]。以上基于指標的方法通常計算相對復雜，近年來，許多學者采用基于學習的方法研究臂構型的規律。PARK使用了一種進化算法學習示例手和手臂運動，然后在有限的交互區域內進化出一些可能的運動＼[16＼]。ZANCHETTIN采用多元線性回歸的方法學習人臂末端位姿與特定關節角度的關系，得到人臂可達運動中的自然構型＼[17＼]。AVERTA采用最小二乘法擬合手掌中心位姿與臂角的非線性關系來研究人臂可達運動規律＼[18＼]。夏晶采用高斯過程回歸的方法學習手掌位姿及上下臂長度與臂角的關系，構建適用于不同手臂長度的可達運動臂構型預測模型＼[19＼]。

文中結合末端軌跡與其對應臂構型研究人臂可達運動生成規律，規劃人臂可達運動中末端手部軌跡，建立人臂運動學模型，采用多層感知器（multilayer perceptron，MLP）的學習方法學習人臂可達運動中的擬人臂構型，得到人臂末端軌跡和臂構型數學模型，搭建和顯示虛擬數字人體三維模型，并基于虛擬數字人進行運動復現。

1人臂運動模型

1.1建立模型

首先建立人臂運動學模型，由圖1所示。將右臂描述為一個7自由度運動鏈，包括肩關節、肘關節、腕關節，其中肩關節由關節1，2，3軸線相互正交表示;肘關節由關節4表示;腕關節由關節5，6，7軸線相互正交表示。肩關節、肘關節、腕關節由2個連桿進行連接，其中dse表示上臂長度即肩關節與肘關節連接的連桿長度;dew表示下臂長度即肘關節與腕關節連接的連桿長度;a為人臂末端手部長度。qi表示第i個關節的角度，i=1，2，…，7。相應的D-H參數見表1。

1.2人臂構型的描述

人臂末端位姿需要6個自由度就可以完全確定，這意味著一個末端位姿將對應無限個臂構型，手臂可以在零空間N內進行自運動，具體來說，它仍然可以繞著穿過手腕和肩部的直線旋轉，如圖2所示，從S-E0-W旋轉至S-E-W。

表1D-H參數表關節θi/（°）aidiαi/（°）關節限位/（°）1000-90-160～452-900090-120～0300-dse-90-120～0400090-140～0500-dew-900～180690009015～16570 a00-40～30為了確定唯一的手臂構型，需要定義一個新的臂角參數φ。令肩關節S、肘關節E、腕關節W這3點確定的平面為手臂面，特殊情況當關節3為0°時的手臂面為參考平面，臂角φ定義為參考平面和手臂面之間的夾角，E0表示參考平面的肘關節。

臂角的計算公式如下

φ=sgn（φ）arccos（se×ew）（se0×e0w）‖se×ew‖‖se0×e0w‖

sgn（φ）=-sgn（se0×e0w·se）（1）

其中，se為手臂面中從肩關節到肘關節的向量;ew為手臂面中從肘關節到腕關節的向量;se0為參考平面中從肩關節到肘關節的向量;e0w為參考平面中從肘關節到腕關節的向量。

這樣，當給定人臂末端位姿與臂角φ時，可由逆運動學解得唯一關節位置qi。

2人臂可達運動數據獲取

為了分析人臂運動，首先需要準確地觀察它，運動捕捉技術以實現捕獲運動的各種運動學元素為目標。因此，如圖3所示，采用主要由6個Vero紅外攝像頭組成的Vicon三維紅外運動捕捉系統獲取人臂運動數據，這是目前最常用的人臂運動數據獲取與分析系統。

如圖4（a）所示，在實驗人員的肩關節S、肘關節E、腕關節W與手掌中心H分別設置光反射標記點;經過標定后，帶有紅外頻閃燈的攝像頭可以跟蹤附著在人臂上的光反射標記點在全局坐標系中的位姿。其中由S與E的位姿信息，可以得到實驗人員上臂長度dse;由E與W的位姿信息可以得到實驗人員下臂長度dew;由S與H的位姿信息可以得到人臂末端手部相對于肩部的位姿信息。上下臂長度及手部相對于肩部的位姿信息是尋找其與相對應臂構型規律的重要條件。

如圖4（a）所示，以試管抓取實驗來模擬任務約束下的人臂可達運動日常行為。試管盒與試管架在桌子上的位置由實驗人員隨機調整，10名實驗人員分別以最舒適的方式將試管從試管盒中取出并放置在高度動態變化的試管架中，運動捕捉系統捕捉下此過程中實驗人員S、E、W、H位姿與時間信息;調整試管盒、試管架的位置與試管架高度，重復此實驗20次，共采集200組數據。觀察得到，在任務約束下的可達運動通常是近似直線的軌跡。

如圖4（b）所示，模擬點到點無約束下的人臂可達運動日常行為。實驗人員A初始手掌位姿隨機，由實驗人員B調整目標物在空間中的位置，調整好之后打開運動捕捉系統采集A的手掌從初始位姿移動至目標物過程中S，E，W，H的位姿與時間信息，重復20次，共采集200組數據。觀察得到，無約束下可達運動通常是曲線的軌跡。

3人臂可達運動的雙層規劃

3.1手部軌跡規劃

在文中，只考慮任務約束下人臂可達運動的末端軌跡規劃問題。前文提到，在任務約束下的可達運動通常是近似直線的軌跡，這是末端軌跡目標函數的第一個約束條件。

人臂運動時往往表現得流暢、優雅，即將手從一個平衡位置移動至另一個平衡位置以實現平穩的運動。令最大平滑度等同于最大均方沖擊（Jerk），將得到手臂末端運動的定性與定量特征。沖擊在數學上定義為加速度的變化率，以沖擊作為優化指標，也即末端軌跡目標函數的第二約束條件。

因此，在給定的時間tf中，從初始位置移動到最終位置時，末端軌跡目標函數C則是沖擊幅度平方的時間積分式（2）。

C=12∫ tf0d3xdt32+d3ydt32+d3zdt32dt（2）

其中，x，y，z為手隨時間t變化的位置坐標。目的則是求出x（t）、y（t）與z（t）的數學表達式，使式（2）中的目標函數最小。

目標函數決定了運動軌跡的形式，而更具體的軌跡點則由運動開始和結束時的邊界條件所決定。有了這些邊界條件和運動的持續時間，就可以完整地指定出人臂末端手的運動軌跡。不妨假設運動開始與結束時的速度、加速度均為零。則手部軌跡表達式為

x（t）=x0+（x0-xf）（15τ4-6τ5-10τ3）

y（t）=y0+（y0-yf）（15τ4-6τ5-10τ3）

z（t）=z0+（z0-zf）（15τ4-6τ5-10τ3）（3）

其中，τ=t/tf;x0，y0，z0為手部在t為零時刻的初始位置坐標;xf，yf，zf為手部在t為tf時刻的終止位置坐標。

人臂末端手部預期軌跡如圖5所示。圖5（a）表示點到點可達運動預期的末端手部路徑只與起始點和終止點位置有關;圖5（b）表示末端手部預期會產生鐘形單峰的速度剖面。

在得到人臂末端手部的運動軌跡后，使用前文建立的人臂運動學模型求得人臂各關節運動信息。

3.2人臂構型學習

在人臂可達運動中，臂角參數φ的數學模型可以概括為

f∶m→φ（4）

其中，m=＼[x，y，z，α，β，λ，d1，d2＼]T為人臂可達運動中手掌中心位姿及上下臂長度組成的列向量;φ為對應的臂角;f為可達運動中手掌中心位姿及上下臂長度到對應臂角的映射關系。該映射關系是一種典型的高維、非線性關系。

采用MLP的學習方法學習人臂可達運動中的擬人臂構型。MLP是一種前向結構的人工神經網絡ANN，可以映射一組輸入向量到一組輸出向量。MLP可以被看作是一個有向圖，由多個節點層組成，每一層全連接到下一層。除了輸入節點，每個節點都是一個帶有非線性激活函數的神經元。使用BP反向傳播算法的監督學習方法來訓練MLP。MLP是感知器的推廣，克服了感知器不能對線性不可分數據進行識別的弱點。

如圖6所示，一種典型的MLP結構，由最左邊的輸入層、中間兩層隱藏層與最右邊輸出層組成。選擇合適的激活函數g，對每一層輸入進行線性運算，層層疊加，最終得到輸出值y，見式（5）。

a21=g（θ111x1+θ112x2+…+θ11nxn）

a2n=g（θ1n1x1+θ1n2x2+…+θ1nnxn）

a3n=g（θ2n1a21+θ2n2a22+…+θ2nna2n）

y=g（θ31a31+θ32a32+θ33a33）（5）

訓練時，除了需要選擇每一層的激活函數，還需要調節中間隱藏層數、每層的元素數、訓練迭代的次數以及優化器的類型，另外需要確定損失函數，以確定迭代優化的目標。

針對人臂可達運動中手部位姿及上下臂長度與臂角的映射關系學習問題，采用均方誤差（mean squared error，MSE）作為損失函數，MSE公式如下

MSE=1m∑mi=1（yi-i）2（6）

其中，m為輸出的個數。MSE表示預期的輸出與實際輸出的誤差，因此，損失函數MSE越小，預測效果越好。

4實驗驗證

為驗證文中所述方法的有效性與優越性，進行2個實驗。第一個實驗是使用Python 3.8訓練得到人臂構型預測模型，并將預測臂角與實際臂角進行對比，驗證人臂構型學習的有效性與優越性;第二個實驗是搭建可視化仿真環境，建立虛擬數字人三維模型復現點到點可達運動，并使用MATLAB 2017b分析其末端軌跡與關節速度，驗證文中提出方法的有效性。

4.1人臂構型學習的有效性驗證

實驗平臺計算機配置為Intel core i5 10400F，6核心12線程，主頻2.9 GHz，16 GB內存。采集的200組數據中隨機選出165組作為訓練集，剩余35組作為測試集。在訓練中，文中采用3層網絡，包括一層輸入層，一層中間隱藏層，一層輸出層;輸入m=＼[x，y，z，α，β，λ，d1，d2＼]T的8個元素，輸出φ一個元素，中間層40個元素;第二層激活函數為Linear，第三層激活函數為Relu;優化器選擇adam;損失函數選擇MSE;迭代次數為3 000次。從而建立擬人臂構型預測模型。

將測試集代入預測模型，得到預測值與真實值的對比結果，如圖7所示。可以看出，使用MLP預測的臂角與真實臂角值比較接近。因此，文中提出的方法有效。

使用絕對平均誤差（MAE）、均方根誤差（RMSE）作為評價標準對模型進行評估。將測試集輸入基于最小二乘法的人臂可達運動臂構型預測模型，與MLP的臂構型預測模型進行對比，結果見表2。

表2臂角誤差對比方法MAERMSEMLP0.053 20.003 1最小二乘法0.139 80.024 2從表2中可以看出，MLP擬人臂構型預測模型的MAE和RMSE值遠小于最小二乘法的預測模型。因此，文中提出的方法有一定的優越性。

4.2基于虛擬數字人的可達運動復現

在Solidworks 2018中繪制虛擬數字人的三維模型，然后將其導入Pro/E并建立坐標系。使用Windows 10、Visual Studio 2017、OpenGL搭建仿真環境，并將虛擬數字人的三維模型導入仿真環境，如圖8所示。文中中建立的虛擬數字人模型身高1.8 m，上下臂長度分別為0.33 m、0.22 m。

已知人臂末端第0 s時的初始位姿、第1 s時的結束位姿與總運動時間1 s，規劃虛擬數字人完成點到點可達運動。規劃分為末端軌跡規劃與實時臂構型預測選擇2部分，運動生成過程如圖8所示，可以看到末端軌跡與相應臂構型都較擬人。

虛擬數字人可達運動復現中末端路徑、末端速度與運動捕捉系統采集的數據對比結果如圖9所示，可以看到路徑近似直線，速度曲線大致呈單峰鐘形，實際與規劃結果相近，可達運動末端手部軌跡規劃擬人。

虛擬數字人可達運動復現中各關節速度如圖10所示，可見，各關節初始速度與結束速度均為0，且其過程平滑，沖擊較小。

1）采集任務約束下的人臂可達運動日常行為數據并分析人臂運動機理，提出了一種基于最小沖擊優化理論對人臂可達運動末端手部軌跡進行規劃，實驗表明預期手部運動與實際相吻合。

2）建立人臂運動學模型，使用MLP神經網絡的方法學習人臂可達運動中的擬人臂構型，并建立臂構型預測模型，實驗表明模型預測結果有效且優于現有方法。

3）搭建和顯示虛擬數字人體三維模型，結合人臂可達運動手部軌跡規劃與對應擬人臂構型預測，基于虛擬數字人完成點到點可達運動復現，得到了較好的效果。

4）針對避障或彎曲路徑等復雜情況下的可達運動生成是下一步需要研究的方向。

參考文獻：

＼[1＼]SPIERS A，KHAN S G，HERRMANN G.Biologically inspired control of humanoid robot arms＼[M＼].Switzerland：Springer，2016.

＼[2＼]李石磊，梁加紅，吳冰，等.虛擬人運動生成與控制技術綜述＼[J＼].系統仿真學報，2011，23（09）： 1758-1771.

＼[3＼]于秀麗，魏世民，廖啟征.仿人機器人發展及其技術探索＼[J＼].機械工程學報，2009，45（03）： 71-75.

＼[4＼]KAWATO M.Internal models for motor control and trajectory planning＼[J＼].Curr Opin Neurobiol，1999，9（06）：718-727.

＼[5＼]XIE B，ZHAO J.A new criterion for redundancy resolution of human arm in reaching tasks＼[C＼]//2013IEEE/ASME International Conference on Advanced Intelligent Mechatronics：Mechatronics for Human Wellbeing，AIM 2013，July 9-12，2013，Wollongong，NSW，Australia.New York：IEEE Computer Society，2013：1066-1071.

＼[6＼]趙京，龔世秋，張自強.7自由度擬人臂仿人運動的逆運動學解析解＼[J＼].機械工程學報，2018，54（21）：25-32.

＼[7＼]FLASH T，HOGAN N.The coordination of arm movements： An experimentally confirmed mathematical model＼[J＼].J Neurosci，1985，5（07）：1688-1703.

＼[8＼]DESMURGET M，JORDAN M，PRABLANC C，et al.Constrained and unconstrained movements involve different control strategies＼[J＼].J Neurophysiol，1997，77（03）：1644-1650.

＼[9＼]XILOYANNIS M，CHIARADIA D，FRISOLI A，et al.Physiological and kinematic effects of a soft exosuit on arm movements＼[J＼].Journal of Neuro Engineering and Rehabilitation，2019，16（01）：872-881.

＼[10＼]JARC A M，ILANA N.Robotassisted surgery： an emerging platform for human neuroscience research＼[J＼].Frontiers in Human Neuroscience，2015（09）：315.

＼[11＼]KANG T，HE J，TILLERY S I H.Determining natural arm configuration along a reaching trajectory＼[J＼].Experimental Brain Research，2005，167（03）： 352-361.

＼[12＼]TAX M，TRAN M T，SOURES P，et al.Generating humanlike reaching movements with a humanoid robot：A computational approach＼[J＼].Journal of Computational Science，2013，4（04）： 269-284.

＼[13＼]趙京，郭興偉，謝碧云.達點臂姿預測指標與機械臂仿人運動＼[J＼].機械工程學報，2015，51（23）： 21-27.

＼[14＼]KIM H，ROSEN J.Predicting redundancy of a 7 dof upper limb exoskeleton toward improved transparency between human and robot＼[J＼].Journal of Intelligent & Robotic Systems，2015，80（01）： 99-119.

＼[15＼]LI M，GUO W，LIN R，et al.An efficient motion generation method for redundant humanoid robot arm based on the intrinsic principles of human arm motion＼[J＼].International Journal of Humanoid Robotics，2018，15（06）： 1850026.

＼[16＼]PARK G，RA S，KIM C，et al.Imitation learning of robot movement using evolutionary algorithm＼[J＼].IFC Proceedings Volumes，2008，41（02）：730-735.

＼[17＼]ZANCHETTIN A M，BASCETTA L，ROCCO P.Achieving humanlike motion：Resolving redundancy for anthropomorphic industrial manipulators＼[J＼].IEEE Robotics & Automation Magazine，2013，20（04）： 131-138.

＼[18＼]AVERTA G，DELLA SANTINA C，VALENZA G，et al.Exploiting upperlimb functional principal components for humanlike motion generation of anthropomorphic robots＼[J＼].Journal of NeuroEngineering and Rehabilitation，2020，17： 1-15.

＼[19＼]夏晶，朱蓉軍，張昊，等.基于高斯過程的人臂可達運動臂位形預測＼[J＼].華中科技大學學報，2021，49（01）： 17-23.（責任編輯：張江）