基于耦合算法的類人機器人模仿學習控制方法

李文華 楊子凝 王來貴

1.遼寧工程技術大學機械工程學院，阜新，1230002.遼寧工程技術大學力學與工程學院，阜新，123000

?

基于耦合算法的類人機器人模仿學習控制方法

李文華1楊子凝1王來貴2

1.遼寧工程技術大學機械工程學院，阜新，1230002.遼寧工程技術大學力學與工程學院，阜新，123000

為提高類人機器人模仿學習的準確性及效率，建立了一種改進的粒子群算法優化超限學習機的模仿學習模型。采用非線性動態系統對示教時的相關數據進行建模；以動態自適應策略改進粒子群算法的慣性權重，并利用改進后的粒子群算法對超限學習機的網絡參數進行尋優；利用該耦合學習模型對模仿學習動態系統的參數進行學習，并重現了模仿學習動作。實驗結果表明，該耦合算法應用在類人機器人模仿學習方面具有很好的擬合精度、自適應性及泛化能力，重現模仿學習動作時的平均誤差為0.0172。

模仿學習；超限學習機；改進粒子群優化；非線性動態系統；耦合模型

0 引言

機器人的智能化經過多年的發展，已從傳統的自動型機器人發展成為擁有感知、認知等能力的智能型機器人，如何使其具有模仿學習力是智能型類人機器人發展和應用的關鍵，也是機器人仿生機制研究的重要課題之一[1-2]。

模仿學習利用數值分析理論與計算機技術相融合的手段，已產生了多種模仿學習方法[3]。KHANSARI-ZADEH等[4]提出一種對示教動態系統參數進行學習的方法SEDS (stable estimator of dynamical systems)，該方法以高斯混合函數為回歸模型對樣本數據進行訓練，在訓練過程中保證了機器人模仿學習的收斂性。JIANG等[5]以迭代學習神經網絡為控制算法，對運動軌跡進行跟蹤學習，比前一種方法具有更好的泛化能力。NEUMANN等[6]以基于數據的李雅普諾夫候選函數為約束條件，利用超限學習機(extreme learning machine，ELM) 來學習運動曲線，實驗表明該方法有一定的泛化能力且縮短了神經網絡由于不斷迭代而增加的運算時間。然而，由于ELM自身的運算特點，其在提升泛化能力及縮短訓練時間的同時損失了一定的擬合精度。

為了使得類人機器人能快速、準確地完成示教動作，并具有一定的學習力，本文結合粒子群優化(particle swarm optimization，PSO)算法及ELM各自的優點，利用PSO算法對ELM的網絡參數進行優化，以提高傳統ELM的精度，得到具有較強精度及泛化能力的類人機器人模仿學習耦合模型。該耦合模型在標準PSO算法的基礎上，通過動態自適應策略調整PSO算法的慣性權重，平衡其全局與局部搜索能力，提高了標準PSO算法的搜索效率。實驗驗證了該耦合模型的有效性、精度及泛化能力。

1 模仿學習系統描述及建模

由非線性控制理論可知，一個時間連續的控制過程可以看成極短時間間隔的離散采樣過程。利用非線性動態系統來描述機器人模仿學習過程，將模仿學習動作分解為點到點的運動[7]。

在類人機器人模仿學習人類動作的過程中，人類導師先利用機器人手臂末端執行器做出要求的示教動作，與此同時，每間隔100 ms采集一次關節傳感器、觸覺傳感器等相關傳感器的數據，并在笛卡爾空間下，利用正向運動學變換，將關節角度信息轉換為空間位置信息。

利用一階常微分方程對模仿學習過程進行描述[8]：

(1)

ξ(t+1)=ξ(t)+f(ξ)Δt

(2)

式中，ξ(t)、ξ(t+1)分別為t、t+1時刻的機器人末端執行器位置；Δt為采樣時間間隔。

將輸出的速度信息轉換為下一時刻的空間位置。最后進行反向運動學運算，重新將三維位置轉換為控制量，輸入到控制器中，以完成對類人機器人NAO的模仿學習控制過程，重現模仿學習動作。模仿學習控制系統結構如圖1所示。

圖1 模仿學習控制系統結構圖Fig.1 Structure diagram of imitating learning control system

2 模仿學習算法

2.1 PSO算法及其優化

PSO算法將待解決優化問題的解看成d維空間上的“粒子”，每一個粒子在該空間上以一定的速度運動，通過2個迭代方程對粒子當前的速度與位置不斷地進行更新，并憑借適應度函數對粒子當前位置的好壞進行評判，以期得到優化問題的最優解[9]。

單個粒子在解空間中的位置和速度更新方程為

vjk(m+1)=λvjk(m)+c1R1(pb,jk(m)-xjk(m))+

c2R2(gb,jk(m)-xjk(m))

(3)

xjk(m+1)=xjk(m)+vjk(m+1)

(4)

式中，vjk(m+1)、xjk(m+1)分別為粒子j在解空間中第m+1次迭代運算時，第k維的搜索速度與位置；λ為慣性權重，表示原速度保留的程度；c1、c2為加速度系數；R1、R2為隨機數，取值范圍為(0，1)；pb,jk、gb,jk分別為粒子j在迭代中第k維的個體最優解與全局最優解。

PSO算法的適應度函數為

(5)

式中，N為訓練樣本個數；f(ξ)為ELM網絡輸出值。

PSO算法中，權重λ為控制粒子群搜索能力及收斂速度的重要參數，其取值對算法的準確性影響很大。λ取值較大時，可提高PSO算法全局搜索能力；λ取值較小時，可提高PSO算法局部搜索能力。由此，λ取值不當時，PSO算法可能出現搜索效率低、早熟及陷入局部最優等問題。

目前，應用較多的權重優化方法為線性遞減權值確定法，此方法僅將λ與迭代次數關聯，應用于非線性復雜運算時，適應性較差，因此采用一種動態調整參數的方法，將PSO算法運行過程中的粒子搜索速度v與λ相關聯，即隨著v的變化調整λ的大小，可有效平衡粒子的全局及局部搜索能力，提高粒子尋優效率，避免粒子陷入局部極值[10]。

慣性權重動態調節公式為

(6)

式中，λ0為隨機初始值，λ0∈(0,1)；λmax為權重最大值；λmin為權重最小值；Emax為粒子群中的最大適應度；vj(m)、vj(m+1)分別為粒子j在第m次、m+1次迭代時的速度。

v增大，表示粒子遠離最優解，因此需加大λ，提高粒子全局搜索能力；v減小，表示粒子接近最優解，此時需減小λ，以提高粒子局部搜索能力。

2.2 超限學習機

ELM是一種基于單隱層前饋神經網絡 (single hidden layer feed-forward neural networks，SLFNs)的新型學習方法，在學習過程中，將網絡的輸入層到隱藏層權重、隱藏層偏移量設置為隨機值，并在最小二乘約束條件下，對隱藏層輸出矩陣的Moore-Penrose廣義逆進行求解，以此得到隱藏層到輸出層的權值[11]，其網絡結構如圖2所示。

圖2 SLFNs結構圖Fig.2 SLFNs structure diagram

圖2中，xz為網絡的輸入；d、n、c分別為輸入層、隱藏層、輸出層節點個數；oz為網絡的輸出：

(7)

矩陣形式為

Hβ=O

(8)

(9)

式中，βi為第i個隱藏層節點到輸出層的權重，βi=(βi1，βi2，…，βic)；g(*)為激活函數；wi為連接輸入層到第i個隱藏層節點的權值，wi=(wi1，wi2，…，wid)；bi為第i個隱藏層節點的偏置；O為網絡的輸出矩陣；H為隱藏層輸出矩陣[12]。

g(·)為可微函數時，

(10)

2.3 基于MPSO的參數優化

ELM雖然具有網絡結構簡單、訓練速度快等優點，但當wi、bi隨機取值不理想時，會在一定程度上影響ELM的準確性，因此本文利用MPSO算法將wi、bi作為該優化算法中的“粒子”，通過對初始隨機解的不斷更新，求得最優的wi、bi，投入到ELM網絡中，避免了ELM原始解法因參數wi、bi隨機取值且無后續更正機制而造成的整個網絡訓練準確性降低的問題[13-14]。

組合算法實際的訓練步驟如下：

(1)初始化粒子群，對粒子群總數及運算循環次數、慣性權重等參數進行設定，并根據wi、bi的取值范圍設定每個粒子在維度空間中位置的邊界，限定種群中粒子的運行速度。

(2)輸入訓練樣本，進行種群訓練，根據式(3)～式(6)計算出每個粒子的適應度E、pb、gb的值。進入主循環，在每一次迭代時分別將粒子的適應度E、pb、gb進行比較，取三者中的最小值為當次迭代的最優解，根據計算結果更新慣性權值，并對當前粒子的位置與速度進行更新。當達到最大迭代次數或超出wi、bi的取值范圍時，則退出迭代，得到粒子群的最優解。

(3)將最優解輸入到ELM網絡中，根據式(7)～式(10)進行訓練，并以網絡訓練誤差[4]

(11)

來評價ELM網絡輸出結果的好壞。當e小于設定值或達到最大訓練次數時，停止訓練，即可得到最優的模仿學習模型。

圖3 MPSO-ELM耦合模型結構圖Fig.3 Structure diagram of MPSO-ELM coupled model

3 MPSO-ELM模型在類人機器人學習中的應用

3.1 實驗數據的采集

在實驗平臺上做模仿學習實驗，采用Aldebaran Robotics公司研制的小型類人機器人NAO進行模仿學習實驗。

(a)動作1 (b)動作2

(c)動作3 (d)動作4圖4 示教實驗過程圖Fig.4 Teaching experiment process diagram

示教者移動機器人NAO手臂末端執行器進行示教，如圖4所示，選取實驗過程中的4個重要關鍵點說明示教過程，以圖中黑色圓點為模仿學習軌跡的起始點，以黑色六角星為終點，按照圖中所示的軌跡進行學習。圖4中，實線表示NAO已經沿著模仿學習軌跡進行了相應的運動，虛線表示NAO還未沿著該軌跡進行相應的運動。與此同時，在上位機中，采用Monitor應用軟件記錄模仿學習過程中的相關數據信息。

3.2 學習模型的參數設置及訓練

將采集到的傳感器數據首先進行歸一化處理，利用MPSO算法選取最優的ELM權值和閾值。

PSO算法中，對其性能影響很大的兩個參數為粒子群總數、最大迭代次數。粒子總數選取過小，可能會因采樣點的缺失而造成整體算法性能的減退；粒子總數過大，會增加計算量及運行時間。因此根據經驗將PSO的初始參數設定為：粒子群規模50，最大迭代次數200，加速度系數c1=c2=2，慣性權重λmax取0.9，λmin取0.3。

在ELM網絡中，激活函數g(·)類型、隱藏層節點個數n等對算法性能有較大影響，因此在迭代次數相同(100)，隱藏層節點數目n不同的條件下，分別以Sigmoid函數、Multiquadric函數為ELM激活函數，以訓練誤差率及運行時間為衡量性能好壞的指標，如表1所示。由表1可以看出，Sigmoid函數訓練所需時間短，其最大時間增長率為9.79%，而Multiquadric函數為15.91%，由此可見Sigmoid函數有明顯的速度優勢；隨著隱藏層節點的增多，兩函數的訓練誤差均不斷減小，但Sigmoid函數誤差率普遍低于Multiquadric函數，并在隱藏層節點數為120時達到最優，誤差為0.0863，因此選取Sigmoid函數為激活函數，輸入層節點個數d為3，隱藏層節點數n設置為120。

表1 超限學習機不同激活函數訓練結果Tab.1 Comparison of training results on different activation of ELM

根據式(6)對PSO的參數λ進行動態調整，并將訓練后的適應度函數曲線與傳統PSO進行對比，如圖5所示。取前100次迭代后的運算結果，可以看出，在同等誤差條件下，MPSO所需的迭代少，收斂較快，可有效避免算法早熟，減少迭代，提高了尋優效率。

圖5 PSO與MPSO的適應度曲線對比圖Fig.5 Comparison graph of adaptability curves between PSO and MPSO

3.3 相同數據集對比實驗

為驗證所提出的MPSO-ELM算法具有訓練速度快、準確率高等特點，在利用相同數據樣本的前提下，將其與SEDS算法的模仿學習效果進行比較。采用的運行軟件為MATLAB R2015a，計算機配置為2.7 GHz Inter Core i5，內存為8 GB。對比實驗中樣本的數據來源于LASA(learning algorithms and systems laboratory)采集的多種人類手寫體數據庫[4]。以其中的CShape、Spoon、Line、Trapezoid、GShape等8種數據集為例，實驗結果如圖6所示，其中，虛線為示教曲線，箭頭曲線為經算法訓練后從不同起始點出發的重現軌跡數據流，黑色點為目標點。兩種算法在采用不同數據集進行訓練時的運行時間及誤差率如表2所示。

(a)SEDS算法

(b)MPSO-ELM圖6 MPSO-ELM與SEDS仿真結果Fig.6 MPSO-ELM and SEDS simulation results

由圖6、表2可以看出，SEDS、MPSO-ELM對數據集曲線進行跟蹤學習時均有較好的表現，但在保證收斂的前提下，MPSO-ELM在各組數據仿真時的運行時間及誤差率普遍優于SEDS，平均運行時間為7.06 s，平均誤差率為0.153；在8種不同動作數據集的工作空間內進行軌跡學習時，以不同位置為起始點出發的數據流均能按照示教曲線的趨勢進行很好的跟蹤，并最終收斂到目標點，說明MPSO-ELM模型具有很好的泛化性能。

3.4 模仿學習模型實驗對比分析

對圖4中人類導師示教時采集的示教數據，用3種不同的模仿學習模型進行訓練，結果如表3所示。其中，BP模型采用三層網絡結構，激勵函數為Sigmoid，隱藏層節點數為20，學習速率為0.2，最大訓練次數為200。

表2 SEDS與MPSO-ELM學習效果Tab.2 Comparison of learning effect between SEDS and MPSO-ELM

表3 不同模仿學習模型訓練結果對比Tab.3 Comparison of training results on different imitation learning models

可以看出ELM算法相較于其余3種模型，具有較高的收斂速度，節約了時間，MPSO與ELM的耦合算法雖然犧牲了部分時間，但換取了更好的精度，平均相對模仿誤差率為0.014。綜合以上可以看出，MPSO-ELM模型相較于其余3種模型在模仿學習方面有更好的表現，提高了傳統ELM的準確性。

3.5 軌跡跟蹤實驗分析

利用MPSO-ELM耦合模型對示教軌跡曲線進行跟蹤擬合，將該模型輸出運算后的機器人NAO手臂關節角度與示教時采集的關鍵點關節角度進行對比，如圖7所示。結合圖4中的示教動作可知，NAO手臂末端執行器從軌跡的起始點向終止點的運動過程中，關節角度呈先增大、后減小的趨勢。圖7中，經耦合模型計算后的關節角度曲線很好地擬合了示教過程中關節角度曲線的變化趨勢，平均誤差為0.0172，保證了對機器人重現示教動作的控制精度。同時，亦在一定程度上減小了關節角度的短時劇烈波動，使得角度曲線更加平穩連貫，可降低驅動電機損壞的風險，并增強機器人控制系統的穩定性。

圖7 示教與跟蹤模型處理后的角度Fig.7 Angle of teaching and tracking model result

4 結論

(1)對模仿學習過程進行分析，利用非線性控制理論對示教動作進行數學描述，將模仿學習轉化為數值問題，采用ELM網絡對其進行映射。

(2)將MPSO算法引入到ELM網絡中，建立了模仿學習耦合模型。以動態自適應慣性權值策略優化PSO算法，克服了標準PSO存在易早熟、局部收斂等缺陷，并將其用于超限學習機的參數優化問題，提高了傳統ELM的準確性。

(3)采用標準數據庫，將MPSO-ELM模仿學習耦合算法與SEDS方法相比較，實驗結果表明，耦合算法具有更好的精度、較短的運行時間以及較強的泛化能力，平均誤差率為0.153，平均運行時間為7.06 s。

(4)將MPSO-ELM模型與BP模型、ELM模型、標準PSO-ELM模型在類人機器人模仿學習中的應用效果進行對比。MPSO-ELM模仿學習耦合模型具有更高的精度，平均誤差率為0.014，具有較好的自適應性。

[1] 徐莉，劉振方，王建丞，等.仿人機器人綜述[J].黑龍江科學，2013，4(7)：57-61. XU Li，LIU Zhenfang，WANG Jiancheng，et al.Review on Humanoid Robot[J]. Heilongjing Science，2013，4(7)：57-61.

[2] 劉濤，于建均，阮曉鋼.基于概率軌跡匹配的機器人模仿學習方法[J]. 計算機測量與控制，2015，23(11)：3713-3720. LIU Tao，YU Jianjun，RUAN Xiaogang. Robot Imitation Learning Method Based on Trajectory Probability Matching[J]. Computer Measurement and Control，2015，23(11)：3713-3720.

[3] 于建均，門玉森，阮曉鋼，等.模仿學習在機器人仿生機制研究中的應用[J]. 北京工業大學學報，2016，42(2)：210-216. YU Jianjun，MEN Yusen，RUAN Xiaogang，et al. Application of Imitation Learning in the Research of Bionic Mechanism of Robots[J]. Journal of Beijing University of Technology，2016，42(2)：210-216.

[4] KHANSARI-ZADEH S M，BILLARD A. Learning Stable Nonlinear Dynamical Systems with Gaussian Mixture Models [J]. IEEE Transactions and Robotics，2011，27(5)：943-957.

[5] JIANG Ping，LI Ziyu，CHEN Yangquan.Iterative Learning Neural Network Control for Robot Learning from Demonstration[J]. Control Theory and Applications，2004，21(3)：447-452.

[6] NEUMANN K，LEMME A，STEIL J J. Neural Learning of Stable Dynamical Systems Based on Data-driven Lyapunov Candidates[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems. Tokyo，2013：1216-1222.

[7] SICILIANO B，KHATIB O. Handbook of Robotics[M]. New York：Springer，2008.

[8] 白彥偉.基于微分幾何移動機械臂非線性控制的研究[D].哈爾濱：哈爾濱工業大學，2007. BAI Yanwei. Nonlinear Control Research of Mobile Manipulators Based on Differential Geometry [D]. Harbin：Harbin Institute of Technology，2007.

[9] 吳曉剛，王旭東，余騰偉，等. 基于粒子群優化的電磁離合器模糊控制研究[J]. 中國機械工程，2010，21(9)：1071-1077. WU Xiaogang，WANG Xudong，YU Tengwei，et al. Research on Fuzzy Control of Electromagnetic Clutch Based on Particle Swarm Optimization[J]. China Mechanical Engineering，2010，21(9)：1071-1077.

[10] 王輝，朱龍彪，朱天成，等.基于粒子群遺傳算法的泊車系統路徑規劃研究[J].工程設計學報，2016，23(2)：195-200. WANG Hui，ZHU Longbiao，ZHU Tiancheng，et al. Research on Path Planning of Parking System Based on PSO-Genetic Hybrid Algorithm[J]. Chinese Journal of Engineering Design，2016，23(2)：195-200.

[11] HUANG Guangbin，ZHOU Hongming，DING Xiaojian. Extreme Learning Machine for Regression and Multiclass Classification[J]. IEEE Transactions Systems，Man，and Cybernetics，2012，42(2)：513-528.

[12] FENG Guorui，HUANG Guangbin，LIN Qingping，et al. Error Minimized Extreme Learning Machine with Growth of Hidden Nodes and Incremental Learning[J]. Transactions on Neural Networks，2009，20(8)：1352-1357.

[13] ZHANG Yannan，DING Shifei，XU Xinzheng，et al. An Algorithm Research for Prediction of Extreme Learning Machine Based on Rough Sets [J]. Journal of Computers, 2013，8(5)：1335-1342.

[14] 何群，李磊，江國乾，等. 基于PCA和多變量極限學習機的軸承剩余壽命預測[J]. 中國機械工程，2014，25(7)：984-989. HE Qun，LI Lei，JIANG Guoqian，et al. Residual Life Predictions for Bearings Based on PCA and MELM[J]. China Mechanical Engineering，2014，25(7)：984-989.

(編輯 張 洋)

Imitation Learning Control Method of Humanoid Robots Based on Coupling Algorithm

LI Wenhua1YANG Zining1WANG Laigui2

1.School of Mechanical Engineering,Liaoning Technical University,Fuxin,Liaoning,1230002.School of Mechanics and Engineering,Liaoning Technical University,Fuxin,Liaoning,123000

To improve accuracy and efficiency in learning from demonstrations by humanoid robots, an imitation learning model was established based on improved PSO to optimize extreme learning machine, to learn human motions on the robots herein. A set of motions which was performed by a human demonstrator were collected to model as a nonlinear autonomous dynamical system. PSO was improved with the dynamic adaptive inertia weight. Then the improved PSO was merged with ELM to optimize network parameters. Using a mathematical model of improved PSO-ELM to learn the parameters of the dynamic system and reproduce human motions. The experimental results prove the method has a better fitting precision, adaptability and generalization ability on imitation learning of humanoid robots. The average relative errors are as 0.0172 of human motion reproductions.

imitation learning; extreme learning machine(ELM); improved particle swarm optimization(MPSO); nonlinear dynamic system; coupling model

2016-08-29

國家自然科學基金資助項目(51474121)；遼寧省教育廳資助項目(L2015214)

TP242.6

10.3969/j.issn.1004-132X.2017.14.017

李文華，男，1964年生。遼寧工程技術大學機械工程學院教授、博士研究生導師。主要研究方向為機電液一體化及智能控制、流體機械及工程。發表論文50余篇。楊子凝(通信作者)，女，1988年生。遼寧工程技術大學機械工程學院博士研究生。E-mail:yangzining163@163.com。王來貴，男，1962年生。遼寧工程技術大學力學與工程學院教授、博士研究生導師。