機器人演示學(xué)習(xí)編程技術(shù)研究綜述

殷聰聰，張秋菊+

1.江南大學(xué) 機械工程學(xué)院，江蘇 無錫 214122

2.江蘇省食品先進制造裝備技術(shù)重點實驗室，江蘇 無錫 214122

1 引言

近年來機器人產(chǎn)業(yè)發(fā)展迅猛，2019 年全球機器人市場規(guī)模預(yù)計將達到294.1億美元，2014—2019年的平均增長率約為12.3%[1]。從統(tǒng)計數(shù)據(jù)中可以看出無論工業(yè)機器人還是服務(wù)機器人，產(chǎn)業(yè)規(guī)模都在快速增長。

工業(yè)機器人在制造業(yè)中的應(yīng)用越來越廣泛，從最初的汽車制造業(yè)，到近年來快速發(fā)展的3C 電子產(chǎn)品制造業(yè)，工業(yè)機器人在其中都發(fā)揮著重要作用。然而，隨著社會經(jīng)濟的快速發(fā)展，工業(yè)產(chǎn)品逐步呈現(xiàn)出多品種、小批量、短周期的特點[2]，這對機器人編程的便捷性和快速性提出了更高的要求。傳統(tǒng)工業(yè)機器人的編程方式對從業(yè)人員的編程水平有著較高的要求，并且編程周期較長，針對一種新的產(chǎn)品，機器人編程調(diào)試可能要花費數(shù)天，甚至數(shù)周的時間，難以滿足產(chǎn)品多品種、小批量、短周期的生產(chǎn)需求。服務(wù)機器人近年來也取得了快速發(fā)展，尤其家庭服務(wù)機器人，已逐步走進日常生活。與工業(yè)機器人相比，服務(wù)機器人主要針對的是非專業(yè)用戶，這對機器人編程的人機交互體驗提出了更高的要求。

下一代智能機器人有望實現(xiàn)和人類協(xié)作共同完成任務(wù)。這就需要機器人能夠在非結(jié)構(gòu)化環(huán)境中靈活、安全、可靠地與人類互動。其中需要解決的兩個重要問題是：機器人如何理解人類動作以及如何執(zhí)行所學(xué)的任務(wù)。

針對上述情況，基于演示學(xué)習(xí)（learning from de-monstration，LfD）的機器人編程技術(shù)的研究逐漸興起。演示學(xué)習(xí)編程技術(shù)是通過人的示范行為向機器人傳遞知識的一種新方式，不需要專業(yè)人員通過編程語言來告訴機器人應(yīng)該怎么做，而是讓機器人具備識別并理解操作人員示范行為中的有效信息，并能夠?qū)⑦@些信息轉(zhuǎn)換成機器人的執(zhí)行文件，進而重現(xiàn)操作人員的示范行為，完成相應(yīng)任務(wù)的能力[3]。該技術(shù)不僅可以大幅降低工業(yè)機器人的編程難度，還可以大幅提高工業(yè)機器人的編程效率，可推廣應(yīng)用到家庭服務(wù)機器人、特種機器人等領(lǐng)域，對提高機器人智能化水平，提高制造業(yè)生產(chǎn)效率以及提升服務(wù)機器人的人機交互體驗都具有重要意義。

歐美國家在機器人演示學(xué)習(xí)方面的研究起步較早。20世紀90年代已有學(xué)者提出基于隱馬爾可夫模型的人體演示技能獲取方法[4]。2008年，Billard等人[5]指出機器人演示編程（programming by demonstration，PbD）是一種很有前途的方法，它可以使繁瑣的機器人手工編程自動化，降低工廠中機器人開發(fā)和維護的成本。同時提出，PbD 也可以稱為機器人模仿學(xué)習(xí)。2011 年，Aksoy 等人[6]提出采用語義事件鏈（se-mantic event chain，SEC）來描述演示操作過程中對象關(guān)系的變化，以便于機器人在新的場景中重現(xiàn)演示任務(wù)。2015 年，Cubek 等人[7]使用概念空間讓機器人在更高的概念抽象級別上解釋人類演示的抓取和放置動作。近年來，在工業(yè)機器人領(lǐng)域的機器人演示編程研究逐漸增多。2017年，Ramirez-Amaro等人[8-9]開發(fā)了一種可快速部署的工業(yè)機器人演示編程系統(tǒng)。該系統(tǒng)借助一種電子皮膚和深度相機來獲取人類的演示信息，使非專業(yè)的操作者能夠?qū)I(yè)機器人進行新的任務(wù)編程。2018 年，Kyrarini 等人[10]提出一種機器人學(xué)習(xí)框架，通過演示讓機器人學(xué)習(xí)裝配任務(wù)的動作順序，而不需要預(yù)先編程。

國內(nèi)雖然對機器人演示學(xué)習(xí)的研究起步較晚，但近年來也取得了一些重要成果，值得后續(xù)的研究者們借鑒學(xué)習(xí)。2014 年，深圳機器人學(xué)院的Gu 等人[11]為了通過人體演示使機器人獲得裝配技能，利用RGB-D 攝像機，建立了一個可識別零件/工具、動作和裝配狀態(tài)的便攜式裝配演示系統(tǒng)，該系統(tǒng)能夠生成裝配腳本，具有良好的目標識別、動作識別和裝配狀態(tài)估計精度。東南大學(xué)馬旭東教授等人[12-13]對服務(wù)機器人的演示學(xué)習(xí)進行了深入研究，將服務(wù)機器人的任務(wù)分為聯(lián)動任務(wù)和非聯(lián)動任務(wù)，并分別設(shè)計不同的學(xué)習(xí)方法。浙江大學(xué)的熊蓉教授等人[14-16]針對工業(yè)裝配任務(wù)的演示編程進行了廣泛的研究。開發(fā)了基于概率圖的空間裝配關(guān)系推理系統(tǒng)，著重研究了演示過程中動作識別與物體跟蹤方法，建立了一個機器人裝配任務(wù)自動編程框架。

國內(nèi)外研究者都對機器人演示編程（PbD）開展了廣泛的研究。本文針對不同的演示學(xué)習(xí)方式，對近年來較為典型的研究工作進行綜述，探討現(xiàn)階段機器人演示學(xué)習(xí)面臨的挑戰(zhàn)，并指明其發(fā)展趨勢。

2 LfD編程技術(shù)的分類

LfD編程技術(shù)按照傳感器的類型分為：動覺演示編程[17-18]、視覺演示編程[19-21]、遙操作演示編程[22]。按照其學(xué)習(xí)信息的邏輯層次可以分為：基于運動的演示學(xué)習(xí)[17-18,20,23]和基于任務(wù)的演示學(xué)習(xí)[19,21,24-25]。本文采用按照其學(xué)習(xí)信息的邏輯層次進行分類闡述，如圖1所示。

Fig.1 Classification of robot learning from demonstration圖1 機器人演示學(xué)習(xí)分類

基于任務(wù)的演示學(xué)習(xí)和基于運動的演示學(xué)習(xí)在行為表達上分別對應(yīng)于語義符號層面和運動軌跡層面[26]。也有的研究工作中這兩種演示學(xué)習(xí)方法同時被采用，以應(yīng)對不同類型的演示學(xué)習(xí)編程任務(wù)[26-27]。基于任務(wù)的演示學(xué)習(xí)將機器人觀察到的人類的示范行為和人類與場景中物體的交互行為采用符號基元進行描述，整個示范行為由一個語義符號描述序列來表達；基于運動的演示學(xué)習(xí)則直接記錄人類示范行為的運動軌跡，用傳感器記錄的軌跡和運動規(guī)劃器所規(guī)劃的軌跡之間的非線性映射關(guān)系來描述人類的示范行為。

與傳統(tǒng)的機器人示教編程技術(shù)不同的是，演示學(xué)習(xí)編程技術(shù)不是簡單重復(fù)人類的演示動作，而是要從示范行為數(shù)據(jù)中提取到有效信息，生成相應(yīng)的運動模型，并能夠?qū)⑵鋺?yīng)用到新的任務(wù)場景中，具備一定的軌跡泛化和任務(wù)泛化能力，能夠根據(jù)學(xué)習(xí)到的技能在新的場景下完成相應(yīng)的任務(wù)。因此，演示學(xué)習(xí)編程技術(shù)可以分為演示和執(zhí)行兩個階段：在演示階段，機器人需要識別人類的示范行為，并且能夠?qū)π袨橹械淖觿幼鬟M行分割，由此建立運動基元庫；在執(zhí)行階段，需要根據(jù)行為的抽象表示和運動基元建立具有泛化能力的運動模型，以滿足新場景下完成任務(wù)的要求。

3 基于運動的演示學(xué)習(xí)

基于運動的演示學(xué)習(xí)根據(jù)是否需要關(guān)節(jié)或者末端映射可以分為映射方式和非映射方式。其中，映射方式又分為關(guān)節(jié)映射和末端映射兩種。

3.1 映射方式

映射學(xué)習(xí)方式通常采用視覺識別或數(shù)據(jù)手套等方式來提取人的示范行為中關(guān)節(jié)或手末端的運動軌跡信息，并將處理后的軌跡信息映射到機器人空間，使機器人能夠重現(xiàn)操作人員的演示動作。

若僅識別提取人手末端或者人手所持的工具的運動軌跡信息，稱之為末端映射方式。Huang等[20]提出了一種基于視覺的多機器人操作演示學(xué)習(xí)。操作人員首先演示如何使用工具執(zhí)行任務(wù)，同時使用視覺系統(tǒng)觀察工具的運動。然后使用統(tǒng)計模型對演示進行編碼，以生成參考運動軌跡。機器人使用相同的工具和學(xué)習(xí)模型，在視覺的引導(dǎo)下完成任務(wù)。如圖2所示，該方法為了快速精確地跟蹤手持工具的運動軌跡，在工具上設(shè)置了一個五面體二維碼以確保任何一個角度下相機都可以看到兩個不平行平面上的二維碼，用于估算工具末端位姿。

Fig.2 Pentahedral QR code used to estimate terminal pose圖2 用于估算末端位姿的五面體二維碼

如圖3所示，張思倫[28]利用二維碼作為人手末端位姿軌跡估計的標記，并提出在動態(tài)運動基元（dyna-mic movement primitives，DMPS）中加入運動特征與障礙物的耦合項因子，拓展為具備避障功能的運動規(guī)劃系統(tǒng)，使得機器人能夠從操作人員多次演示軌跡中根據(jù)實際場景中障礙物的約束自主泛化出新的軌跡。

Fig.3 Estimation of human hand end pose trajectory using QR code圖3 利用二維碼估算人手末端位姿軌跡

除了利用多面體二維碼或者平面二維碼作為運動軌跡和位姿的標記外，還有的研究者針對具體的工作場景，設(shè)計了專門的標記物。Ferreira 等[29]針對噴漆等作業(yè)條件較為惡劣的應(yīng)用場景，設(shè)計了一個帶有多個高強度led 發(fā)光標記的20 面體結(jié)構(gòu)（如圖4所示）。其優(yōu)點是，結(jié)構(gòu)緊湊，方便安裝，對作業(yè)環(huán)境的光線沒有要求，使機器人能夠快速根據(jù)演示行為自主編程。Lin 等[30]設(shè)計了一種示教筆（如圖5 所示），利用運動捕捉系統(tǒng)捕捉示教筆上的標記點位置，計算出示教筆的姿態(tài)。通過記錄示教筆的軌跡，并將其映射到機器人的末端來實現(xiàn)工業(yè)機器人的自動編程。

Fig.4 Icosahedral structure with luminescent mark圖4 有發(fā)光標記的20面體結(jié)構(gòu)

Fig.5 Schematic diagram of teaching pen teaching system圖5 示教筆示教系統(tǒng)示意圖

目前針對末端軌跡的學(xué)習(xí)映射方式多采用上述設(shè)置固定標記特征點的方案，這類方案的優(yōu)點可以較為精確地估算出工具末端的姿態(tài)和精確地記錄末端軌跡。由于設(shè)置有特殊的標記點，特征提取速度很快，軌跡跟蹤可以做到很高的幀率，可以滿足較高的實時性要求。然而，此類方法的缺點也較為明顯，尤其是在一些需要徒手操作的場景下，人手不可能在持有特殊標記物的情況下再執(zhí)行其他任務(wù)。固定標記物只是解決了某個點的軌跡跟蹤問題，對于某些需要人手多指配合，甚至是雙手配合完成的工作，此類方法基本是無效的。因此，如何快速高精度地跟蹤記錄徒手操作的運動軌跡，或者設(shè)計一種不影響徒手操作的標記物等問題還有待于進一步研究。

與末端映射相對應(yīng)的是關(guān)節(jié)映射。王朝陽[31]采用Kinect相機獲取人臂特征點的位置數(shù)據(jù)，提出并推導(dǎo)了一種基于肘部約束的冗余七自由度逆運動學(xué)解法來獲得人臂關(guān)節(jié)角度數(shù)據(jù)，建立了人機7-DOF 關(guān)節(jié)映射將人臂運動傳遞給機械臂。如圖6所示，該方法實現(xiàn)了基于視覺的人體手臂對機械臂的直接示教。與此類似，Jha 等[32]利用人手臂和機器人的運動學(xué)模型以及基于Kinect 的運動傳感系統(tǒng)實現(xiàn)對機器人的視覺示教。如圖7所示，與王朝陽的工作不同之處在于Jha等采用了多臺相機從不同角度采集人體姿態(tài)數(shù)據(jù)，并加以互補融合得到更為精確的軌跡數(shù)據(jù)。

Fig.6 Teaching of manipulator based on vision圖6 基于視覺的機械臂示教

Fig.7 Teaching system of manipulator with multiple Kinects圖7 采用多臺Kinect的機械臂示教系統(tǒng)

Sander等[33]提出一種基于遺傳算法（genetic algo-rithm，GA）和主成分分析（principal components ana-lysis，PCA）技術(shù)相結(jié)合的學(xué)習(xí)算法，用于仿人機器人模擬人自舉動作。如圖8 所示，在這項工作中，視覺引導(dǎo)技術(shù)成功地應(yīng)用于學(xué)習(xí)捕捉人體姿勢。

Fig.8 Humanoid robot simulating human self lifting action圖8 仿人機器人模擬人自舉動作

從上述工作中可以看出，關(guān)節(jié)映射方式適用于仿人機器人或者結(jié)構(gòu)與人體類似的機械臂，能夠讓機器人做出更類似于人的動作。但是，因為人手臂自由度較多，將其映射到結(jié)構(gòu)差異較大的機器人空間中非常困難。而末端映射方式的使用場景較為廣泛，無需考慮機器人結(jié)構(gòu)上的差異，只需要關(guān)注機器人末端軌跡，機器人其他關(guān)節(jié)的運動可采用其他算法根據(jù)實際情況進行規(guī)劃。

3.2 非映射方式

非映射方式是指從機器人本體的運動數(shù)據(jù)中學(xué)習(xí)，通常通過牽引或者遙操作來控制機器人進行示范運動[34]。

Chen等[35]利用KUKA LBR iiwa機器人的拖動演示的功能，針對指定任務(wù)進行多次拖動示教，然后利用高斯混合回歸對人的示范動作進行粗略建模，接著基于李雅普諾夫穩(wěn)定性定理，建立了一個約束非線性優(yōu)化模型，并對之前的微分方程進行了迭代求解，最后得到機器人在動態(tài)場景下的動作泛化能力。如圖9 所示，即使每次瓶子所放置的位置不一樣，機器人依然可以通過軌跡泛化來得到新的運動路徑去完成抓取瓶子的任務(wù)。

Fig.9 Completing dynamic tasks through teaching and learning圖9 通過示教學(xué)習(xí)完成動態(tài)任務(wù)

采用拖動示教的機器人通常在末端設(shè)置有一個六維力傳感器或者機器人關(guān)節(jié)中配置有力矩傳感器。因此機器人不僅僅可以獲取示教過程中的軌跡信息，還可以獲取在演示過程中的交互力信息。Duan等[36]提出了一個新的學(xué)習(xí)框架，該框架采用序貫學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對機器人運動進行編碼，并采用一種新的基于力的變阻抗學(xué)習(xí)方法來估計三個方向的變化阻尼和剛度矩陣。通過多次拖動演示記錄軌跡和力信息（如圖10 所示），演示結(jié)束后，無需手動編碼，可以自動獲得統(tǒng)一的控制策略。該項研究中機器人從演示動作中不僅學(xué)習(xí)到了軌跡信息，還學(xué)習(xí)到了示范行為中的柔順性。

Fig.10 Obtaining interaction information from demonstration圖10 從演示中獲取交互力信息

采用拖動演示的方式，往往存在一些冗余動作，不能充分利用機器人的自由度。針對這個問題，Koc等[37]提出一種演示參數(shù)稀疏學(xué)習(xí)算法（learning sparse demonstration parameters，LSDP），來實現(xiàn)關(guān)節(jié)空間參數(shù)的稀疏性，該方法將多任務(wù)彈性網(wǎng)絡(luò)回歸與非線性優(yōu)化交替進行。彈性網(wǎng)絡(luò)將解投射到稀疏特征集上，而在非線性優(yōu)化過程中，這些特征（基函數(shù)）在二次優(yōu)化中與數(shù)據(jù)相適應(yīng)。如圖11 所示，該方法可以成功地在較少參數(shù)的情況下捕捉到動作的風(fēng)格，減少冗余運動的產(chǎn)生。

Fig.11 Learning action style from demonstration圖11 從演示中學(xué)習(xí)動作風(fēng)格

從已有的研究工作中可以看出，非映射學(xué)習(xí)方式需要機器人本身具備相應(yīng)的功能，而且對于小而精的任務(wù)難以通過拖動示教的方式進行學(xué)習(xí)，無法對于需要雙手完成的工作進行演示。而映射方式，尤其是末端映射學(xué)習(xí)方式，可以借助外部傳感器，進行非接觸式自然學(xué)習(xí)。特別是近年來發(fā)展迅速的視覺傳感器在末端映射學(xué)習(xí)中應(yīng)用越來越廣泛。

4 基于任務(wù)的演示學(xué)習(xí)

基于運動的演示學(xué)習(xí)主要是學(xué)習(xí)示范行為中動作的軌跡信息與交互力信息，然后根據(jù)所提取的有效信息建立相應(yīng)的運動控制模型，來提高機器人對工作場景變化后的自適應(yīng)性。而基于任務(wù)的演示學(xué)習(xí)則注重對任務(wù)語義層次的學(xué)習(xí)，需要對獲取的信息進行理解和推理，并能夠?qū)⑵鋺?yīng)用到相應(yīng)的任務(wù)中。與基于運動的演示學(xué)習(xí)相比，基于任務(wù)的演示學(xué)習(xí)能更好地適應(yīng)任務(wù)環(huán)境的變動。因此，基于任務(wù)的演示學(xué)習(xí)引起了很多研究者的關(guān)注，逐漸成為研究熱點。按照不同類型的任務(wù)語義，基于任務(wù)的演示學(xué)習(xí)可以分為基于物體位姿變化的語義學(xué)習(xí)、基于行為動作的語義學(xué)習(xí)、基于操作規(guī)則的語義學(xué)習(xí)三類。

4.1 基于物體位姿變化的語義學(xué)習(xí)

基于物體位姿變化的語義學(xué)習(xí)是指通過識別判斷物體在被操作前后的位姿空間關(guān)系來推理出操作行為的語義信息。如圖12 所示，Dantam 等[38]通過演示中的物體間的裝配邏輯，將人類裝配演示行為離散化為語義上相關(guān)的對象連接操作序列。然后，從一組任務(wù)演示中推斷出表示任務(wù)語義信息的機器人動作語法。最后，將任務(wù)語義與機器人的動作語法結(jié)合起來，在仿真中展示了機器人執(zhí)行所演示的裝配任務(wù)。該工作實現(xiàn)了裝配任務(wù)從人到機器人的自動轉(zhuǎn)移。

Fig.12 Learning assembly sequence from demonstration圖12 從演示中學(xué)習(xí)裝配序列

Ahmadzadeh等[39]提出了一種融合模仿學(xué)習(xí)（imita-tion learning，IL）、視覺空間技能學(xué)習(xí)（visuospatial skill learning，VSL）和傳統(tǒng)規(guī)劃方法的機器人學(xué)習(xí)方法。該方法能夠通過觀察演示來學(xué)習(xí)連續(xù)的任務(wù)。利用IL 學(xué)習(xí)基于軌跡的原始動作，VSL 通過視覺感知學(xué)習(xí)操作的順序。如圖13 所示，通過判斷物塊的空間位置來學(xué)習(xí)演示動作中的推拉語義信息。

Fig.13 Inferring operation semantics according to change of location of object block圖13 根據(jù)物塊的位置變化推理操作語義

Ahmadzadeh 的研究中沒有涉及到多個物體之間的位置關(guān)系，當(dāng)任務(wù)中存在多個被操作物體時，問題將會變得復(fù)雜。如圖14所示，Das等[40]提出一種基于符號編碼的技能學(xué)習(xí)方法，針對任務(wù)中的多個物體，分別提取它們的絕對位置變化（absolute position change，APC）、相對位置變化（relative position change，RPC）、絕對方向變化（absolute orientation change，AOC）、相對方向變化（relative orientation change，ROC）以及各物體間的鄰近關(guān)系推理出演示動作的序列關(guān)系。最后調(diào)用規(guī)劃模塊來讓機器人執(zhí)行用戶想要放置的對象的動作序列。

Fig.14 Operation sequence reasoning圖14 操作序列推理

在有些場景中，不僅包含被操作物本身，還包含不同類型的操作工具。Gu等[41]建立了一個便攜式裝配演示（portable assembly demonstration，PAD）系統(tǒng)，該系統(tǒng)能夠自動識別所涉及的對象（部件/工具）、所進行的動作以及表征部件間空間關(guān)系的裝配狀態(tài)。如圖15所示，為了方便表征部件的識別定位，該系統(tǒng)在部件上貼有二維碼，并通過工具與物體之間的交互行為來推理裝配關(guān)系。

Fig.15 Inferring assembly relationship through interaction between tool and object圖15 通過工具與物體的交互推理裝配關(guān)系

基于物體位姿變化的語義學(xué)習(xí)注重的是物體間的空間關(guān)系，避免直接識別較為復(fù)雜的手勢動作，適合物體種類固定的且操作邏輯簡單的場景，例如：分揀、抓取等。然而有些場景下，物體被操作前后沒有明顯的位置變化。例如裝配任務(wù)中的按壓操作、擰緊操作對工件的空間位置變化影響很小，難以被察覺。因此，在需要對物體進行精細化操作的場景中，僅通過物體位姿變化難以提取動作的語義信息。

4.2 基于行為動作的語義學(xué)習(xí)

基于行為動作的語義學(xué)習(xí)是指通過對示范行為的識別分割，根據(jù)前后動作的邏輯關(guān)系推理出任務(wù)的語義信息。Lambrecht等[42]設(shè)計了一種基于無標記手勢識別和移動增強現(xiàn)實技術(shù)的工業(yè)機器人編程系統(tǒng)。用戶可以在三維空間中通過手勢與真實或虛擬對象進行自然交互，程序員可以在機器人工作空間的一張桌子上移動和旋轉(zhuǎn)他面前的虛擬物體，根據(jù)變化自動調(diào)整機器人程序。研究中通過對pick-and-place 任務(wù)編程的演示，展示了該系統(tǒng)任務(wù)級編程的能力。該系統(tǒng)可以使非專業(yè)人員在沒有廣泛實踐和經(jīng)驗的情況下定義、評估和操作機器人任務(wù)。如圖16所示，與其他研究中多采用固定相機的方式不同，該系統(tǒng)中除了配置有固定相機，還配置有一個手持相機設(shè)備用于輔助識別人的操作手勢。通過這種方式可以在一定程度上減弱視線遮擋對手勢識別的影響。但是利用現(xiàn)有移動設(shè)備上的相機作為輔助相機，影響人操作的靈活性，并且只能單手操作。如圖17所示，Chen 等[43]設(shè)計了一種可穿戴的手勢視覺識別設(shè)備，通過手腕處的相機采集手勢圖像，較好地解決了常規(guī)固定相機存在的視線遮擋問題，便于演示人員靈活操作。

Fig.16 Hand camera assisting gesture recognition圖16 手持相機輔助手勢識別

Fig.17 Wearable camera equipment圖17 可穿戴相機設(shè)備

Ramirez-Amaro等[44]提出一種結(jié)合手部運動信息和兩種物體屬性來提取人類演示行為意義的方法。該方法通過在演示學(xué)習(xí)過程中采集的人的運動信息（move，not move，tool use）和物體狀態(tài)屬性（object acted on，object in hand）來構(gòu)建知識庫。如圖18 所示，機器人利用知識庫中的信息推理出新任務(wù)中的動作序列。

Lin等[45]提出一種卷積神經(jīng)網(wǎng)絡(luò)用來識別演示動作中的手勢并生成動作序列，在機器人控制模塊中實現(xiàn)相應(yīng)的運動原語，最后基于可擴展代理行為規(guī)范語言（extensible agent behavior specification language，XABSL）在機器人上實現(xiàn)拾取和放置任務(wù)。該系統(tǒng)的特點是將基于手勢識別系統(tǒng)與基于行為的編程平臺結(jié)合，前者為后者提供高層次的任務(wù)序列輸入，來完成人工演示中的取放任務(wù)。如圖19所示，該系統(tǒng)通過基于XABSL的平臺實現(xiàn)了一個立方體的堆積任務(wù)。

相對于“拿-放”操作任務(wù)的示范學(xué)習(xí)，對動作精細化要求較高的裝配作業(yè)任務(wù)的示范學(xué)習(xí)要困難很多。因為相同的手勢可能出現(xiàn)在不同的裝配環(huán)節(jié)，代表了不同的裝配任務(wù)，例如擰緊操作，其手勢姿態(tài)與拿取操作沒有明顯區(qū)別。這對動作的精確識別分割提出了較高的要求。Wang等[46]提出了結(jié)合滑動窗口的分割點檢測和基于迭代動態(tài)規(guī)劃的識別優(yōu)化的方法以實現(xiàn)連續(xù)裝配動作分割與識別。如圖20 所示，該方法成功從演示動作中識別分割出不同的裝配動作。

Fig.18 Inferring action sequence圖18 推理動作序列

Fig.19 Cube stacking task圖19 立方體堆積任務(wù)

Fig.20 Recognition and segmentation of assembly action圖20 識別分割裝配動作

基于行為動作的語義學(xué)習(xí)主要研究如何從人連續(xù)的演示動作中提取語義信息，有些研究工作中也同時考慮了物體的屬性[44]，且這些屬性的變化通常是由操作行為引起的，這與基于物體位姿變化的語義學(xué)習(xí)中單純考慮物體屬性不同。由于基于行為動作的語義學(xué)習(xí)不依賴于特定的操作對象，因此方法通用性強，具有廣闊的應(yīng)用前景。但是，對連續(xù)操作動作進行實時識別分割很具有挑戰(zhàn)性。目前大部分研究工作主要針對較為簡單的連續(xù)動作進行識別分割，如何提高對復(fù)雜且持續(xù)時間較長的連續(xù)動作進行識別分割的精度和穩(wěn)定性還有待于進一步研究。

4.3 基于操作規(guī)則的語義學(xué)習(xí)

基于操作規(guī)則的語義學(xué)習(xí)是指從示范行為和物體位姿的相互關(guān)系中提取完成相應(yīng)任務(wù)所需要的規(guī)則約束，根據(jù)所獲取的約束條件來完成同類型任務(wù)。Lee等[47]提出了一種模仿學(xué)習(xí)的句法方法，這種方法在有噪聲的情況下從相當(dāng)少的樣本中以概率激活語法的形式捕獲重要的任務(wù)結(jié)構(gòu)。這些學(xué)習(xí)到的語法可以用于幫助識別不可預(yù)見的、共享底層結(jié)構(gòu)的更復(fù)雜的任務(wù)。如圖21 所示，利用該方法從演示視頻中學(xué)習(xí)推理出解決漢諾塔問題的規(guī)則，并利用這些規(guī)則解決更大規(guī)模的漢諾塔問題。該方法適用于具有相同底層規(guī)則的任務(wù)，通過對小規(guī)模問題的演示學(xué)習(xí)，來解決大規(guī)模問題。

Fig.21 Solving Hanoi Tower problem by learning rules圖21 通過學(xué)習(xí)規(guī)則解決漢諾塔問題

陳世佳等[48]提出一種基于對比示范的演示學(xué)習(xí)方法，通過動作識別和狀態(tài)檢測將信息抽象成符號形式，然后經(jīng)過認知推理得到演示任務(wù)的執(zhí)行決策和約束條件，并通過動作共享指導(dǎo)機器人重現(xiàn)任務(wù)。如圖22 所示，演示者分別演示先拿懸空的杯子和先拿桌子上的杯子，通過不同的取杯順序告訴機器人任務(wù)的約束條件是先拿懸空的杯子，否則懸空的杯子會摔落。

Fig.22 Extracting task constraints from comparative demonstration圖22 從對比示范中提取任務(wù)約束

在各種演示學(xué)習(xí)的研究中，基于操作規(guī)則的語義學(xué)習(xí)相對較少。在針對具體的生產(chǎn)生活中包含的規(guī)則種類不多的場景中，可以利用機器人來學(xué)習(xí)相關(guān)的基礎(chǔ)規(guī)則，使機器人能夠根據(jù)這些基礎(chǔ)規(guī)則推理出如何執(zhí)行包含若干基礎(chǔ)規(guī)則的復(fù)雜任務(wù)。例如搭積木、拼圖、恢復(fù)魔方等規(guī)則性較強的任務(wù)。

5 面臨的挑戰(zhàn)與發(fā)展趨勢

針對基于演示學(xué)習(xí)的機器人編程問題，國內(nèi)外研究者已經(jīng)開展了較為廣泛的研究工作。基于運動的演示學(xué)習(xí)注重獲取演示者的運動軌跡信息，通常應(yīng)用于工作內(nèi)容較為簡單的場景。其優(yōu)點是，可借助機器人本體的拖動示教功能或者借助特定的標記物來記錄用于建模的軌跡信息，避免了對復(fù)雜手勢的識別，大大降低了演示學(xué)習(xí)的實施難度。然而，在工作內(nèi)容較為復(fù)雜的場景下，軌跡信息復(fù)雜，甚至還包含不同工具的切換信息，使用基于運動的演示學(xué)習(xí)往往難以滿足要求。基于任務(wù)的演示學(xué)習(xí)則關(guān)注任務(wù)本身的語義信息，通過解析任務(wù)的語義序列，利用動作原語庫，根據(jù)語義序列對原語動作進行組合來重現(xiàn)演示任務(wù)。這大大增強了機器人對不同任務(wù)靈活應(yīng)變的能力。但是解析語義序列，需要對連續(xù)動作進行識別和分割，這是一項具有挑戰(zhàn)性的工作。

現(xiàn)階段大部分研究工作主要針對簡單的演示任務(wù)，仍處于實驗階段。若要將基于演示學(xué)習(xí)的機器人編程技術(shù)推廣到實際生產(chǎn)應(yīng)用中，仍面臨以下挑戰(zhàn)：

（1）建立具備通用性的編程框架

現(xiàn)有的演示編程技術(shù)往往針對某一具體場景，通用性較低，難以將相關(guān)方法移植到其他任務(wù)場景下。例如基于拖動演示的方法要求機器人本身具備相應(yīng)的功能，難以移植到傳統(tǒng)的機器人上。近年來發(fā)展迅速的機器人視覺技術(shù)是提高演示編程技術(shù)通用性很有潛力的一種方法。建立一套可移植性強的演示編程框架，是一項具有挑戰(zhàn)性的工作。

（2）穩(wěn)定可靠的語義提取方法

與實驗環(huán)境相比，實際的應(yīng)用場景中的工作條件不可預(yù)知，因此相關(guān)的示范行為識別分割方法需要較高的環(huán)境自適應(yīng)性和魯棒性。語義序列提取出錯，可能導(dǎo)致機器人執(zhí)行任務(wù)過程中發(fā)生嚴重的事故。一些應(yīng)用場景下可能涉及到較為復(fù)雜和精細化的操作，例如縫補操作、細小零件裝配操作等。提高這些動作在動態(tài)場景下的識別率，對于提高演示編程的穩(wěn)定性具有重要意義。

（3）良好的人機交互體驗

與傳統(tǒng)機器人編程技術(shù)相比，演示編程技術(shù)雖然降低了對操作人員專業(yè)性的要求，然而現(xiàn)有的演示編程技術(shù)的人機交互體驗離自然人機交互的要求還有很大的距離。在使用前往往需要一定程度的培訓(xùn)，例如：需要告知演示者一些特定的手勢動作[43]；配置特定的演示環(huán)境[46]等。建立良好的人機交互機制，是發(fā)展演示編程技術(shù)的重要目標之一。利用多源信息融合提高人機交互體驗是很有前景的方案。

隨著模式識別、人工智能技術(shù)的快速發(fā)展，基于演示學(xué)習(xí)的機器人編程技術(shù)將向著智能化、通用化方向發(fā)展：

（1）多感官信息融合

面對建立通用性的編程框架和開發(fā)穩(wěn)定可靠的語義提取方法等挑戰(zhàn)，多感官信息融合是提高通用性和可靠性的有效手段。文獻[49-50]利用視覺、慣性單元、肌電信號等不同種類的傳感信息來獲取演示行為中高層次的語義信息。多源信息融合可以增強算法框架對不同任務(wù)環(huán)境的適應(yīng)能力，提高了機器人演示編程技術(shù)的智能化和通用化水平，是優(yōu)化人機交互體驗的重要手段。在可預(yù)期的未來，機器人演示編程技術(shù)將借助模式識別、人工智能，通過多感官信息融合向智能化、通用化方向發(fā)展。

（2）利用深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)端到端學(xué)習(xí)

近年來，快速發(fā)展的深度神經(jīng)網(wǎng)絡(luò)技術(shù)逐漸引起了機器人領(lǐng)域相關(guān)研究者的注意。2018年英偉達公司開發(fā)了一套采用神經(jīng)網(wǎng)絡(luò)的機器人演示學(xué)習(xí)系統(tǒng)，并在2019年的開發(fā)者大會上進行了現(xiàn)場展示[51]。該系統(tǒng)每個環(huán)節(jié)都由神經(jīng)網(wǎng)絡(luò)組成，可根據(jù)人類的演示動作，重現(xiàn)物塊堆疊任務(wù)。2018年，中國科學(xué)院自動化研究所智能機器人系統(tǒng)研究中心也開展了類似的研究工作[52]。也有的研究者利用深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)了端到端的演示學(xué)習(xí)[53-54]。端到端的學(xué)習(xí)方式將研究人員從繁瑣的特征提取環(huán)節(jié)中解放出來，降低了機器人演示學(xué)習(xí)框架的復(fù)雜性。深度神經(jīng)網(wǎng)絡(luò)還具有很強的泛化能力，使得演示學(xué)習(xí)框架在不同類型的機器人間的移植相對容易，提高了演示學(xué)習(xí)框架的通用性。利用深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)端到端的機器人演示學(xué)習(xí)方法將逐漸成為研究熱點。

6 結(jié)束語

近年來，隨著制造業(yè)的快速發(fā)展，機器人在生產(chǎn)活動中的應(yīng)用越來越廣泛。如何簡化機器人編程、提高編程效率、降低機器人的使用門檻對企業(yè)提高生產(chǎn)效率、降低成本具有重要意義。基于演示學(xué)習(xí)的機器人編程技術(shù)是實現(xiàn)這一目標的重要途經(jīng)之一。現(xiàn)階段基于演示學(xué)習(xí)的機器人編程技術(shù)仍不成熟。可預(yù)期的未來，模式識別、人工智能技術(shù)的快速發(fā)展，將會對機器人演示學(xué)習(xí)技術(shù)的完善起到重要的推動作用。另外，人們不僅通過視覺特征，而且通過聲音、動作和其他特征來與其他人交流、學(xué)習(xí)。與此類似，機器人僅通過單一的感知方法很難學(xué)習(xí)到高層次的語義信息。因此，多感官信息融合和人工智能技術(shù)相結(jié)合是演示編程技術(shù)發(fā)展的一大趨勢。