基于深度強(qiáng)化學(xué)習(xí)的多視角智能裝配*

王永志，張 禹，趙 蕾，吳利平，張 倩,2

(1.沈陽工業(yè)大學(xué)機(jī)械工程學(xué)院，沈陽 110870；2.沈陽化工大學(xué)理學(xué)院，沈陽 110142)

0 引言

軸孔裝配是工業(yè)制造中的常見任務(wù)之一[1]。定制化需求的增加推動了生產(chǎn)線柔性度要求的提升。傳統(tǒng)控制方法使用硬編碼的控制方式操控機(jī)器人在結(jié)構(gòu)環(huán)境下按照設(shè)定指令完成指定動作[2]。這類方法需要大量的代碼編寫和參數(shù)部署工作，限制了生產(chǎn)線的柔性度。近年來，國內(nèi)外研究學(xué)者將研究重點(diǎn)聚焦在基于學(xué)習(xí)方式的機(jī)器人控制方法，以提高機(jī)器人的智能程度應(yīng)對復(fù)雜多變的工作任務(wù)[3-7]。INOUE等[8]提出了一種基于深度強(qiáng)化學(xué)的軸孔裝配方法。該方法采用力/力矩傳感器的觸覺感知方式感知軸孔接觸狀態(tài)，機(jī)器人通過深度強(qiáng)化學(xué)習(xí)訓(xùn)練而獲得在連續(xù)動作空間中的軸孔裝配技能。薛亞東等[9]針對軸孔位置偏差提出了一種力反饋的軸孔柔順裝配策略。該策略提高了尋孔成功率，并改善了尋孔搜索效率和裝配成功率。TRIYONOPUTRO等[10]針對具有不同顏色和紋理的裝配零件提出了一種多視角的快速裝配方法。該方法使用視覺伺服方法處理孔位置的不確定性，有效提高了裝配效率。楊展等[11-12]提出了一種能夠解決復(fù)雜形狀的多軸孔對準(zhǔn)方法。該方法采用了粗對準(zhǔn)和精對準(zhǔn)的兩階段對準(zhǔn)方法，改善了邊緣檢測質(zhì)量且提高了軸孔定位精度。KIM等[13]提出了一種視覺感知尋孔與觸覺感知對準(zhǔn)的軸孔裝配法。

基于觸覺感知的方法能夠精確的感知軸孔接觸狀態(tài)，但不能直觀的反映軸孔間的位姿變化。……