基于視覺(jué)導(dǎo)引的協(xié)作機(jī)器人自動(dòng)上下料系統(tǒng)開(kāi)發(fā)與應(yīng)用

摘 要：機(jī)器人自動(dòng)上下料系統(tǒng)作為智能制造的核心關(guān)鍵技術(shù)之一，已廣泛應(yīng)用于智能化工廠、智能化車(chē)間及自動(dòng)化生產(chǎn)線(xiàn)，但其仍存在自主作業(yè)能力低，環(huán)境適應(yīng)能力差，缺乏多機(jī)及人機(jī)協(xié)作能力等技術(shù)缺陷?，F(xiàn)構(gòu)建一種基于結(jié)構(gòu)光視覺(jué)導(dǎo)引協(xié)作機(jī)器人的自動(dòng)上下料系統(tǒng)，針對(duì)系統(tǒng)標(biāo)定、毛坯上料和成品下料，制訂了一種自動(dòng)上料策略，搭建了自動(dòng)上下料實(shí)驗(yàn)平臺(tái)，開(kāi)展了毛坯與成品的上下料試驗(yàn)。試驗(yàn)結(jié)果表明，該系統(tǒng)運(yùn)行狀況良好，可穩(wěn)定高效地完成自動(dòng)上下料工作，提升了企業(yè)的生產(chǎn)效率和自動(dòng)化水平，創(chuàng)造了較好的經(jīng)濟(jì)效益和社會(huì)效益。

關(guān)鍵詞：結(jié)構(gòu)光視覺(jué);協(xié)作機(jī)器人;視覺(jué)導(dǎo)引;多機(jī)協(xié)作;自動(dòng)上下料

0? ? 引言

隨著機(jī)器人、圖像技術(shù)的發(fā)展，以視覺(jué)為感官，以機(jī)器人為執(zhí)行主體的多機(jī)協(xié)同裝備受到國(guó)內(nèi)外專(zhuān)家學(xué)者的熱烈追捧和廣泛關(guān)注[1]。周書(shū)華等人提出了一種基于視覺(jué)引導(dǎo)的工業(yè)機(jī)器人動(dòng)態(tài)分揀系統(tǒng)，但抓取目標(biāo)為結(jié)構(gòu)化物體，并不涉及非合作目標(biāo)的位姿估計(jì)，因而應(yīng)用范疇有限[2]。季旭全等人提出了針對(duì)星載設(shè)備的視覺(jué)導(dǎo)引機(jī)器人智能裝配方法，將機(jī)器學(xué)習(xí)智能算法融入雙目視覺(jué)測(cè)量方法中，但系統(tǒng)復(fù)雜、成本高、環(huán)境適應(yīng)性差，難以在工業(yè)制造領(lǐng)域推廣應(yīng)用[3]。

本文重點(diǎn)論述了結(jié)構(gòu)光視覺(jué)系統(tǒng)、協(xié)作機(jī)器人系統(tǒng)和數(shù)控機(jī)床的多機(jī)協(xié)作自動(dòng)上料方案及其在實(shí)踐中的應(yīng)用。

1? ? 系統(tǒng)構(gòu)成

基于視覺(jué)導(dǎo)引的協(xié)作機(jī)器人自動(dòng)上下料系統(tǒng)架構(gòu)如圖1所示，主要包括出料倉(cāng)、供料架、結(jié)構(gòu)光視覺(jué)系統(tǒng)、協(xié)作機(jī)器人、數(shù)控機(jī)床等。結(jié)構(gòu)光視覺(jué)系統(tǒng)具有測(cè)量精度高、抗噪能力強(qiáng)的優(yōu)點(diǎn)，可適應(yīng)光照時(shí)變、沖擊振動(dòng)等物理變化的非結(jié)構(gòu)化工業(yè)制造場(chǎng)景;協(xié)作機(jī)器人具有安全性高、感知能力敏銳等優(yōu)勢(shì)。因此本文選擇結(jié)構(gòu)光測(cè)量系統(tǒng)和協(xié)作機(jī)器人作為感知和執(zhí)行系統(tǒng)。出料倉(cāng)、供料架及機(jī)床設(shè)置在協(xié)作機(jī)器人作業(yè)范圍內(nèi)，結(jié)構(gòu)光視覺(jué)系統(tǒng)架設(shè)于供料架上方，工件毛坯放置于供料架上且在結(jié)構(gòu)光視覺(jué)系統(tǒng)視場(chǎng)范圍內(nèi)。

2? ? 自動(dòng)上料策略

圖2為自動(dòng)上料策略流程圖，主要包括系統(tǒng)標(biāo)定、毛坯上料和成品下料三個(gè)階段。

階段一：系統(tǒng)標(biāo)定。將標(biāo)定板固裝于協(xié)作機(jī)器人末端，結(jié)構(gòu)光系統(tǒng)采集標(biāo)定板圖像，根據(jù)張正友標(biāo)定法，獲取結(jié)構(gòu)光視覺(jué)系統(tǒng)與協(xié)作機(jī)器人末端外部參數(shù)，結(jié)合機(jī)器人當(dāng)前位姿先驗(yàn)信息，構(gòu)建光視覺(jué)系統(tǒng)與協(xié)作機(jī)器人的手眼轉(zhuǎn)換關(guān)系。改變協(xié)作機(jī)器人位姿，多次采集不同位姿下的標(biāo)定板圖像，獲取手眼轉(zhuǎn)換關(guān)系最優(yōu)最小二乘解。

階段二：毛坯上料。結(jié)構(gòu)光視覺(jué)系統(tǒng)檢測(cè)毛坯圖像，若存在毛坯，估計(jì)毛坯空間位姿。根據(jù)階段一中手眼轉(zhuǎn)換關(guān)系，以毛坯位姿為目標(biāo)位姿，以當(dāng)前協(xié)作機(jī)器人位姿為初始位姿，實(shí)現(xiàn)協(xié)作機(jī)器人抓取毛坯。

階段三：成品下料。數(shù)控機(jī)床打開(kāi)艙門(mén)，運(yùn)用示教器或者PLC系統(tǒng)作為上位機(jī)，構(gòu)建機(jī)器人軌跡規(guī)劃，實(shí)現(xiàn)工件抓取，完成成品下料。

3? ? 視覺(jué)導(dǎo)引方法

視覺(jué)導(dǎo)引方法是實(shí)現(xiàn)工件自動(dòng)上下料的核心關(guān)鍵技術(shù)之一?；诮Y(jié)構(gòu)光視覺(jué)系統(tǒng)的協(xié)作機(jī)器人導(dǎo)引方法主要包括工件位姿估計(jì)和機(jī)器人運(yùn)動(dòng)軌跡規(guī)劃。

3.1? ? 位姿估計(jì)

結(jié)構(gòu)光視覺(jué)系統(tǒng)可獲得毛坯的三維點(diǎn)云信息，完成毛坯抓取需實(shí)際解決毛坯的絕對(duì)定向問(wèn)題。絕對(duì)定向問(wèn)題是指一組三維空間點(diǎn)，在兩個(gè)不同坐標(biāo)系下的三維坐標(biāo)已知，解算兩個(gè)坐標(biāo)系間的坐標(biāo)轉(zhuǎn)換關(guān)系。如圖3所示，假設(shè)n個(gè)空間特征點(diǎn)分布于坐標(biāo)系O1-X1Y1Z1和O2-X2Y2Z2，分別為pi，pi′，那么絕對(duì)定向問(wèn)題可描述為以下最優(yōu)問(wèn)題：

||pi′-（Rpi+t）||2? ? ? ? ? ? ? ? （1）

為解決該問(wèn)題，首先將特征點(diǎn)坐標(biāo)去質(zhì)心化，即：

Q=pi-p，Qi′=pi′- p′? ? （2）

其中，p=pi，p′=pi′。相應(yīng)的去質(zhì)心點(diǎn)可表示為A=[Q1，Q2，…，Qn]，B=[Q1′，Q2′，…，Qn′]，可將絕對(duì)定向最優(yōu)問(wèn)題轉(zhuǎn)化為：

||A-RB||2? ? ? ? （3）

已知||M||2=tr（MTM），tr（MN）=tr（NM），可將式（3）化簡(jiǎn)為：

||A-RB||2 =tr（ATA）+tr（BTB）-2tr（RTABT）? ? ? （4）

因此獲得式（3）的最小解即獲取tr（RTABT）的最大值，該絕對(duì)定向問(wèn)題的最優(yōu)解為：

R=UDVT? ? ? ? ? ? ? ? （5）

其中U和V滿(mǎn)足ABT=UΣVT，即ABT的SVD分解，D=

dig（1，1，det（UVT））。

旋轉(zhuǎn)信息提取之后，可進(jìn)一步解算平移值最優(yōu)解：

t=p′ -Rp? ? ? ? ? ? ? ? ? ? ? ?（6）

3.2? ? 軌跡規(guī)劃

首先，在充分考慮遮擋、避障、沖擊、振動(dòng)等因素的前提下，以運(yùn)動(dòng)時(shí)間最短為性能指標(biāo)，預(yù)設(shè)初始點(diǎn)位和目標(biāo)點(diǎn)位間若干離散中間點(diǎn)位。

其次，軌跡插補(bǔ)作為軌跡規(guī)劃的核心關(guān)鍵技術(shù)，在實(shí)際應(yīng)用中任意兩點(diǎn)位常利用三次多項(xiàng)式插值，擬合中間過(guò)程位姿，即：

θ（t）=a0+a1t+a2t2+a3t3? ? ? ? ? ? ? ? （7）

式中：θ為關(guān)鍵轉(zhuǎn)角;t為時(shí)間;a0、a1、a2、a3為參數(shù)。

為保障機(jī)器人運(yùn)動(dòng)的平穩(wěn)性，運(yùn)動(dòng)函數(shù)需滿(mǎn)足起始點(diǎn)與終點(diǎn)關(guān)節(jié)角約束及速度連續(xù)性約束，即：

θ（0）=θ0，

θ（tf）=θf(wàn)，

（0）=

0，

（tf）=

f? ? ? ? （8）

可得公式（7）的參數(shù)解，即a0=θ0，a1=0，a2=3（θf(wàn)-θ0）/tf2-20/

tf-tff，a3=

0+

f/tf2-2（θf(wàn)-θ0）/tf3。

最后，根據(jù)機(jī)器人逆運(yùn)動(dòng)學(xué)[3]解算關(guān)節(jié)轉(zhuǎn)角，控制關(guān)節(jié)角到達(dá)目標(biāo)位姿。

4? ? 試驗(yàn)驗(yàn)證

本文搭建了基于結(jié)構(gòu)光系統(tǒng)導(dǎo)引協(xié)作機(jī)器人的上下料系統(tǒng)，借助標(biāo)定板對(duì)結(jié)構(gòu)光系統(tǒng)進(jìn)行標(biāo)定，獲取相機(jī)內(nèi)部參數(shù)、結(jié)構(gòu)光平面參數(shù)及結(jié)構(gòu)光系統(tǒng)與機(jī)器人系統(tǒng)的手眼轉(zhuǎn)換關(guān)系，標(biāo)定結(jié)果如表1所示。

以100個(gè)毛坯為例，開(kāi)展毛坯上料，并進(jìn)行成品下料作業(yè)。試驗(yàn)結(jié)果表明，該系統(tǒng)自動(dòng)上下料的成功率為100%，驗(yàn)證了該系統(tǒng)和方法的可行性和有效性。

5? ? 實(shí)踐應(yīng)用

采用結(jié)構(gòu)光視覺(jué)檢測(cè)目標(biāo)位姿并導(dǎo)引協(xié)作機(jī)器人實(shí)現(xiàn)自動(dòng)上下料，聯(lián)合數(shù)控機(jī)床，能夠形成自動(dòng)化工作站或生產(chǎn)線(xiàn)，顯著解決了實(shí)踐中的以下問(wèn)題：

5.1? ? 使用協(xié)作機(jī)器人有效解決了人機(jī)協(xié)作難題

實(shí)踐中廣泛存在的機(jī)床上下料需求，由于其產(chǎn)品的高頻換型以及機(jī)床本身?yè)Q刀等方面的需求，采用工業(yè)機(jī)器人無(wú)法解決人機(jī)高效協(xié)同的問(wèn)題。本文構(gòu)建的系統(tǒng)，成功引入了協(xié)作機(jī)器人，有效解決了機(jī)床加工產(chǎn)品高頻換型以及加工刀具、工作臺(tái)切換時(shí)的人機(jī)協(xié)同問(wèn)題。

5.2? ? 采用結(jié)構(gòu)光視覺(jué)增加了系統(tǒng)的抗干擾性能

結(jié)構(gòu)光視覺(jué)的成功測(cè)試應(yīng)用，對(duì)于整個(gè)自動(dòng)上下料系統(tǒng)適應(yīng)加工車(chē)間實(shí)際工況提供了極大的便利。區(qū)別于實(shí)驗(yàn)室的測(cè)試，在實(shí)際機(jī)床加工時(shí)會(huì)有諸如光照條件、加工機(jī)床的沖擊振動(dòng)以及上下料機(jī)構(gòu)等的微量移動(dòng)變化等導(dǎo)致的綜合性干擾，成功剔除這些干擾可能導(dǎo)致的視覺(jué)定位偏差直接決定了協(xié)作機(jī)器人能否實(shí)現(xiàn)有效作業(yè)。

采用結(jié)構(gòu)光視覺(jué)后，在機(jī)床加工實(shí)踐中顯著改善了上述各種因素導(dǎo)致的對(duì)定位的偏差判斷。結(jié)構(gòu)光視覺(jué)可以更加有效地識(shí)別非結(jié)構(gòu)化工業(yè)生產(chǎn)場(chǎng)景，實(shí)現(xiàn)精準(zhǔn)的位置坐標(biāo)確定，進(jìn)而為協(xié)作機(jī)器人的精準(zhǔn)取放提供依據(jù)。

5.3? ? 基于結(jié)構(gòu)光視覺(jué)與協(xié)作機(jī)器人的協(xié)同，實(shí)現(xiàn)了設(shè)備快速部署

結(jié)構(gòu)光視覺(jué)系統(tǒng)與協(xié)作機(jī)器人可以實(shí)現(xiàn)坐標(biāo)綁定，形成的子系統(tǒng)可以與機(jī)床實(shí)現(xiàn)便捷的通信對(duì)接。這對(duì)諸多高技術(shù)人才匱乏的機(jī)床加工企業(yè)部署自動(dòng)上下料系統(tǒng)，實(shí)現(xiàn)“機(jī)器換人”的目標(biāo)提供了便利。綁定的結(jié)構(gòu)光視覺(jué)系統(tǒng)與協(xié)作機(jī)器人實(shí)現(xiàn)了通過(guò)機(jī)器人控制器作為主站控制整個(gè)系統(tǒng)的目的，可以直接提供給機(jī)床加工企業(yè)完整的解決方案，縮短了系統(tǒng)部署時(shí)間，得到了目標(biāo)企業(yè)的肯定。

6? ? 結(jié)語(yǔ)

本文構(gòu)建了一種基于視覺(jué)導(dǎo)引的協(xié)作機(jī)器人自動(dòng)上下料系統(tǒng)，采用結(jié)構(gòu)光視覺(jué)系統(tǒng)檢測(cè)目標(biāo)位姿信息導(dǎo)引協(xié)作機(jī)器人抓取，協(xié)作機(jī)器人聯(lián)合數(shù)控機(jī)床合作上下料。針對(duì)系統(tǒng)標(biāo)定、工件毛坯上料和成品下料，制訂了一種自動(dòng)上料策略。系統(tǒng)開(kāi)發(fā)成功后在實(shí)踐中得到了實(shí)際應(yīng)用，有效適應(yīng)了非結(jié)構(gòu)化的機(jī)床加工場(chǎng)景，實(shí)現(xiàn)了高效的設(shè)備部署。該系統(tǒng)極大地降低了工人勞動(dòng)強(qiáng)度，提升了企業(yè)的生產(chǎn)效率和自動(dòng)化水平，促進(jìn)了多機(jī)協(xié)同作業(yè)在智能制造領(lǐng)域的發(fā)展，創(chuàng)造了較好的經(jīng)濟(jì)效益和社會(huì)效益。

[參考文獻(xiàn)]

[1] 張豐.空間機(jī)械臂裝配建模與視覺(jué)導(dǎo)引問(wèn)題研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2019.

[2] 周書(shū)華，雷偉敏，葉曉平，等.基于視覺(jué)導(dǎo)引的工業(yè)機(jī)器人動(dòng)態(tài)分揀與控制系統(tǒng)開(kāi)發(fā)[J].麗水學(xué)院學(xué)報(bào)，2019，41（5）：10-15.

[3] 季旭全，王君臣，趙江地，等.基于機(jī)器人與視覺(jué)引導(dǎo)的星載設(shè)備智能裝配方法[J].機(jī)械工程學(xué)報(bào)，2018，54（23）：63-72.

收稿日期：2021-04-02

作者簡(jiǎn)介：劉偉萍（1985—），女，浙江杭州人，機(jī)械工程師，主要從事機(jī)械自動(dòng)化設(shè)計(jì)、研發(fā)等工作。