工業(yè)機器人加工軌跡雙目3D 激光掃描成像修正方法

趙立明，龍大周，徐曉東，張毅，馮陽，李芳芳

（重慶郵電大學 先進制造工程學院，重慶 400065）

機器人與智能制造是國家制造2025 的主攻方向和工業(yè)4.0 的核心技術(shù)，為實施制造業(yè)創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略和加速制造業(yè)轉(zhuǎn)型升級提供有利支撐。傳統(tǒng)的工業(yè)機器人工作過程主要以示教或離線編程的方式執(zhí)行預(yù)定指令，不利于加工柔性和智能化程度的提高[1-3]。機器人按預(yù)先編制的模式工作，當環(huán)境變化不被機器人感知時，容易造成加工誤差，無法滿足產(chǎn)品質(zhì)量要求，或增加產(chǎn)品報廢率，影響企業(yè)產(chǎn)品質(zhì)量等級或增加生產(chǎn)成本。因此，基于實時信息感知反饋的機器人柔性位姿控制，是提高機器人智能化水平和產(chǎn)品質(zhì)量的有利條件[4-5]。機器人智能化程度的提高有賴于傳感器技術(shù)和信息技術(shù)的發(fā)展，其中，將機器視覺感知與機器人反饋控制技術(shù)相結(jié)合，有效利用視覺傳感器信息感知能力，自適應(yīng)地控制機器人執(zhí)行決策，已成為提高機器人柔性和智能化水平的一個重要支撐條件[6-7]。

機器人視覺伺服控制研究領(lǐng)域涉及圖像處理、模式識別、機器人運動學、機器人動力學以及控制理論等。20 世紀90 年代以來，基于信息感知的工業(yè)機器人柔性加工方法得到廣泛的關(guān)注并進入快速發(fā)展階段[8]?；谝曈X的機器人控制形式在很大程度上克服了機器人自身、視覺系統(tǒng)以及外部環(huán)境的不確定性，使機器人定位和跟蹤精度有極大的提高。Espiau 等[9]較早地開展了機器人視覺伺服控制算法的研究。Belousov 等[10]基于計算機網(wǎng)絡(luò)遠程控制方式對機器人實時目標抓取技術(shù)進行了研究，并采用仿真技術(shù)研究了目標定位和運動軌跡跟蹤方法。Chaumette 等[11]提出了基于21/2D 視覺伺服控制方法，對視覺伺服經(jīng)典控制方法進行了優(yōu)化，并開展了機器人工業(yè)應(yīng)用測試。Schmidt 等[12]采用“眼在手”方式，將單目相機固定于機器人末端，通過在工件表面粘貼標記物實現(xiàn)定位抓取，目標標記方式可有效提高檢測和控制精度。尹湘云等[13]基于支持向量機回歸的機器人視覺定位，簡化了控制策略并提高了機器人的控制精度。Ishibashi 等[14]提出了基于雙目立體視覺的機器人定位方法，實現(xiàn)了目標對象的快速、非接觸三維定位，但該方法存在特征點難以匹配，較適合于特征點顯著的目標物體。Wilson等[15]將單目攝像頭安裝在機器人執(zhí)行器末端，借助物體已知特征點，通過擴展卡爾曼濾波器，研究了軌跡控制和目標跟蹤技術(shù)，該方法可在動態(tài)環(huán)境中具備一定的可靠性。陳影等[16]采用點云切片法得到熔覆路徑上的點集，運用非均勻有理B 樣條擬合得到加工點的曲線，從而得到槍頭的運動軌跡，該方法提高了算法實現(xiàn)的可行性和可靠性。Park 等[17]采用厚度映射法對物體表面進行三維重建，同時生成磨削路徑，主要應(yīng)用于船舶和飛機螺旋槳磨削加工，該方法驗證了機器人數(shù)字化對大型雕刻面進行重塑和刀具路徑生成的有效性。董鈴等[18]采用基于三維視覺的激光再制造機器人離線自動編程系統(tǒng)，采用梯度重心法提取激光條紋的中心線，依據(jù)極限幾何理論進行特征匹配，根據(jù)三角原理得到零件的表面點云數(shù)據(jù)，該算法在一定程度上提高了測量精度，具有較好的理論和實用價值。

目前，在面向工業(yè)應(yīng)用的機器人手眼協(xié)調(diào)技術(shù)領(lǐng)域，由于存在外界光照干擾或加工工件形狀復(fù)雜等因素，提高機器人動態(tài)環(huán)境適應(yīng)能力和實現(xiàn)精確路徑引導(dǎo)技術(shù)仍是研究熱點。其中，機器人手眼關(guān)系標定、視覺有效信息獲取、成像與控制模式以及視覺檢測控制精度等仍需開展進一步的研究工作。本文鑒于前人的研究成果，以激光切割機器人視覺引導(dǎo)為研究背景，為克服環(huán)境光照干擾、切割工件形狀復(fù)雜以及檢測和控制精度低等問題，提出了一種基于雙目CCD 激光掃描3D 成像的“眼在外”(Eye-to-hand:ETH)工業(yè)機器人末端(TCP)運動軌跡在線修正方法。以激光切割機器人視覺引導(dǎo)為研究背景，降低加工過程機器人對物理工裝定位精度的依賴。首先，為提高機器人視覺控制精度，研究了目標工件雙目3D 激光掃描成像空間點云坐標精確提取方法；其次，融合ETH 控制特點和掃描成像系統(tǒng)結(jié)構(gòu)，建立了一種機器人TCP 運動軌跡相對偏差在線補償方法。該方法可用于混合多形狀物料的識別、抓取與分揀工作。

1 實驗系統(tǒng)構(gòu)建

1.1 手眼關(guān)系與目標檢測方法

文中機器人視覺信息反饋系統(tǒng)采用了眼在外獨立工作方式(Eye-to-hand)，因此，利用檢測坐標點調(diào)整機器人末端執(zhí)行器姿態(tài)，需將工件坐標系和機器人末端執(zhí)行器坐標系統(tǒng)一到基坐標系下，確定機器人基座坐標系B和攝像機坐標系D之間的變換關(guān)系，轉(zhuǎn)換關(guān)系矩陣可由手眼標定完成[19-20]。本系統(tǒng)由于采用雙目激光掃描方式，因此，為便于確定手眼關(guān)系，在系統(tǒng)中定義了兩個已知坐標原點，如圖1 所示，一是由示教獲得的機器人工作原點，二是雙目3D 掃描成像系統(tǒng)掃描原點(雙目CCD 3D 點云數(shù)據(jù)在系統(tǒng)結(jié)構(gòu)不變的情況由ICP 算法進行一次配準，并確定配準變換矩陣參數(shù)不變)?；谝陨隙x可知，系統(tǒng)中視覺坐標系D與機器人基坐標系B位姿相對固定，基坐標系B與工具中心坐標系之間的轉(zhuǎn)換矩陣可由機器人內(nèi)部參數(shù)確定，位于工作原點中的工具中心點坐標系T1與掃描原點視覺成像坐標系V可通過一次標定獲得并確定不變。此處，為便于計算，特將視覺坐標系原點V定義在掃描原點，在雙目激光掃描系統(tǒng)標定過程中，將被掃描目標點云坐標確定在V坐標下，具體檢測方法不作為本文重點論述。因此，掃描獲得的目標物體上某一點p(xi,yi,zi)可通過式(1)獲得：

式中：BPp為掃描點位于機器人基坐標系下的坐標；為機器人末端工具中心點姿態(tài)；為定義的雙目掃描視覺坐標系與工具中心點坐標系轉(zhuǎn)換關(guān)系矩陣；V Pp為目標掃描點位于在掃描原點定義的視覺坐標系中的坐標值，此處，掃描原點為雙目掃描系統(tǒng)歸零點，即系統(tǒng)掃描開始和結(jié)束編碼器指定位置。

依據(jù)正運動學求解過程，圖1 中目標坐標系內(nèi)點P，在視覺坐標系內(nèi)為V P，通過旋轉(zhuǎn)和平移變換可獲得該點在機器人基座坐標系B中的坐標值，變換式可表示為

圖1 系統(tǒng)手眼坐標系空間轉(zhuǎn)換關(guān)系Fig.1 Spatial transformation relationship of system hand to eye coordinate system

對式(2)和(3)引入齊次坐標變換矩陣如下：

圖2 手眼標定關(guān)系Fig.2 Hand-eye calibration relationship

由以上推導(dǎo)可知，通過運動學計算，將機械臂的各關(guān)節(jié)角度輸入到機械臂控制器，驅(qū)動機械臂完成指定任務(wù)。

通過機器人視覺引導(dǎo)工作過程可知，視覺系統(tǒng)檢測精度是提高機器人加工過程偏差修正可靠性的一個必要條件，本實驗系統(tǒng)采用主動成像方法，針對機器人所處光照不均、亮度變化環(huán)境下，對不同清晰度評價函數(shù)進行了理論分析和實驗研究，確定了激光線最佳成像方法。實現(xiàn)CCD 在不同光積分時間和聚焦(離焦)狀態(tài)下有效提取激光線調(diào)制信息變化情況，提高掃描系統(tǒng)在復(fù)雜變化環(huán)境下的魯棒性?；诖?，實驗中同時考慮激光線成像清晰度曲線的單峰性和計算實時性因素，綜合對比不同圖像清晰度評價函數(shù)的清晰度指數(shù)計算結(jié)果，依據(jù)圖像清晰度變化的靈敏度響應(yīng)，如圖3 所示，確定了基于Tenengrad 圖像梯度的清晰度自適應(yīng)控制方法。

圖3 不同圖像清晰度評價函數(shù)清晰度計算響應(yīng)結(jié)果對比Fig.3 Comparison of sensitivity response of different image definition evaluation functions

在實時獲取激光線清晰圖像的前提下，機器人工作目標點云的精確檢測取決于激光線調(diào)制信息的精確提取。本文對比研究了目前較為常用的結(jié)構(gòu)光中心線提取算法，包括極值法[21]、Steger[22]算法、曲線擬合法[23]、模板法[24]以及本文確定的自適應(yīng)灰度重心法[25]等。實驗中，依據(jù)所選激光線特征，首先對激光線條像使用高斯分布動態(tài)閾值進行自適應(yīng)二值化處理，其閾值函數(shù)表達式如下：

式中：a、b、c為常數(shù)，且a>0，Tn表示激光線光帶離散閾值。

根據(jù)檢測實時性和檢測精度需求，文中對于激光線進一步單像素處理采用灰度重心法求出，其重心坐標表達式如下：

式中：(xo,yo) 為條紋中心坐標；I(i,j)是圖像上第i行第j列的灰度值。

特定環(huán)境下，算法的抗噪性能會影響檢測精度[26]，算法設(shè)計應(yīng)根據(jù)所選激光線特征以及環(huán)境易變情況而定，一般不存在最優(yōu)或通用性條紋提取算法。圖4 分別為最佳成像狀態(tài)下Steger 算法、模板法和文中算法激光先中心點提取結(jié)果。實際應(yīng)用中，結(jié)構(gòu)光輔助測量圖像中心線提取過程中，光條寬度越小、目標面對比度越高、平順性越好，算法設(shè)計性能會越高。

圖4 激光條紋提取形態(tài)對比Fig.4 Comparison of laser fringe extraction results

1.2 基于掃描3D 點云的姿態(tài)修正方法

通過雙目3D 激光掃描成像技術(shù)旨在實現(xiàn)被測件的三維形貌和笛卡爾空間姿態(tài)的精確檢測，輸出用于工具中心點位姿的旋轉(zhuǎn)和平移量，并將結(jié)果傳遞給機器人關(guān)節(jié)控制器修正執(zhí)行器姿態(tài)。該方法便于實現(xiàn)基于圖像和位置的機器人混合視覺伺服控制，進一步保證了基于圖像和基于位置的伺服控制的優(yōu)點(本文在該方面不做進一步論述)。圖5 為文中設(shè)計的基于雙目激光3D 掃描成像機器人加工點修正和控制方法示意圖。

圖5 基于雙目激光三維掃描成像的機器人控制方法Fig.5 Robot control method based on Binocular Laser 3D scanning imaging

該修正方法的優(yōu)點在于結(jié)合了雙目激光掃描大視野低遮擋的三維量化檢測優(yōu)勢，基于此，在被測目標z方向提取旋轉(zhuǎn)坐標時可采用兩個特征值獲得，其一是被測目標在z坐標方向的距離值；其二是結(jié)合目標投影畸變獲得。如圖6(a)、(b)所示，當目標定位存在偏差(如一側(cè)高于另一側(cè))圖像將發(fā)生投影畸變，此時可根據(jù)畸變程度與標準圖形反推工件姿態(tài)。由于已獲得被檢測目標三維形貌，因此，被測件與計算機輸入的標準件在空間上可以快速進行匹配。另一方面是被加工件在二維平面中姿態(tài)的讀取，包括二維空間中的平移和旋轉(zhuǎn)量，如圖6(c)所示，讀取值為實際檢測值與標準定位圖像在二維平面的平移和旋轉(zhuǎn)偏差。

圖6 基于圖像信息檢測的目標姿態(tài)提取方式Fig.6 Image information detection-based approach to target attitude extraction

傳統(tǒng)的單目激光三角測量系統(tǒng)，對于復(fù)雜三維曲面其測量精度易受激光入射角影響，或在某些區(qū)域出現(xiàn)成像遮擋問題，產(chǎn)生視覺盲區(qū)。文中采用雙目掃描和圖像ICP 配準方式優(yōu)化了成像空間，采用激光直射和雙目斜射掃描激光調(diào)制信息，并根據(jù)系統(tǒng)標定參數(shù)輸出被測目標點云坐標。對于機器人在工件上的連續(xù)工作路徑，通過選擇邊界特征點，采用NURBS 曲線擬合得到工件邊界曲線，擬合方法如下[27]：

式中：Wi為權(quán)因子；Di為控制頂點；Ni,k(u) 為B 樣條的基函數(shù)(i=0,1,···,n)，其定義如下所示：

式中：U=[u0u1u2···un+k+1]為節(jié)點矢量；k為樣條基的次數(shù)。

通常情況下，采用NURBS 曲線擬合，需要控制節(jié)點矢量、頂點以及權(quán)因子參數(shù)，其中，通過控制頂點的位置和數(shù)量可以更清晰地調(diào)整曲線的形狀，為簡化計算，假定權(quán)因子Wi=1，由于B 樣條的基函數(shù)滿足故式(12)轉(zhuǎn)化為

對于每個邊界測量離散點Pj，在進行曲線擬合時曲線上總有點P(uj) 與之對應(yīng)：

為使擬合的曲線與離散點的偏差總和最小，偏差總和與控制頂點函數(shù)表示為

由式(12)～(15)，可以求解出各個控制頂點的值，故可以確定NURBS 擬合的工件邊緣路徑曲線。采用NURBS 進行修正點曲線的擬合，通過調(diào)整控制頂點和權(quán)值，可以實現(xiàn)復(fù)雜曲線的精確擬合。

通過擬合工件加工路徑的3D 特征點，可精確獲取機器人工作路徑的3D 空間姿態(tài)調(diào)整信息。根據(jù)加工路徑曲線擬合數(shù)據(jù)，完成修正點到機器人坐標系的轉(zhuǎn)化，實現(xiàn)檢測點和機器人控制點坐標系的統(tǒng)一?；诖?，可通過已知檢測點的逆運動學求解，得到加工機器人各個關(guān)節(jié)旋轉(zhuǎn)角度，并由控制器輸出指令完成路徑引導(dǎo)。以圖1中已定義坐標系為例，機器人的末端坐標系為T0，工具坐標系為T1。取邊界測量數(shù)據(jù)中一點作為當前的加工點，其位置矢量為P，法向矢量為 υn，切向方向為該點到下一點的連線方向 υt，另設(shè)一個向量υe，使υe=υt·υn，則該加工點的坐標系相對于機器人基坐標系的轉(zhuǎn)換矩陣可表示為[28]

根據(jù)變換式，需要將檢測點的數(shù)據(jù)轉(zhuǎn)換成機器人位姿，轉(zhuǎn)換關(guān)系如下：

式中：Γ?1表示機器人的逆運動學模型；Θ=(θ1θ2···θ6)為機器人各個關(guān)節(jié)旋轉(zhuǎn)角。

因此，通過遍歷各加工路徑點，可獲得機器人位姿變化矩陣，并通過逆運動學求解各個關(guān)節(jié)的旋轉(zhuǎn)角度，串聯(lián)各個邊界測量點，完成機器人加工路徑引導(dǎo)。

2 實驗結(jié)果分析

本文通過搭建實驗平臺，采用越疆Dobot 機器人首先對三維混合物料抓取方法進行了實驗研究。通過物料的三維形貌測量實現(xiàn)機器人按形狀次序(同形狀按z值排序)控制夾具坐標系的空間定位。圖7(a)、(b)分別為軟件實驗系統(tǒng)和測試平臺，其中，雙目CCD 采樣頻率為14 幀/s(分辨率：2 592×1 944)。系統(tǒng)中主要采用雙目掃描檢測和三維形態(tài)坐標提取，與機器人形成閉環(huán)控制視覺引導(dǎo)系統(tǒng)，實現(xiàn)物料的識別、抓取和分揀工作。

圖7 雙目CCD 激光掃描成像混合物料識別與抓取實驗Fig.7 Identification and grab experiment of mixed materials based on binocular CCD laser scanning imaging

實驗2 為注塑件邊緣毛刺激光切割路徑加工點檢測與路徑曲線擬合實驗，圖8 為檢測目標三維形貌測量與點云坐標重構(gòu)圖像，圖8(b)為目標雙目掃描與配準過程示意圖，系統(tǒng)中考慮到數(shù)據(jù)處理速度和系統(tǒng)剛性，配準過程中平移和旋轉(zhuǎn)矩陣參數(shù)均采用IPC 初始化方式進行確定，后續(xù)過程僅按確定參數(shù)進行配準以完成最終三維圖像生產(chǎn)。圖8(c)、(d)分別為三維掃描重構(gòu)圖和機器人加工(機器人切割)路徑視覺引導(dǎo)三維空間坐標點。通過三維形態(tài)特征提取反映工件邊界的特征點，NURBS 擬合生成切割軌跡并進行視覺坐標系轉(zhuǎn)換到機器人基座坐標系的轉(zhuǎn)換，通過逆運動學求解，得到機器人一系列關(guān)節(jié)的角度，以此控制激光切割機器人進行末端位姿修正。

圖8 注塑件三維形貌掃描與加工路徑提取Fig.8 Three dimensional morphology scanning and machining path extraction on injection modeling object

實驗3 通過FANUC6 自由度工業(yè)機器人進行了實驗測試，基于雙目三維掃描方式提取的三維模塊邊界控制點對機器人工具中心點加工路徑進行引導(dǎo)。圖9 所示為機器人完成切割路徑引導(dǎo)后各個關(guān)節(jié)的角度變化曲線。通過實驗研究，證明采用雙目三維掃描成像與視覺伺服融合控制的方式，針對特定應(yīng)用對象，有利于提高工業(yè)機器人三維曲面空間的加工柔性。

圖9 三維模塊邊界掃描與機器人路徑引導(dǎo)關(guān)節(jié)角度控制曲線Fig.9 3D module boundary scanning and robot path guide joint angle control curve

3 結(jié)束語

本文以激光切割機器人視覺引導(dǎo)為研究背景，為克服環(huán)境光照干擾、切割工件形狀復(fù)雜以及檢測和控制精度低等問題，基于工業(yè)機器人手眼協(xié)調(diào)控制理論，對機器人眼在外(Eye-to-hand)視覺引導(dǎo)系統(tǒng)的設(shè)計和控制方法進行了研究，提出了一種基于雙目CCD 激光掃描3D 成像的眼在外(Eye-to-hand)TCP 切割路徑在線修正方法。首先，為提高機器人視覺引導(dǎo)控制點的提取精度，研究了雙目3D 激光掃描成像目標工件空間點云坐標精確檢測方法；其次，融合Eye-to-hand 控制特點和三維掃描成像系統(tǒng)結(jié)構(gòu)，構(gòu)建了一種機器人TCP 運動軌跡在線視覺修正方法，并通過實驗研究對文中所提方法進行了驗證，文中方法同時可應(yīng)用于機器人混合多形狀物料的識別、抓取與分揀工作，提高機器人的工作柔性程度，對工業(yè)實際應(yīng)用奠定了基礎(chǔ)。