基于圖像的無標(biāo)定機器人視覺伺服的研究

羅永超，李石朋，李 迪

（1.華南理工大學(xué)廣州學(xué)院 電氣工程學(xué)院，廣州 5 108002；2.華南理工大學(xué) 機械工程學(xué)院，廣州 510006）

0 引言

視覺伺服是研究如何將計算機視覺數(shù)據(jù)合理高效的運用到機器人的控制過程中的工作[1]。常規(guī)的做法是根據(jù)標(biāo)定后的相機與機器人的手眼關(guān)系數(shù)據(jù)，對目標(biāo)（特征點）位置與當(dāng)前機器人末端位置的距離進(jìn)行估計，然后指引機器人朝向目標(biāo)運動。在這個過程中，伺服的效果和效率受到標(biāo)定精度、環(huán)境噪聲及設(shè)備性能（如圖像處理速度）的影響[2]，所以在實際應(yīng)用過程中，基于標(biāo)定的視覺伺服受到很大的限制，例如受不同因素的影響，即使在控制系統(tǒng)中運用的標(biāo)定算法精度很高，但是在實際中性能所要求的模型也不容易得到，攝像機鏡頭由于存在畸變等因素，導(dǎo)致攝像機的標(biāo)定區(qū)域只能被限制在一定區(qū)域內(nèi)，系統(tǒng)的標(biāo)定結(jié)果有效是以滿足標(biāo)定條件為前提，在某些特定環(huán)境下難以對攝像機進(jìn)行標(biāo)定[3]。鑒于基于標(biāo)定的視覺伺服存在很多的問題，1994年Hosoda等[4]提出了無標(biāo)定視覺伺服，由于無標(biāo)定視覺伺服技術(shù)不需要對視覺伺服系統(tǒng)的參數(shù)進(jìn)行精確標(biāo)定,這不僅省去了繁瑣的系統(tǒng)標(biāo)定流程，而且使機器人視覺伺服系統(tǒng)在復(fù)雜工作環(huán)境的適應(yīng)性得到了加強，但是無標(biāo)定視覺伺服技術(shù)目前還主要局限于基于圖像的視覺伺服控制系統(tǒng)的理論研究，存在路徑規(guī)劃、快速性和抗擾性等方面的固有缺陷。

因此，本文在總結(jié)當(dāng)前機器人視覺伺服研究的基礎(chǔ)上，通過搭建MATLAB仿真平臺，對基于圖像的視覺伺服（IBVS），基于位置的視覺伺服（PBVS）和基于圖像無標(biāo)定的視覺伺服（UIBVS）三種控制系統(tǒng)就跟蹤目標(biāo)的運動軌跡，收斂速度和抗擾能力進(jìn)行了仿真對比分析，為進(jìn)一步提高UIBVS的收斂速度，優(yōu)化其路徑規(guī)劃，增強其控制系統(tǒng)的抗干擾能力提供了思路和理論基礎(chǔ)。

1 基于位置的視覺伺服控制系統(tǒng)

在基于位置的視覺伺服控制結(jié)構(gòu)中，給定的初始三維圖像期望位姿信息和經(jīng)過反饋得到的三維估計位姿信息都是以笛卡爾空間的形式出現(xiàn)，在笛卡爾空間中，控制系統(tǒng)的伺服任務(wù)是消除機器人末端執(zhí)行器和目標(biāo)物體間的相對位姿。利用傳感器對目標(biāo)物體進(jìn)行圖像信號采集，進(jìn)而構(gòu)建當(dāng)前的位姿信息，并將當(dāng)前位姿與期望位姿對比后將二者的差值傳輸給視覺控制器，形成閉環(huán)反饋[5,6]，其控制流程圖可用圖1表示。

圖1 基于位置的視覺伺服控制結(jié)構(gòu)

這種方法有笛卡爾空間軌跡最優(yōu)的特點，但在任務(wù)開始前需要對多個參數(shù)進(jìn)行標(biāo)定才能準(zhǔn)確的對目標(biāo)圖像進(jìn)行位姿構(gòu)建，包括相機內(nèi)參數(shù)、手眼關(guān)系、機器人模型、目標(biāo)圖像模型等[7,8]，標(biāo)定工作需要專門的技術(shù)[9]，且隨著任務(wù)的進(jìn)行其精度易受外部環(huán)境影響。

2 基于圖像的視覺伺服控制系統(tǒng)

基于圖像的視覺伺服控制系統(tǒng)，給定圖像特征信息與反饋圖像特征信息均是在圖像特征空間進(jìn)行定義，通過對系統(tǒng)得到的當(dāng)前圖像的特征與給定的期望圖像相關(guān)特征進(jìn)行比較，得到以上兩種圖像間的特征誤差關(guān)系，并將此誤差關(guān)系作為控制系統(tǒng)的輸入信號，形成了閉環(huán)反饋控制系統(tǒng)?？刂菩盘柾ㄟ^對機器人進(jìn)行控制，使其末端執(zhí)行器通過不斷移動，調(diào)整自己的位置，并實時比較當(dāng)前圖像與期望圖像特征誤差，直到檢測的特征誤差為0，末端執(zhí)行器停止運動，伺服任務(wù)完成{Piepmeier，2004 #44；Piepmeier,2004 #44；Chaumette,1998 #45}。由于使用這種伺服控制系統(tǒng)進(jìn)行控制時，圖像特征信息的處理是非常重要的一步，所以準(zhǔn)確完成圖像雅可比矩陣的求解是基于圖像的視覺伺服控制系統(tǒng)的重要任務(wù)[10]。相比于PBVS，IBVS的控制結(jié)構(gòu)更為簡單，其只使用處理和提取特征后的圖像信息與二維圖像的期望特征進(jìn)行比較，而不需要進(jìn)行三維重構(gòu)，因此IBVS對于相機的標(biāo)定誤差有更高的魯棒性，且對二維信號的獲取不需要預(yù)先對相機及機器人的系統(tǒng)參數(shù)進(jìn)行標(biāo)定，從原理上IBVS更適合無標(biāo)定視覺伺服技術(shù)在實際工作中的應(yīng)用。

3 無標(biāo)定視覺伺服動態(tài)控制系統(tǒng)模型構(gòu)建

本文采用“eye-in-hand”的機器人手眼關(guān)系[11]，針對所要跟蹤的目標(biāo)，我們把其相對于圖像上的實時位置定義為s（q，t）=[s1，s2，…，sm]T，它是一個既與時間t有關(guān)，又和關(guān)節(jié)q有關(guān)的復(fù)合函數(shù)；把定義為理想位置，則在圖像平面上視覺伺服任務(wù)的控制目標(biāo)可以通過以下目標(biāo)函數(shù)進(jìn)行描述[12,13]：

根據(jù)非線性方差最小化原理，視覺伺服策略推導(dǎo)過程如下：

動態(tài)高斯-牛頓法下方差最小化函數(shù)：

將式(2)在（qk，tk）點展開泰勒級數(shù)：

此時E（q，t）具有最小值，對其求極值：

式中o（Δ2）—E（q，t）是關(guān)于時間和關(guān)節(jié)角增量的二階導(dǎo)數(shù)。

對上式合并整理后離散化得：

Δt—采樣周期,重新帶入并整理得：

式(6)是目標(biāo)物體的運行速度，對誤差在下一時間增量時刻的矢量進(jìn)行線性預(yù)測。當(dāng)qk+1為0時，ek只與qk成函數(shù)關(guān)系，此時偏差速度與時間增量的乘積項為0。

圖像雅克比矩陣是機器人關(guān)節(jié)角的函數(shù)，利用“eye-in-hand”系統(tǒng)對運動物體進(jìn)行跟蹤時，當(dāng)機器手移動，相機就跟隨它一起移動，目標(biāo)圖像特征函數(shù)是既與機器人關(guān)節(jié)角有關(guān)，又和時間有關(guān)的復(fù)合函數(shù)[14]。由于攝像機一直在運動，所以系統(tǒng)所得到的圖像雅克比矩陣也在變化，需要實時估計圖像雅克比矩陣的變化量，因此，針對“eye-in-hand”系統(tǒng)，攝像機固定系統(tǒng)的無標(biāo)定視覺伺服算法已經(jīng)不能滿足系統(tǒng)的要求，需要新的算法。由式(6)，令：

4 仿真結(jié)果與分析

本文的仿真實驗通過MATLAB2018b進(jìn)行，并使用了Peter Corke創(chuàng)建的machine vision toolbox和robotics工具箱[15]。仿真攝像機焦距為100mm，固定增益λ=0.125，圖像平面大小為640×480，此時圖像噪聲noise=0。

機器人與相機的相對位置結(jié)構(gòu)為EIH（eye-inhand）。虛擬相機視野中隨機目標(biāo)初始位置和期望位置如圖2所示，其中藍(lán)色圈表示相機初始位置，紅色星表示期望位置。

圖2 伺服任務(wù)中目標(biāo)位置與初始位置

為了研究在不同控制系統(tǒng)中機器人末端運動軌跡，收斂速度的優(yōu)化情況，在相同的仿真環(huán)境中，從隨機目標(biāo)中選取4組相互對應(yīng)的初始位置和期望位置，通過機器人末端在三種不同視覺伺服控制系統(tǒng)中從初始位置到期望位置的軌跡變化情況，收斂速度變化情況，進(jìn)行仿真對比分析。

圖3是在基于圖像、基于位置、基于圖像無標(biāo)定的視覺伺服控制系統(tǒng)中機械手末端從初始位置到期望位置的軌跡變化模擬情況。

圖3 機械手末端從初始位置到期望位置的軌跡變化模擬情況

通過對比可以發(fā)現(xiàn)，從相同的初始位置到期望位置，IBVS中機械手末端的軌跡路徑最優(yōu)，PBVS中機械手末端的軌跡路徑最差，在實際運行環(huán)境中可能出現(xiàn)目標(biāo)超過視野范圍，導(dǎo)致伺服運動失敗。機械手末端在UIBVS與IBVS兩種控制系統(tǒng)中基本具備優(yōu)化程度非常相近的運行軌跡，由上分析可得，與有標(biāo)定的視覺伺服控制系統(tǒng)相比，UIBVS的路徑規(guī)劃性能也比較好。

圖4是在基于圖像、基于位置、基于圖像無標(biāo)定的控制系統(tǒng)中機械手末端速度收斂的模擬情況，其中圖4(a)是PBVS的收斂情況，圖4(b)是IBVS的收斂情況，圖4(c)是UIBVS的收斂情況。

圖4 機械手末端從初始位置到期望位置的系統(tǒng)收斂模擬情況

通過對比可以發(fā)現(xiàn)，在不同控制系統(tǒng)中收斂速度差別較大，尤其是在PBVS和IBVS中伺服運動初始階段振蕩幅度較大，在實際環(huán)境中進(jìn)行視覺伺服可能會因目標(biāo)超出視野范圍而失敗。在UIBVS中速度變化方向基本一致，且較快收斂到零點，說明UIBVS收斂特性最優(yōu)。

為了研究以上三種視覺伺服控制系統(tǒng)的抗干擾能力，在上述實驗的基礎(chǔ)上，根據(jù)工業(yè)環(huán)境中噪聲特點，增加系統(tǒng)白噪聲noise=1，通過在相同條件下系統(tǒng)圖像誤差變化情況進(jìn)行比較，結(jié)果如圖5所示，其中圖5(a)圖是PBVS圖像誤差變化情況，圖5(b)是IBVS圖像誤差變化情況：圖5(c)是UIBVS圖像誤差變化情況，其中U、V分別表示不同特征點在x、y方向上圖像誤差。

圖5 噪聲環(huán)境中機械手末端從初始位置到期望位置的系統(tǒng)收斂模擬情況

分析圖中圖像變化情況可知，受噪聲的影響，PBVS在伺服過程中震蕩劇烈，最終伺服失敗，IBVS和UIBVS雖然完成了伺服任務(wù)，但在伺服初期圖像誤差變化起伏明顯，出現(xiàn)了較大的震蕩，如果要使基于圖像無標(biāo)定的視覺伺服系統(tǒng)得到更好應(yīng)用，需要增強其對噪聲的抗干擾能力和對環(huán)境的適應(yīng)性。

5 結(jié)語

本文在總結(jié)當(dāng)前機器人視覺伺服研究的基礎(chǔ)上，通過搭建MATLAB仿真平臺，對IBVS，PBVS和UIBVS三種控制系統(tǒng)就跟蹤目標(biāo)的運動軌跡，收斂速度和抗擾能力進(jìn)行了仿真對比分析，從仿真結(jié)果可以看出，基于圖像的無標(biāo)定視覺伺服系統(tǒng)具有較快的收斂速度，但其在路徑規(guī)劃和抗擾能力方面表現(xiàn)欠佳，需要進(jìn)一步優(yōu)化，這為接下來對UIBVS的進(jìn)一步的研究提供了方向，并奠定了一定的理論基礎(chǔ)。