混合攝像機視覺伺服機器人研究與應用*

陳 丹， 石國良

(福州大學 電氣工程與自動化學院，福建 福州 350108)

混合攝像機視覺伺服機器人研究與應用*

陳 丹， 石國良

(福州大學 電氣工程與自動化學院，福建 福州 350108)

針對單目視覺機器人工件抓取與放置精度不高的問題，提出了基于位置的混合攝像機視覺伺服系統，采用Eye-in-hand和Eye-to-hand攝像機結合的模式,建立混合攝像機視覺機器人系統以實現工件的精確放置。Eye-in-hand攝像機實現對工件的定位和抓取，Eye-to-hand攝像機用于確定機械手爪中心軸線與工件中線的偏差,確保工件精確放置在期望位置。實驗結果表明：該混合攝像機視覺伺服機器人系統能將工件準確放置在期望位置。

0 引 言

針對工業生產線上，工件的抓取與放置問題，國內外學者已經做了大量的探索與研究。對工件抓取、放置的視覺系統主要分三類：混合攝像機視覺系統、單目視覺系統、雙目視覺系統?；旌蠑z像機視覺伺服控制系統是用Eye-to-hand攝像機與Eye-in-hand攝像機協同工作，識別工件的位姿信息，完成運動工件的定位和抓取任務[1，2]?；谖恢玫膯文恳曈X系統是通過標定的攝像機采集、處理圖像，并反饋圖像信息到機器人控制器中，完成工件的抓取任務[3～4]。雙目視覺系統是通過兩個攝像機同時采集圖像，通過圖像處理獲得工件的三維信息，完成實時定位、抓取不同位置工件的任務[5]。在現代工業中，工件的定位、抓取普遍采用基于位置的單目視覺系統，盡管該系統能完成工件的抓取任務，但對工件的精確放置都存在較大偏差，其主要原因在于：1)機器人本體的結構及其運動精度;2)機器視覺系統中，攝像機標定，以及圖像處理產生的誤差。

基于上述情況，本文提出了基于位置的混合攝像機視覺伺服控制方法。機器人的混合攝像機視覺系統由Eye-in-hand攝像機和Eye-to-hand攝像機組成，Eye-in-hand攝像機用于確定工件的位姿，指導機器人的抓取運動，Eye-to-hand攝像機用于確定機械手爪中線和工件中線的偏差信息，補償機器人的抓取偏差，從而達到機器人精確放置工件的目的。該方法充分考慮了工件抓取和放置過程的誤差，且原理簡單易懂，能夠極大地提高機器人放置精度。

1 機器人在放置工件過程中產生誤差原因分析

本實驗是在四自由度固高GRB—400機器人系統中完成的，該機器人系統的機械臂對工件的定位和抓取是按工件中心對機械臂第3連桿中心抓取的，而工件中心與機械臂的第3根連桿的中心軸線并不重合，此外末端手爪與工件有一定的間隙，因此，在實際抓取工件時容易使工件位置移動，使機械手抓不到工件中間位置。圖1是固高GRB—400機械手抓取工件的示意圖。從圖1的正面圖可以看出：機械手在抓取工件的過程中，在左、右兩個方向上(x軸方向)的誤差主要取決于機械手運動精度，因此,在這個方向上可忽略工件與機械手中心的偏差。而從圖1的側面圖(y軸方向)可以看出，手爪的中線和工件的中線是有偏差的，這個偏差是導致機械手無法精確放置工件的主要原因，因此，有必要計算機械手爪的中線與工件中線的偏差值，補償在抓取過程中出現的偏差，實現精確放置。

圖1 機械手和工件正面、側面圖Fig 1 Picture of front,side view of manipulator and workpiece

用游標卡尺測量如圖1所示的機械手爪和工件的寬度分別為L1=9.98 mm，L2=35.15 mm。機械臂抓取工件的圖像經圖像處理后，可以得到機械手爪和工件的像素寬度分別為N1,N2。設M為像素當量，即

M=L/N

(1)

式中L為已知標準件的實際尺寸，N為對應標準件在圖像上的像素歐式距離。因攝像機在采集圖像過程中存在系統誤差(包括攝像機畸變)，所以，參照文獻[7]對攝像機系統誤差進行補償，由式(1)可得出公式

Li=M0×Ni+e

(2)

式中Li為第i個物體實際歐式距離，M0為當前圖像像素當量，Ni為第i個物體在像平面的像素坐標歐氏距離，e為攝像機系統誤差。小孔成像模型如圖2所示。

圖2 小孔成像圖Fig 2 Picture of pinhole imaging

由于N1,N2,L1,L2已知，且N1≠N2,L1≠L2，將L1,N1,和L2,N2分別代入式(2)計算得

M0=(L2-L1)/(N2-N1)

(3)

e=L1-N1(L2-L1)/(N2-N1)

(4)

將式(3)、式(4)代入式(2)得

Li=[(L2-L1)/(N2-N1)](Ni-N1)+L1

(5)

將如圖2所示的N3,N4代入式(5)可計算得機械手和工件中線到攝像機視場邊緣的距離L3,L4，因此,工件中線與機械手爪中線實際偏差為

L0=L4-L3=(N4-N3)(L2-L1)/(N2-N1)

(6)

根據計算出的L0值調節機械手運動，當L0大于零時，機械手向y軸坐標為y-L0運動;當L0小于零時，機械手向y軸坐標為y+L0運動，由此可實現工件的精確放置。

2 混合攝像機視覺伺服控制結構

混合攝像機視覺伺服控制系統包括兩個伺服控制環節，Eye-in-hand攝像機用于實現工件的定位與識別，通過標定的Eye-in-hand攝像機采集、處理圖像，獲得工件的位姿信息，反饋該信息到機器人控制器中，完成工件的抓取任務[7,8]。對于工件的精確放置，本文提出通過Eye-to-hand攝像機獲取工件與機械手爪中線偏差，將偏差信號反饋到機器人控制器中，完成工件的精確放置。系統結構如圖3所示。

圖3 系統結構圖Fig 3 Structure diagram of system

3 Eye-to-hand攝像機視覺伺服工作原理

用攝像機采集機械手抓取工件的圖像，通過圖像處理及圖像測距算法，提取、計算中線偏差值，達到精確放置工件的目的。

3.1 機械手爪和工件圖像的獲取

為了在復雜背景中提取機械手爪和工件的圖像，Eye-to-hand攝像機要在機械手開始工作前采集一幀背景圖像，并在每次機械手放置工件前采集一幀機械手抓取工件的圖像，如圖4所示。

圖4 Eye-to-hand攝像機采集圖像Fig 4 Eye-to-hand camera capturing picture

3.2 機械手爪抓取工件的圖像處理

對采集到的兩幅圖進行比較，通過背景減除法可以獲得需要的前景圖像。

背景減除算法，主要依賴于判斷HIS顏色分量(H/I)差值低于某一閾值來去除背景圖像[9]。減除過程分兩步進行，第一步用亮度值I分量進行粗差分，初步消除背景圖像；第二步用色度值H分量進行細差分，進一步消除背景圖像。背景減除效果如圖5所示。

圖5 前景圖Fig 5 Picture of foreground

通過背景減除算法去除了大部分背景圖像后，再對圖像進行預處理，包括灰度變化、感興趣區域(ROI)提取、雙邊濾波、形態學濾波處理。首先對圖像進行灰度處理和ROI提取，效果如圖6(a)所示。其次對圖像進行濾波處理，考慮到雙邊濾波器能去除噪聲信號保留邊緣信息，形態學開運算可以消除小物體平滑較大物體邊緣，因此,采用雙邊濾波器和開運算對圖像進行濾波，濾波效果如圖6(b)所示。

圖6 預處理效果圖Fig 6 Effect image of preprocessing

預處理完成后，對圖像進行二值分割、輪廓提取和最小包圍矩形擬合。二值分割采用自適應閾值分割算法來完成，其效果如圖7(a)所示。對二值分割后的圖像提取輪廓，并計算各輪廓的面積、長度和圓形度來獲取目標輪廓，再對目標輪廓應用最小包圍矩形擬合，其效果如圖7(b)所示。

圖7 輪廓提取效果圖Fig 7 Effect image of contour extraction

經圖像處理后獲得的機械手爪和工件包圍矩形輪廓信息可以計算出機械手爪中線和工件中線到視場邊緣的像素歐式距離，即如圖2所示的N3和N4，再由公式(6)可計算出工件與機械手爪中線的偏差，最終完成工件的精確放置任務。

4 實驗過程與結果分析

本實驗是在VS2010環境下編寫MFC控制平臺程序來完成系統控制任務的，應用Matlab和OpenCV庫函數分別完成相機的內、外參數標定和圖像處理任務。

4.1 相機內、外參數標定

Eye-in-hand攝像機內部參數標定應用Matlab工具箱完成。Eye-in-hand攝像機單目視覺系統的手眼標定參考文獻[11]完成，手眼參數標定矩陣Rhc和Thc如下

(7)

Thc=[-44.041 9 30.939 4 9.845 7]

(8)

深度值Zc=150 mm。

4.2 有、無Eye-to-hand攝像機放置偏差實驗對比

為檢測工件放置的精確程度，繪制了35.15 mm×35.15 mm的矩形框作為工件的期望放置位置，工件框外再繪制若干精度為0.5 mm的矩形格來檢測工件放置位置偏差，工件框和精度測試格如圖8所示。

圖8 精度檢測表格Fig 8 Forms of precision testing

用Eye-in-hand攝像機機器人系統的機械手運動到4個不同位置抓取工件并放置在期望矩形框內。為了檢測該混合攝像機視覺伺服控制系統的精度，作者做了兩個實驗：第一個實驗是基于Eye-in-hand攝像機的單目視覺伺服機器人的工件抓取與放置實驗；第二個實驗是混合攝像機視覺伺服機器人系統的工件抓取與放置實驗。

4.2.1 基于Eye-in-hand攝像機的單目視覺機器人實驗

先將機械手運動到Eye-in-hand攝像機能獲取工件完整輪廓區域范圍內，通過圖像處理算法獲得工件的位姿信息，抓取目標工件，放置到期望位置，記錄實際工件位置與期望位置在X,Y軸方向上的偏差。無Eye-to-hand攝像機的偏差結果如表格1所示。其中，a+,a-,b+,b-分別表示在X,Y軸正、負4個方向上的偏差值小于0.5mm，a,b表示在4個方向上無偏差，A+,A-,B+,B-分別表示在X,Y軸的正、負4個方向上的偏差值大于0.5mm，小于1mm。M表示在X,Y軸的正、負4個方向上的偏差值大于1mm。

表1 基于Eye-in-hand攝像機的單目視覺機器人 系統工件放置偏差Tab 1 Placement deviation of workpiece by monocular vision robot system based on Eye-in-hand camera

4.2.2 基于混合攝像機的機器人視覺伺服系統實驗

首先，工作前，Eye-to-hand攝相機獲取一幀背景圖像，Eye-in-hand攝像機的機械手運動到能獲取工件完整輪廓區域范圍內。通過圖像處理算法獲得工件的位姿信息，抓取目標工件，放到Eye-to-hand攝像機視野范圍內，通過提出的處理算法獲得機械手爪中線和工件中線差值，反饋該差值到機器人控制器中，調節機械手運動到期望位置，記錄實際工件位置與期望位置X,Y軸方向上偏差結果如表2所示。其中對應字母意義同表1。

從以上兩個實驗的數據可以看出:由于機械手抓取工件，在X軸方向上中線偏差取決于機械手本身的運動精度，且機械手運動精度較高，因此,2組實驗在X軸方向上偏差很小；從Y軸方向看，前者在1,3,4位置上抓取工件偏差大于0.5 mm的占100 %，在第2位置上抓取工件偏差大于0.5 mm的占87.5 %，后者在X,Y軸方向上偏差小于0.5 mm的占100 %。由此可見，混合攝像機視覺伺服機器人系統要比Eye-in-hand攝像機視覺伺服機器人系統的放置精度高。

5 結 論

本文是在Eye-in-hand攝像機機器人伺服系統抓取工件的基礎上，附加Eye-to-hand攝像機控制系統，通過圖像提取機械手中線與工件中線的偏差，計算補償機械手的偏差，實驗結果表明,工件放置位置精度得到了極大的提高。

表2 混合攝像機視覺伺服機器人系統的工件的放置偏差值Tab 2 Placement deviation of workpiece by hybrid cameras visual servo robot system

[1] Tsai Chiyi，Wong Chingchang，Yu Chiajun,et.al.A hybrid switched reactive-based vi-sual servo control of 5-DOF robot manipulators for pick-and-place tasks[J].IEEE Systems Journal,2015,9(1):119-130.

[2] Luo Ren C,Chou Shihche,Yang Xinyi.Hybrid eye-to-hand and eye-in-hand visual servo system for parallel robot conveyor object tracking and fetching[C]∥The 40th Annual Conference of IEEE IECON 2014,Industrial Electronics Society,2014:2558-2563．

[3] 王修巖,程婷婷.基于單目視覺的工業機器人智能抓取研究[J].機械設計與制造,2011(5):135-136.

[4] 翟敬梅,董鵬飛,張 鐵.基于視覺引導的工業機器人定位抓取系統設計[J].機械設計與研究,2014,30(5):45-49.

[5] 朱代光.基于雙目視覺的工件定位與抓取研究 [J].計算機測量與控制,2011,19(1):92-94.

[6] 田原螈,黃合成,譚慶昌.攝像機鏡頭畸變的研究[J].計算機工程與應用,2009,45(26):49-52.

[7] Huang Chaoxing,Chen Dan，Tang Xusheng.Implementation of workpiece recognition and location based on open CV[C]∥The 8th International Symposium on Computational Intelligence and Design,2015:228-232.

[8] 李 彬,羅 彪.機器視覺在物體位姿檢測中的應用[J].傳感器與微系統，2016,35(2):150-153.

[9] 吳 瑜,郭建東,劉乃琦.一種基于HIS模型的彩色圖像背景減除快速算法[J].微計算應用,2005,26(3):306-308.

[10] Ma S D．A self-calibration technique for active vision system-s[J].IEEE Transactionsons on Robotics and Automation,1996,12(1):114- 120.

石國良，通訊作者，E—mall：476033434@qq.com。

Research and application of hybrid cameras visual servo robot*

CHEN Dan， SHI Guo-liang

(College of Electrical Engineering and Automation，Fuzhou University，Fuzhou 350108，China)

Aiming at problem of low precision of workpieces grasping and placing of monocular vision robot,propose hybrid cameras visual servo system based on position,mode combining Eye-in-hand and Eye-to-hand camera is used,establish hybrid cameras visual robot system to realize accurate placement of workpiece.Eye-in-hand camera is used to realize workpiece orientation and grasping.Eye-to-hand camera is used to evaluates pixel coordinates difference of center line between mechanical gripper and workpiece to ensure that the workpiece is placed in precise desire location.Experimental results show that this hybrid cameras visual servo robot can place workpiece in specified coordinates accurately.

robot； visual servo； midline extraction； accurate placing

10.13873/J.1000—9787(2016)07—0154—04

2016—05—10

國家自然科學基金青年科學基金資助項目(61304260)； 福建省自然科學基金資助項目(2013J01226)

機器人； 視覺伺服； 中線提?。?精確放置

TP 24

A

1000—9787(2016)07—0154—04

陳 丹(1977-)，女，福建永安人，博士，副教授,研究方向為網絡機器人控制技術、預測控制、智能控制以及機器人視覺。