基于視覺定位的機器人上下料系統集成技術*

鄭魁敬 周 鑫 程曉金

(①燕山大學先進鍛壓成形技術與科學教育部重點實驗室，河北秦皇島 066004;②燕山大學河北省并聯機器人與機電系統實驗室，河北秦皇島 066004)

近年來，由于能夠提高機器人在不同環境中的自主判斷能力，保證機器人的靈活性和工作質量，視覺技術已經逐漸成為機器人獲得環境信息的重要手段［1－5］。特別是在自動化生產線中，由于機械定位裝置的偏差有時會導致機器人不能準確抓取工件，視覺系統越來越多地被應用于機器人上下料過程中的工件自動定位［6－8］。采用視覺技術，給生產線中的上下料機器人裝上“眼睛”，通過準確識別工件位置，避免因機械定位、對中裝置與工料的碰撞、擠壓等造成不必要損失，從而簡化了生產線中機械定位的工藝復雜性，有效縮短了定位時間，提高了機器人上下料效率和靈活性［9－10］。

本文將工業機器人與視覺定位系統進行集成，通過以太網實現機器人控制系統與工業攝像機、圖像處理軟件之間的實時通訊，實現工業機器人對板料工件的靈活快速準確抓取和放置。

1 機器人上下料系統方案

機器人上下料系統包括機器人系統、集成控制系統、圖像采集和處理系統、實時通訊接口等。

機器人上下料系統硬件如圖1所示，包括服務器主機、ABB1410六自由度工業機器人、維視 MV－2000UC攝像機、端拾器真空系統、上下料工作臺、I/O接口、數據傳輸介質等。集成控制軟件安裝在主機上，能與機器人控制器通訊并響應其請求，觸發視覺系統拍照并進行圖像處理。

ABB公司IRC5控制器與 PC機通訊可采用RS232、OPC server及Socket Message;現場總線通訊支持 Device Net、Profibus、Profinet、EtherNetIP。本文采用Socket Message，通過網絡接口實現PC機與機器人通訊。機器人上下料系統將機器人控制器、PC機連入局域網，向PC機分配特定IP地址和端口號以便控制器搜索;維視MV－2000UC工業攝像機安裝到上料工作臺上方，通過USB接口連接到PC機;端拾器真空系統連接到控制器Device Net總線I/O板。

如圖2所示，控制器與PC主機采用C/S結構，控制器端為客戶端，PC機端為服務器端。由于攝像機采用固定式安裝，為避免機器人在抓取時干涉攝像機拍照，拍照的觸發信號設定在機器人離開上料臺后的指定位姿，由控制器向PC機發出。PC機得到信號后，通過執行C語言開發的軟件控制攝像機采集圖像，然后進行圖像處理，將工件定位信息數據通過PC機傳遞給機器人控制器，當機器人的端拾器運動到目標點時發出真空系統觸發信號進行工件抓取。

2 工件的視覺定位方法

視覺系統基本任務是從攝像機獲取圖像信息并通過計算確定工件的空間位置信息。

機器人抓取工件為400 mm×410 mm×1 mm的金屬薄板，需要獲得目標物體相對于標準位置沿x、y方向的偏移距離Tx、Ty以及繞z軸的偏轉角度θ。圖像坐標系和世界坐標系的關系如圖3所示，O1－xy為世界坐標系;O2－uv為圖像坐標系。圖像坐標系的u方向與世界坐標系的x方向相同，而v方向和y方向相反，可以建立空間中的目標物體相對于標準位置的偏移模型為

式中:x1、y1為圖像坐標系中標準位置的坐標;u、v為圖像坐標系中目標物體坐標;r為圖像坐標系到世界坐標系的比例因子，mm/pixel;Tx、Ty為偏移量。

用式(2)計算r并計算平均值，確定r為0.643 1。參數x1，y1確定為(516.868，703.197)。

當機器人的端拾器運動到某一規定位置時，客戶端按照指定的IP地址與服務端口號請求與服務器端連接，然后觸發攝像機照相。

攝像機將圖像信號傳給視覺系統軟件進行圖像處理。圖像處理包括圖像預處理、特征提取、邊緣提取及中心位置識別等，流程如圖4所示。

服務器將圖像處理得到的板料位置偏差數據按順序封裝成字節流，返回給客戶端，客戶端按順序將字節流打開，同時賦值給控制器中的變量X、Y、Rz，及時修正機器人抓取的目標點。

3 系統實時性分析

對系統實時性產生影響的因素主要有3個方面:系統響應快慢，圖像處理速度和網絡延遲。

3.1 提高系統響應速度

Windows是一個通用操作系統平臺，在實時性方面存在一定缺陷:線程優先級太少;隱含的不確定的線程調度機制;優先級倒置，尤其體現在中斷處理中。本系統嵌入RTX(Real－time Extension)對Windows系統進行實時擴展。

通過向操作系統嵌入RTX，不但能夠改進系統數據傳輸的實時性，還能夠避免由于操作系統內部引起的錯誤，保證了系統運行的可靠性。

3.2 提高圖像處理速度

由于視覺定位中使用的特定標志物圖像及背景圖像尺寸對計算時間影響較大，為提高視覺定位實時性，分別改變待識別圖像及背景圖像尺寸，進行圖像匹配實時性測試。當標志物圖像和背景圖像尺寸縮小40% ～60%時，特征點數減少20% ～30%，定位時間縮短30%～40%，在滿足定位精度要求下提高了定位實時性。因此，通過合理選擇圖像尺寸不僅可滿足匹配精度，還能提高視覺定位效率。

3.3 降低網絡延遲

首先，通過限制以太網通訊負載大小的方法提高以太網實時性。通信負載主要由節點數目和數據幀長度決定。在自動化生產線中，節點間傳輸數據多為不超過256字節的短信息幀，因此限制通信負載的大小主要取決于節點數目，可通過盡量減少節點數降低延遲。其次，采用快速以太網和交換式以太網取代共享式以太網，通過劃分網絡避免競爭或提高通信速率減少延遲。最后，可給不同信息分配優先級，使緊急事件信息能夠及時得到傳輸，從而改善以太網實時性能。

3.4 系統實時性測試

對系統實時性測試采用程序插樁方法。程序插樁是在靜態測試階段向被測程序中插入操作，人為加入測試函數(樁函數)，在程序執行過程中通過收集插入信息來獲得程序執行和狀態數據的測試技術。服務器端實時性度量指標為軟件響應延遲時間、運行時間和輸出延遲時間。要獲取這些時間信息，需要在程序中插入探針，即進行插樁。樁點位置設計在Server/Client的入口、出口和圖像處理系統的入口、出口。系統實時性測試結果如表1所示。

表1 系統實時性測試結果 s

4 系統實驗

首先利用ABB公司Robotstudio仿真軟件對整個系統的可行性及網絡通信能力進行仿真測試。向Robotstudio軟件導入三維模型、定義虛擬I/O板，建立虛擬數組模仿視覺系統，完全模擬上下料系統。虛擬上下料系統如圖5所示。

在虛擬上下料系統中仿真測試后進行機器人上下料實驗。對工件進行視覺定位，確定工件的偏移位置。利用視覺系統對工件圖像的處理過程如圖6所示，工件定位數據如表2所示。

將表2中的視覺定位數據傳遞給機器人控制器，控制機器人實時調整位姿，準確抓取工件。機器人上下料系統如圖7所示，系統控制軟件界面如圖8所示。在穩定光源下，機器人能夠以10次/min的速度將隨意放置的板料靈活抓取并準確放入下料臺，達到了系統設計要求。

表2 工件定位數據

5 結語

基于視覺定位的上下料機器人系統集成技術，通過引入視覺功能使機器人能夠準確確定板料的位置和方向信息，從而能夠靈活準確快速地實現隨意擺放的工件上下料。該系統的研究對于自動化生產線中減少機器人上下料時間、降低成本、提高自動化水平具有重要的理論與實際意義。

［1］Savage L.Fully featured machine vision software drives manufacturing［J］.Photonics Spectra，2011，45(11):1 －5.

［2］蔡征宇，沈俊杰，楊昀.基于工業CCD攝像機的機器人視覺定位系統研究［J］.機電一體化，2010(3):22－25.

［3］陳偉華，馬瓊雄，陳月軍.基于VisionPro的工業機器人視覺定位系統［J］.組合機床與自動化加工技術，2012(2):81－83.

［4］張建中，何永義，李軍.機器人裝配視覺定位應用研究［J］.機電工程，2011，28(8):934 －937.

［5］Shahabi H H，Ratnam M M.Prediction of surface roughness and dimensional deviation of workpiece in turning:a machine vision approach［J］.Advanced Manufacturing Technology，2010，48(1):213 －226.

［6］李金義，楊成，王京，等.基于視覺定位的機器人搬運系統［J］.制造業自動化，2011，33(4):40 －42.

［7］姜永成，周正干，任福君，等.圖像尺寸對機器人視覺定位實時性的影響研究［J］.計算機工程與應用，2010，46(7):197 －199.

［8］徐劍飛，周德儉，林卓強.基于PC機器視覺的貼片機視覺對中應用研究［J］.測控技術，2007，26(7):82 －85.

［9］稻葉善治.機床和智能機器人的融合［J］.世界制造技術與裝備市場，2009(4):37 －38.

［10］關號兵，顧寄南，陳四杰，等.圓柱體工件上下料機器人視覺系統設計［J］.機械設計與研究，2012，28(1):18 －21.