視覺圖像技術與機器人工件抓取的協作應用

盛華軍，胡國清

（1.廣州科技職業技術大學 自動化工程學院，廣州510550；2.華南理工大學機械與汽車工程學院，廣州510641）

工件抓取是工業機器人實訓功能臺眾多功能中必不可少的一環，準確的抓取工件是后續各種功能順利進行的前提，安裝在機器人上的工業相機，經過計算機的處理和分析，可模擬人眼視覺的功能，依據視覺結果控制機器人進行相應的動作，實現自動的定位、分類、抓取和擺放工件等操作，工件的準確抓取，首先用視覺裝置確定機器人工件抓取的周圍環境[1]，再用圖像處理和分析技術，最后對相機獲取到的圖像進行特征描述和識別，工業生產中的產品或零部件的圖像識別和處理技術已日益成熟，利用圖像技術既能準確、快速地抓取工件；又能提高工業生產效率，營造更安全的操作環境，拓展更強大功能的機器人功能平臺，機器視覺的應用優勢有：首先，有良好的靈活性，機器視覺能夠采集制造過程中的多個圖像[2]，并進行科學合理的處理；其次，有非常高的精度，能夠進行精確的測量和定位，在復雜的工況中也能夠獲得高質量[3]的測量數據；最后，具有優良的非接觸工作方式，對人員和工件都不會有損傷，可提高機器人工作系統的可靠性。

1 視覺圖像技術及特點

機器視覺是一種全新的技術，其視覺系統通常是以計算機為中心，主要有視覺傳感器、圖像采集系統和圖像處理系統等模塊組成[4]，如圖1所示，工業機器人工件抓取技術是目前自動化產線中應用很普遍的技術，通過機器視覺與圖像技術的引導，能使機器人實現較智能化的抓取動作，傳統工業機器人抓取技術，多數情況下是針對特定特征的零件進行抓取，靈活性與準確性存在不足，機器視覺與圖像技術應用在工件抓取環節，利用圖像的定位技術、圖像處理技術和自動抓取技術的相互協作，可以很好地克服機器人工件抓取[5]時的遲滯現象。

圖1 機器視覺系統的基本構成Fig.1 Basic structure of machine vision system

1.1 圖像精確定位技術簡介

圖像及其特征的精確定位是機器視覺系統的重要功能，定位技術直接影響抓取時的準確度，是工業機器人工件抓取環節的重要技術，目前定位精度較高的是三維定位技術，用雙目立體視覺系統可實現目的，定位目標的三維坐標，建設三維坐標系，提高定位的準確度，機器人抓取環境較復雜時，與二維定位技術相比，三維定位技術[6]能夠識別三維坐標的信息，根據具體的場景調整坐標系，調整現實坐標系與圖像坐標系的轉換關系，對不同規格或形狀的工件圖像處理和識別，滿足生產線的高精確定位需求，利用現實坐標系和圖像坐標系的轉化，得到目標在圖像坐標系中的位置信息，可使機器人抓取目標的準確性得到很大提高。

1.2 機器視覺圖像處理及特點

機器視覺系統憑借不同形式的客觀測量獲取圖像，對工件外形的準確描述和識別[6-7]，有邊緣或特征點提取、曲線分割和分段匹配等常用圖像處理步驟，圖像采集、形狀匹配和位置補正的圖像識別和處理環節，常會受到傳感器靈敏度、噪聲干擾、模數轉換的量化問題等影響因素，導致圖像無法識別，催生圖像增強技術，機器視覺引導下的圖像處理技術，通常是利用灰度處理技術、濾波處理技術和二值化處理技術等，促使圖像處理質量得到極大提升，并且能和工業機器人軌跡編程很好的協作，就能實現智能的抓取。

1.3 自動抓取工件技術

要找準工件的幾何位置，需利用相機成像的幾何模型，在圖像中建立對應點之間的相互關系，因為大部分工件是由方形或圓形等簡單幾何形狀組合組成，其外邊界邊緣多為規范的線性與曲線；所以在構建工件識別特征集合時，可通過提取圖像中工件的幾何特征量作為識別特征參數，如工件的形心、邊緣和曲率等特征[7]，是識別和抓取工件的重要信息，通過指定工件并確定其圖像在模板中的具體位置，可使識別算法簡化，在機器視覺與圖像處理系統的指引下，提升工業機器人抓取工件的自主性，工作效率及工作質量得到更大保障，有機器視覺的自動抓取技術，機器人工作時的過多人工干預將會減少，產線運轉效率得到提高。

2 抓取系統與坐標系介紹

2.1 機器人功能實訓臺抓取原理

對兩個傳動帶上的工件進行抓取如圖2所示，工業機器人功能實訓臺工件抓取環節，按照預先設定的模板位置，就是每次抓取一個工件放置的位置；平面上是與工件輪廓相似度最高的位置，高度上是與設定的模板位置高度一致的位置，按照相同方向抓取并碼放，傳送帶末端設置有顏色傳感器，按照兩種不同顏色分類放置，碼放在兩個托盤上，該處用單臂機器人取代人工，實現工件的自動碼放功能，視覺系統主要由硬件系統與軟件系統組成，如圖3所示，機器人視覺系統的常見功能有監控、檢測、測量、定位和識別等[7]，導入視覺與圖像技術，可達到精準定位、穩定碼放和可靠運行的目標。

圖2 機器人工件抓取實訓臺Fig.2 Robot workpiece grabbing training platform

圖3 視覺系統的總體框架圖Fig.3 General frame diagram of visual system

2.2 抓取系統坐標系介紹

相機利用成像投影的優劣取決于相機成像的精度和圖像處理技術，視覺坐標系如圖4所示。

圖4 抓取系統的坐標系關系Fig.4 Relation of coordinate system of grabbing system

工業機器人在進行坐標轉換時，需要有圖像坐標系、相機坐標系與世界坐標系之間的轉換，目的是將圖像中的目標工件的圖像坐標位置，轉換為世界坐標中的位置；保證機器人進行抓取的時候操作，參數環境的一致，實際的物理坐標系，有兩種單位表示方式，用（u，v）和（x，y）表示分別是像素單位和實際物理長度單位，x，y軸分別平行于u，v軸，以工業相機為中心建立相機坐標系（Xc，Yc，Zc），定義相機透鏡的中心稱為光心為坐標系原點，設為Oc點；Xc與Yc的兩條坐標軸線平行于圖像平面，另一條軸線Zc，則垂直于圖像平面；與圖像平面的交點為相機的焦點，在圖像坐標系上的坐標點為（u0，v0）；目標點P 在攝像機坐標系[8]下的坐標點為Pc（Xc，Yc，Zc），世界坐標點（Xw，Yw，Zw），是客觀世界的絕對坐標，用來描述目標物體的實際位置，視覺系統中的相機與世界的坐標系之間的轉化關系如下：

3 輪廓圖像技術的應用

3.1 二值化輪廓圖像技術介紹

二值化的輪廓提取，是對于一幅背景為黑色，目標為白色的二值圖像，在圖像中找到一個白色點，將其內置為白色，然后保持白色不變，輪廓提取步驟：首先，啟動程序，工業相機采集一張圖片；通過計算機內的圖像處理算法對獲取到的圖片進行圖像特征信息的識別與分析算法，將目標工件從圖片中提取出來，借助圖像的矩特征，計算圖像的質心坐標和旋轉角度；提取出的坐標、角度和形狀信息等作為參數，利用局域網總線傳送至試驗臺的控制器[9]中，通過控制器控制機器人執行相應操作，利用機器人示教將工件放置到托盤上，實現工件的抓取；最后，通過機器人將工件實現分類抓取和擺放后，機器人的控制器送回一個結束信號，機器人的視覺系統就再一次采集圖像，工件的輪廓框線繪制如圖5所示。

圖5 矩形工件輪廓特征框線的繪制Fig.5 Drawing the outline of rectangular workpiece

3.2 工件在模板上的放置位置

在圖像測量過程和機器視覺作用時，空間的三維景物利用相機成像投影到相機的二維成像平面，需構建相機成像的幾何模型，模型參數均為相機參數，必須通過實驗與計算才能得到，求解參數的過程稱作相機標定，其作用是讓空間中三維景物坐標點與二維圖像像素點之間建立對應的關系[10]，常見的相機標定方法有3種：傳統相機標定法、主動視覺相機標定法和相機自標定法，例如建立了工件在世界坐標系中的位置，同時也建立了與圖像坐標系中的位置對應關系，標定是整個系統準確工作的前提條件，其好壞直接影響抓取的精度，借助攝像機對物體進行全面的圖像采集，再對圖像進行系統的分析，根據分析結果傳遞給控制器，機器人就能做出準確的動作，確保生產工作的順利進行，工業機器人視覺軟件系統，可以先做模板后標定，再做實時拍照識別。工件在P1位置的4個坐標點如表1所示，其余3個工件相機標定與之類似；實驗功能臺要求每個托盤每層放置4個工件，4個工件的標定位置如圖6所示，機器人的標定在離線編程技術環節將各規定設定好，這里不作過多說明。

3.3 機器人工件抓取的控制流程

圖7表示的是視覺系統與機器人工件抓取過程的控制流程，先將視覺系統內外參數進行正確的標定，圖像采集環節采用光電傳感器觸發相機采集傳動帶上的工件圖像，然后對圖像進行預處理和圖像分割，視覺軟件根據設置進行圖像識別獲得像素，判斷得到正確的工件后，標定工件需要在托盤上放置的精確位置，抓取動作通過軌跡編程和PLC編程共同實現工件的精確放置。

表1 P1位置的輪廓4坐標點Tab.1 Contour 4 coordinate point at P1

圖6 4 工件在模板上的預設位置Fig.6 Bottom position of workpiece on formwork

圖7 實訓臺機器人與視覺圖像技術的協作控制流程Fig.7 Cooperative control flow chart of robot and visual image technology in training station

4 結語

實際運行的工件抓取控制效果如圖8所示。

圖8 機器人工件抓取后的碼放效果Fig.8 Stacking effect of robot parts after grasping

經過反復工件抓取實驗，工件抓取后放置的位置偏差均在5 mm 左右，配置機器視覺系統的機器人抓取工件有明顯的精確優勢；論文中實證了采用視覺圖像技術與機器人協作抓取方法，可以達到較高的精度要求，展望未來，工業機器人要能更便捷的智能抓取，視覺圖像技術與機器人工件抓取的協作性方向集中在3個方面：①視覺圖像系統的要有更廣泛的兼容性，才能與眾多的系統集成軟件兼容；②視覺圖像軟件需要有編程和操作方便簡潔、直觀的圖形界面，需具備完善的視覺和圖像工具集；③要拓寬機器視覺圖像系統可應用場合，最好能從相機拓展到監控系統。