融合視覺和以太網技術的工業機器人分揀裝配控制系統設計

蘇建，李在娟

(蘇州市職業大學機電工程學院，江蘇蘇州 215104)

0 前言

以數字化、網絡化、智能化為發展方向的制造業迎來了深刻變革，融合新一代信息技術與先進制造技術的智能制造已成為新一輪工業革命的核心驅動力。我國是制造大國，推動智能制造是解決我國制造業由大變強的根本路徑。

后疫情時代，人員流動減少、外來務工人員缺乏、企業招工難的問題愈發凸顯。同時伴隨著人口紅利漸弱，原材料成本上升，“機器換人”成為制造業轉型升級的必然趨勢。工業機器人作為智能制造中智能裝備的代表，已經在汽車、3C等制造領域得到廣泛應用。工業視覺賦予工業機器人“人眼”的功能[1]，可以輔佐工業機器人進行更高精度、更強適應性的自動化生產。

當前，該領域的研究偏重視覺圖像處理方法的研究，或機器人的優化控制問題。如王詩宇等[2]利用并聯機器人和康耐視相機搭建了物體分揀平臺；李致金等[3]通過視覺技術檢測工件位置的偏移。而對工業視覺、工業機器人和PLC三者之間的融合通信與綜合編程的研究還不夠深入。

針對智能生產線中多類型、多工位、無規則、有殘次的工件識別、分揀與裝配作業，本文作者構建了一個基于工業以太網通信的硬件系統，應用視覺獲取工件數據，基于坐標偏移的方法提出了一種機器人與PLC綜合編程控制算法，實現高精度、高效率的工件分揀與智能裝配。

1 硬件系統構建

本文作者設計的分揀裝配控制系統主要由工業機器人、托盤輸送帶、裝配輸送帶、視覺系統、裝配夾具等組成，如圖1所示。其中托盤輸送帶由PLC控制、三相交流電機驅動，裝配流水線由PLC控制、步進電機驅動。AGV將G6工位的托盤輸送到托盤輸送帶的入口，G4工位利用視覺系統檢測與識別工件，G1、G2、G3均為已檢測過的工件托盤，G1工位為工業機器人抓取工件的位置；G5工位為空托盤和殘次工件的存放位置；G7工位為成品區，同時當未存放成品時也可以作為臨時區；G8工位為定位及裝配區；G9為工件臨時存放區。分揀裝配系統主要設備及網絡拓撲結構如圖2所示。

圖1 分揀裝配系統布局

圖2 系統主要設備及網絡拓撲圖

2 工件檢測與識別

選用信捷工業視覺系統來檢測工件信息、識別工件類型。該系統主要由光源控制器、光源、相機、鏡頭、視覺軟件等構成，具有成熟的視覺軟件，視覺算法工具齊全，視覺腳本功能可以進行二次開發。

2.1 視覺檢測原理

(1)圖像匹配檢測原理

圖像匹配是應用計算機和相應的數學理論對給定圖像按照特定目的進行相應匹配處理[4]。匹配過程如下:在一定的搜索角度范圍內(如對稱模板為[-90°,90°])，將模板圖像T0(m0,n0)依次旋轉一定角度θ得到新的模板圖像Tθ(m0,n0)，然后與被搜索圖S(W,H)進行匹配，取與模板圖像尺寸一致的區域進行對比，每次平移一個像素后執行同樣操作，最終在圖像中完成(W-m+1)×(H-n+1)次的遍歷與搜索，獲得圖像中模板圖像的角度、位置和匹配度等特征數據。

(1)

其中：i，j為子圖左下角在被搜索圖S上的坐標；θ為模板旋轉角度。

(2)圓孔檢測原理

圓孔檢測是模式識別領域和計算機視覺領域的重要研究內容[5]。基于霍夫變換及相似度的圓孔檢測方法較為成熟[6-7]。本文作者選用霍夫變換方法[7]檢測了圓孔邊緣、圓心及圓面積。首先對目標圖像進行濾波、二值化、邊緣檢測等預處理，然后獲取若干封閉圖形邊沿Tk(m,n)，若封閉圖形邊緣滿足公式(2)，則該封閉圖形即為圓孔。

(2)

其中：Rk(i,j)為圓的半徑，(i,j)為當前圓孔的圓心位置，k為目標圖像中圓孔個數。

2.2 特征學習

特征學習的目的是利用圖形處理工具獲取工件特征數據。現選用圖案定位和圓孔檢測工具，對工件進行檢測，獲取工件類型、偏移量和偏轉角度。

利用視覺軟件獲取工件的清晰圖像后，在托盤中心放置一個尖針，獲取尖針圖像，放大圖像記錄尖端(托盤中心)位置為PX0=320、PY0=222。然后將工件5、6、7、8以預設的角度放置在托盤中心(機器人示教基準)，通過視覺系統獲取各特征工具，其功能如表1所示。

表1 工件特征學習工具說明

各工具學習模型如圖3所示。

圖3 工件特征學習

2.3 工件數據計算

視覺測量結果是像素個數，為了換算出被測工件的尺寸，必須建立像素與物理尺寸的比例關系，即標定每個像素代表的實際物理尺寸，該變量稱為像素當量[8]。此例中，工件類型通過圖像匹配的方式進行識別，殘次工件通過圓孔檢測工具進行區分。工件的偏差尺寸通過像素差與像素當量的乘積獲得。由于物理安裝位置不同，機器人坐標系Y+方向與相機坐標系X+方向一致，機器人坐標系X+方向與相機坐標系Y+方向相反。通過相機腳本程序計算機器人偏移量的計算方法如公式(3)所示。

(3)

式中：ΔXR、ΔYR分別為機器人X和Y軸方向的偏移量；PXn、PYn為圖像模型中心位置；PX0、PY0為托盤中心(機器人示教基準位置)；σn表示不同工件的像素當量。經過測算，工件1、5的像素當量為0.447，工件2、6為0.446，工件3、7為0.495，工件4、8為0.488。各工件圖像檢測及計算數據如表2所示。

表2 各工件特征數據

3 PLC通信及主控編程

S7-1200 PLC具有支持Modbus-TCP協議的Profinet網口，將PLC、工業機器人和視覺系統建立關聯，實現數據的通信與交互[9]。同時S7-1200 PLC可采用SCL語言編程，該語言不僅具備常用的邏輯控制指令，在結構化數據的運算方面還有獨特的優勢。

3.1 PLC與周邊設備通信

S7-1200 PLC與工業機器人采用Modbus-TCP的通信方式，實現16個字型數據接收與16個字型數據發送，通信程序如圖4所示。其中PLC發送給機器人的16個字存放在DB4里的i[15]數組中；PLC接收給機器人的16個字存放在DB5里的o[15]數組中，通信部分數據的功能如表3所示。

圖4 PLC與機器人通信程序示例

表3 PLC與機器人收發數據功能

S7-1200 PLC與相機也是采用Modbus-TCP的通信方式，實現工件類型、X偏移量、Y偏移量和角度4個float型數據的實時接收。根據通信規則，PLC接收的相機數據需要高低字交換。

3.2 PLC主控流程

PLC是控制系統的核心：一方面控制視覺系統，獲取視覺檢測數據；另一方面控制作業流程，實現機器人工件分揀、二次定位、智能裝配、成品入庫等邏輯控制任務。PLC收到相機檢測的工件數據后，對工件的動作做邏輯判斷，決定機器人對工件搬運的取放偏移位置和數據，然后將數據發送給機器人。基于坐標偏移方法、融合PLC和機器人編程的算法減少了機器人示教位置，簡化了機器人程序。PLC程序流程如圖5所示。

圖5 PLC主控程序流程

4 機器人示教與編程

4.1 機器人坐標系

為確定機器人的位置和姿態而在機器人或空間上進行的位置指標的系統，稱為機器人坐標系。針對多種類型工件，作者設計了一套多功能工業機器人末端工具，如圖6所示。其中，工件2、3、4、6、7、8及殘次工件選用吸盤工具，工件1、5選用三爪工具，吸盤工具和手爪工具的夾角為80o。現設定工業機器人PHome1、PHome2(吸盤朝下)、PHome3(手爪朝下)三個工作原點的關節坐標系如下所示：

圖6 工業機器人多功能末端工具

PHome1=[0°,0°,0°,0°,-90°,0°]

PHome2=[0°,0°,0°,40°,-90°,0°]

PHome3=[0°,0°,0°,-40°,-90°,0°]

利用輔助標定裝置標定吸盤和手爪工具坐標系數據如下所示：

吸盤數據Pdisc=[0.5,174.0,145.0,-90°,140°,90°]

手爪數據Ppaw=[0,-144.8,165.7,90°,140°,-90°]

4.2 位置示教

所謂位置示教，就是利用示教盒使工業機器人末端工具到達預期的位置，并記錄相應位置數據。機器人示教通常是肉眼觀察，存在一定的誤差。采用坐標偏移的方法可以獲取相近坐標位置、減少機器人示教位置、提高機器人的位置精度。

示教前需標定G1、G7、G8、G9坐標方向，使其與機器人坐標方向一致。此例中，工業機器人、相機與示教位置坐標如圖7所示，其中吸盤工具示教位置有5個，分別位于G1(XP1)、G5(XP1)、G7(XP5)、G8(XP4)、G9(XP3)，手爪工具示教位置有三個，分別位于G1(SZ1)、G7(SZ3)、G8(SZ2)。

圖7 系統坐標示意

4.3 機器人程序流程

機器人收到PLC發送的數據后，確定所用末端工具，通過基準位置和偏移量的代數和計算出工件的取放位置，決定機器人對工件的搬運、分揀或裝配動作，實現工件的分揀與裝配。機器人程序流程圖如圖8所示。

圖8 機器人程序流程

5 總結

通過300個工件的實驗與測試，該系統殘次工件識別正確率為100%，合格工件獲取數據正確且機器人均能正確抓取工件；基于工業以太網技術的控制系統可以實時交互工業視覺、PLC和工業機器人三方數據；應用基點偏移的方法進行西門子PLC的SCL語言編程，減少了工業機器人的示教位置，簡化了工業機器人的程序，提高了工業機器人的裝配效率和裝配精度。融合視覺和以太網技術的機器人分揀裝配控制系統滿足實際生產要求，有助于提高生產效率。