基于機器視覺的機器人智能分揀實驗平臺開發

李明楓, 賀曉瑩, 陸佳琪, 梁波波, 張 朋, 韋友鋒

(桂林電子科技大學 機電工程學院, 廣西 桂林 541004)

隨著智能制造[1-2]在自動化領域的不斷深入,機器視覺和機器人得到廣泛的應用。為適應新時代的發展,培養符合新工科[3-5]要求的高素質綜合型的人才,在高校本科教學中,需要增大機器視覺和機器人技術方面的教學實踐內容。開設課程設計等實踐教學環節,對學生深刻掌握理論知識起到事半功倍的作用[6]。

為滿足我院機械電子工程專業的教學培養目標,培養符合新工科背景的創新復合型人才,開發設計了基于機器視覺的機器人智能分揀實驗平臺。該平臺是以多邊形形狀的平面類工件作為分揀對象,利用機器視覺技術采集圖片,利用HALCON軟件編程得到當前工件形心坐標等信息,再利用面向對象語言VB.net進行混合編程,發送給機器人實現智能分揀操作。

1 實驗要求

所開發的實驗平臺主要用于本科實驗教學工作,以鍛煉學生的單片機控制技術、光學圖像采集系統搭建、機器人手眼標定和控制、圖像處理等各方面能力,因此需讓學生掌握以下幾方面知識:(1)設計并制作單片機控制系統[7],包括繼電器控制電路、傳感器檢測電路[8]等,并與計算機進行串口通信,實現相機觸發拍照,控制傳送帶的啟動停止; (2)搭建光學圖像采集系統[9],包括掌握各種工業相機、鏡頭、照明光源的光學特性參數,并進行正確選型; (3)將采集的工件圖像利用HALCON軟件[10]進行圖像處理,包括手眼標定[11]和形狀匹配[12],獲得分揀工件的位置姿態信息; (4)掌握并利用TCP/IP協議的Socket通信[13],和串口通信技術,上位機將信息傳送給機械手控制器,并控制傳送帶啟動、停止; (5)根據具體工件的實際情況,選用電磁鐵或者是真空吸盤吸附的方式,設計并搭建真空分揀氣動回路[14]; (6)掌握機器人操作的知識,包括示教操作、I/O控制等,并掌握面向對象語言VB.net[15]的混合編程。

2 實驗平臺結構和功能設計

2.1 實驗平臺的整體結構

實驗平臺硬件部分主要由物料傳送系統、光學圖像采集系統、機器人分揀系統、單片機傳送控制系統組成,如圖1所示。

圖1 實驗平臺

(1) 物料傳送系統:由傳送帶傳送工件,利用光電檢測開關實現工件的到位檢測,利用傳送帶配置的調速器進行速度調節。

(2) 光學圖像采集系統：主要由工業相機、工業鏡頭、照明光源系統組成,工業鏡頭可以根據檢測對象選用定焦鏡頭、變焦鏡頭或者雙遠心鏡頭中的一種,照明光源可選用環形LED光源,面陣LED光源,或者線陣LED光源,照明的形式主要為落射照明的方式。

(3) 機器人分揀系統:主要由機器人和分揀機構組成,分揀機構可以根據實際情況,選用電磁鐵吸附或真空吸附形式,將電磁鐵或真空吸盤連接到機械手的末端,實現分揀。

(4) 單片機傳送控制系統:單片機系統可通過繼電器控制傳送的啟動與停止,由單片機控制系統與計算機進行串口通信,控制相機的觸發拍照,計算機通過單片機控制傳送的啟停,方便分揀。

2.2 智能分揀的工作流程

使用該實驗平臺實現基于機器視覺的智能分揀的流程如下:

(1) 首先進行開機前的初始化設置,包括傳送帶的速度調節、開啟氣泵、光學圖像采集系統工作距離調整、手眼標定和匹配模板數據的輸入等;

(2) 按下開機按鈕,傳送帶啟動,將工件傳送到檢測位置;

(3) 傳感器檢測到工件,單片機系統將工件到位信號通過串口傳送給上位機,觸發相機拍照,同時通過繼電器模塊停止傳送帶;

(4) 上位機進行圖像處理,通過形狀匹配方法,得到工件形心坐標和旋轉角度等信息;

(5) 上位機將位姿信息通過Socket通信,發送給機器人ACE軟件; 再次啟動傳送帶;

(6) 當工件再次到達分揀位置時,傳感器檢測到工件,單片機通過繼電器模塊停止傳送帶,并通過串口將到位信息傳送給上位機,啟動機器人,實現智能分揀;

(7) 分揀完畢,再次啟動傳送帶;

(8) 按下停止按鈕,系統關閉。

3 實驗項目開發

利用該實驗平臺可開設如下實驗:

(1) 物料傳送裝置拆裝測繪實驗。主要讓學生拆解傳送平臺,了解其中的機械結構和傳動原理,包括皮帶傳送的傳動形式、皮帶滾筒軸承安裝與潤滑、張緊裝置和方法等[16],并測繪內部一些關鍵零部件的參數; 用SolidWorks進行三維圖建模與裝配,用AutoCAD等繪圖軟件繪制零件二維圖與裝配圖,提高學生的機械設計能力、三維建模能力和繪制機械圖紙的基本能力。

(2) 光學圖像采集系統搭建實驗。該系統主要由工業相機、工業鏡頭和照明光源組成。主要讓學生掌握工業相機、工業鏡頭和照明光源的各種性能參數,進行正確的選型,搭建光學圖像采集系統,調節好鏡頭的工作距離和照明光源的照明角度,以采集清晰無畸變的圖像,以供進行圖像處理。

(3) 單片機控制系統設計實驗。單片機控制系統(見圖2)主要功能是利用51單片機系統,控制傳送帶的啟動和停止,利用PWM控制傳送帶電機的傳送速度,通過傳感器實現工件到位檢測,通過串口與上位機通信。學生主要設計單片機控制系統,包括單片機最小系統板設計、繼電器啟停控制電路設計、傳感器檢測電路設計、串口通信、PWM調速電路等,并利用KeilC51進行編程以完成相關功能。

(4) 真空吸盤搬運分揀氣動回路設計實驗。真空吸盤搬運分揀的功能主要是讓機械手通過真空吸盤吸附工件,將工件搬運到指定位置。該實驗主要讓學生選用不同類型的真空搬運回路,比如帶真空破壞(見圖3)和不帶真空破壞兩種氣動回路的設計,進行相關元器件的選型,如真空吸盤、電磁閥、真空發生器、過濾器等元器件,學生自己動手搭建氣動回路。真空吸附搬運整個工作過程:氣源提供壓縮空氣,經過氣體二聯件(空氣過濾器和減壓閥)處理后,傳送到真空供給閥和真空破壞閥。當工件需要被真空吸盤吸附時,真空吸盤與工件緊密貼合,控制真空供給閥3的電磁鐵得電,壓縮空氣進入真空系統,真空發生器吸取真空吸盤的空氣,產生真空,此時壓差開關關閉,吸盤吸起工件; 當到達指定位置需要釋放工件時,真空破壞閥開始工作,壓縮空氣通過真空破壞閥進入真空系統,壓差開關開啟,破壞真空,工件由于自重而下落。

圖2 單片機控制系統功能框圖

圖3 帶真空破壞氣動分揀回路

(5) 手眼標定與形狀匹配圖像處理實驗。智能分揀的圖像處理主要有手眼標定和形狀匹配兩方面。手眼標定功能是將采集到的圖像進行標定,實現圖像坐標系、機器人坐標系和世界坐標系的統一,各坐標系的關系如圖4所示。形狀匹配目的是為了獲得工件的形心坐標,以及工件形狀對比于匹配模板形狀的旋轉角度,從而實現正確的定位搬運的目的。本實驗主要是讓學生利用HALCON軟件的標定助手進行相機標定,標定流程如圖5所示,獲得圖像尺寸和實際尺寸的標定系數,并掌握形狀匹配方法,利用HALCON的shape_based_match方法,輸入匹配模板圖像,利用find_shape_model算子獲取工件形心坐標以及工件與模板的旋轉角度。在HALCON中編程之后,導出為VB.net模塊,在VB.net中進行使用。

圖4 手眼標定各坐標系關系

(6) 機器人操作控制實驗。機器人操作控制主要是實現智能分揀搬運的目的。學生利用控制器自帶的ACE編程軟件和V+編程語言,將工件從指定坐標搬運到指定的位置,一方面為手眼標定提供數據,另一方面實現智能搬運。另外，還需要通過I/O接口控制電磁閥產生或者破壞真空，并掌握TCP/IP協議的Socket通信的知識,在ACE軟件端編程設置相關信息,如IP地址、端口號、通信速率等,以接收VB.net發送過來的工件位姿信息。圖6是機器人控制器軟件ACE編程界面。

圖5 HALCON標定助手流程

圖6 機器人控制軟件ACE軟件界面

(7) 上位機軟件開發實驗。上位機軟件開發編程實驗的目的是讓學生掌握面向對象的VB編程語言,利用VB.net進行混合編程,編程界面見圖7。實現3個功能:①利用HALCON導出的圖像處理模塊,得到工件的形心和旋轉角度的信息,需要注意HALCON的Htuple類型和VB語言的double雙精度數據類型的類型轉換;②掌握網絡通信的TCP/IP協議的Socket通信,掌握套接字的設置,如IP地址、端口號、通信速率等,將計算機和機器人控制器進行網絡通信,從而將工件的坐標信息發送給控制器,控制機器人運動;③與單片機的串口通信:主要是讓學生掌握串口通信的相關知識,利用VB.net的SerialPort控件,進行串口號選擇、波特率、校驗位等設置,和單片機進行正確通信,一方面接收傳感器的檢測信號觸發相機拍照,一方面可以在計算機軟件端控制傳送帶的啟動、停止以及速度調節。

圖7 VB.net混合編程界面

4 結語

本文設計的基于機器視覺的機器人智能分揀實驗平臺,可以開設包括光學、機械、電子、計算機控制等方面的實驗,綜合了多門學科知識,對于學生深刻掌握機器視覺和機器人控制技術,培養新工科背景的復合型人才有著十分顯著的教學效果,還可用此平臺開展有關機器人機器伺服方面的科研工作,實用性強,用途廣泛。