基于機器視覺的三軸機械臂分揀裝置設計

姜超群，張愛華，趙佳冉，婁成龍，李建軍

（中原工學院 電子信息學院，河南 鄭州 450007）

0 引 言

《中國制造2025》規劃指出加快新一代信息技術與制造業的深度融合，實現制造業由大變強的歷史跨越[1]。機器視覺是完成該規劃的一項重要技術之一，機器視覺綜合數字視頻、圖像處理、傳感器、自動控制等技術，現已成功運用在部分工業領域[2-3]、農業領域[4-5]、日常生活領域[6]。

雖然機器視覺得到了廣泛的應用，但目前市面上主流的視覺分揀平臺一般面向具體行業應用。唐媛紅、劉月云將機器視覺技術應用到采摘機器人的分揀作業中[7]。王鵬、曹現剛等人設計了一種基于機器視覺的多機械臂煤矸石分揀機器人系統[8]。此類平臺操作復雜，移植難度較大，不適用于基礎人群學習和使用。宋東亞、淮妮等人分別采用DSP作為運動控制平臺設計機械臂[9-10]，成本較高，普通的設計愛好者難以承擔。針對目前存在的這些問題，本文設計了一款低成本、易移植、易操作的三軸機械臂分揀裝置。

1 物體識別分揀方案

系統分為傳動模塊、運動控制模塊、視覺處理模塊、吸取模塊。系統結構以及模塊之間的關聯如圖1所示。其中，PC機作為本系統的數據處理單元進行數據處理與任務發布，傳動模塊控制物體的運動速度，圖像采集模塊負責采集物體信息，運動控制模塊負責機械臂的運動與控制，抓取模塊負責物體的抓放。

圖1 基于視覺的三軸機械臂分揀裝置系統框圖

本裝置采用.Net Framework平臺進行軟件系統的開發，編程語言為C#語言。工作流程：系統開始運行后進入待機狀態，當光電傳感器檢測到有物體經過時，PC讀取此刻攝像頭采集的圖像數據及物體的傳動速度，通過灰度重心法計算出物體的中心坐標，通過傳動速度推斷中心點的運動軌跡。PC機通過以太網通信將物體坐標信息發送給運動控制模塊，同時，通過USART通信模塊將位置信息發送至抓取模塊。最后實現物體的分揀。軟件流程如圖2所示。

圖2 基于視覺的三軸機械臂分揀裝置軟件流程

2 系統模塊設計

2.1 傳動模塊設計

傳動模塊選用鋁型材作為支架，采用兩相四線式86步進電機作為動力源。采用STM32F407ZET6作為傳動模塊控制核心，輔以外部電路，通過配置該芯片的寄存器，使能定時器輸出PWM波作為驅動源，控制步進電機的傳動速度。上位機通過USART串口通信向STM32發送包含運行速度和運動方向的指令，實現對傳送裝置運動速度和運動方向的調節，同時，上位機可以實時獲取傳送帶的速度信息和方向信息。傳動模塊操作窗口如圖3所示。

圖3 傳動模塊操作窗口

2.2 抓取模塊設計

本文采用成本較低的氣泵加吸盤的組合方式設計抓取模塊。其運行原理：使用小型氣泵作為吸氣源，其吸氣口與三通電子閥門相接。抓取模塊包括STM控制板、PWM數字開關、三通電子閥門、氣泵和吸盤。三通電子閥門和氣泵分別連接PWM數字開關，并由STM32控制板控制，通過上位機控制定時器產生的PWM頻率精確實現對物體的吸放操作。小型氣泵作為吸氣源，其吸氣口與三通電子閥門相接，當三通電子閥門打開時，2、3口相通，吸盤與氣泵連通，進行物體吸取；當三通電子閥門關閉時，1、3口相通，吸盤進行物體放置。抓取模塊設計簡圖如圖4所示。

圖4 抓取模塊設計簡圖

2.3 圖像模塊設計

系統中的圖像處理模塊利用單目攝像頭作為圖像采集端，采用歐姆龍光電傳感器作為圖像采集開關。在無物體通過時，系統處于休眠狀態；有物體通過時，光電傳感器返回一個低電壓信號，控制板收到信號后傳遞給PC端，PC控制攝像頭進行圖像采集并進行圖像數據處理。

（1）手眼標定

本系統共有攝像頭所處的相機坐標系、相機成像后的圖像坐標系、相機采集數據的像素坐標系、本裝置所在的世界坐標系、抓取部分的機械臂坐標系。由于攝像頭采集的數據單位為像素，與現實世界的單位不同，故需要執行像素坐標系與機械臂坐標系的轉換，即手眼標定。

如圖5所示，空間中某點在世界坐標系下的坐標表示為(xw, yw, zw)、在相機坐標系下的表示為(xc, yc, zc)。考慮相機畸變模型，通過相機坐標系、圖像坐標系和像素坐標系的轉換，得到像素坐標系和世界坐標系的對應關系式：

圖5 坐標系示意圖

式中：s表示比例因子；u、v為圖像坐標系X軸、Y軸坐標值；(cx, cy)為基準坐標；fx和fy是單位為pixel的相機焦距；R為相機的旋轉矩陣；T為偏移向量矩陣。

機械臂坐標系和世界坐標系之間的關系為：

式中，Δxw，Δyw，Δzw分別為機械臂x、y、z軸原點與世界坐標系原點的距離差。

綜合式（1）和式（2），即可完成手眼標定工作，為后續系統運行提供條件，手眼坐標系關系可表示為：

（2）基于EmguCV的物體質心坐標識別

本系統的圖像處理利用計算機視覺庫EmguCV實現。將攝像頭采集的物體圖像轉換為RGB格式，并顯示在上位機圖像框中，光電傳感器檢測到物體時，將RGB圖像轉換成8位灰度圖像，然后使用自適應閾值QTSU算法對轉換后的灰度圖進行自適應二值化處理，清除圖像中的無用信息。提取物體形狀的輪廓并將篩選過后的數據進行存儲，利用輪廓多邊形逼近函數ApproxPolyDp進行擬合，并判斷物體形狀。最后采用灰度重心法計算物體的重心，確定位置坐標。圖像檢測示意圖如圖6所示。

圖6 圖像檢測示意圖

2.4 運動控制模塊設計

運動控制模塊包括運動控制機構、三軸執行機構。運動控制機構采用STM32F107VCT6和XILINX XC6SLX9作為核心芯片，STM32通過以太網物理層收發器與上位機進行以太網通信，FPGA作為STM32的外圍設備，通過8位地址線進行獨立的片外空間尋址，實現對機械臂三個軸的分別控制。

如圖7所示，FPGA運動控制模塊主要包括脈沖產生電路、24位邏輯計數器、定位控制電路。脈沖產生電路負責輸出脈沖OUTx和脈沖方向DIRx；24位邏輯位置計數器通過對輸出脈沖的計數為定位控制電路提供定位依據；定位控制電路接入外部原點輸入端口ORG，運動軸極限位置輸入端口+EL、-EL，當外部輸入EL信號時，定位控制電路直接阻止脈沖產生電路產生脈沖。經過測試，此設計脈沖產生穩定準確。

圖7 運動控制機構框圖

由于外部輸入信號電壓不定，I/O接口電路加入光電耦合開關進行系統保護。同時，為了系統設計輕量化，本裝置采用軟件回原點，將OUT0～OUT3分別作為3個運動軸的ORG端口輸入，當定位控制電路收到上位機回原點命令的同時，OUT端口輸出上升沿，對應邏輯位置計數器清零，即該軸當前位置設置為原點。

執行機構由三組絲桿、滑軌滑塊、梅花聯軸器、57步進電機組成，采用DM542驅動器作為電機驅動源。執行機構示意圖如圖8所示。

圖8 運動控制模塊執行機構示意圖

3 系統測試與分析

本裝置上位機主要分為2個窗口，分別是手動模式窗口和自動模式窗口。點擊“手動模式”按鈕進入手動控制操作窗口，此窗口可以通過鼠標或鍵盤手動控制機械臂的3個軸運動。點擊“自動模式”按鈕進入自動控制操作窗口，此窗口可自動進行物體的識別和分揀。系統上位機窗口如圖9所示。三軸機械臂抓取裝置說明示意圖如圖10所示。

圖9 系統上位機窗口

圖10 三軸機械臂抓取裝置說明示意圖

在自動模式下測試本裝置物體識別率與系統響應速度，測試物體包括：橙色方形積木、黃色四邊形積木、粉色圓形積木、綠色橢圓形積木、黃色三角形積木。在室內正常光照強度下，本裝置在20 mm/s和30 mm/s的速度下分別做30次抓取實驗。測試物體如圖11所示。傳動裝置速度為20 mm/s時抓取成功率見表1所列，傳動裝置速度為30 mm/s時抓取成功率見表2所列。

表1 抓取成功率（速度：20 mm/s）

表2 抓取成功率（速度：30 mm/s）

圖11 測試物體

系統運行上位機窗口如圖12所示，系統運行實物如圖13所示。

圖12 系統運行上位機窗口

圖13 系統運行實物

通過測試可證明，在傳動裝置運動速度為20 mm/s與30 mm/s的情況下測試結果相差不大，除黃色三角形積木外，其余形狀均達到93%以上的抓取結果。其主要原因為：測試物體體積較小，且圖像采集攝像頭不能均在物體正上方采集，導致判斷物體質心不準確。此現象在三角形物體上表現最為突出，三角形物體抓取示意圖如圖14所示。

圖14 三角形物體抓取示意圖

4 結 語

本裝置基于機器視覺技術進行開發與實現，系統采用模塊化設計，包括傳動模塊、運動控制模塊、視覺處理模塊以及抓取模塊。對樣機分別在20 mm/s、30 mm/s的運動速度下對不同形狀和顏色的物體進行了測試，整體識別抓取結果符合預期。但由于絲桿螺距較大、氣泵吸盤口較大、待分揀物體較小，導致部分物體會出現漏抓現象，三角形物體尤其明顯，后續考慮精細化裝置。該裝置可以作為機器人等相關專業學生的實驗設備，成本低，運行穩定，能為學生提供比較高的學習創作自由度。