視覺輔助的機械臂智能抓取實驗教學平臺開發

郝 麗， 冷春濤， 武書昆， 劉彥博

（上海交通大學學生創新中心，上海200240）

0 引 言

隨著以智能制造為主導的工業4.0 觀念普及和人工智能領域快速發展，機器人及機械臂的智能控制和研究已經成為當下的熱門領域，同時也對社會產生了深遠的影響，特別是在生活及工業生產中，機械臂智能控制的應用日益廣泛，越來越成為現代生活生產中不可或缺的工具［1-3］。隨之而來的機械臂控制相關的實驗教學，也逐步在各大高校中展開［4-6］。胡幸江等［7］通過將單片機實驗融入機械臂控制實驗中，使學生對于機械臂控制系統的整體架構及搭建有了直觀感受，并通過結合CAD 教學讓學生自行設計機械臂的機械結構，提高學生的學習興趣，注重動手能力的培養。楊楊等［8］則利用Matlab／Simulink仿真工具箱，為學生呈現了操作簡便的機械臂控制用戶界面，學生可以通過修改參數觀察機械臂運動的仿真結果，節約了教育成本的同時，加深了學生對理論算法的理解，并且安全可靠。

不可否認這些做法有利于提高學生的創新與實踐能力，但是機械臂的控制方法仍偏向傳統，例如通過手動點擊按鈕而使機械臂完成物體抓取等一系列動作，沒有結合計算機視覺等將智能自動控制方法引入機械臂教學中。楊亮等［9］將視覺伺服添加進機械臂控制系統，通過攝像頭采集目標物體圖像信息，并將位置信息轉換控制指令，控制機械臂自動完成物體抓取任務，具有成本低，控制效果好的優點，但是此結構要求學生在Linux系統下進行控制系統搭建、指令發送等一系列操作，對學生的計算機專業知識要求較高，對于一些初涉計算機和非理工科專業的學生，會對此感到難以理解和適應，難以面向全校各專業推廣。

為此，開發了基于視覺輔助的機械臂抓取目標物實驗平臺，通過機械臂和工業相機構建一套機械臂智能控制機構，能夠自動感知一定區域內的目標物所在位置，在自動定位后實現目標物的識別、抓取與搬運，并且此平臺運行于Windows系統，具有成本低，趣味性高，入門快，各專業學生接受度高的優點。通過將計算機視覺等智能控制知識融入傳統的機械臂控制課程，可以增強學生對機械臂智能控制知識和理論的理解，提高學生的動手能力和深入思考能力，激發學生的學習興趣和創造性思維。

1 機械臂智能控制系統總體設計方案

本課程主要面向全校各專業本科生，在學生動手搭建并操作機械臂智能控制系統的同時，學會基本的機械結構搭建和原理、機械臂控制知識以及計算機視覺的基礎知識等，開拓學生跨學科知識應用的思路，提高學生的動手能力與培養學生的創新思維。

平臺分為執行系統及圖像處理系統。執行系統即機械臂本體，整個機械臂一共有4 個自由度，分別由4個步進電動機控制，并配有吸盤，機械爪，畫筆等末端執行器來匹配不同的任務，在實驗平臺中，需用到一個氣泵控制吸盤，以實現物體的抓取及搬運。

圖像處理系統配置了USB工業攝像頭，用來采集目標物的圖像信息，并將圖像信息傳輸至計算機，用來進行目標定位及目標識別處理。此系統的整體架構如圖1 所示。

圖1 系統整體架構框圖

為了使實驗更具普適性，尤其是針對使用視野范圍較小的USB工業攝像頭的場景下，圖像采集不完整的問題，本課題采用遍歷搜索的方式尋找目標物硬幣。具體操作如下：在機械臂末端固定攝像頭并連接至計算機，隨著機械臂末端的蛇形遍歷搜索運動，攝像頭視野將遍歷整個工作區，計算機通過Python 調用OpenCV得到目標物中心坐標，通過坐標轉換，定位目標物的位置，控制機械臂的動作，從而完成目標物的自動抓取。

2 機械臂結構及視覺系統搭建

2.1 機械系統構建

本實驗平臺中，機械機構以Dobot機械臂為主體，該機械臂由底座、大臂、小臂、末端工具等部分組成，如圖2 所示。機械臂末端在運動過程中保持水平，可通過加裝末端夾具實現物體抓取，寫字等功能。在實際使用中，可使用LabVIEW、Python 等語言對機械臂關節進行單獨或協同控制，便于日常應用和教學。

圖2 機械臂主體結構示意圖

2.2 視覺系統設計

在實驗平臺中，視覺系統的硬件部分主要由工業攝像頭，計算機組成。攝像頭結構使用30 ×40 ×15 的工業攝像頭，分辨率為640 ×480，采用USB接口，即插即用，鏡頭可以旋轉調焦，如圖3 所示。

在安裝攝像頭時，需確定正方向，在本文中，規定數據線頭在右上角時，攝像頭所取得圖像視野的左上角視為笛卡爾坐標系的原點，向右為X 軸正方向，向下為Y軸正方向，正方向示意圖及攝像頭視野示意圖如圖4 所示。

圖3 USB工業攝像頭實物圖

圖4 攝像頭正方向與視野的確定

在安裝時需注意，攝像平面應與桌面平行，并使用膠帶將USB 線纜、氣泵橡膠管等配件沿機身固定，然后將攝像頭線纜連接到計算機的USB端口。

3 目標物識別、定位及抓取搬運過程

在視覺輔助機械臂控制系統中，準確檢測目標物位置是關鍵的一環［10］。在本實驗中的目標物識別方面，視覺模塊將圖像信息傳輸至計算機進行處理，為了易于描述及理解，使用一元硬幣作為目標物，在具體算法實現上，采用Python ＋OpenCV 框架，通過霍夫圓變換進行處理。在目標物定位方面，通過坐標變換過程，使用“逐步遍歷搜索”的方法，確定目標物的坐標位置。整體算法流程如圖5 所示。

3.1 遍歷搜索點設置

設置機械臂末端搜索點是目標物定位的關鍵步驟，若搜索點設置不合理，會出現目標物定位失敗的問題，因此，需要設置合理的搜索方式。首先測量攝像頭視野的尺寸，再根據一幀畫面的實際大小尺寸，對工作區域進行蛇形遍歷，進而設置合理的遍歷搜索“步長”與總“步數”。遍歷搜索示意圖如圖6 所示。

3.2 坐標轉換過程

在設置遍歷搜索點時，由于視覺系統檢測得到的硬幣圓心需與機械臂吸盤投影點坐標保持一致，因此，需計算攝像頭與吸盤投影點的坐標轉換關系［11］。

圖5 整體算法流程圖

圖6 遍歷工作區域示意圖

攝像頭與吸盤投影點的坐標關系圖如圖7 所示。

圖7 坐標關系圖

攝像頭坐標用x，y 表示，機械臂的坐標用X，Y 表示。易知，兩個坐標系的轉化關系，與此時機械臂的底盤旋轉角度J1有關，如圖8 所示。

設從吸盤投影點到硬幣中心的向量，在攝像頭坐標系下為（Δx，Δy），在機械臂坐標系下為（ΔX，ΔY），根據坐標關系，可以得出：

圖8 關節坐標系示意圖

根據測定，吸盤投影點在攝像頭坐標系中的像素坐標為（x0，y0），在程序中，可以通過OpenCV 得到硬幣中心的像素坐標，設為（x1，y1）。

于是，這兩點之間的向量為（x0-x1，y0-y1），由于這是以像素為單位的向量，若要轉化為實際尺寸，需要乘以一個系數。在本文中，攝像頭的分辨率是640×680，設攝像頭視野尺寸為L·W，則系數為：L／640，W／680。綜上，

因此可得：

或者寫成如下的矩陣形式：

3.3 目標識別過程

利用硬幣作為目標物，由于硬幣外觀呈圓形，因此，選擇霍夫圓變換對采集到的圖像進行處理，以檢測出圓形形狀，進而識別硬幣［12］。

霍夫圓變換是一種迄今為止較為優秀的圓檢測算子［13-14］，其教學及理解難度適中，相比于更加簡單但更易受噪聲干擾的基本邊緣檢測器，如Roberts、Prewitt等，霍夫圓變換更適合應用在本實驗的教學及實驗算法中。

霍夫圓變換識別硬幣的具體步驟為［15］：

（1）檢測圓心。①對輸入圖像進行邊緣檢測，檢測到硬幣的邊緣線；② 計算硬幣圖形的梯度，并確定圓周線，其中圓周的梯度就是它的法線；③ 在二維霍夫空間內，繪出所有圖形的梯度直線，某坐標點上累加和的值越大，說明在該點上直線相交的次數越多，也就是越有可能是圓心；④在霍夫空間的4 鄰域內進行非最大值抑制；⑤設定一個閾值，霍夫空間內累加和大于該閾值的點就對應于硬幣的圓心。

（2）檢測圓半徑。① 計算某一個硬幣的圓心到所有圓周線的距離，這些距離中就有該圓心所對應的圓的半徑的值，這些半徑值當然是相等的，并且這些圓半徑的數量要遠遠大于其他距離值相等的數量；②設定兩個閾值，定義為最大半徑和最小半徑，保留距離在這兩個半徑之間的值，閾值的取值以硬幣實際測量得到的半徑為準；③對保留下來的距離進行排序；④ 找到距離相同的那些值，并計算相同值的數量；⑤ 設定一個閾值，只有相同值的數量大于該閾值，才認為該值是該圓心對應的圓半徑；⑥ 對每一個硬幣的圓心，完成上述步驟，得到所有的硬幣半徑。

對硬幣圖像進行霍夫圓變換的過程及結果如圖9所示，圖9（a）～（d）分別為原圖像、灰度變換后圖像、圖像的灰度直方圖及變換的最終結果。

圖9 霍夫圓變換

3.4 目標抓取及搬運過程

在目標抓取及搬運過程中，需將氣泵及吸盤安裝至機械臂相應位置，當硬幣的位置信息被視覺系統識別后，機械臂收到指令開始運動至目標物上方，并使用氣泵及吸盤進行目標物的抓取及搬運。

在抓取過程中，機械臂末端使用門型軌跡的點到點的運動模式，具體形式如圖10 所示。

設A點為機械臂末端起始點，B 點為目標物所在處，當位于B處的目標物坐標信息傳輸至機械臂控制系統后，機械臂末端吸盤從起始點出發，上升至一定高度后，平移至目標物上方，然后下降至目標物所在位置，通過氣泵控制吸盤，完成目標物的抓取，當目標物抓取成功后，再以相同的門型運動方式運載目標物至預先設置好的放置點。

圖10 門型軌跡示意圖

4 實驗結果與分析

開發的基于視覺輔助的機械臂智能抓取實驗平臺支持自動抓取目標物，控制效果如圖11 所示。將硬幣置于機械臂的工作半徑之內，機械臂上方安裝USB 工業攝像頭，用于捕獲現場信息，系統能夠自動識別目標位置，并使用機械臂末端吸盤將物體搬運至指定位置。

圖11 控制效果圖

在教學實踐中，需要通過完成智能控制軟硬件系統搭建及分組進行目標物抓取實驗并分析結果，考查學生對于機械臂運動原理和智能控制過程的理解及靈活應用程度。

學生兩人1 組進行實驗，需自行完成搭建視覺及機械臂抓取控制系統的軟硬件部分，通過視覺系統識別定位目標物，并完成將目標物采用門式運動運送至指定位置并疊放的操作。在完成5 枚1 元硬幣的自動識別并搬運實驗后，將目標物由5 枚1 元硬幣換為2枚1 元硬幣與3 枚5 角硬幣的混合硬幣，和2 枚1 元硬幣與3 枚相同硬幣大小但是厚度為10 mm 的亞克力片，擺放于相同的位置，分別進行實驗并記錄成功搬運次數。在分別完成10 次實驗后，將3 組實驗的成功率進行對比分析。

10 組對比實驗后，成功次數統計結果如表1所示。

由表1 可見，在目標物的半徑尺寸大小相同、厚度均勻時，抓取搬運的成功率最高；在厚度不同，半徑尺寸大小相同時，抓取搬運的成功率次之；在有明顯目標物半徑尺寸差異的情況中，成功率最低。

在實驗中，通過圖表對比，可以使學生直觀地感受到機械臂智能控制的優越性與不足之處，進而引導學生思考并提出改進方向，對于深入學習機器智能理論知識及提高實踐能力大有好處。

表1 成功搬運次數統計表

5 結 語

桌面型機械臂具有成本低，重量輕，占地空間小的特點［16］。基于視覺的桌面型機械臂創新實驗平臺可以通過工業攝像頭采集圖像信息，通過遍歷搜索的方式定位硬幣方位，輔助機械臂完成目標物抓取等任務，具有反應時間短，穩定性高，操作簡便等特點，非常適合創新實驗教學。另外，相比于Linux 系統，對于廣大本科學生來說，在Windows 系統上的智能控制編程及操作更具有普適性，適用于大多數學生的計算機操作習慣，更易于理解與掌握，便于課程在全校各學院各專業之間順利展開。目前，該創新平臺已應用于本校機械臂智能控制等選修課程中，并已開設兩個學期，根據學生反饋，該課程及實驗平臺可以有效調動學生的學習積極性以及提高動手能力，使學生從被動的簡單實驗驗證轉變為主動學習，深入思考與探索新知識，提高了授課質量。