基于Python 工業機器人視覺檢測與抓取研究

向艷芳，潘躍亮，劉 苗*

（1 湖南工業職業技術學院，410208，湖南長沙；2 復雜薄壁精密零件智能柔性加工技術湖南省工程研究中心，410208，湖南長沙）

隨著國家智能制造政策出臺，作為智能制造關鍵設備的工業機器人高速發展，在眾多場合中應用起來。利用視覺識別技術實現機器人動態目標檢測與智能抓取，一方面提高機器人環境感知能力，另一方面也為技術更新升級、新產品研發生產提供動力[1-3]。

Python 作為開源系統，可供用戶自由開發，源代碼閱讀共享，利于交流學習。其結構簡單，容易上手，在數據處理、自動化技術、人工智能、機器視覺等領域得到廣泛應用。使用Python 軟件開發包中的灰度算法、高斯濾波算法、Canny 邊緣檢測算法，實現圖像的預處理；利用最小二乘算法，計算工件的中心點，通過數據分析建立坐標轉換矩陣，確定機器人抓取點位與圖像中心點位坐標關系，為開發和應用工業機器人視覺目標檢測技術提供參考[4]。

1 研究問題

用于執行任務的機器人是華中數控公司生產的6自由度關節HsRobot605 機器人，使用海克斯康MVCA060-10GC/HIKVISION 攝像頭來進行樣圖采集，使用FQGH2-200X150-W 視覺光源增強光照效果。采用圓形柱狀物料作為抓取對象，物料經傳送帶運至視覺鏡頭下方，傳輸位置具有隨機性。

在Python 環境下使用OpenCV 工作空間，可視化機器人圖像檢測和識別目標位置過程。系統工作過程主要包括基于Python 實現圖像處理、物料邊緣檢測、物體中心點計算、抓取坐標確定，然后通過機器人示教編程完成隨機傳送物料的動態抓取。

2 研究內容

2.1 圖像預處理

2.1.1 灰度算法 采用色彩空間轉換方法，將色彩鮮艷物料與單一背景區別開。同時，原始圖像由RGB 三個通道數據反映每個像素點的狀態信息，增加運算時長。而灰度圖像的每個像素點僅由一個通道數值決定，足夠表達圖像的大部分特征。

利用Python 自帶OpenCV 庫函數CvtColor 實現圖像灰度化，原圖如圖1（a）所示，灰度化處理后如圖1（b）所示。CvtColor 是OpenCV 里的顏色空間轉換函數，實現RGB 顏色空間向HSV、HSI 等顏色空間的轉換，也可以將彩色圖像轉換為灰度圖像。該函數本質上快速地使用RGB 三通道像素值加權求和，將導入的彩色圖片轉化為灰色圖片。

圖1 圖像預處理

式中：gray 為灰度化后的圖像名稱，COLOR_BGR2GRAY 表示將image 圖像進行灰度化處理。

2.1.2 高斯濾波算法 采集到的數字圖像存在干擾噪聲，影響后續圖像處理。本次采用高斯濾波算法抑制圖像噪聲，為圖像邊緣檢測作準備。利用Python 高斯模糊函數GaussianBlur 去噪，通過對鄰域內不同位置像素賦予不同權值方式，最大限度保留圖像的總體灰度分布特征，實現圖像平滑處理，如圖1（c）所示。

式中：src 為輸入圖像，即源圖像；dst 即目標圖像，需要和源圖片有一樣的尺寸和類型；ksize 為高斯內核的大小；sigmaX 表示高斯核函數在x 方向的標準偏差；sigmaY 表示高斯核函數在y 方向的標準偏差。

式中：gray 為灰度處理后圖像；（5，5）表示卷積矩陣為5*5；1.5 表示x 方向和y 方向標準差均為1.5。

2.1.3 邊緣檢測算法 邊緣檢測的目的是將數字圖像中亮度變化明顯的點標識出來，如深度上的不連續點、顏色變化明顯點、物質屬性變化點和場景照明變化點等[5]。

邊緣檢測任務中，選用Canny 算子進行邊緣檢測。當設置不同的閾值時，使用Canny 算子處理后產生一定的結果偏差。閾值的設置會對結果產生影響，對比效果如圖2 所示。

圖2 邊緣檢測效果對比

2.2 圖像中心點確定

本次選用最小二乘法求解確定圓形物料圓心和半徑，中心點確定問題轉換為邊緣點到圓心（A，B）距離與半徑R 差值最小化問題。

最小二乘法擬合圓曲線：R2=（x-A）2+（y-B）2，也即x2+y2+ax+by+c=0。

樣本集（xi，yi）點到圓心距離平方與半徑平方差為：

根據最小二乘法原理，構建Q（a，b，c）=∑δi2，求參數a，b，c 使得Q（a，b，c）的值最小。利用偏導數等于0，得到極值點。

解得a，b，c 值即可得A，B，R 的估計擬合值。

在Python 編程中，使用matrix 函數構建矩陣、inv對矩陣求逆、pow 開方等數學運算，確定圓心坐標A 和B 及半徑R，處理效果如圖3 所示。

圖3 確定圓心坐標

2.3 機器人抓取

2.3.1 圖像坐標系與相機坐標系 定義圖像平面坐標系（u，v），以像素為單位。相機坐標系以攝像機光心為原點，其所在平面坐標系（x，y）；z 軸為攝像機光軸，與圖像平面垂直，用f 表示[6]。圖像坐標系與相機坐標系關系表示為：

式中：s 為常數；dx 和dy 為像素在x 軸和y 軸方向上的物理尺寸；M1為參數矩陣。2.3.2 相機坐標系與機器人基坐標系 機器人基坐標系是以大地為參考的直角坐標系，常為機器人的默認坐標系。工具坐標系用來定義工具中心點位置和工具姿態坐標系[7]。兩坐標系關系如下：

式中：x1、y1、z1為工具坐標系下坐標值；xb、yb、zb為機器人基坐標系下坐標值；M2為機器人基坐標系與相機坐標系的變換矩陣。

機器人坐標與相機坐標關系如下：

式中：M3為相機坐標系與工具坐標系的變換矩陣。

2.3.3 圖像坐標系與機器人基坐標系 由公式1 和公式3 可得

其中：M 為圖像坐標系與機器人基坐標系之間的轉換矩陣。

2.3.4 坐標轉換矩陣算法 從圖像坐標系到機器人基坐標系轉換矩陣M，通常包括平移矩陣關系（5）、縮放矩陣關系（6）和旋轉矩陣關系（7）[8]。

利用Python 中Solve 函數求解M 矩陣。本次隨機選用標定的3 組數值建立視覺圖像和機器人基坐標系的矩陣關系。

經計算與驗證可得轉換矩陣：

3 結果驗證與結論

結合M 矩陣數據和擬合圖像圓心數據，（u，v）=（1586.1971，995.3053），根據（8）式代入可得機器人抓取坐標（xb，yb）=（239.7052，-491.7815），該數據通過ModBus 協議發送至機器人笛卡兒坐標LR 寄存器。機器人獲取機器人基坐標系抓取點位數值，通過示教器示教與編程，實現機器人動態智能抓取物料。經3 組隨機樣本測試，計算結果偏差在0.5 mm 以內，機器人視覺識別和動態抓取準確性很高。

本文利用Python 環境，實現機器人視覺圖像識別，方便物料位置快速定位，通過HsRobot 機器人完成對象精準抓取。可視化再現了機器人視覺檢測與抓取的過程，能夠快速跟蹤視覺失敗問題及其原因，為機器視覺應用方案提供一種參考。盡管該算法能夠正確識別和抓取形狀簡單對象，但對于復雜形狀工件檢測與識別還在進一步研究中，接下來研究工作主要包括檢測算法優化及基于此的柔性控制方案的設計，最終實現對復雜對象的快速、精準識別與抓取。