基于視覺檢測的工業機器人快速分揀控制方法

趙麗君，李冰冰*，計 妍，鄧志高

（1.河北石油職業技術大學，承德 067000；2.承德華實機電設備制造有限責任公司，承德 067000）

0 引言

工業技術飛速發展過程中，工業機器人不斷優化升級，為工件的分揀工作提供更加精準的控制技術，基于此出現了工業機器人分揀控制系統，依靠智能識別、跟蹤定位以及人機交互等技術，完成對工件的快速分揀工作[1]。但隨著儀器儀表精密程度的不斷提升，各種各樣的精密零件數量和種類都越來越多，工業機器人分揀過程中出現了許多問題，其中最典型的問題就是識別定位數據偏差較大，導致分揀過程中存在缺失工件、工件分類錯誤等問題，直接影響工業企業后續的制造生產進度。為了進一步提高工業機器人的工作效率，研究了基于遷移學習、場景特征的控制方法，但經過實際應用發現，這些方法盡管穩定性較強、分揀速度較快，但對于分揀結果的優化并不理想，針對這一問題，設計全新的工業機器人快速分揀控制方法。

1 基于視覺檢測的工業機器人快速分揀控制方法

1.1 工業機器人圖像傳感器標定

工業機器人分揀工件過程中，利用工業攝像機采集圖像，通過圖像顯示工件位置信息，實現精準抓取。為了降低視覺定位誤差，根據像素、成像單元以及待分揀工件之間的位置關系，標定圖像傳感器。已知機器人通過二維矩陣生成圖像，假設直角坐標系中像素坐標為（a，b），物理坐標為（x，y）。設置像元在感光陣列上的物理長度為Lx和Ly，則物理長度參數的關系公式為：

公式中：a0、b0表示像素初始坐標。通過上述公式得到圖像和成像坐標系存在的內在聯系。不考慮攝像機畸變，假設世界坐標系中存在隨機一點P，該點的三維坐標用P（X0，Y0，Z0）表示，映射到平面中的坐標用p（x，y）表示。設置工業攝像機的攝像焦距為f，根據式(1)獲得的矩陣為：

綜合上述兩組公式，獲得像素坐標和世界坐標之間的內在聯系，即坐標 (a，b，1)T和坐標（X0，Y0，Z0，1）之間的關系，公式為：

公式中：與式(1)一致的參數是可以改變的，這一改變由攝像機內部結構決定；Xi、Yi、Zi表示對應的拍攝坐標；S1、S2分別表示內參矩陣、外參矩陣，其中外參矩陣S2根據攝像機的位置決定；S表示攝像機投影矩陣[2]。根據工業機器人攝像機的參數，得到式(3)的值，實現工業機器人圖像傳感器標定。

1.2 基于視覺檢測識別定位分揀目標

1.2.1 目標物體點云數據處理

目標物體的視覺檢測技術，是工業機器人實現快速分揀的重要環節之一，研究以隨意擺放的無序工件為分揀目標，使用三維點云數據描述目標物體表面信息和外觀結構特征，增加物體信息的真實性。利用標定后的攝像機采集點云數據，由于該點云數據存在體量較大、分布不均以及幾何拓撲信息微弱的問題，此時的視覺檢測技術只能獲取物體表面信息。假設存在隨機數量的節點，這些節點為二維平面上隨機存在的點云數據，視覺檢測技術根據不同方向上的數據方差，將檢測區域劃分為兩個不同的部分，通過不同區域的遞歸處理得到只包含一個數據點的位置。根據該數據的節點位置Pi，建立協方差矩陣，得到：

公式中：C表示與節點位置Pi相鄰的節點總數；表示區域內識別元素的質心；表示第j個協方差矩陣的特征向量；αi表示匹配特征[3]。上述公式是對物體表面數據的反饋，但還缺少物體結構特性的描述。視覺檢測技術根據曲率計算公式，獲得目標物體的結構特征，包括坡度、角度以及彎曲程度等，該公式為：

公式中：q表示曲率；α1、α2、α3表示屬性不同的特征。視覺檢測通過上述兩個角度，實現對目標物體表面信息和結構特征的數據檢測。處理得到的云數據存在部分噪聲點或離群點，需要通過濾波處理降低數據誤差。該過程隨機抽取點云場景中存在的不共線點，根據不同點所在位置的構建平面，以其中任意一點為標準點，計算該點到平面的距離d。預設期望閾值d'，存在條件d≥d'時，說明該點位于識別區域之外，不滿足定位要求，需要重新處理點云數據，去除噪聲點和離群點；存在條件d＜d'時，說明該點在識別區域之內，滿足定位要求，利用該點遍歷整個場景中，統計局內點總數，直至在最大迭代次數中得到最優擬合結果。選擇符合最優平面的所有點，至此得到處理后的點云數據。

1.2.2 工件幾何特征提取與分類

視覺檢測技術完成上述處理工作后，以二值化的人方式處理圖像，假設圖形像素為(a,b)，其灰度值通過下列公式獲得：

式中：a、b分別表示寬度和高度。根據上述公式得到灰度值劃分結果，發現檢測圖像中只存在黑、白兩種顏色，其中黑色表示背景、白色表示工件。計算二值圖像中白色像素點的總數量，其中圖像的第i行白色像素點數量為：

公式中：i=1,2,…b'k(i)表示數量。以圖像行數為縱坐標，式(7)的計算結果為橫坐標，以圖像的左下角為坐標遠點繪制水平投影，根據投影情況估算像素點數量，按照不同數量區域進行分割。在分割后的區域上，定義單位圓x2+y2=1的復值函數，要求該函數具有正交性功能，公式為：

式中：m為正整數、n為整數，且|n|≤m；d'根據上一節已知；β表示夾角；Emn(d')表示實值徑向多項式[4]。將常用幅值作為特征向量，當圖像按照θ角度旋轉后，通過下列公式得到新的特征向量：

根據上述過程提取工件幾何特征，利用徑向基函數實現視覺檢測對工件幾何特征的分類，公式為：

公式中：xi表示特征目標；x表示預測值；σ表示方差。綜合上述兩個階段，通過點云數據處理和特征提取分類，實現對分揀目標的視覺檢測。

1.3 控制工業機器人快速分揀

根據上述設計方案，設計工業機器人分揀工件的控制程序，實現對不同工件的快速分揀。以目前常用的工業機器人型號為研究標準，設計工業機器人分揀指令：

1）循環指令LAB和跳轉指令JUMP。利用該指令控制機器人末端執行器的運動軌跡；

2）運動指令MOVJ和MOVL。前者以關節插補的形式控制機器人到達指定位置；后者以直線插補的形式控制機器人不同的分揀位姿。

3）視覺反饋位姿指令GETVISION。該指令在視覺檢測結束后，向機器人反饋當前的運動姿態。

4）等待指令DELAY。控制機器人的工作間隔。

5）IO輸出控制指令DOUT、PULSE和IO輸入控制指令WAIT[5]。輸出控制指令中，第一個指令用于控制端口輸出電平，是對末端執行器的控制；第二個指令用于控制端口輸出脈沖，是對工業攝像機的控制。輸入控制指令，控制等待超時的問題。根據上述指令編制工業機器人快速分揀流程，如圖1所示。

圖1 工業機器人快速分揀流程

根據圖1的分揀流程，控制方法要求機器人采集觸發脈沖信號，發送工業攝像機拍照信號和實時拍照，根據視覺檢測結果分揀目標物工件，根據抓取信號控制機械臂末端執行器的開關。根據攝像機的實時采集圖像，機器人機械臂運動到不同的位置，通過收到的觸發信號向攝像機發送拍照脈沖，同時保持固定的時間間隔，根據抓取信號運動到目標位置，通過控制執行器鉗爪快速抓取工件并擺放到目標位置，最后移開機械臂再次抓取其他工件，直至所有工件分揀完畢。至此通過視覺檢測技術，實現工業機器人對不同工件的快速分揀。

2 應用測試

2.1 搭建實驗環境

實驗測試依靠工業機器人、計算機兩個主要設備完成分揀，其中工業機器人用于數據獲取、計算機用于分揀控制。目前的工業機器人始終采用工件坐標系執行工作，利用該坐標系獲得工件位置信息，為了保證機器人有良好的數據通訊功能，修改計算機和機器人的IP地址為同一網段，分別為192.168.1.10和192.168.1.15。將計算機、機器人與無線網絡之間建立連接，通過人機交互界面控制工業機器人的分揀動作，圖2為控制界面和搭建的實驗測試環境。

圖2 測試準備

在操作臺上放置兩張白紙，分別作為操作區域A和操作區域B。選擇四種不同的工件作為分揀目標，并隨機散放到操作區域A當中。視覺檢測通過圖2(a)獲得分揀目標的表面信息、結構特征和位置間隔，通過設置時間間隔，控制圖2(b)中的機械臂，將目標工件由區域A分揀到區域B中，并按照同屬性分類排序。

為了證實基于視覺檢測的控制方法，能夠控制工業機器人有更好的快速分揀效果，引入2種常規的控制方法作為對照組，分別為基于遷移學習的控制方法和基于場景特征的控制方法。利用兩組常規方法和本文方法進行分揀控制，比較三組方法的應用效果。

2.2 快速分揀效果

四種不同工件分別為圓形、三角形、長方形以及正方形，為多目標快速分揀測試提供更有利的測試條件。分揀測試開始之前，操作臺上區域A中的工件擺放位置，如圖3所示。

根據上圖可以確定，四類工件以隨機的方式被散放在區域A中，分別利用三種方法將圖3中的工件快速分揀到操作區域B中，并按照類別排序，得到的結果如圖4所示。

圖3 操作區域A內的工件

比較圖3與圖4，發現本文方法將四種工件按照不同類型分揀到操作區域B中，且沒有丟失任何一種工件。兩個對照組盡管也能歸類四種工件，但此次測試中，基于遷移學習的控制方法丟失了1個長方形工件、1個正方形工件和2個圓形工件；基于場景特征的控制方法丟失了全部正方形工件。導出區域A中四種工件的實際位置坐標和三組方法識別定位到的理論位置坐標，其中缺失工件的坐標識別定位結果，如表1所示。

表1 工件位置數據表

圖4 快速分揀控制結果

對比表1顯示的工件坐標，發現本文方法的理論坐標與實際坐標之間的差異不超過0.1mm；兩個對照組方法的理論坐標與實際坐標差異極大。綜合上述測試結果可知，基于視覺檢測的控制方法，能夠獲得更加精準的工件理論坐標，所以能得到更加精準的快速分揀結果。

3 結語

此次研究綜合常規快速分揀控制方法目標工件坐標定位效果不佳的問題，利用視覺檢測優化了目標識別定位效果，實驗證實了基于視覺檢測的快速分揀控制方法，能夠幫助工業機器人快速分揀工件，并按照類別正確排序。但綜合整個設計來看，此次研究存在兩點不足：第一該方法的計算量較大，難免會出現一些計算誤差，導致工業機器人的機械臂會稍稍偏離工件中心，可能在抓取過程中出現工件掉落的情況。第二該方法只是在原有快速分揀控制的基礎上設計的，并沒有更新機器人的基本硬件。今后可以設置一套評估算法實時檢驗識別定位結果，在抓取之前補償數據，同時更新工業機器人硬件，保證分揀控制工作不受硬件影響。