基于視覺引導的機器人分揀系統研究

關鍵詞：機器人；機器視覺；N點標定；深度學習

中圖法分類號：TP391 文獻標識碼：A

1引言

隨著當今世界經濟的快速發展，傳統制造業的轉型升級已迫在眉睫。《中國制造2025》要求加快發展新一代的智能制造裝備，未來制造業的發展方向必將是智能制造。工業機器人作為現代工業智能制造的典型代表，在噴涂、焊接、搬運以及裝配等多項作業中被廣泛應用。目前，工業機器人大多應用于批量的生產任務，操作人員通過示教和離線編程的方式，預先給機器人設置軌跡并進行工件的裝配。此情景下，要求工件的擺放位置固定已知，有時還需要一定的輔助限位裝置。因此，生產線缺乏靈活性和柔性。近年來，隨著機器視覺技術的快速發展與應用，加裝工業之眼后工業機器人可以更加智能、靈活地進行上下料、裝配等工作，目前的自動化生產線中，利用工業相機或智能相機等光學設備可以對目標零件進行快速識別和空間位置信息的獲取，進而引導機器人進行自主工作。這已經成為工業生產中的一大趨勢。

隨著人工智能技術的發展，機器人與計算機視覺的結合越來越緊密，視覺引導機器人完成各種任務，如裝配、上下料等，越來越受到研究人員的關注，并取得了一系列的研究進展。機器人視覺系統主要作用是利用視覺設備識別出待處理的目標并獲取其位置信息，為機器人抓取、分揀以及裝配提供信息。利用工業相機等視覺設備獲取目標圖像信息，根據特征檢測識別出目標，引導機器人動作，因而檢測識別的精度影響機器人動作的成敗。目前，國內外研究人員針對不同的目標產品檢測識別提出了大量的方法，主要分為基于傳統視覺處理方法和深度學習方法。

傳統視覺處理方法獲取目標的灰度、紋理、形狀、不變矩等特征作為依據實現目標的檢測。喬景慧等為了抓取不同型號和尺寸的電視機背板，采用模板匹配方法確定背板的型號和品質，開發了視覺伺服自適應控制系統。朱穎等針對機器人作業環境復雜、物料的隨機擺放使得目標識別與定位精度低、實時性差等問題，提出改進幾何矩的移動機器人目標識別，將Graham與旋轉卡殼相結合的算法尋找最小外接矩來獲取目標物料的準確位置。傳統的機器視覺算法具有處理簡單、速度快等優勢，但針對復雜場景，如遮擋、光照不均等情況處理效果受限。另一方面，深度網絡方法因其強大的特征處理能力，被廣泛應用于各個領域的目標識別。仲訓杲等針對智能機器人抓取、判別問題，提出多模特征深度學習與融合的方法，將測試特征分布偏離訓練特征視為一類噪化，引入帶稀疏約束的降噪自動編碼（DAE），實現網絡權值學習，并以疊層融合策略，獲取初始多模特征的深層抽象表達，該方法可以提高深度網絡的魯棒性和抓取判別精確性。趙德安等利用YOLO神經網絡實現了復雜環境下蘋果的識別。閆建偉等采用帶有殘差模塊的YOLO神經網絡對刺梨果實進行了識別。以上處理流程及方法均是根據機器人完成不同任務時設計的，當應用于復雜目標分揀任務時適用性受限。

本文設計了一種基于深度學習的智能機器人分揀系統。搭建機器人視覺系統后，利用手眼標定方法確定機器人和相機的映射關系：利用機器人視覺系統采集并增強目標數據集，利用Labellmg完成目標類別的標注，訓練獲取YOLOv5網絡模型參數：結合變換矩陣，將網絡模型檢測到的目標像素坐標信息轉換至實際物理坐標；根據目標的類別，調用DobotMagicianPython接口，控制機械臂移動至該位置進行抓取操作。利用深度網絡檢測目標信息，可以避免人工設置特征的局限性，提高系統的魯棒性，實驗驗證了本文方法的有效性。

2本文系統

機器人分揀物料除了需要獲得物料類別信息之外，還需要識別出物料的位姿信息。本系統所處理的物料為對稱目標，因而需要識別抓取的位置信息。本文設計的智能機器人分揀系統工作流程為：通過2D相機對無序放置的物料實時拍照采集圖像，在上位機中經過深度網絡處理后獲取物料類別和位置信息，發送給機器人進行智能分揀。智能機器人分揀系統主要包含硬件系統和軟件平臺兩大部分。

2.1硬件

本系統主要由機器人、大恒工業相機及鏡頭、環形光源、相機支架等組成，設備安裝情況如圖1所示。

將相機固定于相機支架上，此時相機相對于機器人是眼在手外的形式。由于目標在平臺上的位置是隨機的，因而相機拍照并檢測出位置信息后轉換為世界坐標，進而告知機器人需要移動的位置。本系統采用的機器人是Dobot Magician，其由底座、大臂、小臂、末端工具等組成。

2.2手眼標定

機器人視覺系統獲取的是目標的像素坐標，需要將像素坐標轉換為世界坐標，引導機器人進行移動。由于工件所處的平臺平面是固定的，因而本系統采用N點標定方法建立機器人和相機之間的轉換關系。N點標定的主要原理為已知N個點的圖像坐標以及對應的機械坐標，根據其獲取手眼對應的轉換矩陣，操作步驟如下。

首先，將標定板放置于相機視野之內，獲取標定板的圖像，建立特征模板并利用模板匹配獲取標定板特征點像素坐標，選取9個特征點，記錄為（x，y）；其次，移動Dobot機械臂至上述九個點，記錄此時機械手末端的笛卡爾坐標，記為（x′，y′）；最后，將兩組坐標一一對應，調用Opencv中的estimateAffine2D函數計算手眼變換矩陣。獲取變換矩陣之后，對實時檢測到的工件位置轉換至機械手坐標進行抓取。

2.3深度網絡模型

2.3.1數據集制作

利用相機采集不同背景、不同光照條件下的各類目標圖像，同時考慮增加不同視角下目標圖像數據集。利用Labellmg等標記軟件實現不同目標的標注，獲取目標處于圖像中的位置及種類信息。

采用Mosaic數據增強方法對不同目標樣本數據集進行擴充，主要手段包含信息丟棄（隨機擦除、Cutout，Hide and Seek和MixUp手段）、空間轉換（主要有隨機縮放、裁剪、翻轉、旋轉任意角度）、顏色扭曲（改變亮度、飽和度、對比度和噪聲）。

2.3.2網絡模型

本文采用的網絡模型為YOLOv5模型，網絡架構主要由Backbone，Neck和Head等部分組成。

Backbone部分主要由Focus模塊和CSP模塊組成，Focus模塊作用是對輸入圖像進行切片操作，將通道擴大了4倍后卷積得到下采樣圖，而CSP模塊可以大大增強深度網絡學習性能的同時大幅減少計算量。Neck部分包含FPN模塊和PAN模塊，通過將經典的FPN層與自下而上的特征金字塔結合，實現了高層語義特征與底層位置特征相融合，使網絡能夠提取更加豐富的特征。網絡的Head部分由三個尺度的檢測層組成，輸出結果包含目標的類別、得分以及目標框的位置信息。最終輸出的位置信息經手眼矩陣轉換后可傳輸至機器人實現移動。

3實驗

本系統使用的相機是大恒相機，因此，首先安裝大恒相機sdk的gxipy接口，建立相機和上位機的通信。

利用Python import調用Dobot機械臂動態鏈接庫DobotDll.dll.語句為import Dobot Dll Type as dType;利用dType.Set PTP Jump Params語句設置機械臂PTP運動模式參數，即設置門型運動時抬升高度和最大高度；通過dType.SetEndEffectorParams函數設置機械臂末端為吸盤；通過dType.SetPTPCmd語句設置機械臂初始位姿。采用Pytorch框架搭建YOLOv5模型，最終位置信息通過dType.SetPTPCmd語句傳輸至機器人。實驗中采用圓柱物塊表面粘貼不同目標圖片模擬待處理物料目標，分揀結果如表1所列。

由表1可知，本系統的分揀正確率都在98%以上，平均耗時1.5s。

4結束語

本文設計了基于視覺引導的機器人物料分揀系統。利用N點標定方法實現機械手和相機之間的對應轉換關系。面對復雜工業場景，尤其是光照變化、物料隨機位置，部分遮擋等情況，利用Pytorch框架構建YOLOv5模型來處理。利用相機獲取物料類別信息后，將目標位置信息轉換為物理世界坐標進行分揀。實驗驗證了本文系統的有效性。

作者簡介：

張可抒（1996—），本科，助理工程師，研究方向：電氣潮流控制分析、公共管理、建設項目投資估算.設計方案技術經濟論證和優化、建設項目財務評價和經濟評價等。