機器人視覺引導虛擬仿真系統設計與實現

摘 要：針對機器人視覺分揀程序調試效率和安全性問題，本文設計了一種基于RobotStudio、In-Sight Explore和C#的虛擬仿真系統。系統利用RobotStudio導入真實工作站模型，結合PC SDK和Smart組件開發了自動截圖應用程序，使機器人視角能夠快速切換和截圖；使用In-Sight Explore軟件進行視覺識別和定位。系統完整模擬了相機拍照、視覺識別定位和機器人分揀的全流程。試驗結果表明，仿真調試后的程序經過簡單設置就可以在真實機器人上運行，提高了調試效率和安全性，縮短了真實機器人的調試時間，降低了碰撞風險，對提升機器人視覺引導分揀技術的應用水平具有重要意義。

關鍵詞：機器人視覺；虛擬仿真；工業機器人；RobotStudio仿真；康耐視相機

中圖分類號：TP 241 " " " " " " 文獻標志碼：A

工業機器人是制造業在轉型升級過程中不可替代的重要裝備。ABB IRB 360工業機器人具有質量輕、體積小和速度快等優點，其廣泛應用于食品、電子和藥品等行業的物料分揀中[1]。機器人視覺引導技術為分揀機器人提供了視覺能力，極大程度地提高了機器人分揀物料的靈活性[2]。在機器人視覺引導分揀的過程中，相機自動實時計算產生機器人移動目標點的坐標，與示教編程相比，增加了機器人調試撞機的風險，因此本文針對該技術進行虛擬仿真研究[3]。在嵌入式視覺系統中，多數文獻只著重于整個流程中的單個環節，例如對機器人運行等環節進行仿真演示，很少提及相機照片采集的仿真，也缺乏對仿真程序應用于真機的運行效果的分析。因此本文根據真實機器人工作站模型[4]搭建仿真環境，結合RobotStudio和In-Sight Explore仿真軟件，利用C#設計機器人視覺引導虛擬仿真平臺，完成相機拍照、視覺識別并定位以及機器人分揀的全流程仿真。進行簡單設置后，仿真程序能夠在真實工作站中運行，提高了仿真的真實度和應用價值。

1 虛擬仿真系統總體方案

為保障在仿真系統中運行的程序能夠直接應用于真實工作站中，須保持仿真系統和真實工作站的系統工作流程和工作原理一致。

1.1 真實機器人工作站系統組成

真實機器人視覺引導分揀工作站系統組成如圖1所示。在工作站中包括3個控制器：機器人、智能相機以及PLC。機器人位于工作站中央，使用ABB IRB360-1/0.8型號Delta機器人執行分揀任務。智能相機安裝在工作區域上方，選擇康耐視8402 視覺傳感器，分辨率為1 600 ppi×1 200 ppi，其作用是拍照并識別傳送帶中藥丸的位置信息和顏色信息。PLC控制傳送帶和振動盤，實現藥丸自動上料和傳輸等功能。由于機器人直接與相機通信，PLC與機器人視覺引導無關，因此本文不介紹PLC的選型和仿真。相機程序和機器人Rapid程序之間采用TCP通信，其工作流程如圖2所示。

智能相機使用康耐視In-Sight Explore編程環境，其工作流程包括以下5個步驟。1）初始化設置。使用9點標定法，建立像素坐標與機器坐標之間的轉換關系，供后續計算機器坐標；對4種藥丸的顏色進行學習，建立顏色庫，供后續提取藥丸顏色。2）圖片采集和圖片預處理。相機建立TCP服務器，監聽相機客戶端發送的拍照指令，一旦接收到相機的拍照指令，就立即自動拍照，并對采集的圖片進行白平衡和灰度預處理。3）計算機器坐標。利用特征提取、特征匹配完成藥丸識別，并提取藥丸的像素坐標，再采用9點標定法得到的坐標轉換矩陣將像素坐標轉換為機器人的機器坐標。4）提取藥丸顏色信息。將圖片中識別的藥丸顏色與顏色學習中建立的顏色庫進行比較，提取藥丸顏色信息。5）TCP數據傳輸。利用TCP通信以字符串的形式將得到的藥丸的機器坐標和顏色坐標傳輸給機器人。

工業機器人的Rapid程序的工作流程包括以下4個步驟。1）與相機進行通信。建立Socket客戶端，發送拍照指令給相機服務器，觸發相機拍照，接收從相機端傳來的字符串數據。2）數據提取。從接收的字符串中提取坐標信息和顏色信息，并存儲到機器人的程序變量中。3）機器人抓取藥丸。機器人根據提取的藥丸坐標信息完成抓取藥丸動作。4）機器人放置藥丸。機器人根據提取的顏色信息將藥丸放置在對應顏色的輸出傳送帶上。

1.2 虛擬仿真平臺總體設計

根據真實工作站的結構，整個仿真平臺由RobotStudio軟件，In-Sight Explorer軟件以及C#應用程序組成。其中ABB機器人的離線編程軟件RobotStudio具有仿真功能，能夠搭建機器人工作站模型，并對機器人Rapid 程序進行虛擬仿真，軟件中的Smart組件可以完成工具吸盤的拾取和放置[5]、藥丸的隨機擺放以及視圖角度切換等動作的仿真。康耐視In-Sight Explorer軟件是配置和調試智能相機的工具，具有仿真功能，可以讀取離線圖片，進行視覺調試和仿真。需要實現物料自動生成、吸盤動態抓取以及自動對圖片進行采集和預處理等功能，來完成RobotStudio與In-Sight Explorer軟件的協調控制。為了解決上述問題，采用C#應用程序連接RobotStudio和In-Sight軟件，對機器人、相機和應用程序之間的數據進行傳輸和協調，完成全流程的視覺引導虛擬仿真。

視覺引導虛擬調試平臺總體架構如圖3所示，虛擬仿真平臺工作流程如下。1）自動生成隨機擺放的藥丸。利用RobotStudio中的Smart組件模擬在實際生產過程中藥丸的隨機分布，在輸入傳送帶相機視角自動生成隨機擺放的藥丸。2）視角切換與截圖。利用RobotStudio中的Smart組件自動切換工作站模型視角。當需要模擬相機拍照時，C#應用程序調用PC SDK提供的API，控制RobotStudio中的Smart組件，使其將視角切換到指定的俯視截圖角度。3）自動截圖與圖片處理。當RobotStudio完成視角切換后，C#應用程序自動對屏幕指定區域進行截圖。對截圖得到的圖像進行處理，轉換為與康耐視8402相機1 600 ppi×1 200 ppi分辨率一致的彩色圖像，并存儲于計算機的指定路徑中，以供In-Sight Explorer軟件讀取。4）視覺處理與數據傳輸。In-Sight Explorer 軟件讀取存儲的截圖，采用相機配置的視覺算法對藥丸進行識別，提取藥丸的位置坐標和顏色信息。利用TCP/IP通信將提取的信息以字符串的形式發送至RobotStudio中的虛擬控制器。5） 機器人接收數據并執行動作。RobotStudio中的Rapid程序接收來自相機的數據，解析字符串，提取藥丸的位置信息和顏色信息。機器人根據接收的坐標信息在輸入傳送帶拾取對應的藥丸，再根據顏色信息將藥丸放置在對應的輸出傳送帶上，使RobotStudio的Smart組件設計的藥丸拾取放置動態效果更好。

2 RobotStudio系統軟件設計

在虛擬仿真平臺中RobotStudio系統軟件設計的任務主要是搭建機器人虛擬控制器和工作站仿真模型以及設計Smart組件。

2.1 工作站仿真模型搭建

在RobotStudio中搭建工作站仿真模型，具體步驟如下。1） 導入機器人模型。選擇 ABB IRB360-1/0.8型號的Delta機器人，在RobotStudio中導入其3D模型。2）創建虛擬控制器。使用RobotStudio“添加站和機器人”功能創建虛擬控制器。在創建過程中，需要勾選“709-1 DeviceNet Master/Slave”和“616-1 PC Interface”選項，以支持與相機進行 TCP/IP 通信。3）添加外圍設備。將傳送帶、振動盤和藥丸等模型導入工作站。

2.2 Smart組件設計

為實現機器人藥丸隨機擺放、吸盤拾取放置以及視角的自動切換等功能，需要設計和配置Smart組件。

2.2.1 藥丸隨機擺放組件

為了模擬在實際生產過程中藥丸的隨機分布，本文設計SC_RandomPills的Smart組件，具體技術細節如下。1）生成隨機位置。調用Random控件分別在相機視野范圍內隨機生成藥丸的X、Y坐標。2）產生藥丸物料源。使用Source控件產生1個藥丸的拷貝。藥丸的位置屬性Position來源于生成的隨機位置X、Y坐標。Source控件采用事件觸發機制，機器人每完成一次搬運就觸發一次Source控件，生成一次藥丸。

2.2.2 吸盤拾取放置組件

為了模擬機器人的吸盤抓取和放置動作，設計了SC_VacuumGripper的Smart組件，具體技術細節如下。1）檢測藥丸。在吸盤中添加1個線傳感器控件LineSensor，來感知藥丸是否與吸盤接觸。2） 拾取和放置動作。利用控件Attacher和Detacher完成拾取動作和釋放動作，并將該控件的觸發信號與機器人Rapid程序中的真空開啟輸出信號do_Grip關聯。當do_Grip接通時，如果線傳感器中感知有藥丸，那么調用Attacher，將藥丸附著在吸盤上，隨吸盤一起移動；當do_Grip斷開時，如果線傳感器中感知有藥丸，那么調用Detacher，解除藥丸與吸盤的附著關系，藥丸停留在原地，不隨吸盤移動。

2.2.3 視角切換組件

設置視角切換的邏輯，在接收到C#應用程序的觸發信號后，自動將工作站由運行視角（如圖4（b）所示）切換至預設的俯視截圖角度（如圖4（a）所示）。Smart組件SC_ScreenShot技術細節如下。1）創建2個視角，分別為“視角_截圖”和“視角_運行”。2）視角切換。監聽來自C#程序的布爾型信號diMoveView1，當信號為True時，調用MoveToViewpoint組件切換到“視角_截圖”，以保證截圖的統一性。視角切換完成后，發送布爾型信號do_View1Done至C#程序，通知C#可以進行截圖。當監聽到來自C#程序的diMoveView1由1變為0時，說明C#已完成截圖，調用MoveToViewpoint組件切換至“視角_運行”。

3 C#程序設計

利用C#應用程序連接機器人仿真軟件RobotStudio軟件和相機仿真軟件In-Sight，利用ABB機器人提供的PC SDK控制RobotStudio進行視角轉換，使C#應用程序實現自動截圖以及圖片處理等功能，以供In-Sight軟件讀取。

使用C#編程語言建立與RobotStudio中虛擬控制器的連接，需要在ABB官網下載并安裝對應的PC SDK安裝包[6]，在Visual Studio解決方案中添加引用ABB.Robotics.Controllers.PC.dll。

C#應用程序流程如圖5所示，C#應用程序使用ABB.Robotics.Controllers類庫指令掃描并登錄ABB機器人系統，獲得機器人虛擬控制器的控制權。讀取與前述機器人Smart組件相關的機器人I/O信號，控制機器人I/O信號do_View1Done啟動Smart組件轉換為截圖視角。檢測到機器人完成截圖視角轉換后使用System.Drawing類庫指令在指定屏幕區域內自動截圖，將獲得的圖片進行處理，分辨率轉換為與真實康耐視8402相機規格一致的1 600 ppi×1 200 ppi，再將圖片存儲至指定目錄中，該目錄須與In-Sight Explorer軟件讀取離線圖像設定的目錄一致。將相關機器人信號do_MoveView1清零，使機器人回到正常運行視角，釋放機器人虛擬控制器的控制權，結束程序。

4 系統虛擬仿真測試

4.1 系統仿真運行

在開發好的RobotStudio工作站中導入機器人Rapid程序，在In-Sight Explore軟件中打開相機程序，設置讀取離線圖片的路徑，啟動C#應用程序，進行In-Sight Explore軟件聯機，啟動RobotStudio的仿真播放，完成隨機藥丸的機器人搬運仿真動作。

4.2 真機測試效果

將仿真調試好的機器人Rapid程序和相機程序部署至真實的機器人和相機上，須進行以下設置。1）IP地址配置。將機器人和相機的IP地址設置為實際網絡中的地址，保證雙方可以通信。2）坐標校準。對相機與真實機器人進行手眼標定，校正坐標系之間的關系。3）示教點調整。仿真模型與實際設備可能存在偏差，因此需要在機器人中重新示教關鍵點的坐標。4）顏色參數調整。在相機程序中，根據實際藥丸的顏色對顏色識別參數進行調整。測試結果表明，機器人能夠準確識別并分揀不同顏色的藥丸，驗證了系統的有效性。

5 結語

本文詳細介紹了基于RobotStudio仿真軟件進行機器人視覺引導系統的設計。利用開發定制的Smart組件（例如藥丸隨機擺放、吸盤拾取放置和視角切換）使仿真模型功能更強。利用PC SDK和C#語言開發了自動截圖和數據處理應用程序，完成了與仿真環境的交互。經過實際部署和測試，驗證了系統的有效性。該系統提高了程序開發和調試的效率，縮短了使用真實機器人調試的時間，降低了風險，對工業機器人系統的開發具有重要的參考價值。

參考文獻

[1]葉暉，管小清.工業機器人實操與應用技巧[M].北京：機械工業出版社，2021.

[2]王成軍，韋志文，嚴晨.基于機器視覺技術的分揀機器人研究綜述[J].科學技術與工程，2022，22（3）：893-902.

[3]李哲，張小剛，王耀南，等.機器人視覺引導運動控制虛擬仿真平臺設計[J].計算機仿真，2023，40（7）：436-439.

[4]陳芳.基于視覺和輸送鏈跟蹤的機器人分揀系統設計[J].深圳職業技術學院學報，2023，22（4）：95-102.

[5]郝瑞林，周利杰，蔡國慶，等.基于機器視覺與RobotStudio

的餅干包裝生產線仿真[J].包裝與食品機械，2022，40（1）：64-69.

[6]陳瞭，肖步崧，肖輝．ABB工業機器人二次開發與應用[M].北京：電子工業出版社，2021．

第一作者：陳芳（1977－），女，漢族，湖南省桃源縣人，深圳職業技術大學機電工程學院副教授，主要研究方向為機電一體化、電氣自動化技術等。

電子郵箱：chenfangsz@szpu.edu.cn。

通信作者：付強（1986－），男，漢族，陜西省略陽縣人，深圳職業技術大學機電工程學院講師，主要研究方向為虛擬儀器測控技術、電氣自動化技術等。

電子郵箱：fuqiang@szpu.edu.cn。