機器人及視覺理實一體化教學模式研究★

廖志青， 段海峰， 盧健能

（廣州城市理工學院機械工程學院， 廣東 廣州 510800）

0 引言

各種工業機器人的應用對于助推我國制造業轉型升級，提高產業核心競爭力功不可沒。機器人應用已經進入了高鐵速度階段，尤其是柔性制造系統，視覺技術和智能工廠的快速發展，使得作為工作基礎的工業機器人相關專業的人才培養大大落后于市場的發展及需求，而高校現有的智能制造課程卻集中在如何進行結構設計、工藝分析，使得裝備的設計更為合理；完整的機器人應用培養卻變成了一個容易被忽視的部分，作為機器人智能化體現之一的視覺技術更是無法被學習[1-2]。

理實一體化教學是在一定的理論指導下，引導學生通過以實踐應用為載體，鞏固理論知識、形成技能、提高綜合素質的教學過程。智能制造課程學習應該以工業機器人為核心，按照智能制造工程領域閉環的流程進行教學，并配合以機器人應用及視覺技術等先進技術，才能使學生真正意義上的理解工業機器人技術在行業中的具體應用場景及應用方法。

1 機器人及視覺理實一體化課程實驗裝置概述

機器人及視覺理實一體化課程中所用實驗裝置包括一臺桌面機器人（Dobot Magician）、兩種氣動夾具以及相應的視覺裝置，具體由機器人、光源、視覺相機、氣泵、夾具和支撐部件組成，如圖1 所示。

圖1 機器人及視覺理實一體化課程實驗裝置

按照安裝要求安裝好各部件并經過適當的接線、調試以后，該實驗裝置便可以使用；配以機器人控制軟件DobotStudio 便可以實現Dobot Magician 機器人的動作設計、示教再現、寫字畫畫、激光雕刻、3D 打印等功能；采用視覺數據采集軟件MVS 采集視覺數據；采用視覺分析處理軟件DobotVisionStudio，便可以根據多種應用場景快速組合算法，設計機器人動作路徑和視覺應用方案，實現對工件或被測物的查找、測量、缺陷檢測等功能的應用。

2 機器人及視覺理實一體化課程知識圖譜及內容安排

根據機器人及視覺理實一體化課程需要，設計教學大綱、教學日歷和課件，提煉課程知識圖譜如圖2所示，課程內容包括機器人控制學習、視覺信息采集、視覺方案知識點學習以及機器人視覺應用案例4 個部分。包含了如何從機器人視覺設備采集視覺信息，如何對采集到的視覺信息進行查找、測量、分析以及根據分析結果設計工程應用的視覺方案，最后利用硬件機器人進行視覺方案的運行和驗證[3-4]。

圖2 機器人及視覺理實一體化課程知識圖譜

該課程設計為32 個學時，包括8 個學時的機器人理論學習及實操學習，18 個學時的視覺軟件及知識點的學習和6 個學時的視覺案例的實踐；圖2 中的數字表示了每個知識點的課時數，包含理論和實踐兩類內容，完成機器人及視覺理實一體化的課程模式；課程目的為學生可以設計簡單的工程應用視覺方案。

3 機器人坐標學習及示教編程簡析

Dobot Magician 機器人是一款桌面級智能機器人，由底座、大臂、小臂、末端工具等組成；底座上有電源開關及狀態指示燈，用以顯示機器人的狀態，如圖3 所示；該機器人的動作由4 個旋轉軸驅動，分別為J1、J2、J3、J4關節點，在這4 個關節點將形成機器人關節坐標系，從而驅動Dobot Magician 機器人按要求在其工作空間內移動；設置坐標原點（基坐標系）及末端坐標點（工具坐標系），后面的示教再現將采用基坐標系進行編程。

圖3 Dobot Magician 機器人坐標分析

DobotStudio 示教編程有兩種取點方式，一種是直接將機器人末端移到指定位置存點（需要按住機器人小臂上的專用示教按鈕）；另一種方式是在機器人控制軟件機器人動作控制區域位置，學生通過點擊區域內的X、Y、Z、R 的坐標位置和J1、J2、J3、J4的關節點旋轉將機器人末端位置移動到的指定位置點，然后在位置點進行存點；如果某一個位置的末端工具（實驗里只有手爪、吸盤）發生動作，可設定動作模式，完成后可以進行下一次存點；每存一次點，便會形成一行機器人動作程序，當所有動作完成后保存；啟動程序，機器人便會按照之前的示教動作進行工作，示教完成后還可以對程序進行進一步的修改，比如調整機器人速度、加速度、暫停時間等[5-6]。

4 機器人視覺知識點學習及視覺案例分析

機器人視覺應用主要包括定位測量、缺陷檢測、特征識別、組合視覺以及其他視覺需求。視覺分析及控制機器人軟件Dobot Vision Studio 主界面設定了視覺工作區、視覺方案流程圖區域、圖像顯示區和結果顯示區。視覺工作區包含了視覺方案設計的各種視覺工具，包括采集、定位、測量、識別、標定、圖像處理、顏色處理、缺陷檢測、邏輯工具和通信等工具[7]；視覺方案流程圖區域為針對工程應用設計的視覺方案的邏輯流程圖，包含了整套視覺應用的主體內容；流程圖中每一個元素單位都代表了視覺方案中的一個視覺邏輯細節，都需要根據應用需求進行特定的參數設置；圖像顯示區為針對采集到的視覺圖像以及圖像模板進行處理的顯示區，而結果顯示區則是根據視覺處理后的結果進行顯示[8]。

4.1 視覺方案知識點學習

不同的視覺工程方案需要選擇相應的視覺工具和算法模塊組合使用，每一個視覺方案都是由若干個視覺工具按照視覺邏輯算法組合而成；針對不同應用場景設計視覺方案，需要熟悉各種視覺工具和算法模塊；如圖4 所示，一套完整的視覺工程方案往往包括視覺采集、視覺分析、圖像處理、邏輯運算、通信和機器人工具六個模塊，有些簡單的視覺方案可能會缺少某些不需要的模塊。

圖4 工程視覺應用視覺工具和算法模塊組合流程

4.2 視覺案例分析

下面以字符缺陷視覺檢測案例進行教學范例，目的是檢測字符是否存在差異、缺陷，并找出有缺陷的字符，利用機器人將其搬運分類；樣本字符如圖5-1所示，其中某一個“Detection”中的字母C 上設定了缺陷標志。

圖5 字符檢測樣本及字符視覺訓練模板

需要說明的是在進行視覺檢測之前，需要先對該字符進行模板特征設定，即訓練字符模板，如圖5-2所示。

根據字符缺陷視覺檢測要求設計視覺方案流程如圖6 所示；整套方案由字符上端的相機對字符進行實時拍照采集視覺信息；然后由視覺軟件對該圖像進行特征識別、位置修正及圖像處理，得到最清晰的需檢測的視覺字符，接著與字符視覺訓練模板進行對比分析，從而找出有缺陷的字符，并進行標定轉換[9]。

圖6 字符缺陷視覺檢測方案流程

字符圖像分析后，如圖7-1 所示，如字符沒有發現缺陷，軟件圖像顯示區和結果區會顯示OK 標志；如圖7-2 所示，發現字符上有缺陷標志，則會顯示NG標志，并將該結果傳送條件檢測模塊。

圖7 字符缺陷檢測結果

如圖8 所示，得到字符缺陷檢測結果以后，條件檢測模塊會根據檢測結果進行判斷，并將判斷結果輸入分支模塊，再由分支模塊判定機器人執行結論，即機器人執行結果是通過吸盤將字符分別搬運至有缺陷或無缺陷區進行分類[10]。

圖8 條件檢測和分支模塊參數設定

5 結語

機器人及視覺理實一體化課程不但包含了機器人、視覺技術相關理論知識點的學習，還進行了機器人示教編程實操和機器人視覺案例設計及實操；既鞏固了機器人理論知識，同時也加深了學生對機器人、機器人視覺應用的了解；相較于教學體系過多地偏向理論教學的課程設置，能使學生真正意義上的理解工業機器人及視覺技術在行業中的具體應用場景及應用方法；能更好地與企業實際工程應用相鍥合，培養出企業真實需求的機器人人才；對于助推我國制造業轉型升級、智能制造工程領域發展起到一定的作用。