基于三維視覺傳感器的機器人無序抓取應(yīng)用方案

溫爾文， 何英武

（廣州數(shù)控設(shè)備有限公司， 廣東 廣州 510530）

0 引言

隨著近年來制造業(yè)的轉(zhuǎn)型升級，智能制造行業(yè)迎來了高速的發(fā)展。 其中，由于人力用工成本的持續(xù)攀升，以工業(yè)機器人為基礎(chǔ)的智能化、 自動化應(yīng)用在工業(yè)生產(chǎn)制造中，得到了大規(guī)模的推廣。據(jù)中國機械工業(yè)聯(lián)合會發(fā)布的數(shù)據(jù)，2021 年中國工業(yè)機器人市場累計銷售工業(yè)機器人27.1 萬臺，年銷量連續(xù)九年位居世界首位。而工業(yè)視覺技術(shù)，作為機器人的“眼睛”，是實現(xiàn)智能化應(yīng)用的重要一環(huán)。目前基于平面特征的二維視覺識別技術(shù)已比較成熟，為了適應(yīng)更復(fù)雜的現(xiàn)場應(yīng)用環(huán)境， 提高生產(chǎn)線的柔性和智能化， 采用工業(yè)機器人結(jié)合三維視覺技術(shù)可以提供更多的解決方案，并提高現(xiàn)場部署和調(diào)試的效率，實現(xiàn)生產(chǎn)制造柔性化、智能化的加工。

在傳統(tǒng)的工業(yè)機器人搬運作業(yè)場景中， 一般會將工件依次序排列整齊，使用工裝夾具將工件精確定位后，再指令機器人到固定位置完成搬運的動作。 這種作業(yè)方式適用于大批量的單一產(chǎn)品生產(chǎn)模式， 面對越來越多的小批量、多品種的作業(yè)要求，在新形態(tài)下的智慧搬運作業(yè)模式需要工業(yè)機器人具備自動識別、分析、決策等功能，可以根據(jù)環(huán)境的情況，靈活地、動態(tài)地執(zhí)行控制策略。

本文針對的應(yīng)用場景為深框密集堆疊工件的無序抓取應(yīng)用，通過三維視覺識別之后，指令工業(yè)機器人將料框內(nèi)隨機擺放、散亂、堆疊的工件逐一搬運到指定的位置。應(yīng)用中提出的一整套解決方案，涉及三維視覺識別調(diào)試、智能決策、通訊協(xié)議、流程邏輯設(shè)計、運動安全規(guī)劃等，最終實現(xiàn)三維空間內(nèi)的自決策無序抓取作業(yè)。

1 機器人三維視覺自動搬運系統(tǒng)

為解決六關(guān)節(jié)工業(yè)機器人在深框無序堆疊應(yīng)用場景下的自動化搬運問題，設(shè)計一套自動化解決方案，以各種不同的尺寸的紙質(zhì)包裝箱為目標工件， 自動化搬運系統(tǒng)由工業(yè)機器人、三維視覺傳感器、抓取工具及其他輔助部件組成，設(shè)計示意圖見圖1 所示。

圖1 設(shè)計方案示意圖

方案主要組件與參數(shù)見表1。

表1 自動化搬運方案主要構(gòu)成組件

1.1 工作流程

機器人自動抓取搬運方案的工作流程（見圖2）步驟和要求可分為：

圖2 作業(yè)流程

Step1：機器人運動到作業(yè)原點。在完成好基本的調(diào)試和相關(guān)工作準備之后， 通過機器人控制器啟動整個自動化搬運作業(yè)流程。當程序啟動后，機器人首先會先移動到預(yù)設(shè)的作業(yè)原點，作為運動的起始點，作業(yè)原點的位置應(yīng)以不產(chǎn)生運動干涉、運動軌跡平順、不遮擋相機視野為設(shè)置原則。

Step2：三維相機拍照。三維相機拍照的信號是由機器人發(fā)送給視覺系統(tǒng)的工控電腦進行觸發(fā)。

Step3：處理圖像數(shù)據(jù)。相機拍照后將數(shù)據(jù)傳送回工控電腦，由電腦運行的軟件對數(shù)據(jù)進行分析處理。軟件功能模塊包括有位置標定、視覺圖像采集、特征識別、空間位姿數(shù)據(jù)轉(zhuǎn)換、運動路徑規(guī)劃等，通過軟件算法的處理，智能篩選出在物料深框中可實現(xiàn)自動化抓取的最合適工件，并將位置和姿態(tài)信息發(fā)送給工業(yè)機器人。

Step4：發(fā)送位置數(shù)據(jù)給機器人。機器人和視覺系統(tǒng)之間使用網(wǎng)絡(luò)通訊進行雙向信息交互，通訊協(xié)議自定義。

Step5：自動抓取工件。機器人根據(jù)接收到的信息自動移動到目標工件，并根據(jù)程序設(shè)計自動實現(xiàn)抓取動作。程序設(shè)計時需要注意運動路徑規(guī)劃、安全信號、運動干涉、數(shù)據(jù)通訊、以及與其他傳感器的交互等內(nèi)容。

Step6： 將工件搬運至目標位置。抓取到工件后，機器人運動到指定的放置點， 放下工件后，自動循環(huán)下一個動作流程。放置點可根據(jù)程序設(shè)計不同位置和數(shù)量。

1.2 通訊

工業(yè)機器人和視覺系統(tǒng)之間使用TCP/IP 協(xié)議進行數(shù)據(jù)交互， 應(yīng)用層協(xié)議為自定義協(xié)議，交互的信息主要有：笛卡爾空間位置、 位姿數(shù)據(jù)、 觸發(fā)信號、流程控制的握手信號等。

1.3 視覺系統(tǒng)工作模塊

1.3.1 相機標定

相機的標定是構(gòu)建視覺系統(tǒng)的關(guān)鍵步驟， 目的是計算出相機的內(nèi)外參數(shù)，建立相機成像的幾何模型，表征出空間物體的三維幾何位置和在相機圖像中對應(yīng)位置的相互關(guān)系，相機標定的精度越高，三維重建得到的模型就越精準。

1.3.2 圖像采集

通過使用視覺傳感器， 對環(huán)境及相關(guān)目標進行圖像采集，本系統(tǒng)中視覺采集模塊由投影儀、可調(diào)節(jié)光柵，左右兩個相機組成，可獲取目標場景或工件的圖像數(shù)據(jù)，包括平面輪廓和深度數(shù)據(jù)。 左右兩個相機模擬人類的左右眼，通過圖像處理算法進行三維重建，進行圖像采集時應(yīng)注意環(huán)境光線的影響及信號抖動濾波處理。

1.3.3 圖像預(yù)處理

本方案的圖像預(yù)處理范圍較廣， 實際上包括了通常的圖像預(yù)處理、圖像分割等操作。該操作將使用到圖像增強算法、中值及均值濾波等算法、閾值分割、聚類分割、多種邊緣檢測算法、形態(tài)學(xué)數(shù)學(xué)處理等。

1.3.4 特征提取

視覺系統(tǒng)在獲取到的圖像處理過程中， 均需要進行特征提取，將主要的特征如幾何形態(tài)特征、紋理特征、邊緣特征等進行像素歸類，組成對應(yīng)的特征提取集合，提高辨識的特性。

1.3.5 點云數(shù)據(jù)處理

在三維重建過程中，由于采樣數(shù)據(jù)和特征提取具有一定的的離散性，需要對點云數(shù)據(jù)進一步加工處理，一般有點云數(shù)據(jù)濾波、點云采樣、點云分割、特征點配準等步驟。

1.3.6 三維模型匹配

通過對兩個相機圖像的極線校正， 可得到物體的視差圖像信息，三維立體匹配可劃分為四個步驟：匹配代價計算、代價聚合、視差計算和視差優(yōu)化。 結(jié)合相關(guān)匹配算法生成三維空間模型，包含XYZ 和位姿信息。

1.3.7 三維重建

基于主動結(jié)構(gòu)光的三維重建技術(shù)是目前主流產(chǎn)品所使用的解決方案， 通過結(jié)構(gòu)光的前后變化以及編解碼獲得物體的深度信息，從而重建得到物體的三維模型點云。左右圖像匹配后會得到視差值D（像素差值），標定時得到的焦距f，將D 和f 兩個參數(shù)代入式（1）即可求出工件的空間三維坐標（X，Y，Z）。

式中：pixel—CCD 像素的物理尺寸（mm/像素）；B—2 個攝像頭透鏡光心的距離（mm）；px—工件抓取點在圖像中x 方向的位置（單位：像素）；py—工件抓取點在圖像中y 方向的位置，（單位： 像素）；m—圖像像素的總行數(shù) （單位：像素）；n—圖像像素的總列數(shù)（單位：像素）。

2 三維視覺辨識及工藝規(guī)劃

2.1 系統(tǒng)參數(shù)配置

三維視覺系統(tǒng)根據(jù)現(xiàn)場的條件要求選擇好對應(yīng)的硬件之后，需要通過軟件對視覺系統(tǒng)的參數(shù)進行配置，建立模板。基于三維圖像的重建是一個復(fù)雜的過程，采集的點云數(shù)據(jù)存在大量的噪聲、離散點，與應(yīng)用環(huán)境匹配度好的參數(shù)設(shè)置，可以對數(shù)據(jù)進行過濾處理，使三維視覺系統(tǒng)獲取到穩(wěn)定可靠的圖像采樣數(shù)據(jù)。其中，主要影響圖像捕捉的參數(shù)有：相機過濾、拍照范圍、相機曝光值，見圖3。

圖3 三維視覺系統(tǒng)建模

相機過濾（Maxcoeff）：相機會自動過濾掉匹配分數(shù)過低的圖像，過濾值越高，識別越精確。

拍照范圍（Range Setting）：相機拍照范圍，拍照區(qū)域為矩形形狀，在拍照范圍內(nèi)，若離相機鏡頭距離越近，拍攝區(qū)域越小，精度越好，若離相機鏡頭距離越遠，拍攝范圍越大，精度越低。

相機曝光值（CamExposureTime）：光線進入鏡頭照射感光元件的時間，若曝光時間越長，光線進入的量越大，成像也就越明亮，曝光時間越短，光線進入的量越小，成像也就越暗。

2.2 視覺標定

2.2.1 相機雙目標定

雙目標定的目的是求出相機的內(nèi)、外參數(shù)，以及畸變參數(shù)（由于每個鏡頭的畸變程度各不相同，通過相機標定可以矯正這種畸變，生成矯正后的圖像），其標定結(jié)果的精度直接影響相機工作產(chǎn)生結(jié)果的準確性，見圖4。

圖4 雙目相機標定

獲取校準圖像（GetCalibImages）： 相當于相機標定的啟動按鈕， 按下該按鈕后，相機將會持續(xù)識別出拍攝區(qū)域的標定板圖像并計算，直至標定結(jié)束。

2.2.2 機器人手眼標定手眼標定屬于相機的外參，表示機器人與相機之間的位姿轉(zhuǎn)換關(guān)系，常用的標定方法有ETH（Eye to hand） 和EIH（Eye in hand） 兩種方式，本方案采用的是ETH 方式。 在相機視野范圍內(nèi)不同的空間點定義多個不同的位姿，對每個位姿的圖像采集后，相機檢測到目標在圖像中的像素位置， 通過標定算法坐標轉(zhuǎn)換矩陣，將相機的像素坐標變換到機械手的空間坐標系。

2.3 視覺引導(dǎo)及工藝

當視覺系統(tǒng)經(jīng)過參數(shù)匹配和標定之后， 能穩(wěn)定地辨識出目標范圍的工件， 在輸入料框的模型數(shù)據(jù)導(dǎo)入系統(tǒng)后，便完成了整個場景空間物體的三維模型建立。視覺引導(dǎo)系統(tǒng)將對辨識的工件進行評估， 采用包括路徑最短、碰撞避障、抓取與退出位姿規(guī)劃等原則，計算出一個得分最高的目標， 從而實現(xiàn)工件抓取策略的規(guī)劃， 達到較理想的清框率。 引導(dǎo)系統(tǒng)可以對抓取策略進行配置， 結(jié)合抓取手爪的傾角設(shè)計， 盡可能地規(guī)避由機器人奇異點引起的作業(yè)中斷，見圖6。

圖5 手眼標定設(shè)置

圖6 視覺工藝引導(dǎo)系統(tǒng)

3 無序抓取應(yīng)用試驗

3.1 機器人工具標定

開展機器人深框無序抓取的應(yīng)用實驗， 對機器人有一定的精度要求，需要對機器人進行運動學(xué)和工具標定。機器人的工具標定一般采用三點法或五點法來完成，結(jié)合本次實驗的工況設(shè)計，在完成標定后，機器人TCP 工具精度為0.07mm，符合作業(yè)要求，見圖7。

圖7 機器人工具標定示意

3.2 配置通訊

在機器人控制器設(shè)置好網(wǎng)絡(luò)通訊配置， 與視覺工控機進行信息交互，通訊格式可靈活配置（通過SOCKET.INI 文件可修改配置）。

3.3 機器人程序

機器人程序如下：

3.4 異常情況處理

3.4.1 機器人運動超行程范圍

調(diào)試過程中， 偶有出現(xiàn)機器人運動時某一個軸超運動范圍報警，經(jīng)分析，當視覺系統(tǒng)通過圖像分析選定的一個目標工件后，會規(guī)劃出該目標工件的空間位姿數(shù)據(jù)，機器人接收到指令后執(zhí)行。 而發(fā)生機器人超行程的原因是視覺系統(tǒng)與機器人之間的運動模型不是一致的， 同一個位姿目標在運動學(xué)中可能包含有多個解， 導(dǎo)致一些特殊的位姿狀態(tài)下，機器人執(zhí)行導(dǎo)常，出現(xiàn)報警。 改善的方法有：①增加視覺系統(tǒng)和機器人系統(tǒng)的交互，提高對異常數(shù)據(jù)的診斷能力；②優(yōu)化機器人程序設(shè)計，當出現(xiàn)報警時，通過干預(yù)能快速恢復(fù)，自動避開原路徑；③在工件裝載容器上設(shè)計有傾斜或振動的裝置，當遇到極端情況時，可自動改變工件放置狀態(tài)。

3.4.2 與相機視野外的障礙物發(fā)生干涉

由于在視覺系統(tǒng)的模型中沒有建立相機視野之外的環(huán)境信息，機器人在運動時可能會與某些物件發(fā)生碰撞。可以在機器人控制系統(tǒng)中定義一部分干涉區(qū)， 使其對這些作業(yè)區(qū)域進行運動規(guī)避。

3.5 實驗結(jié)果與分析

實驗主要在清框率、工作節(jié)拍、穩(wěn)定性三方面進行驗證，通過實驗開展得出，機器人無序抓取系統(tǒng)的清框率為99%，工作節(jié)拍3s/件。 在穩(wěn)定性方面，自動抓取實驗在不同的環(huán)境光照條件下分別做了連續(xù)運行的驗證， 均能保持上述清框率和工件節(jié)拍。

通過實驗分析， 該應(yīng)用場景的技術(shù)指標可達到應(yīng)用要求，但在工藝規(guī)劃、節(jié)拍提升、以及部署效率上，仍存在較多問題需要優(yōu)化，整體系統(tǒng)性能有待提高。工藝規(guī)劃方面，在機器人運動路徑、避障與干涉、工件抓取點和回退點等方面目前需要花費較多時間調(diào)試。 為提升工藝規(guī)劃的智能化，可結(jié)合離線編程技術(shù)對整體應(yīng)用環(huán)境進行模擬仿真，達到全面性的運動數(shù)據(jù)和規(guī)劃。 節(jié)拍提升可從控制流程和機器人運動參數(shù)兩方面展開，加強機器人與視覺系統(tǒng)之間的信號交互，啟用多任務(wù)管理，使機器人運動過程中即開始視覺拍照和相關(guān)的圖像處理流程。 另外，整體應(yīng)用方案的調(diào)試效率可提升的空間很大，應(yīng)加強在三維建模、工件匹配、工藝調(diào)試方面的智能化水平，體現(xiàn)更大的柔性化。

4 結(jié)束語

最終通過實驗的驗證， 該三維視覺自動抓取方案性能指標達到實際應(yīng)用的需求， 并且通過視覺匹配可適用于不同的產(chǎn)品類型，具有推廣意義。 同時，在整個實驗過程中也了解到，目前的方案在調(diào)試和部署時，仍需要耗費較多的工時，主要分布在工藝性的路徑規(guī)劃、節(jié)拍提升、安全避障等環(huán)節(jié)，后續(xù)應(yīng)通過改善規(guī)劃算法和工藝流程，引入離線編程技術(shù)等不同技術(shù)方案來探索整體性能的提升，達到更高的智能化水平。