基于機(jī)器視覺的工業(yè)機(jī)器人分揀研究全控制

周 迪

（1、南京迪之海信息科技有限公司，江蘇 南京 210033 2、方融（廈門）科技有限公司，福建 廈門 361008）

隨著工業(yè)機(jī)器人技術(shù)的飛速發(fā)展，工業(yè)機(jī)器人在各個領(lǐng)域得到了廣泛的應(yīng)用。工業(yè)機(jī)器人所處的環(huán)境，對工業(yè)機(jī)器人的功能也有相應(yīng)的要求。近年來，人工智能迅速發(fā)展。機(jī)器學(xué)習(xí)是人工智能的重要組成部分。基于任務(wù)調(diào)度的工業(yè)機(jī)器人視覺要求機(jī)器人能夠與環(huán)境交互。這個問題可以用雙透鏡解決。

1 基于yolo-v3 的目標(biāo)識別

利用通用目標(biāo)識別算法，從中提取圖像，建立目標(biāo)剖面數(shù)據(jù)包以確定對象的特征。目標(biāo)類別數(shù)據(jù)可以通過對輸入圖像的外推和與字包特征的匹配來估計(jì)。針對結(jié)構(gòu)簡單、規(guī)則可調(diào)的對象，通常根據(jù)其幾何特征進(jìn)行分類。雖然該方法簡單有效，但在幾何可比性高的條件下，很難保證目標(biāo)分類的準(zhǔn)確性。針對目標(biāo)識別的難點(diǎn)問題，提出一種基于SIFT 的高有源干擾檢測算法。

1.1 CNN 網(wǎng)絡(luò)結(jié)構(gòu)

常見的CNN 網(wǎng)絡(luò)特征提取結(jié)構(gòu)見圖1。它包括建立卷積算子，實(shí)現(xiàn)圖像中目標(biāo)特征的獲取和顯示，減少權(quán)值分配優(yōu)化參數(shù)的個數(shù)，加快算法的學(xué)習(xí)速度。卷積層的工作原理見圖2。

圖1 CNN 網(wǎng)絡(luò)結(jié)構(gòu)

圖2 卷積過程

根據(jù)圖像的卷積后相對位置不變性，同時在不影響整體的算法穩(wěn)定的前提下，對數(shù)據(jù)進(jìn)行降維?？梢越鉀Q多尺度卷積后的海量數(shù)據(jù)帶來巨大的運(yùn)算量的問題。均值池化將感受野內(nèi)的參數(shù)進(jìn)行相加求均值作為輸出，最大值池化為選定感受野內(nèi)最大特征值作為輸出。

1.2 數(shù)據(jù)集制作

根據(jù)實(shí)際任務(wù)創(chuàng)建一組數(shù)據(jù)來定義對象。為了滿足網(wǎng)絡(luò)模型的輸入要求，圖像中必須指定對象的類別和邊界。標(biāo)注界面和數(shù)據(jù)集見圖3。

圖3 數(shù)據(jù)標(biāo)注

1.3 數(shù)據(jù)分析

本文介紹了深度學(xué)習(xí)的原理和幾種傳統(tǒng)的目標(biāo)識別網(wǎng)絡(luò)，并將yolo-v3 深度學(xué)習(xí)算法作為系統(tǒng)目標(biāo)識別模塊。在收集大量目標(biāo)數(shù)據(jù)的基礎(chǔ)上，標(biāo)記VOC 格式記錄并進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)，并驗(yàn)證準(zhǔn)備好的網(wǎng)絡(luò)模型。結(jié)果表明，所建立的網(wǎng)絡(luò)模型能夠滿足系統(tǒng)的要求。

2 相機(jī)標(biāo)定及三維點(diǎn)云構(gòu)建

利用相似原理在相機(jī)坐標(biāo)系下計(jì)算目標(biāo)點(diǎn)的深度，并根據(jù)得到的深度信息計(jì)算出相機(jī)坐標(biāo)系的三維點(diǎn)云。在稠密點(diǎn)上稀釋云層可以穩(wěn)定特征點(diǎn)并確定物體在相機(jī)坐標(biāo)系中的位置。

2.1 相機(jī)標(biāo)定

由于單片機(jī)拍攝的是二維圖像，沒有空間維度，因此無法直接在單片機(jī)的基礎(chǔ)上獲取物體的三維特征信息。為了解決這個問題，我們可以使用雙目相機(jī)對同一物體進(jìn)行拍照，以獲取目標(biāo)的三維特征信息。雙目相機(jī)獲取三維信息的原理是同一特征點(diǎn)位于兩個相機(jī)像面上的不同位置，根據(jù)邊界約束得到其視差，最后通過三角形類比計(jì)算出物體的三維坐標(biāo)。

2.1.1 相機(jī)模型

將點(diǎn)P 轉(zhuǎn)換為世界坐標(biāo)系（包括坐標(biāo)系、攝影機(jī)坐標(biāo)系和圖像坐標(biāo)系）中描述的攝影機(jī)圖像平面。具體轉(zhuǎn)換過程如下：

使用M1來代表相機(jī)的內(nèi)部參數(shù)矩陣，使用M2來表示相機(jī)外參數(shù)矩陣，所建立世界坐標(biāo)系與圖像坐標(biāo)系之間的轉(zhuǎn)換關(guān)系如下式：

2.1.2 張正友標(biāo)定法

為了獲得相機(jī)的內(nèi)部和外部參數(shù)，必須進(jìn)行校準(zhǔn)。最常用的標(biāo)界方法是張正友標(biāo)定法。由于標(biāo)界標(biāo)記結(jié)果穩(wěn)定，算法成本低，因此在實(shí)際測量中得到廣泛的應(yīng)用。

2.2 算法驗(yàn)證

機(jī)器人圖像由觀察決定，這些圖像的性能由算法決定，它們的性能很符合設(shè)計(jì)需求。空間分布有限的三維穩(wěn)定小物體見圖4。

圖4 物體空間分布

通過校準(zhǔn)相機(jī)建立了雙眼相機(jī)模型.圖像中物體的位置及其通過分割背景，通過降噪獲取圖像數(shù)據(jù)集，三維點(diǎn)云目標(biāo)根據(jù)圖像的立體匹配。通過云量優(yōu)化和平滑，得到了目標(biāo)點(diǎn)的可靠信息。在深度測量中，通過對梯度進(jìn)行分類，得到一個對象及其表示對象的每個特征的梯度。根據(jù)區(qū)域的云量，確定構(gòu)建工位坐標(biāo)系所需的特征，建立工位坐標(biāo)系，得到工件相對于相機(jī)的空間位置矩陣。

2.3 模型分析

通過建立雙目相機(jī)模型，為了對圖像中的物體進(jìn)行分割，本課題使用背景差分法，保留圖像噪聲和對象三維云作為目標(biāo)對象的數(shù)據(jù)表可以通過使用圖像的空間組合獲得可靠的目標(biāo)點(diǎn)云數(shù)據(jù)。對點(diǎn)云進(jìn)行優(yōu)化，消除粗糙度誤差，對深度測量中的目標(biāo)特征點(diǎn)進(jìn)行梯度劃分，將目標(biāo)特征點(diǎn)分類為梯度。利用區(qū)域云對建立工件坐標(biāo)系所需的特征點(diǎn)進(jìn)行評價(jià)，建立了工件相對于相機(jī)的狀態(tài)空間矩陣。

3 基于REBOT-V-6R 工業(yè)機(jī)器人目標(biāo)工件分揀

3.1 系統(tǒng)搭建

3.1.1 硬件系統(tǒng)搭建

機(jī)器視覺的主要技術(shù)是利用圖像采集設(shè)備代替人眼捕捉外部信息，并對采集到的圖像進(jìn)行處理，獲得所需的物體及其位置信息。主要硬件包括工業(yè)相機(jī)、鏡頭、圖像采集卡、工業(yè)機(jī)器人等，特別是利用光電管采集物體。屏幕截圖將相機(jī)獲取的數(shù)據(jù)轉(zhuǎn)換為圖像數(shù)據(jù)，該系統(tǒng)利用屏幕截圖采集顯微圖像，相機(jī)接收的圖像作為數(shù)據(jù)文件存儲在計(jì)算機(jī)上。

3.1.2 軟件系統(tǒng)開發(fā)

為了簡化機(jī)器人控制的工作量，采用C+語言構(gòu)建了六自由度機(jī)器人控制平臺，并提供了DMC 運(yùn)動控制庫函數(shù)。

輸出模塊txt 建立在基于Matlab 的六自由度機(jī)器人控制平臺上。Matlab 仿真結(jié)果保存在txt 文件中。在基于MFC 的六自由度機(jī)器人控制平臺上建立了“txt 文檔”導(dǎo)入窗口。從仿真平臺獲取的txt 文件直接用于機(jī)器人的固態(tài)運(yùn)動，實(shí)現(xiàn)了機(jī)器人固態(tài)運(yùn)動的仿真與控制。基于MFC 的六自由度工業(yè)機(jī)器人控制平臺見圖5。

圖5 機(jī)器人控制平臺

3.2 運(yùn)動仿真系統(tǒng)

可視化信息采集系統(tǒng)主要采集外部數(shù)據(jù)，先將從網(wǎng)絡(luò)攝像頭獲取的圖像指向左右，獲取圖像中物體位置信息，然后采用立體組合，使物體與區(qū)域匹配，得到相應(yīng)的視差。根據(jù)相機(jī)模型，點(diǎn)目標(biāo)的云量將是稠密的。通過優(yōu)化目標(biāo)位置獲得穩(wěn)定性能。

在根據(jù)對象的最大幾何尺寸獲取對象的三維信息時，抽象地將對象作為仿真模型下的幾何圖形。首先計(jì)劃機(jī)器人的運(yùn)動。根據(jù)安全系數(shù)，六自由度機(jī)器人沿直線移動到位于目標(biāo)Z 軸上方的安全距離，然后沿Z 軸移動完成目標(biāo)定位。機(jī)器人平臺見圖6。

圖6 機(jī)器人平臺

3.3 工業(yè)軌跡

工業(yè)機(jī)器人控制系統(tǒng)在接收到三維物體的輸入信息后，需要將三維空間坐標(biāo)轉(zhuǎn)換為機(jī)器人的運(yùn)動軌跡。從而將六自由度坐標(biāo)問題轉(zhuǎn)化為機(jī)器人的逆運(yùn)動學(xué)問題。基于空間坐標(biāo)，計(jì)算一系列到達(dá)目標(biāo)點(diǎn)的空間點(diǎn)，并計(jì)算不同關(guān)節(jié)的運(yùn)動角度。利用先進(jìn)的六自由度機(jī)器人運(yùn)動學(xué)解，工業(yè)機(jī)器人可以移動到執(zhí)行機(jī)構(gòu)末端的指定對象，然后將檢測到的對象放置在指定位置，完成工業(yè)機(jī)器人的分揀任務(wù)。

在工業(yè)機(jī)器人能夠移動之前，需要對其路徑進(jìn)行規(guī)劃。為了獲得連續(xù)的運(yùn)動軌跡，采用插值算法確定點(diǎn)的中間性質(zhì)。在關(guān)節(jié)角空間軌跡規(guī)劃中，通過插值確定兩個連續(xù)屬性和內(nèi)部屬性的運(yùn)動參數(shù)，并通過定義不同的關(guān)節(jié)函數(shù)來描述相應(yīng)關(guān)節(jié)的屬性。通過將機(jī)械手的不同關(guān)節(jié)沿其軌跡耦合，最終得到所需的空間特性。

4 結(jié)論

本文以六自由度實(shí)驗(yàn)室工業(yè)機(jī)器人為研究對象，主研究結(jié)果包括：建立了基于Keras 網(wǎng)絡(luò)的網(wǎng)絡(luò)模型，根據(jù)yolo-v3 的要求，采集了大量的學(xué)習(xí)數(shù)據(jù)圖像，并用MG工具包進(jìn)行了標(biāo)記，以識別網(wǎng)絡(luò)算法。實(shí)驗(yàn)結(jié)果表明，該網(wǎng)絡(luò)能夠在圖像中設(shè)置和識別目標(biāo)。

雙目照相機(jī)的相機(jī)校準(zhǔn)及其布局是通過張正友小組設(shè)計(jì)的校準(zhǔn)方法進(jìn)行的。一個三維點(diǎn)，在左邊和區(qū)域特征上與圖像重合。建立了D-D 評價(jià)功能，選取了目標(biāo)區(qū)域定位和位置所需的特征，完成了對目標(biāo)位置和位置的評價(jià)。在Matlab GUI 庫的基礎(chǔ)上，建立了具有設(shè)計(jì)功能的機(jī)器人運(yùn)動仿真平臺，實(shí)現(xiàn)了六自由度機(jī)器人的運(yùn)動控制。