基于VisionPro的顏色識(shí)別分類系統(tǒng)研究

李東升, 陳偉, 秦付軍

（西華大學(xué)機(jī)械工程學(xué)院, 成都610039）

0 引言

物體的顏色是其最直觀、最鮮明的特征。在工業(yè)生產(chǎn)制造中，都需要以顏色進(jìn)行產(chǎn)品的識(shí)別與分類，例如對(duì)蔬果分揀、藥粒分類。目前一些中小型的工廠或者制藥企業(yè)，依然采用人工方式進(jìn)行識(shí)別與分類，工作效率低下，而且工場(chǎng)人力成本高[1]。工業(yè)機(jī)器人誕生以來(lái)，其應(yīng)用和種類不斷得到擴(kuò)展，分揀機(jī)器人在工業(yè)制造領(lǐng)域獲得了廣泛應(yīng)用，結(jié)合機(jī)器視覺技術(shù)，機(jī)器視覺系統(tǒng)應(yīng)用到自動(dòng)化行業(yè)，極大地提高了生產(chǎn)效率。通過視覺技術(shù)實(shí)現(xiàn)精確識(shí)別，引導(dǎo)機(jī)械手分類抓取具有更高的靈活度和精度。

任娟娟等[2]設(shè)計(jì)了一種基于機(jī)器視覺的物料識(shí)別、定位、抓取系統(tǒng)。梁赟[3]開發(fā)了結(jié)合深度學(xué)習(xí)的機(jī)器視覺在線識(shí)別與定位算法。姚應(yīng)方等[4]通過機(jī)器視覺技術(shù)，利用顏色空間的變換提取了八角的顏色特征，利用極坐標(biāo)變換、傅里葉變換方法提取了果形特征，探索了八角外觀品質(zhì)檢測(cè)理論。

本文研究基于VisionPro視覺軟件，聯(lián)合Visual Studio開發(fā)環(huán)境、C#編程語(yǔ)言，選用視覺元件和機(jī)械手等硬件，搭建機(jī)器視覺系統(tǒng)，代替人工識(shí)別、分類不同顏色工件，減少因人工疲勞而導(dǎo)致誤判，可以有效降低生產(chǎn)成本。

1 機(jī)器視覺系統(tǒng)方案

1.1 硬件系統(tǒng)組成

選用四軸直角坐標(biāo)機(jī)器人搭建機(jī)臺(tái)，在此平臺(tái)基礎(chǔ)上搭建視覺識(shí)別分類系統(tǒng)。運(yùn)動(dòng)控制系統(tǒng)選用匯川PLC，型號(hào)為H3u-3232-MT搭建運(yùn)動(dòng)控制模組。視覺識(shí)別系統(tǒng)選用相機(jī)型號(hào)為OPT-CC130-GM-04，數(shù)據(jù)接口為Gige，光學(xué)接口為C口，分辨率為1280×1024。配置計(jì)算機(jī)運(yùn)行環(huán)境，以太網(wǎng)巨型幀傳輸大批量的圖像數(shù)據(jù)。相機(jī)鏡頭選用OPT-C2514-2M，焦距為25 mm，工作距離大于180 mm，最大視場(chǎng)為20.1°×15.1°，鏡頭接口為C口，光圈（F/#）為F1.4～F16。光源選用環(huán)形光源，低角度打光。搭建圖1所示視覺識(shí)別分類系統(tǒng)。

圖1 視覺識(shí)別分類系統(tǒng)

1.2 識(shí)別分類流程

在自動(dòng)識(shí)別分類之前，通過機(jī)器人示教器，對(duì)四軸機(jī)器手進(jìn)行示教，將工作點(diǎn)位的位置信息保存到PLC當(dāng)中。示教時(shí)一般采用反向示教，可以提高示教點(diǎn)位的精度。反向示教流程如圖2所示。

圖2 示教流程圖

自動(dòng)識(shí)別分類流程如圖3所示，在示教點(diǎn)A處，相機(jī)第一次拍照，視覺系統(tǒng)識(shí)別色塊顏色、形狀及角度信息；相機(jī)拍照進(jìn)行角度補(bǔ)償；軸系再次移動(dòng)到示教點(diǎn)B處，視覺系統(tǒng)識(shí)別并定位與色塊信息對(duì)應(yīng)的放料位置，獲取放料點(diǎn)；機(jī)械手移動(dòng)到放料點(diǎn)位，將色塊放入指定的栽盤穴位，最后完成分類，相機(jī)拍照檢測(cè)識(shí)別分類結(jié)果是否正確。

圖3 自動(dòng)識(shí)別分類流程圖

2 視覺識(shí)別分類系統(tǒng)

對(duì)顏色自動(dòng)識(shí)別分類技術(shù)進(jìn)行了研究，設(shè)計(jì)了一種基于機(jī)器視覺的自動(dòng)化顏色識(shí)別與分類系統(tǒng)，包括硬件選型及參數(shù)設(shè)置、相機(jī)通信及標(biāo)定、視覺定位。通過康耐視內(nèi)置GigeVision工具助手設(shè)置相機(jī)的IP地址，調(diào)整相機(jī)參數(shù)、光源亮度、鏡頭的光圈和聚焦環(huán)，獲取高對(duì)比度的圖像。棋盤格標(biāo)定工具獲取相機(jī)參數(shù)。通過九點(diǎn)標(biāo)定，建立圖像坐標(biāo)系與機(jī)器人坐標(biāo)系的坐標(biāo)變換關(guān)系。通過VisionPro視覺工具，編寫高級(jí)腳本，識(shí)別物體顏色的視覺程序。視覺顏色識(shí)別分類技術(shù)系統(tǒng)方案如圖4所示。

圖4 視覺識(shí)別分類技術(shù)系統(tǒng)方案

3 相機(jī)標(biāo)定

圖5所示為世界坐標(biāo)系、機(jī)器人基坐標(biāo)系、機(jī)械手坐標(biāo)系、工件坐標(biāo)系、相機(jī)坐標(biāo)系之間的關(guān)系。

圖5 視覺系統(tǒng)坐標(biāo)關(guān)系圖

3.1 相機(jī)內(nèi)參標(biāo)定

由于透鏡制造精度及組裝工藝的偏差導(dǎo)致原始圖像的失真，造成相機(jī)和成像面切向畸變[5]。透鏡本身與相機(jī)傳感器平面（成像平面）或圖像平面不平行而產(chǎn)生徑向畸變。本文使用VisionPro視覺軟件中的棋盤格標(biāo)定工具來(lái)標(biāo)定相機(jī)內(nèi)參，校正切向和徑向畸變，校正結(jié)果如圖6所示。校正后的各對(duì)應(yīng)點(diǎn)的RMS均方差約為0.337。

圖6 相機(jī)棋盤格標(biāo)定結(jié)果

3.2 相機(jī)外參標(biāo)定

相機(jī)外參采用九點(diǎn)標(biāo)定法，獲得圖像坐標(biāo)系與機(jī)器人的運(yùn)動(dòng)坐標(biāo)系之間的映射關(guān)系。實(shí)驗(yàn)使用的機(jī)器人是四軸直角坐標(biāo)系機(jī)械手，相機(jī)不涉及深度信息，使用Visionpro軟件視覺工具可以簡(jiǎn)化標(biāo)定方法，只需標(biāo)定出機(jī)器人的定位精度與運(yùn)動(dòng)方向。

由于機(jī)械誤差及組裝工藝的不同導(dǎo)致機(jī)器人硬件特性差異，本文對(duì)機(jī)器人的運(yùn)動(dòng)控制模組進(jìn)行了校正。使用Cog Calib N Point To N Point Tool，通過示教器控制軸系依次運(yùn)動(dòng)9個(gè)點(diǎn)，同時(shí)運(yùn)行視覺程序，抓取圖像中的Mark點(diǎn)，將9個(gè)Mark點(diǎn)的坐標(biāo)與機(jī)械手的坐標(biāo)系建立坐標(biāo)變換矩陣[6-8]。其中，相機(jī)的圖像坐標(biāo)系標(biāo)定方向與運(yùn)動(dòng)控制模組的運(yùn)動(dòng)方向相反。相機(jī)標(biāo)定時(shí)記錄的9組點(diǎn)位如表1所示。其中未校正點(diǎn)坐標(biāo)基于圖像坐標(biāo)系，已校正點(diǎn)坐標(biāo)基于機(jī)器人坐標(biāo)系。

表1 九點(diǎn)標(biāo)定的坐標(biāo)數(shù)據(jù)

4 角度補(bǔ)償

由于色塊在栽盤中隨機(jī)擺放，分類放料時(shí)需要校正角度和位置補(bǔ)償。首先拍照獲取色塊的位置及工位角度。相機(jī)拍照完成后，視覺系統(tǒng)計(jì)算偏移角度，機(jī)械手第四關(guān)節(jié)進(jìn)行角度補(bǔ)償。

5 實(shí)驗(yàn)結(jié)果及改進(jìn)

5.1 實(shí)驗(yàn)結(jié)果

為驗(yàn)證視覺識(shí)別分類系統(tǒng)的有效性，以色塊為實(shí)驗(yàn)對(duì)象，嘗試不同位置和角度來(lái)進(jìn)行實(shí)驗(yàn)。進(jìn)行3輪實(shí)驗(yàn)，總計(jì)300次顏色識(shí)別分類，實(shí)驗(yàn)結(jié)果如表2所示。

表2 實(shí)驗(yàn)驗(yàn)證數(shù)據(jù)

實(shí)驗(yàn)結(jié)果數(shù)據(jù)表明，第一次實(shí)驗(yàn)由于系統(tǒng)誤差及環(huán)境干擾，正確識(shí)別率為98.3%，識(shí)別實(shí)驗(yàn)有較小的誤判；同時(shí)在補(bǔ)償角度過大的情況下，由于實(shí)際旋轉(zhuǎn)中心與色塊中心的偏差，會(huì)引入位姿差，導(dǎo)致分類放料時(shí)色塊碰撞到栽盤穴位邊緣，分類擺放失敗。

5.2 實(shí)驗(yàn)改進(jìn)

針對(duì)補(bǔ)償角度過大的情況，在第二工位下放置相機(jī)進(jìn)行二次定位。下相機(jī)拍照，獲取色塊的水平和垂直位置偏移量。通過下相機(jī)二次拍照獲取到的旋轉(zhuǎn)中心到實(shí)際旋轉(zhuǎn)中心的垂直分量Δy和水平分量Δx與計(jì)算旋轉(zhuǎn)引入位姿差校正算法得到的垂直和水平分量相同，如圖7所示。

圖7 旋轉(zhuǎn)引入位姿差位置偏移量

采用下相機(jī)二次拍照定位的方式可以在一定范圍內(nèi)減小吸取時(shí)旋轉(zhuǎn)中心同色塊中心不在同一點(diǎn)所產(chǎn)生的誤差[9]。

其中實(shí)驗(yàn)1、2為不使用下相機(jī)二次定位的情況，實(shí)驗(yàn)3為使用下相機(jī)的情況。表3實(shí)驗(yàn)結(jié)果數(shù)據(jù)表明，引入下相機(jī)進(jìn)行二次定位可以提高工件分類擺放的準(zhǔn)確率。不使用下相機(jī)定位時(shí)，在補(bǔ)償角度過大的情況下會(huì)導(dǎo)致位姿差偏移，分類擺放時(shí)色塊碰撞到栽盤穴位邊緣，造成錯(cuò)誤擺放。通過下相機(jī)拍照進(jìn)行二次定位，使得分類擺放的準(zhǔn)確率得到提升。

6 結(jié)論

實(shí)驗(yàn)基于Visual Studio 軟件，通過C#和VisionPro視覺軟件聯(lián)合編程、以太網(wǎng)與工控機(jī)通信，控制PLC進(jìn)行運(yùn)動(dòng)控制，視覺系統(tǒng)視野為60 mm×40 mm的情況下，單相素分辨率達(dá)到0.125 mm/Pixel。為滿足系統(tǒng)的穩(wěn)定性，使用3個(gè)像素寬度表示0.125 mm，組裝硬件搭建機(jī)器視覺平臺(tái)，設(shè)計(jì)了一種基于機(jī)器視覺技術(shù)的自動(dòng)顏色識(shí)別與分類系統(tǒng)。由表2實(shí)驗(yàn)數(shù)據(jù)可知，光照干擾及一些噪聲使實(shí)驗(yàn)出現(xiàn)錯(cuò)誤識(shí)別，后續(xù)針對(duì)錯(cuò)誤進(jìn)行改進(jìn)后，本系統(tǒng)的顏色識(shí)別率達(dá)到98.3% 以上，由表3實(shí)驗(yàn)數(shù)據(jù)可知，引入下相機(jī)二次定位，分類系統(tǒng)具有更好的穩(wěn)定性、可靠性，可以實(shí)現(xiàn)自動(dòng)分類工作。

表3 實(shí)驗(yàn)驗(yàn)證數(shù)據(jù)