機(jī)器視覺(jué)的食品包裝快速分揀系統(tǒng)

賈超廣，肖海霞

1. 鄭州升達(dá)經(jīng)貿(mào)管理學(xué)院（鄭州 451191）；2. 河南工程學(xué)院（鄭州 451191）

隨著我國(guó)經(jīng)濟(jì)的快速發(fā)展和人民生活水平的快速提升，袋裝食品的日均消耗量逐年增多，包裝食品生產(chǎn)企業(yè)亟需生產(chǎn)設(shè)備的升級(jí)以提升生產(chǎn)效率[1-3]。包裝食品的傳統(tǒng)加工方式通常是利用人工進(jìn)行食品分揀和歸類(lèi)，這種生產(chǎn)方式不僅效率低下，而且勞動(dòng)強(qiáng)度大。

隨著機(jī)器人技術(shù)、視覺(jué)技術(shù)、人工智能控制技術(shù)的不斷發(fā)展，機(jī)器視覺(jué)技術(shù)在一些工作強(qiáng)度大、重復(fù)性高的工作崗位中被廣泛應(yīng)用，如在食品包裝分揀這一工作任務(wù)重、重復(fù)性高的領(lǐng)域，可以利用機(jī)器視覺(jué)自動(dòng)分揀技術(shù)以提高分揀效率和準(zhǔn)確率[4-7]。利用視覺(jué)系統(tǒng)對(duì)不同特征的食品進(jìn)行快速實(shí)施鑒別、分級(jí)，機(jī)器人通過(guò)運(yùn)動(dòng)跟蹤控制，可以充分發(fā)揮機(jī)器視覺(jué)系統(tǒng)的高速檢測(cè)、高精度的優(yōu)點(diǎn)，通過(guò)機(jī)械手對(duì)食品進(jìn)行分揀，不僅提高食品的分揀效率，同時(shí)也保障食品生產(chǎn)的衛(wèi)生安全。機(jī)器視覺(jué)系統(tǒng)主要由計(jì)算機(jī)、多軸運(yùn)動(dòng)控制器、CCD視覺(jué)系統(tǒng)、機(jī)械手等組成。CCD視覺(jué)系統(tǒng)通過(guò)攝取食品圖像，利用計(jì)算機(jī)圖像處理算法對(duì)食品進(jìn)行分級(jí)和判斷，進(jìn)而再控制并聯(lián)機(jī)器人進(jìn)行動(dòng)作實(shí)現(xiàn)食品的分級(jí)。

試驗(yàn)利用包裝食品分揀為研究對(duì)象，將機(jī)器人技術(shù)和視覺(jué)技術(shù)相結(jié)合形成機(jī)器視覺(jué)包裝食品自動(dòng)分揀系統(tǒng)，利用坐標(biāo)轉(zhuǎn)換方式實(shí)現(xiàn)視覺(jué)坐標(biāo)標(biāo)定，設(shè)計(jì)系統(tǒng)軟件和硬件系統(tǒng)，并通過(guò)試驗(yàn)驗(yàn)證該系統(tǒng)的可行性和有效性。

1 并聯(lián)機(jī)器人分揀系統(tǒng)

機(jī)器視覺(jué)的食品包裝碼垛機(jī)器人系統(tǒng)結(jié)構(gòu)如圖1所示。機(jī)器視覺(jué)分揀系統(tǒng)主要包括并聯(lián)機(jī)器人、圖像采集卡、CCD相機(jī)、機(jī)械手及運(yùn)動(dòng)控制模塊。包裝食品通過(guò)傳送帶傳送到CCD攝像頭處，CCD相機(jī)迅速將攝取到圖像采集卡，計(jì)算機(jī)利用圖像處理算法對(duì)獲取的圖像進(jìn)行預(yù)處理，并將處理結(jié)果傳送到控制器，控制器根據(jù)具體的處理結(jié)果對(duì)機(jī)器人發(fā)出相應(yīng)的命令。并聯(lián)機(jī)器人通過(guò)運(yùn)動(dòng)控制實(shí)現(xiàn)機(jī)器人的快速跟蹤定位并快速完成抓取分揀任務(wù)。

2 視覺(jué)系統(tǒng)標(biāo)定

在機(jī)器視覺(jué)系統(tǒng)中，CCD相機(jī)標(biāo)定是分揀系統(tǒng)的一個(gè)關(guān)鍵環(huán)節(jié)，是分揀系統(tǒng)其他工作的基礎(chǔ)保證，直接影響后續(xù)分揀精度。相機(jī)標(biāo)定是通過(guò)數(shù)學(xué)模型求出CCD相機(jī)內(nèi)外參數(shù)的一個(gè)過(guò)程，這些參數(shù)決定圖像像素與空間三維坐標(biāo)的對(duì)應(yīng)關(guān)系[8-11]。世界坐標(biāo)系統(tǒng)及相機(jī)坐標(biāo)系如圖2所示。要將某個(gè)物體的世界坐標(biāo)系轉(zhuǎn)換到圖像像素坐標(biāo)系，基本需要完成剛體變換、透視投影、圖像離散等步驟，介紹如何實(shí)現(xiàn)機(jī)器視覺(jué)的快速標(biāo)定。

圖1 機(jī)器視覺(jué)視覺(jué)檢測(cè)系統(tǒng)

圖2 各坐標(biāo)系示意圖

利用平移和旋轉(zhuǎn)將世界坐標(biāo)系轉(zhuǎn)換為相機(jī)坐標(biāo)系，轉(zhuǎn)換數(shù)學(xué)模型為

為方便計(jì)算，將式（1）進(jìn)行簡(jiǎn)化處理。

式中：R為旋轉(zhuǎn)變換矩陣；T為平移變換矩陣。

若將式（1）用齊次坐標(biāo)表示，則有

式中：旋轉(zhuǎn)變換矩陣R可分解為繞XW軸的旋轉(zhuǎn)矩陣α，繞YW軸的旋轉(zhuǎn)矩陣β以及繞ZW軸的旋轉(zhuǎn)矩陣γ，即滿(mǎn)足

綜上，可忽略角度α和β點(diǎn)的影響，那么式（4）可表示成式（5）的形式。

攝像機(jī)成像過(guò)程實(shí)質(zhì)上就是透視投影過(guò)程，要形成清晰的實(shí)像必須確保像距和焦距f相等。參考相似三角形之間關(guān)系，成像過(guò)程可描述為

攝像機(jī)成像平面得到投影后，要想將物理圖像轉(zhuǎn)換為數(shù)據(jù)傳送至計(jì)算機(jī)，必須對(duì)其進(jìn)行離散化處理，就是從物理坐標(biāo)系轉(zhuǎn)換到像素坐標(biāo)系。上述過(guò)程可稱(chēng)之為圖像離散化，可描述為

式中：dx為x方向上單位像素的物理尺寸；dy為y方向上單位像素的物理尺寸。

由式（5）～（7）聯(lián)合可以得到圖像坐標(biāo)系和世界坐標(biāo)系之間的變換關(guān)系，即

在實(shí)際包裝過(guò)程中，物料的厚度與豎直平移坐標(biāo)相比可以忽略不計(jì)，因此可認(rèn)為物料高度一直為0。如果只關(guān)心物料在世界坐標(biāo)系下的XW和YW坐標(biāo)，那么式（8）可以簡(jiǎn)化為

式中：k1=f/dx，k2=f/dy，b1=fTx/dx+u0Tz，b2=fTy/dy+v0Tz。如果物料缺失或物料不全，則可根據(jù)標(biāo)定結(jié)果得到填充位置世界坐標(biāo)，并將坐標(biāo)發(fā)送給機(jī)器人，機(jī)器人得到坐標(biāo)后抓取物料填充到相應(yīng)位置。

3 控制系統(tǒng)設(shè)計(jì)

食品分揀系統(tǒng)工作流程如圖3所示。系統(tǒng)完成初始化后，工件運(yùn)動(dòng)到相機(jī)相應(yīng)位置時(shí)，相機(jī)拍照信號(hào)被觸發(fā)進(jìn)行拍照，相機(jī)將圖像傳送到計(jì)算機(jī)中，計(jì)算機(jī)根據(jù)圖像處理算法對(duì)其進(jìn)行一系列處理。通過(guò)視覺(jué)標(biāo)定坐標(biāo)轉(zhuǎn)換，可將坐標(biāo)傳輸給控制器，控制器根據(jù)目標(biāo)位置并結(jié)合末端對(duì)應(yīng)起點(diǎn)的坐標(biāo)及并聯(lián)機(jī)器人軌跡形式進(jìn)行相應(yīng)的機(jī)器人路徑規(guī)劃，多軸運(yùn)動(dòng)控制器再利用多點(diǎn)直線插補(bǔ)方法進(jìn)行位置的逆運(yùn)算，并將運(yùn)算結(jié)果保存在數(shù)據(jù)寄存器，當(dāng)需要調(diào)用這些數(shù)據(jù)時(shí)可隨時(shí)將其調(diào)用。

圖3 食品分揀系統(tǒng)

機(jī)器視覺(jué)的食品包裝系統(tǒng)上位機(jī)采用Track-MAN軟件進(jìn)行開(kāi)發(fā)，該開(kāi)發(fā)軟件采用C#語(yǔ)言進(jìn)行開(kāi)發(fā)，如圖4為上位機(jī)軟件架構(gòu)。通過(guò)上位機(jī)實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)顯示、指令下發(fā)、故障顯示等，其主要功能包括配置監(jiān)控、系統(tǒng)配置、事件日志和權(quán)限管理。

圖4 上位機(jī)軟件架構(gòu)

4 試驗(yàn)分析

為驗(yàn)證設(shè)計(jì)的機(jī)器視覺(jué)的食品包裝分揀系統(tǒng)的有效性，開(kāi)展相關(guān)試驗(yàn)研究。供料傳送帶將袋裝食品向前輸送，機(jī)器人根據(jù)食品位置實(shí)施抓取。傳送帶每分鐘可以傳送100包袋裝小食品，袋裝食品之間的間隔根據(jù)傳送帶的速度進(jìn)行設(shè)定，按要求將袋裝食品放在紙箱中，裝滿(mǎn)后下一個(gè)箱子到位。機(jī)器視覺(jué)食品包裝分揀試驗(yàn)系統(tǒng)如圖5所示。

圖5 機(jī)器視覺(jué)分揀系統(tǒng)

通過(guò)上位機(jī)對(duì)試驗(yàn)數(shù)據(jù)進(jìn)行采集，該系統(tǒng)能夠?qū)崿F(xiàn)每分鐘120包食品的快速分揀，且能夠?qū)⑹称钒凑疹A(yù)定位置進(jìn)行擺放，完全滿(mǎn)足設(shè)計(jì)需求。

5 結(jié)語(yǔ)

以袋裝食品分揀為研究對(duì)象，為解決傳統(tǒng)袋裝食品加工分揀勞動(dòng)強(qiáng)度大、自動(dòng)化程度低的問(wèn)題，結(jié)合機(jī)器人控制技術(shù)及視覺(jué)圖像識(shí)別技術(shù)，設(shè)計(jì)一種機(jī)器視覺(jué)的食品包裝快速分揀系統(tǒng)。通過(guò)機(jī)器視覺(jué)坐標(biāo)標(biāo)定完成物體的定位跟蹤，并針對(duì)該系統(tǒng)的軟件部分進(jìn)行設(shè)計(jì)。結(jié)果表明，該機(jī)器視覺(jué)系統(tǒng)能夠?qū)崿F(xiàn)每分鐘120包食品的快速分揀，完全滿(mǎn)足設(shè)計(jì)需求。該系統(tǒng)可大幅提高食品加工企業(yè)的生產(chǎn)效率，有效降低工人勞動(dòng)強(qiáng)度。