基于線陣相機(jī)的巧克力棒上料系統(tǒng)設(shè)計(jì)

鄭晨旭 李 亞

(天津科技大學(xué)天津市輕工與食品工程機(jī)械裝備集成設(shè)計(jì)與在線監(jiān)控重點(diǎn)實(shí)驗(yàn)室,天津 300222)

為迎合市場(chǎng)需求，以巧克力為核心的產(chǎn)品也走向了多元化，其中帶有塑料手柄的巧克力棒產(chǎn)品以其新穎的外形和干凈衛(wèi)生的食用體驗(yàn)受到市場(chǎng)青睞。由于其制作工藝需要在巧克力澆筑前將塑料手柄放入模具中，目前傳統(tǒng)的生產(chǎn)線主要依靠人力擺放，勞動(dòng)力成本高，效率低下。少數(shù)企業(yè)采用自動(dòng)化設(shè)備上料擺放，但由于巧克力塑料手柄外型的多樣性與不規(guī)則性，上料錯(cuò)誤率較高。近年來，機(jī)器視覺技術(shù)逐漸被應(yīng)用于物體識(shí)別與引導(dǎo)機(jī)器人完成抓取[1-2]，海潮等[3]提出了基于機(jī)器視覺的在線監(jiān)測(cè)技術(shù)；邱素貞等[4]設(shè)計(jì)了基于機(jī)器視覺的碼垛機(jī)器人控制系統(tǒng)；楊新海[5]提出了生產(chǎn)線目標(biāo)同步抓取的方法。上述研究機(jī)器視覺均基于面陣相機(jī)，對(duì)線陣相機(jī)配合機(jī)器人抓取的系統(tǒng)研究不足。

相較于面陣相機(jī)，線陣相機(jī)檢測(cè)精度更高，拍照速度更快，更適用于一維動(dòng)態(tài)目標(biāo)[6]。試驗(yàn)擬以某巧克力生產(chǎn)線為例，結(jié)合現(xiàn)場(chǎng)實(shí)際需求，設(shè)計(jì)基于線陣相機(jī)的巧克力棒自動(dòng)上料擺放系統(tǒng)。針對(duì)線陣相機(jī)難以進(jìn)行手眼標(biāo)定的問題，提出利用傳動(dòng)帶運(yùn)動(dòng)掃描成像的手眼標(biāo)定思路；為提高生產(chǎn)效率，設(shè)計(jì)多目標(biāo)抓取的機(jī)器人末端手爪，優(yōu)化追蹤路線以提高追蹤效率。

1 系統(tǒng)總體設(shè)計(jì)

通過對(duì)現(xiàn)場(chǎng)情況和實(shí)際需求的調(diào)研，明確系統(tǒng)需要滿足以下幾點(diǎn)要求：① 確保巧克力塑料手柄上料擺放準(zhǔn)確率；② 與現(xiàn)場(chǎng)流水線節(jié)奏配合；③ 每盤模具(8個(gè)工位)完成時(shí)間<10 s。根據(jù)以上要求對(duì)系統(tǒng)進(jìn)行設(shè)計(jì)選型。

1.1 系統(tǒng)架構(gòu)設(shè)計(jì)

系統(tǒng)采用模塊化設(shè)計(jì)，系統(tǒng)架構(gòu)如圖1所示。振動(dòng)給料盤將巧克力塑料手柄輸送到傳送帶上，工業(yè)相機(jī)拍照獲取圖像通過GigE接口發(fā)送給上位工控機(jī)，上位機(jī)界面采用QT開發(fā)，經(jīng)過特征檢測(cè)和模板匹配原理獲得巧克力塑料手柄實(shí)時(shí)位姿信息，通過TCP協(xié)議與下位機(jī)通訊，將結(jié)果發(fā)送給下位機(jī)機(jī)器人，驅(qū)動(dòng)機(jī)器人進(jìn)行追蹤抓取，機(jī)器人對(duì)現(xiàn)場(chǎng)流水線情況判斷后，最終擺放到模具中，系統(tǒng)工作流程如圖2所示。

圖2 系統(tǒng)工作流程圖Figure 2 System work flow diagram

1.2 給料模塊設(shè)計(jì)

給料模塊由振動(dòng)給料盤和傳送帶組成。由于振動(dòng)給料盤可能出現(xiàn)上料速度不勻的情況，為保證擺放質(zhì)量，上料留有30%余量，設(shè)定振動(dòng)給料盤出料速度為90個(gè)/min。線陣相機(jī)成像依賴物體與相機(jī)相對(duì)運(yùn)動(dòng)，成像質(zhì)量與傳送帶速度有關(guān)，故傳動(dòng)帶采用步進(jìn)電機(jī)驅(qū)動(dòng)，且電機(jī)驅(qū)動(dòng)器采用專用電機(jī)控制DSP芯片和應(yīng)用矢量型閉環(huán)控制技術(shù)以保證傳動(dòng)帶運(yùn)行速度的穩(wěn)定性。為避免巧克力塑料手柄在傳送帶上發(fā)生堆疊，根據(jù)塑料手柄尺寸計(jì)算選定傳送帶速度為1 m/s。

1.SCARA機(jī)器人 2.條形光源 3.工業(yè)相機(jī) 4.編碼器 5.振動(dòng)給料盤 6.傳送帶 7.暗箱 8.四工位手爪 9.目標(biāo)圖1 系統(tǒng)架構(gòu)圖Figure 1 System architecture diagram

1.3 視覺采集模塊設(shè)計(jì)與選型

視覺采集模塊包括工業(yè)相機(jī)、光源、圖像采集卡、編碼器等硬件。線陣相機(jī)工作區(qū)域?qū)挾仍O(shè)定為300 mm，檢測(cè)精度設(shè)定為0.2 mm，相機(jī)與傳送帶距離約為300 mm。根據(jù)條件選擇2K分辨率線陣相機(jī)，型號(hào)為大恒公司的 LA-GC-02K05B-00-R，幀頻為26 kHz，鏡頭焦距選擇為16 mm，光源采用條形LED光源。當(dāng)線陣相機(jī)圖像拼接方向與傳送帶運(yùn)行方向不同或相機(jī)采集頻率與傳送帶速度不匹配時(shí)均會(huì)影響相機(jī)成像[7]，兩種情況下拼接得到的標(biāo)定板圖像如圖3和圖4所示。

圖3 傳送帶速度與采集頻率不符導(dǎo)致圖像壓縮Figure 3 Image compression due to the inconsistency between the conveyor belt speed and the acquisition frequency

圖4 傳送帶與相機(jī)有夾角導(dǎo)致圖像平移Figure 4 Image translation due to the included angle between the conveyor belt and the camera

故相機(jī)在安裝時(shí)需垂直傳送帶方向安裝，使相機(jī)傳感器Yc軸與傳送帶運(yùn)行方向一致。相機(jī)拍照通過傳送帶編碼器進(jìn)行外觸發(fā)，為保證圖像不被壓縮，圖片縱向分辨率與橫向分辨率相等，可得：

(1)

式中：

Px、Py——圖像橫向、縱向分辨率，m/pix；

V——傳送帶運(yùn)行速度，m/s；

Vc——相機(jī)拍照頻率，Hz；

T、Tc——掃描一幀圖像傳送帶運(yùn)行時(shí)間和相機(jī)拍照時(shí)間，s。

根據(jù)傳送帶實(shí)際運(yùn)行速度與相機(jī)參數(shù)計(jì)算求得相機(jī)拍照頻率。

1.4 抓取模塊

抓取模塊由SCARA機(jī)器人和機(jī)器人控制器組成。機(jī)器人大臂最大運(yùn)動(dòng)速度為375°/s，抓取與擺放時(shí)大臂角度間隔約為90°，由于每盤模具工位較多，往返耗時(shí)較長(zhǎng)，故根據(jù)模具尺寸設(shè)計(jì)由4個(gè)氣缸組成的氣動(dòng)手爪，實(shí)現(xiàn)多個(gè)巧克力塑料手柄的抓取，減少機(jī)器人往復(fù)次數(shù)，提高上料效率。機(jī)器人控制器與現(xiàn)場(chǎng)PLC連接獲取現(xiàn)場(chǎng)流水線運(yùn)動(dòng)狀態(tài)。機(jī)器人抓取邏輯圖如圖5所示。

圖5 抓取邏輯圖Figure 5 Grab logic diagram

2 手眼標(biāo)定

手眼標(biāo)定是為了獲得像素坐標(biāo)系與機(jī)器人坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，使圖像處理結(jié)果能夠以機(jī)器人坐標(biāo)系的形式發(fā)送給機(jī)器人，通常的手眼標(biāo)定都通過相機(jī)視野與機(jī)器人工作空間交集內(nèi)的點(diǎn)來求得二者的映射關(guān)系，由于線陣相機(jī)獲得的是一維圖像，無法獲得與機(jī)器人末端交集的特征點(diǎn)，故提出一種利用傳動(dòng)帶運(yùn)動(dòng)掃描成像進(jìn)行線陣相機(jī)與機(jī)器人的手眼標(biāo)定方法。設(shè)定傳送帶所在平面為基準(zhǔn)平面，以傳送帶運(yùn)動(dòng)方向?yàn)閳D像坐標(biāo)系Yi軸方向，通過傳送帶使標(biāo)定板與相機(jī)產(chǎn)生相對(duì)運(yùn)動(dòng)進(jìn)行標(biāo)定，建立手眼標(biāo)定模型，如圖6所示。

圖6 手眼標(biāo)定模型Figure 6 Hand-eye calibration model

2.1 相機(jī)標(biāo)定

鏡頭在制造過程中的精度誤差會(huì)使直線投影發(fā)生偏移產(chǎn)生畸變[8-9]，由于線陣相機(jī)畸變較面陣相機(jī)更小，且目標(biāo)集中在圖像中間區(qū)域，可忽略相機(jī)畸變帶來的影響。可以將線陣相機(jī)看作是面陣相機(jī)圖像中的一列，根據(jù)相機(jī)成像原理建立像素坐標(biāo)系(UOV)、圖像坐標(biāo)系(XiOiYi)、相機(jī)坐標(biāo)系(XcOcYc)和世界坐標(biāo)系(XwOwYw)的坐標(biāo)關(guān)系，為方便理解計(jì)算，將圖像坐標(biāo)系倒立翻轉(zhuǎn)投影至與相機(jī)坐標(biāo)系同側(cè)，如圖7所示。

圖7 成像原理與坐標(biāo)系關(guān)系Figure 7 Imaging principle and coordinate system relation

光源發(fā)出的光線照到巧克力塑料手柄上的點(diǎn)P后經(jīng)過光心將圖像投影到像平面上形成像點(diǎn)Pi，經(jīng)過CMOS感光元件將光信號(hào)轉(zhuǎn)化為電信號(hào)后形成一維圖像，將一維圖像按幀排列拼接得到二維圖像。

(2)

式中：

dxi——像素在Xi方向上物理尺寸；

Syi——縮放比例因子(由傳送帶運(yùn)行速度和相機(jī)拍照頻率獲得)。

(3)

式中：

Syc——比例因子；

Zc——光心到傳送帶平面的距離(忽略誤差將其看作固定值)，mm。

將傳送帶運(yùn)動(dòng)切向方向設(shè)定為Xw正方向，取圖像中心點(diǎn)為世界坐標(biāo)系原點(diǎn)Ow，安裝時(shí)調(diào)整相機(jī)平面與傳送帶水平面平行，可得相機(jī)坐標(biāo)系與世界坐標(biāo)系的變換關(guān)系為：

(4)

式中：

r3×3——矩陣旋轉(zhuǎn)向量；

t1×3——矩陣平移向量。

合并得到像素坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換矩陣：

(5)

得到物像之間變換關(guān)系，通過移動(dòng)標(biāo)定板獲取多組數(shù)據(jù)，根據(jù)待定系數(shù)法可求得相機(jī)內(nèi)外參數(shù)。

2.2 相機(jī)和機(jī)器人標(biāo)定

相機(jī)與機(jī)器人的標(biāo)定本質(zhì)是求相機(jī)坐標(biāo)系(XcOcYc)與機(jī)器人坐標(biāo)系(XrOrYr)的轉(zhuǎn)換矩陣，而相機(jī)坐標(biāo)系與世界坐標(biāo)系的關(guān)系已在相機(jī)標(biāo)定中得到結(jié)果，接下來求解世界坐標(biāo)系與機(jī)器人坐標(biāo)系之間的關(guān)系。通過傳送帶的運(yùn)動(dòng)將標(biāo)定板送至機(jī)器人的工作區(qū)域內(nèi)，拼接后得到二維圖像，通過相機(jī)標(biāo)定結(jié)果可得到圖像中標(biāo)定板每個(gè)點(diǎn)在世界坐標(biāo)系坐標(biāo)(xci，yci)，依次將機(jī)器人末端指向標(biāo)定板上每個(gè)點(diǎn)并記錄其在機(jī)器人坐標(biāo)系的坐標(biāo)(xri，yri)。由于機(jī)器人和傳送帶都在水平面上安裝，將機(jī)器人坐標(biāo)系與世界坐標(biāo)系看作同一平面，根據(jù)標(biāo)定板上的點(diǎn)分別在兩個(gè)坐標(biāo)系內(nèi)的坐標(biāo)可求解得轉(zhuǎn)換矩陣：

(6)

式中：

θ——機(jī)器人與傳送帶間的夾角，rad；

Tx、Ty、Tz——Xw、Yw、Zw軸方向上的平移距離，mm。

整理得到手眼標(biāo)定的轉(zhuǎn)換結(jié)果：

(7)

3 圖像處理

圖像處理的任務(wù)是為了定位巧克力塑料手柄的位姿信息，發(fā)送給機(jī)器人進(jìn)行抓取。先對(duì)圖像進(jìn)行預(yù)處理消除圖像噪聲后，采用基于幾何形狀特征的模板匹配找到巧克力塑料手柄的位置與姿態(tài)。

3.1 圖像預(yù)處理

工業(yè)相機(jī)采集的圖像會(huì)因?yàn)楣庹铡F(xiàn)場(chǎng)干擾等因素產(chǎn)生噪聲[10-11]。將RGB通道下的圖像經(jīng)過平均法獲得灰度圖像后，以式(8)為高斯低通濾波器對(duì)得到的灰度圖像進(jìn)行卷積，可以有效消除噪聲干擾。

(8)

式中：

σ——標(biāo)準(zhǔn)偏差。

標(biāo)準(zhǔn)偏差決定了濾波通帶的寬度，取σ2為10，最后進(jìn)行對(duì)比度增強(qiáng)突出目標(biāo)輪廓。

3.2 模板匹配

模板匹配算法是通過創(chuàng)建圖像模板，移動(dòng)模板遍歷整個(gè)圖像，通過相似度函數(shù)判斷后獲取目標(biāo)位置的一種算法[12]。首先建立圖像模板，通過Canny算子獲取目標(biāo)輪廓，由于巧克力塑料手柄是厚度相同的均勻目標(biāo)，對(duì)塑料手柄輪廓坐標(biāo)進(jìn)行積分可以獲得質(zhì)心坐標(biāo)[13]，以其質(zhì)心與外接最小矩形短邊方向?yàn)檎较颍@取目標(biāo)與像素坐標(biāo)系夾角，對(duì)模板圖像進(jìn)行仿射變換得到角度為0的模板圖像，如圖8所示。

圖8 模板圖像的建立Figure 8 The establishment of template image

巧克力塑料手柄從振動(dòng)給料盤傳輸?shù)絺魉蛶系奈恢煤徒嵌仁请S機(jī)的，所以需從模板圖像的不同角度創(chuàng)建模板用來搜索不同位姿的目標(biāo)。由于使用模板遍歷原圖像時(shí)，每個(gè)位置都會(huì)產(chǎn)生一個(gè)ROI圖像，完全遍歷原圖像耗時(shí)較長(zhǎng)，故采用基于圖像金字塔的模板匹配方法。經(jīng)效率對(duì)比，設(shè)置圖像金字塔層數(shù)為4層，創(chuàng)建對(duì)應(yīng)的金字塔圖像，采用均值波對(duì)創(chuàng)建好的圖像進(jìn)行平滑處理以消除采樣形成的鋸齒。利用Sobel算子分別計(jì)算圖像橫向與縱向邊緣特征點(diǎn)梯度向量：

(9)

(10)

將得到的u，v方向的邊緣梯度向量合并為單位向量，得：

(11)

記ROI圖像輪廓的梯度單位向量為td(ui,vi)，選取N個(gè)模板特征點(diǎn)，通過模板圖像和ROI圖像梯度單位向量的內(nèi)積衡量二者之間的匹配度，則：

(12)

遍歷圖像后得到每個(gè)目標(biāo)的位置與姿態(tài)，放入隊(duì)列中等待發(fā)送給機(jī)器人實(shí)施抓取，圖像處理結(jié)果如圖9所示。

圖9 圖像處理結(jié)果Figure 9 Image processing results

4 追蹤算法

根據(jù)圖像處理的結(jié)果與編碼器的反饋，可對(duì)目標(biāo)計(jì)算得到其實(shí)時(shí)位置，當(dāng)滿足在工作空間且機(jī)器人有需求時(shí)，控制系統(tǒng)發(fā)送目標(biāo)位姿信息至機(jī)械臂，機(jī)械臂開始執(zhí)行追蹤過程。由于傳送帶在不斷運(yùn)動(dòng)，取追蹤過程中任意時(shí)刻t為例，如圖10所示，實(shí)時(shí)反饋的追蹤算法的速度分量時(shí)刻指向當(dāng)前時(shí)刻目標(biāo)位置，由于目標(biāo)的移動(dòng)和反饋的滯后性，實(shí)時(shí)反饋?zhàn)粉櫜粩喔滤芰鲜直膶?shí)時(shí)位置并進(jìn)行逆運(yùn)動(dòng)學(xué)求解，計(jì)算量大而且追蹤路徑變長(zhǎng)，影響抓取效率。文章采用一種對(duì)目標(biāo)位置的階段式預(yù)測(cè)攔截算法進(jìn)行抓取。

圖10 追蹤示意圖Figure 10 Tracing diagram

由于機(jī)器人運(yùn)動(dòng)軌跡與加速度曲線參數(shù)很難精確獲取，難以由機(jī)器人運(yùn)動(dòng)軌跡結(jié)合目標(biāo)運(yùn)動(dòng)軌跡預(yù)測(cè)出實(shí)際抓取點(diǎn)，但傳送帶采用步進(jìn)電機(jī)驅(qū)動(dòng)，傳送帶速度V比較平穩(wěn)，且利用機(jī)器人控制器的時(shí)鐘可獲取機(jī)器人到達(dá)當(dāng)前點(diǎn)的時(shí)刻記為T，末端執(zhí)行器在上一個(gè)點(diǎn)的時(shí)刻為Ti-1，移動(dòng)到當(dāng)前點(diǎn)的時(shí)刻記為Ti，則下一個(gè)追蹤點(diǎn)相對(duì)當(dāng)前點(diǎn)的偏移S為：

(13)

由于傳送帶坐標(biāo)系和機(jī)械臂坐標(biāo)系存在角度θ，則在機(jī)器人坐標(biāo)系X軸與Y軸的偏移分別為Scosθ和Ssinθ。機(jī)器人要在兩個(gè)維度計(jì)算偏移量，為了提高執(zhí)行效率,在機(jī)器人工作空間以三點(diǎn)法建立工件坐標(biāo)系(XuOuYu)，工件坐標(biāo)系Xu、Yu軸方向與傳送帶坐標(biāo)系Xc、Yc軸一致，將發(fā)送至機(jī)器人的坐標(biāo)轉(zhuǎn)換至工件坐標(biāo)系上。由此當(dāng)機(jī)器人移動(dòng)到發(fā)送點(diǎn)并開始追蹤時(shí)，由于傳送帶方向與機(jī)器人工件坐標(biāo)系方向一致，則只需X軸一個(gè)維度的計(jì)算量，降低了程序冗余。

追蹤第一階段是機(jī)器人末端未進(jìn)入傳送帶上方空間時(shí)，提前預(yù)測(cè)目標(biāo)將要到達(dá)的大致位置，將機(jī)器人開始追蹤時(shí)刻目標(biāo)坐標(biāo)加追蹤偏移量得到位置如式(14)所示。

X1=xt1+D1，

(14)

式中：

X1——追蹤第一階段位移，mm。

xt1——目標(biāo)發(fā)送時(shí)的坐標(biāo)；

D1——超前偏移量(根據(jù)經(jīng)驗(yàn)得到)。

追蹤第二階段是機(jī)器人末端靠近目標(biāo)后，利用編碼器反饋提高抓取精度，但由于反饋的滯后性，在反饋的坐標(biāo)后加入速度積分補(bǔ)償?shù)玫阶粉欬c(diǎn)坐標(biāo)如式(15)所示。

(15)

式中：

X2——追蹤第二階段位移，mm。

xt——根據(jù)編碼器返回的目標(biāo)實(shí)時(shí)坐標(biāo)；

V——傳送帶運(yùn)行速度，mm/s；

T——當(dāng)前時(shí)刻時(shí)鐘數(shù)值,s；

T0——機(jī)器人進(jìn)入第二段追蹤時(shí)的時(shí)刻,s。

機(jī)器人末端執(zhí)行器經(jīng)過兩個(gè)階段追蹤攔截到目標(biāo)，在抓取等待點(diǎn)經(jīng)過位移X1+X2到達(dá)捕獲點(diǎn)。

5 試驗(yàn)結(jié)果分析

為驗(yàn)證系統(tǒng)的效率與精度，搭建試驗(yàn)平臺(tái)，固定模具位置。對(duì)傳動(dòng)帶上的巧克力塑料手柄進(jìn)行抓取擺放試驗(yàn)，通過目標(biāo)擺放結(jié)果驗(yàn)證系統(tǒng)精度和穩(wěn)定性。對(duì)塑料手柄質(zhì)心進(jìn)行標(biāo)記，記錄抓取后機(jī)器人末端與理論抓取位置之間的誤差，并通過定時(shí)器記錄機(jī)器人一個(gè)抓取周期的時(shí)間，共進(jìn)行20盤擺放試驗(yàn)，對(duì)每盤模具數(shù)據(jù)平均后得到試驗(yàn)結(jié)果，見圖11。

圖11 試驗(yàn)結(jié)果數(shù)據(jù)Figure 11 Experimental data

由圖11可知，系統(tǒng)抓取誤差<0.5 mm，誤差主要來源于坐標(biāo)系平面不完全平行等因素；系統(tǒng)每盤完成時(shí)間<7 s，滿足企業(yè)需求。通過目標(biāo)擺放是否到位驗(yàn)證系統(tǒng)精度和穩(wěn)定性，共統(tǒng)計(jì)20盤(160個(gè)工位),擺放成功個(gè)數(shù)為154個(gè)，其成功率>95%。

6 結(jié)論

系統(tǒng)將視覺系統(tǒng)與控制系統(tǒng)相結(jié)合，提出了線陣相機(jī)手眼標(biāo)定思路，優(yōu)化了追蹤軌跡算法，實(shí)現(xiàn)巧克力塑料手柄的自動(dòng)上料擺放。經(jīng)大量樣本試驗(yàn)結(jié)果表明，系統(tǒng)擺放成功率>95%，平均每盤擺放時(shí)間相較企業(yè)生產(chǎn)要求時(shí)間10 s縮短至7 s以內(nèi)，符合生產(chǎn)需求。而且系統(tǒng)具有良好的可移植性，基于模板匹配的物體識(shí)別算法具有很好的開放性，可以勝任其他領(lǐng)域目標(biāo)抓取工作。