基于機(jī)器視覺(jué)的觸摸屏貼裝設(shè)備的研制

葛振華，張同冰，尹 超，張?jiān)鲚x，李 彥

(泰安北航科技園信息科技有限公司，山東 泰安 271000)

0 引 言

在非標(biāo)設(shè)備的生產(chǎn)過(guò)程中，由于受其非標(biāo)屬性的限制，每批次生產(chǎn)的數(shù)量一般較少，無(wú)法用常規(guī)批量生產(chǎn)的做法來(lái)提高其生產(chǎn)效率與品質(zhì)。為解決這一難題，可通過(guò)定制工裝設(shè)備與人工輔助相結(jié)合的方式，在一定程度上提高生產(chǎn)效率與產(chǎn)品品質(zhì)，不過(guò)這引發(fā)了對(duì)定制工裝設(shè)備的設(shè)計(jì)、制作周期的較大限制，需要可速實(shí)現(xiàn)。

在以往的生產(chǎn)中，此貼裝作業(yè)，采用人工貼裝裝完成，但人工貼裝，不但效率低，而且貼裝質(zhì)量不易保證，常出現(xiàn)因電阻觸摸屏貼裝偏斜而返工的情況。因?yàn)槠惹行枰环N可快速實(shí)現(xiàn)的、高精度、高效率的輔助貼裝工具。

筆者針對(duì)這種情況，設(shè)計(jì)了一種可快速設(shè)計(jì)、制作的觸摸屏貼裝設(shè)備，由采用由鋁型材拼裝框架與直線模組相結(jié)合的四軸運(yùn)動(dòng)平臺(tái)及以PC+ PLC為核心的控制系統(tǒng)組成。其中機(jī)器視覺(jué)采用成熟的Open CV視覺(jué)處理庫(kù)，應(yīng)用其對(duì)圖像進(jìn)行濾波、二值化、邊緣檢測(cè)、輪廓檢測(cè)等處理，以識(shí)別LCD屏與電阻觸摸屏之間的相對(duì)位置，用于貼裝過(guò)程中的坐標(biāo)計(jì)算；PLC作為下位機(jī)，對(duì)四軸運(yùn)動(dòng)平臺(tái)進(jìn)行直接控制，從而有效地提高觸摸屏貼裝效率及質(zhì)量。

1 貼裝設(shè)備的工作流程及方案設(shè)計(jì)

文中涉及的觸摸屏貼裝設(shè)備，其用于7寸LCD屏與電阻觸摸屏的貼裝作業(yè)。LCD屏與電阻觸摸屏組合面成觸摸顯示屏(如圖1)，是一種被應(yīng)用于傳統(tǒng)設(shè)備的自動(dòng)化升級(jí)改造中，作為其人機(jī)交互工具使用；其特點(diǎn)是需要量較少(一般每次生產(chǎn)在200 pcs以內(nèi))、對(duì)電阻觸摸屏的貼裝精度要求高(定位精度±0.3，旋轉(zhuǎn)精度±0.05°)。

圖1 觸摸顯示屏

1.1 工作流程分析

貼裝設(shè)備的總體工作流程是，由人工進(jìn)行上料，將LCD屏、電阻觸摸屏分別放置于設(shè)備相應(yīng)的放置區(qū)內(nèi)；應(yīng)用工業(yè)相機(jī)對(duì)設(shè)備中放置的LCD屏及電阻觸摸屏分別拍照并由PC中控制軟件進(jìn)行機(jī)器視覺(jué)識(shí)別，分別計(jì)算出它們的位置信息(包含有X、Y、C等三軸數(shù)據(jù)，方向軸定義是以水平面為XY平面，其法線方向?yàn)閆向，繞Z向的旋轉(zhuǎn)軸為C向，C向用于描述視覺(jué)識(shí)別對(duì)方偏轉(zhuǎn)及吸盤(pán)需要旋轉(zhuǎn)的角度);根據(jù)計(jì)算得出的數(shù)據(jù)，吸盤(pán)(真空吸附，用于電阻觸摸屏的拾取、放置，由PLC驅(qū)動(dòng)真空發(fā)生器控制)首先移動(dòng)至電阻觸摸屏中心的上方，沿Z向?qū)ζ溥M(jìn)行拾取操作，并根據(jù)計(jì)算的位置數(shù)據(jù)信息移動(dòng)至LCD屏上方后調(diào)整C軸角度，將其放置于LCD屏，至此完成貼裝工作，最后由人工將貼裝好的觸摸屏取出下料。設(shè)備工作流程如圖2所示。

圖2 設(shè)備貼裝工作流程

為了滿足以上電阻觸摸屏貼裝的動(dòng)作需求，設(shè)備的運(yùn)動(dòng)軸需要包含有X、Y、Z、C等四個(gè)方向的運(yùn)動(dòng)軸。其中工業(yè)相機(jī)需要X軸和Y軸兩個(gè)方向的運(yùn)動(dòng)，用于設(shè)備中所放置的LCD屏與電阻觸摸屏的位姿識(shí)別。吸盤(pán)需要包含有X、Y、Z、C等四個(gè)方向的運(yùn)動(dòng)以滿足貼裝的拾取、C軸角度調(diào)整、放置等工序動(dòng)作。

1.2 方案設(shè)計(jì)

設(shè)備設(shè)計(jì)方案由結(jié)構(gòu)方案、軟件方案組成，兩者需要協(xié)同工作。為可實(shí)現(xiàn)電阻觸摸屏貼裝設(shè)備在滿足貼裝要求條件下的快速研制，對(duì)于設(shè)備中的結(jié)構(gòu)組成部分，以在滿足精度為前提，可快速設(shè)計(jì)、制作加工為基本原則，對(duì)設(shè)備采用模塊化設(shè)計(jì)；機(jī)械結(jié)構(gòu)部分采用成品高精度直線模組與鋁型材框架組合的方式設(shè)計(jì)(C軸組件以伺服電機(jī)為驅(qū)動(dòng)動(dòng)力)，采用龍門式框架結(jié)構(gòu)，在Y軸方向布置兩組直線模組(同時(shí)動(dòng)作)，X軸直線模組固定于Y軸直線模組的滑塊上，可整體跟隨Y軸直線模組滑塊沿Y軸方向移動(dòng)，工業(yè)相機(jī)與Z軸直線模組共同固定于X軸直線模組滑塊，C軸組件(用于吸盤(pán)的C向旋轉(zhuǎn)調(diào)整，包含有吸盤(pán))固定Z軸直線模組滑塊，如圖3所示。

控制設(shè)備以PC為上位機(jī)，以PLC為下位機(jī)對(duì)各運(yùn)動(dòng)軸、真空發(fā)生器等進(jìn)行控制。軟件部分由圖像采集模塊、機(jī)器視覺(jué)模塊、坐標(biāo)計(jì)算模塊、執(zhí)行模塊組成，如圖4所示。其中圖像采集模塊，通過(guò)PLC驅(qū)動(dòng)直線模組使工業(yè)相機(jī)分別移動(dòng)至LCD屏放置區(qū)、電阻屏放置區(qū)上方并拍照；機(jī)器視覺(jué)模塊為本系統(tǒng)的核心組成部分，應(yīng)用OpenCV用于對(duì)輸入圖像處理，包含有濾波模塊、二值化模塊、邊緣檢測(cè)模塊、輪廓檢測(cè)模塊、特征提取模塊[1]；坐標(biāo)計(jì)算模塊根據(jù)機(jī)器視覺(jué)識(shí)別結(jié)果計(jì)算校正坐標(biāo)；執(zhí)行模塊根據(jù)機(jī)器視覺(jué)處理模塊的分析結(jié)果，完成貼裝動(dòng)作。

圖3 設(shè)備總體結(jié)構(gòu)示意圖

圖4 軟件系統(tǒng)結(jié)構(gòu)圖

2 機(jī)器視覺(jué)識(shí)別

為達(dá)到使用要求，需要首先確定滿足使用要求的相機(jī)分辨率，并在使用前對(duì)相機(jī)進(jìn)行校正，以獲取像素值與實(shí)際物理尺寸的比值關(guān)系(僅需要在初次使用時(shí)校正)。在該設(shè)備中，機(jī)器視覺(jué)主要用于識(shí)別位于放置區(qū)的LCD屏、電阻觸摸屏分別相對(duì)于工業(yè)相機(jī)視覺(jué)中心的相對(duì)位置，同時(shí)根據(jù)拍照時(shí)工業(yè)相機(jī)在設(shè)備中的X、Y軸位置，計(jì)算出兩者的相對(duì)坐標(biāo)差值，以用于后期的貼裝校正計(jì)算。

2.1 工業(yè)相機(jī)分辨率的選擇

在機(jī)器視覺(jué)檢測(cè)中，檢測(cè)精度需要比被測(cè)精度高一個(gè)量級(jí)方可保證測(cè)量精度；貼裝所需要精度±0.3 mm由此取機(jī)器視覺(jué)檢測(cè)精度為±0.1 mm[2]。則工業(yè)相機(jī)所需要的分辨率為：

(1)

(2)

式中：hp為工業(yè)相機(jī)在其水平方向(設(shè)備中X方向)上所需的最小分辨率；Vp為工業(yè)相機(jī)在其豎直方向(設(shè)備中Y方向)上所需的最小分辨率；width為7寸電阻觸摸屏寬度方向尺寸；height為7寸電阻觸摸屏高度方向尺寸；pmin為最小特征的像素?cái)?shù)，取值為2 px。

由式(1)、(2)中的計(jì)算，并考慮物料擺放時(shí)的位置偏差及圖像裁剪，最終選用工業(yè)相機(jī)分辨率為5 472×3 648(2 000萬(wàn)像素)。

2.2 相機(jī)標(biāo)定

制作了一塊尺寸如圖5所示的視覺(jué)標(biāo)定塊，將其放置于設(shè)備平臺(tái)上，運(yùn)行相機(jī)拍照，并應(yīng)用OpenCV中cv::blur、cv::threshold、cv::morphologyEx、cv::Canny、cv::findContours、cv::contourArea等函數(shù)對(duì)圖像進(jìn)行處理、識(shí)別，獲取圖像中標(biāo)定塊的長(zhǎng)寬尺寸[3]。由此可得：

(3)

式中：Tm為每mm的像素值，px/mm；w為視覺(jué)標(biāo)定塊被識(shí)別出的寬度方向像素值；h為視覺(jué)標(biāo)定塊被識(shí)別出的高度方向像素值。

圖5 相機(jī)標(biāo)定

2.3 LCD屏及電阻觸摸屏位置識(shí)別

在拍攝到LCD屏圖像的中包含有金屬外框、排線及黑色的顯示區(qū)域，其中顯示區(qū)域?yàn)樾枰R(shí)別的區(qū)域，應(yīng)用OpenCV對(duì)圖像進(jìn)行二值化、邊緣檢測(cè)、輪廓檢測(cè)、特征提取等處理后，可獲得LCD屏相對(duì)于工業(yè)相機(jī)的位置信息[4]，如圖6所示。

圖6 LCD屏機(jī)器視覺(jué)識(shí)別

拍攝的電阻觸摸屏圖像中，其由透明基板(在背景映射下，呈白色)、排線、邊緣灰色邊框，需要識(shí)別灰色邊框內(nèi)的可觸摸基板區(qū)域，圖像處理流程與LCD屏類似，如圖7所示。

圖7 電阻觸摸屏機(jī)器視覺(jué)識(shí)別

3 坐標(biāo)計(jì)算

以圖3中所示坐標(biāo)方向建立全局參考坐標(biāo)系Fxyz，以設(shè)備X、Y、Z負(fù)方向極限運(yùn)動(dòng)位置為坐標(biāo)原點(diǎn)，吸盤(pán)旋轉(zhuǎn)軸為C向；以工業(yè)相機(jī)視覺(jué)中心為原點(diǎn)，X、Y、Z方向與坐標(biāo)系Fxyz對(duì)應(yīng)軸方向平行，建立局部坐標(biāo)系Vxyz。同時(shí)根據(jù)貼裝需要可知，Z向主要用于吸盤(pán)吸附電阻觸摸屏行程計(jì)算，為一定值，故在涉及坐標(biāo)計(jì)算時(shí)，只計(jì)算X、Y、C等三個(gè)坐標(biāo)值。

設(shè)備中存在三組固定的坐標(biāo)值，分別為拍攝LCD屏、電阻觸摸屏?xí)r工業(yè)相機(jī)視覺(jué)中心點(diǎn)相對(duì)于全局參考坐標(biāo)系Uxyz的坐標(biāo)值，吸盤(pán)相對(duì)局部坐標(biāo)系Vxyz的坐標(biāo)值，它們分別為：

Lxyz=(x1,y1,0)T

(4)

Txyz=(x2,y2,0)T

(5)

Sxyz=(x3,y3,0)T

(6)

式中：Lxyz為拍攝LCD屏?xí)r，局部坐標(biāo)系Vxyz在參考坐標(biāo)系Fxyz中的坐標(biāo)值；Txyz為拍攝電阻觸摸屏?xí)r，局部坐標(biāo)系Vxyz在參考坐標(biāo)系Fxyz中的坐標(biāo)值；Sxyz為吸盤(pán)回轉(zhuǎn)中心在局部坐標(biāo)系Vxyz中的坐標(biāo)值。

在經(jīng)過(guò)機(jī)器視覺(jué)識(shí)別后，分別獲取LCD屏、電阻觸摸屏相對(duì)于局部坐標(biāo)系Vxyz的坐標(biāo)值為：

(7)

(8)

式中：L1xyz為L(zhǎng)CD屏顯示區(qū)域中心在局部坐標(biāo)系Vxyz的坐標(biāo)值，及其偏轉(zhuǎn)角度；T1xyz為電阻觸摸屏觸摸區(qū)域中心在局部坐標(biāo)系Vxyz的坐標(biāo)值，及其偏轉(zhuǎn)角度。

由式(5)～(8)計(jì)算出吸盤(pán)移動(dòng)至電阻觸摸屏觸摸區(qū)域中心上方時(shí)局部坐標(biāo)系Vxyz在參考坐標(biāo)系Fxyz

中的坐標(biāo)值及吸盤(pán)在拾取電阻觸摸屏后所需旋轉(zhuǎn)角度[5]：

(9)

由式(4)、(6)、(7)、(8)計(jì)算出吸盤(pán)拾取電阻觸摸屏觸摸后移動(dòng)至LCD屏顯示區(qū)域中心上方時(shí)局部坐標(biāo)系Vxyz在參考坐標(biāo)系Fxyz中的坐標(biāo)值及吸盤(pán)所需旋轉(zhuǎn)角度：

(10)

由式(9)、(10)的計(jì)算結(jié)果，即可獲得通過(guò)機(jī)器視覺(jué)校正后，PLC控制X軸直線模組、Y軸直線模組及吸盤(pán)在拾取電阻觸摸屏旋轉(zhuǎn)的運(yùn)動(dòng)參數(shù)。

4 結(jié) 語(yǔ)

綜合考慮小批量電阻觸摸屏貼裝的工藝特點(diǎn)及批量要求，確定了以機(jī)器視覺(jué)校正貼裝為主，人工上、下料為輔，且可快速設(shè)計(jì)制作的設(shè)計(jì)目標(biāo)。通過(guò)以直線模組配合鋁型材框架搭建模塊化的觸摸屏貼裝設(shè)備機(jī)械結(jié)構(gòu)，應(yīng)用成熟的OpenCV軟件進(jìn)行機(jī)器視覺(jué)識(shí)別方面的計(jì)算處理，并根據(jù)視覺(jué)分析的結(jié)果應(yīng)用PLC對(duì)各運(yùn)動(dòng)軸進(jìn)行控制；使設(shè)備在短短數(shù)周內(nèi)便可設(shè)計(jì)、制作完成，且貼裝精度、效率滿足設(shè)計(jì)要求。