應(yīng)用于手機玻璃絲網(wǎng)裝配的高精度視覺在線測量方法研究

鐘浩，樓佩煌，翟晶晶

(南京航空航天大學(xué) 機電學(xué)院，江蘇 南京 210016)

0 引言

近年來，各類消費電子產(chǎn)品發(fā)展迅猛，推動了電子制造業(yè)的發(fā)展。智能手機作為電子產(chǎn)品中的典型代表，其快速的普及也使得智能手機的出貨量一直居高不下。然而在目前國內(nèi)手機裝配行業(yè)中，人工裝配占據(jù)了很大比例。為了提高裝配質(zhì)量和效率，并且在我國經(jīng)濟轉(zhuǎn)型和人力成本提高的大背景下，機器人裝配結(jié)合視覺檢測定位已是大勢所趨[1]。

在機器視覺裝配方面，國內(nèi)外學(xué)者已經(jīng)做了很多研究。日本電氣工程大學(xué)微系統(tǒng)應(yīng)用中心為Miniwalker設(shè)計了CCD全局定位系統(tǒng)和視覺高精度定位系統(tǒng)：CCD全局定位可實現(xiàn)4 mm的定位精度；顯微視覺系統(tǒng)為機器人提供更高的視覺測量精度，用于指導(dǎo)機器人完成精密作業(yè)任務(wù)；東南大學(xué)研制的基于雙目視覺的YPJ-1機器人系統(tǒng)，雙目立體視覺測量裝置通過連桿結(jié)構(gòu)的擺動，改變CCD傳感器的視覺中心俯角。通過對機器人雙臂的視覺協(xié)調(diào)，實現(xiàn)了兩種零件間的孔-軸裝配作業(yè)[2]。

對于手機配件裝配的視覺檢測，馮鍇在金屬手機外殼視覺尺寸測量算法研究中，將金屬手機外殼邊緣提取與ROI(感興趣區(qū)域)設(shè)置相結(jié)合的方法，更加精確地提取重要的輪廓圖元[3]；王盼設(shè)計出一種基于相關(guān)系數(shù)進(jìn)行改進(jìn)的復(fù)合匹配算法，實現(xiàn)測量過程中的圖像匹配，再對匹配之后的圖像進(jìn)行 Hough變換，擬合出直線，根據(jù)直線的坐標(biāo)信息求出測量的結(jié)果[4]；劉杰提出在標(biāo)準(zhǔn)區(qū)域內(nèi)H與S通道圖像的灰度分布特征為模板，自動匹配待測圖像感興趣區(qū)域，而后通過Canny提取目標(biāo)邊緣并擬合直線[5]，雖基本滿足實際生產(chǎn)要求，但依然有提升空間。

手機玻璃絲網(wǎng)組件一直是手機生產(chǎn)制造過程中重要的配件之一，其裝配過程中玻璃上安裝位置的角度和中心位置以及絲網(wǎng)位置度的測量和定位一直是一大難題。針對玻璃絲網(wǎng)在線檢測裝配生產(chǎn)線，本文提出一種高精度、快節(jié)拍的視覺在線檢測方法。

1 手機玻璃絲網(wǎng)裝配視覺檢測關(guān)鍵技術(shù)

1.1 問題描述

為了將圖1中標(biāo)號②聽筒絲網(wǎng)的U形凸起放置并使其嵌入屏幕玻璃的標(biāo)號①處的U形孔中，如圖2所示，需要通過相機采集二者的裝配位姿圖像，通過圖像處理并計算出裝配彌補參數(shù)以保證裝配系統(tǒng)可以精確地進(jìn)行裝配，并且滿足生產(chǎn)環(huán)境下的高精度和高速率的要求，故需要設(shè)計出一種精度高、速率高的檢測方案。

圖1 玻璃絲網(wǎng)裝配示意圖

圖2 裝配完成的實物圖

1.2 裝配總體方案

為了將玻璃固定，將屏幕玻璃固定至夾具上，下方放置CCD相機并結(jié)合PLC將CCD移動至既定位置，以便之后對玻璃U形孔進(jìn)行圖像采集。機械臂以固定姿態(tài)吸住聽筒絲網(wǎng)移動至另一臺CCD相機上方，以進(jìn)行下一步的圖像拍攝；采取合適的光照方案，對圖像特征進(jìn)行采集；圖像采集之后，針對采集的圖像，通過預(yù)處理、邊緣檢測和圖形擬合的方法，計算出聽筒絲網(wǎng)U形孔的位置度和中心位置以及絲網(wǎng)位置度和中心位置，從而得出裝配彌補參數(shù)；最后將上述計算出的參數(shù)傳輸給裝配系統(tǒng)，裝配系統(tǒng)將上述參數(shù)作為裝配偏差彌補值以引導(dǎo)控制機械手將聽筒絲網(wǎng)嵌入屏幕玻璃的正確位置。

2 系統(tǒng)光照方案研究

本文選取3種常用于凸顯零件邊緣的光照方案進(jìn)行對比實驗，通過比對實驗效果圖選取合適的光照方案。3種光照方案分別是環(huán)形光源背光照明、同軸光源正向照明和同軸光源背光照明。光照方案實驗結(jié)果如圖3所示。

圖3 光照方案實驗結(jié)果圖

由圖3的實驗結(jié)果可以看出，同軸背光照明的光照方案下獲取的聽筒絲網(wǎng)采集圖的邊緣灰度值變化更明顯，即邊緣更明顯，并且邊緣噪聲更少。而本課題的測量特征信息為對象的輪廓邊緣，應(yīng)選用能較大程度凸顯物體輪廓形狀的同軸背光照明方式。

3 視覺測量

3.1 圖像預(yù)處理

在對圖像進(jìn)行邊緣提取之前，需要對圖像進(jìn)行預(yù)處理，去除圖像中的噪聲并提高圖像對比度，從而突出圖像的邊緣部分，為后續(xù)的邊緣提取提供基礎(chǔ)。本文采用二次濾波的方法，即濾波-銳化-濾波，進(jìn)行圖像預(yù)處理。濾波的方法選取中值濾波，該濾波方法是一種線性的平滑技術(shù)，可以有效地去除圖像中的隨機黑白噪聲[6]。

濾波之后的圖像銳化處理，可以突出圖像的信息，使圖像的輪廓線、邊緣等細(xì)節(jié)更加清晰。原始圖像和經(jīng)過二次濾波后的預(yù)處理效果如圖4所示。

圖4 圖像預(yù)處理前后的對比圖

3.2 邊緣檢測

經(jīng)過圖像預(yù)處理之后，圖像的輪廓線、邊緣等細(xì)節(jié)都更加清晰，為之后的邊緣檢測提供了便利。考慮到采集過程中需要考慮噪聲的影響，雖然圖像預(yù)處理中的二次濾波有效地去除了圖像的隨機黑白噪聲，很大程度上優(yōu)化了圖像中的噪聲，但依然會殘留些許的噪聲點。因此，需要結(jié)合實際視覺測量系統(tǒng)測量環(huán)境下工業(yè)相機獲取到的被測物體的幾何特征圖像，對多種邊緣檢測方法進(jìn)行實驗和分析，從而選取合適的邊緣檢測方法。

常用的邊緣檢測算子包括Sobel梯度算子、Laplace算子、Canny算子，本文針對玻璃絲網(wǎng)視覺測量，用以上3種方法在玻璃絲網(wǎng)檢測中進(jìn)行了實踐性實驗，3種方法檢測后的圖像效果圖如圖5所示。

由圖5可以看出，3種檢測算子中，Canny算子基本排除了噪聲污染，而另外兩個算子的邊緣依然會有比較突兀的凸點；而且從邊緣的平滑角度來看，Canny算子擬合的線段最為平滑，另外兩個算子擬合出的線段斷點較多。故邊緣檢測選用Canny算子進(jìn)行邊緣提取。

圖5 常用的邊緣檢測算子實驗對比圖

3.3 裝配參數(shù)計算

經(jīng)過圖像邊緣提取步驟后，獲得清晰的邊緣輪廓圖像，利用這些邊緣信息并結(jié)合圖像處理的一些方法，從而計算出最后傳輸給裝配系統(tǒng)的裝配參數(shù)。要想最后獲取到坐標(biāo)和角度參數(shù)，需要對這些邊緣進(jìn)行直線的擬合。常用的幾何擬合方法有Hough變換和最小二乘法這兩種。但由于實際生產(chǎn)線需要實現(xiàn)快節(jié)拍，因此對速率也有較高的要求，而最小二乘法在計算時間上相較Hough變換有較大的優(yōu)勢，故選取最小二乘法來實現(xiàn)邊線擬合這一過程。

1)聽筒絲網(wǎng)參數(shù)的計算

得到經(jīng)過邊緣檢測處理后的圖像后，使用最小二乘法對聽筒絲網(wǎng)的矩形邊緣進(jìn)行直線擬合。擬合后得到絲網(wǎng)矩形4條邊的直線方程，如圖6(a)中的f1(x)、f2(x)、f3(x)、f4(x),并通過這4條直線，兩兩求取交點，求得4個矩形頂點坐標(biāo)；并根據(jù)4個矩形頂點坐標(biāo)求得矩形中心點坐標(biāo)，該坐標(biāo)便是裝配中心坐標(biāo)。

選定一條直線的表達(dá)式方程，如圖6中的f1(x)，計算出該直線與本圖像水平x軸的角度差。最終的直線擬合和參數(shù)計算結(jié)果圖如圖7所示。

圖6 絲網(wǎng)裝配參數(shù)計算示意圖

圖7 絲網(wǎng)裝配參數(shù)計算結(jié)果圖

2)屏幕玻璃參數(shù)的計算

圖8 玻璃裝配參數(shù)計算示意圖

圖9 玻璃裝配參數(shù)計算結(jié)果圖

4 實驗及分析

4.1 視覺檢測實驗平臺

手機玻璃絲網(wǎng)裝配在線視覺測量系統(tǒng)的實驗平臺主要由圖像采集系統(tǒng)和圖像處理系統(tǒng)兩個部分組成。圖像采集部分主要由工業(yè)相機和光源組成，上文已經(jīng)詳細(xì)地敘述了光源的選型以及照明方案。圖像處理系統(tǒng)分為硬件部分和軟件部分，硬件部分是由工控機組成，軟件部分則是Visual Studio中的MFC結(jié)合Visionpro組成的軟件平臺。

4.2 實驗結(jié)果及分析

本文通過玻璃絲網(wǎng)在線視覺測量系統(tǒng)的實驗平臺，并且結(jié)合上文研究討論得出的視覺檢測方法流程，對檢測效果進(jìn)行實驗驗證。實驗內(nèi)容為：對同一場景下的同一塊玻璃和絲網(wǎng)進(jìn)行10次重復(fù)視覺測量，并記錄每次的測量數(shù)據(jù)，然后將測量數(shù)據(jù)進(jìn)行分析，驗證測量精度和測量速率是否滿足實際生產(chǎn)要求。

實驗結(jié)果見表1，表中的X1、Y1和θ1表示通過測量后聽筒絲網(wǎng)的裝配參數(shù)值；X2、Y2和θ2表示通過測量后屏幕玻璃的裝配參數(shù)值。

表1 屏幕玻璃和聽筒絲網(wǎng)裝配測量實驗結(jié)果

由表1可以得出，本次實驗的最大標(biāo)準(zhǔn)差為0.016 4 mm，最大極限誤差為0.030 2 mm，平均檢測速率為314 ms/件，而實際生產(chǎn)中要求的檢測精度為0.05 mm，檢測速率為500 ms/件，故精度和速率符合實際生產(chǎn)要求。

5 結(jié)語

本文針對手機裝配線中屏幕玻璃和聽筒絲網(wǎng)的裝配以及實現(xiàn)裝配的自動化和智能化，提出了手機玻璃絲網(wǎng)裝配在線視覺檢測方案。完成了視覺測量系統(tǒng)的設(shè)備選型以及光源成像方案，并設(shè)計了手機玻璃絲網(wǎng)的視覺檢測流程，研究并討論了圖像預(yù)處理方案、邊緣提取方法以及尺寸測量的模型與方法，提出了一種應(yīng)用于屏幕玻璃和聽筒絲網(wǎng)裝配的在線測量方法。最后將該在線視覺檢測方法應(yīng)用于玻璃絲網(wǎng)在線視覺測量系統(tǒng)的實驗平臺，針對測量得出的裝配彌補參數(shù)以及測量速率進(jìn)行了實驗和分析。由實驗結(jié)果可得出，其綜合檢測誤差和檢測速率均滿足實際生產(chǎn)線在線檢測的精度和實時性要求。