微電子封裝位置在線實(shí)時圖像識別算法研究

李長有，王文華，商靜瑜，賈明明

河南理工大學(xué)機(jī)械與動力工程學(xué)院，河南焦作 454003

微電子封裝位置在線實(shí)時圖像識別算法研究

李長有，王文華，商靜瑜，賈明明

河南理工大學(xué)機(jī)械與動力工程學(xué)院，河南焦作 454003

1 引言

隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，機(jī)器視覺技術(shù)在自動化領(lǐng)域應(yīng)用越來越普遍[1-9]。利用機(jī)器視覺來模仿人類視覺并進(jìn)行信息提取、分析，最終實(shí)現(xiàn)檢測、識別、控制等功能是微電子封裝行業(yè)的發(fā)展趨勢[10]。本研究利用機(jī)器視覺技術(shù)對FC-D30電路板的芯片封裝位置進(jìn)行識別，在能夠正確識別封裝位置的基礎(chǔ)上，識別算法應(yīng)簡潔有效避免大量運(yùn)算，充分發(fā)揮流水線作業(yè)的優(yōu)勢。

2 算法流程分析

FC-D30電路板封裝位置識別算法流程圖如圖1所示。

圖1 算法流程圖

3 機(jī)器視覺硬件系統(tǒng)

本文的機(jī)器視覺硬件系統(tǒng)包括CCD攝像機(jī)、計(jì)算機(jī)、傳送帶平臺、支架等。攝像設(shè)備采用ST130C-H型彩色工業(yè)數(shù)字?jǐn)z像機(jī)，USB高速數(shù)字輸出，可直接利用計(jì)算機(jī)接收數(shù)據(jù)，最大分辨率為1 280×960，計(jì)算機(jī)可編程控制其曝光時間、亮度、增益等參數(shù)。電路板彩色圖像及芯片封裝位置如圖2所示。

圖2 電路板彩色圖像及芯片封裝位置

4 圖像灰度特征分析

4.1 圖像灰度化算法研究

現(xiàn)在大部分圖像都是RGB彩色模式，而在圖像處理時為了更好地反應(yīng)其形態(tài)特征及方便后續(xù)的識別、測量等，都需要將采集來的彩色圖像轉(zhuǎn)換為灰度圖像[11]。灰度化算法主要有：線性變換法、非線性變換法[12]。單一分量法、平均值法、加權(quán)平均值法屬于線性變換，其計(jì)算公式為：

式中，g為灰度圖像中某個像素的灰度值，R、G、B分別為彩色圖像中對應(yīng)像素的紅、綠、藍(lán)分量，WR、WG、WB分別為紅、綠、藍(lán)分量的權(quán)值。平均值算法最為常用，取WR=WG=WB=1/3，利用平均值法灰度化如圖3所示，圖像對比度低，封裝位置所在圓與背景灰度值相似度高，不利于圖像分割等處理。

圖3 平均值法灰度圖

通過分析圖像顏色特征得出：封裝位置紅色分量值較高，而背景綠色分量值較高。所以利用單一分量法取WR= 1、WG=0、WB=0，只提取R分量灰度化，同時單一分量法只考慮一種分量，只有賦值運(yùn)算，運(yùn)算速度快。R分量灰度圖如圖4所示，可較好地分辨出封裝位置和背景。加權(quán)平均值法、非線性變換法有利于保持圖像邊緣信息但與單一分量法相比，較為復(fù)雜不利于實(shí)時性要求。

圖4 R分量灰度圖

4.2 圖像灰度直方圖分析

平均值法灰度直方圖如圖5所示，R分量灰度直方圖如圖6所示。由直方圖對比分析得出：平均值法灰度化后的圖像縮小了前景與背景的差別，降低了圖像分辨率，不利于圖像識別。R分量灰度直方圖曲線雙峰之間谷值明顯，正確分割開了前景與背景，適合進(jìn)行閾值分割等圖像處理。

圖5 平均值法灰度直方圖

圖6 R分量灰度直方圖

4.3 迭代法閾值分割

從本質(zhì)上看，閾值分割方法基本上可以分為六大類[13]：基于熵的方法、基于聚類的方法、基于直方圖形態(tài)的方法、基于目標(biāo)屬性的方法、空間方法、和局部方法。利用迭代法求最佳分割閾值屬于直方圖形態(tài)法，其步驟如下：

（1）求出圖像的最大灰度值和最小灰度值，分別記為Max和Min，令初始閾值(i=0)：Ti=(Max+Min)/2。

（2）根據(jù)閾值Ti將圖像分割為前景和背景，分別求出兩者的平均灰度值Z0和ZB。

（3）求出新的閾值：Ti+1=(Z0+ZB)/2。

（4）若Ti=Ti+1，則所得即為閾值；否則i=i+1轉(zhuǎn)步驟（2）繼續(xù)迭代計(jì)算。

由于灰度直方圖峰、谷分布趨勢基本一致，利用迭代法計(jì)算的最佳閾值可正確分割前景和背景，因此可利用所求閾值將圖像二值化。經(jīng)過閾值分割后的二值圖像去除了大量背景信息，完整保留了前景中的封裝位置。閾值分割后的二值圖像如圖6所示。

5 封裝位置識別

5.1 圖像平滑

圖像平滑濾波的方法主要有空域法和頻域法兩大類[14]。中值濾波是一種常用的非線性空域平滑濾波法，它在消除干擾噪聲的同時，能夠較好地保持圖像的細(xì)節(jié)，防止圖像邊緣部分變得模糊。設(shè)一個奇數(shù)像素窗口W，其中間位置的原灰度值為f(x,y)，平滑后窗口中心的新灰度值為g(x,y)，即

通過分析實(shí)驗(yàn)，最終選取二維的3×3模板作為中值濾波器，圖像平滑步驟為：

（1）將二維的3×3模板在圖中漫游，并將模板中心與某個像素位置重合；

（2）讀取模板下各對應(yīng)像素的灰度值；

（3）將模板對應(yīng)像素灰度值從小到大排序；

（4）選取序列里排在中間的1個像素的灰度值；

（5）將這個中間值賦值給對應(yīng)3×3模板中心位置的像素作為像素的灰度值。

圖像平滑處理后的結(jié)果如圖8所示，與圖7對比可以看出，平滑后的圖像基本已無小噪聲區(qū)域和孔洞區(qū)域，所以平滑處理對后期的邊緣提取工作是非常必要的。

圖7 閾值分割后的二值圖像

圖8 圖像平滑后的二值圖像

5.2 邊緣提取

如圖8所示，二值圖像邊緣附近的亮度變化較大，所以可以把在鄰域內(nèi)灰度超過某個值的像素點(diǎn)當(dāng)做邊緣點(diǎn)。常用的邊緣提取算子有Roberts、Sobel、Prewitt、Laplacian、Canny等[15]，其特點(diǎn)及提取二值圖像邊緣所用時間如表1所示。

表1 常用邊緣提取算子的特點(diǎn)及提取邊緣所用時間

由表1可知，Laplacian、Canny算子較為復(fù)雜，提取邊緣所用時間較長，無法滿足算法的實(shí)時性要求。Roberts、Sobel、Prewitt算子提取邊緣所用時間相差不多，但Roberts算子檢測到的結(jié)果出現(xiàn)了微量偏移，Prewitt算子有些細(xì)節(jié)邊緣未檢測到，所以兩者并不適用。

在實(shí)際點(diǎn)膠封裝過程中，圖像獲取過程的光照背景變化和干擾噪聲比較小，并選取黑色傳送帶為背景。經(jīng)過實(shí)驗(yàn)得出：Sobel算子可以快速、完整地提取到邊緣輪廓。Sobel算子提取邊緣后的圖像如圖9所示。

圖9 Sobel算子提取邊緣后的圖像

5.3 Hough變換識別圓

在數(shù)字圖像處理技術(shù)中，Hough變換廣泛應(yīng)用于對圓的識別，而且具有識別率高、抗噪性強(qiáng)、對不完整邊緣具有魯棒性等優(yōu)點(diǎn)[16]。根據(jù)Hough變換原理，在極坐標(biāo)的ρθ參數(shù)平面，通過Hough變換，將圖像空間(x,y)對應(yīng)到參數(shù)空間(a,b,r)。由于Hough變換計(jì)算量大，所用時間長，所以傳統(tǒng)的Hough算法實(shí)時性較差。

當(dāng)攝像機(jī)位置固定以后，電路板與攝像機(jī)的垂直距離恒定，采集到的圖像大小也不變，因此可通過人工測量被檢測圓直徑r，將Hough變換累加器從三維降為二維。二維變換將在很大程度上減少計(jì)算量，提高識別速度，保證算法具有良好的實(shí)時性。Hough變換識別結(jié)果如圖10所示，已準(zhǔn)確識別出封裝位置所在圓及圓心坐標(biāo)。

圖10 Hough變換識別圓結(jié)果圖

5.4 確認(rèn)識別結(jié)果

將Hough變換識別結(jié)果與原彩色圖像進(jìn)行疊加后的圖像如圖11所示。重疊圖像表明：識別結(jié)果與實(shí)際封裝位置吻合，定位誤差僅有1個像素，滿足實(shí)際點(diǎn)膠精度要求。可將識別出的圓心坐標(biāo)按照指定協(xié)議發(fā)送給運(yùn)動控制機(jī)構(gòu)完成點(diǎn)膠封裝的工作。

圖11 識別結(jié)果與原彩色圖像進(jìn)行疊加

6 結(jié)論

綜上所述，在保證FC-D30電路板印刷質(zhì)量的前提下，運(yùn)用機(jī)器視覺技術(shù)可以準(zhǔn)確、快速、靈活地對微電子封裝位置進(jìn)行識別，滿足微電子封裝的準(zhǔn)確性和流水線點(diǎn)膠的實(shí)時性。而且機(jī)器視覺技術(shù)為非接觸式定位，避免了在微電子封裝過程中可能對芯片造成的損傷，定位精度高，實(shí)時效果好，具有較強(qiáng)的理論價(jià)值和實(shí)際應(yīng)用價(jià)值。

[1]Makky M，Soni P.Development of an automatic grading machine for oil palm Fresh Fruits Bunches（FFBs）based on machine vision[J].Computers and Electronics in Agriculture，2013，93：129-139.

[2]Zhang Chen，Zhang Jilin.On-line tool wear measurement for ball-end milling cutter based on machine vision[J].Computers in Industry，2013，64（6）：708-719.

[3]Omid M，Soltani M，Dehrouyeh M H，et al.An expert egg grading system based on machine vision and artificial intelligence techniques[J].Journal of Food Engineering，2013，118（1）：70-77.

[4]Tong Jun H，Li Jiang B，Jiang Huan Y.Machine vision techniques for the evaluation of seedling quality based on leaf area[J].Biosystems Engineering，2013，115（3）：369-379.

[5]Liu Yingjie，You Fucheng.Postmark date recognition based on machine vision[J].Physics Procedia，2012，33：819-826.

[6]Ata? M，Yardimci Y，Temizel A.A new approach to aflatoxin detection in chili pepper by machine vision[J].Computers and Electronics in Agriculture，2012，87：129-141.

[7]Zhang Wenchang，Mei Jiangping，Ding Yabin.Design and development of a high speed sorting system based on machine vision guiding[J].Physics Procedia，2012，25：1955-1965.

[8]Tian Yuanyuan，Liu Siyang，Tan Qingchang.Application of detecting part’s size online based on machine vision[J].Energy Procedia，2012，16：1948-1956.

[9]章煒.機(jī)器視覺技術(shù)發(fā)展及其工業(yè)應(yīng)用[J].紅外，2006，27（2）：11-17.

[10]孫道恒，高俊川，杜江，等.微電子封裝點(diǎn)膠技術(shù)的研究進(jìn)展[J].中國機(jī)械工程，2011，22（20）：2513-2519.

[11]張全法，楊海彬，任朝棟，等.彩色圖像的快速高保真灰度化方法研究[J].鄭州大學(xué)學(xué)報(bào)：理學(xué)版，2011，43（3）：66-69.

[12]劉慶祥，蔣天發(fā).彩色與灰度圖像間轉(zhuǎn)換算法的研究[J].武漢理工大學(xué)學(xué)報(bào)：交通科學(xué)與工程版，2003，27（3）：344-346.

[13]謝勰，王輝，張雪鋒.圖像閾值分割技術(shù)中的部分和算法綜述[J].西安郵電學(xué)院學(xué)報(bào)，2011，16（3）：1-5.

[14]安寧，林樹忠，劉海華，等.圖像處理方法研究及其應(yīng)用[J].儀器儀表學(xué)報(bào)，2006，27（z1）：792-793.

[15]文婷，周激流，何坤.基于圖像特征的邊緣檢測[J].計(jì)算機(jī)工程與應(yīng)用，2011，47（12）：189-191.

[16]朱桂英，張瑞林.基于Hough變換的圓檢測方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008，29（6）：1462-1464.

LI Changyou,WANG Wenhua,SHANG Jingyu,JIA Mingming

School of Mechanical and Power Engineering,Henan Polytechnic University,Jiaozuo,Henan 454003,China

This paper proposes an online real-time image recognition algorithm for pipeline microelectronic dispensing package location.The color characteristics of the package location circle are analyzed.TheRcomponent is extracted to do image gray.Iterative method is used to do threshold segmentation of gray image in order to remove the complex background and obtain binary image.Median filter is used to smooth the binary image to eliminate the noise after segmentation.Sobel operator is used to obtain edge information.The center of circle which is to be identified in the edge information is found out through Hough transform. Then package location is identified.The experimental results show that,machine vision technology can position the microelectronic packaging location quickly and accurately,with a good theoretical and practical value.

machine vision;microelectronic packaging;image processing;Hough transform

提出一種針對流水線上微電子點(diǎn)膠封裝位置的在線實(shí)時圖像識別算法。通過對封裝位置所在圓的顏色特征分析，提取R分量進(jìn)行圖像灰度化，采用迭代法對灰度圖像進(jìn)行閾值分割去除復(fù)雜背景得到二值圖像，利用中值濾波法平滑二值圖像消除分割后的噪聲，運(yùn)用Sobel算子提取邊緣獲得邊緣信息，利用Hough變換找出邊緣信息中待識別圓的中心位置，完成對封裝位置的檢測。實(shí)驗(yàn)結(jié)果表明，利用機(jī)器視覺技術(shù)可以快速、準(zhǔn)確地對微電子封裝位置進(jìn)行定位，具有很好的理論和實(shí)際應(yīng)用價(jià)值。

機(jī)器視覺；微電子封裝；圖像處理；Hough變換

A

TP273

10.3778/j.issn.1002-8331.1306-0265

LI Changyou,WANG Wenhua,SHANG Jingyu,et al.Detection algorithm research of online real-time microelectronics packaging position.Computer Engineering and Applications,2013,49（24）：149-151.

河南省重點(diǎn)科技攻關(guān)項(xiàng)目（No.0721002210033）；河南省教育廳科學(xué)技術(shù)研究項(xiàng)目（No.2009B460004）。

李長有（1964—），男，博士，教授，研究領(lǐng)域?yàn)闄C(jī)器視覺與自動化控制；王文華（1986—），男，碩士，研究領(lǐng)域?yàn)闄C(jī)器視覺與自動化控制；商靜瑜（1987—），女，碩士，研究領(lǐng)域?yàn)樘胤N加工與測控技術(shù)；賈明明（1987—），男，碩士，研究領(lǐng)域?yàn)闇y控技術(shù)與裝備。E-mail：wwhgigi@163.com

2013-06-24

2013-09-11

1002-8331（2013）24-0149-03

CNKI出版日期：2013-10-11http://www.cnki.net/kcms/detail/11.2127.TP.20131011.1653.007.html