基于圖像匹配與特征分析的FPC引導檢測算法

吳 鵑

(西安職業技術學院,陜西 西安 710077)

?

基于圖像匹配與特征分析的FPC引導檢測算法

吳 鵑

(西安職業技術學院,陜西 西安 710077)

為了解決當前FPC定位檢測算法在FPC背景復雜的情況下,定位正確率不穩定的問題,本文提出了基于圖像匹配與特征分析的FPC視覺引導檢測算法。首先,根據連接蓋的灰度特征,計算其歸一化灰度協方差,并將其融于圖像匹配算法中,以構建匹配度因子。設計了基于圖像匹配的視覺引導檢測算子,完成FPC定位插拔引導和連接蓋翻合檢測。然后基于形態學分割出pin目標,提取灰度方差、梯度能量等特征,定義了耦合特征提取與特征分析的檢測算子,完成對pin計數與檢測。實驗測試結果顯示:與當前定位引導檢測技術相比,面對復雜多變的FPC背景,本文算法擁有更高的匹配精度與定位檢測正確率。

圖像匹配; 特征分析; 灰度協方差; 形態學; 梯度能量

1 引 言

隨著市場競爭激烈程度的不斷增加,人力成本不斷上升,以及產能過剩情況日趨嚴重,為了提高我國在國際經濟市場的競爭力,增加制造企業的科技含量,提高制造業的生產水平與產品質量已經是大勢所趨[1-2]。FPC(柔性電路板,下同)與Connect(電子連接器)是電子制造核心部件,對FPC插拔、Connect以及附屬連接蓋翻合的工作量大、工藝復雜,這對FPC定位、Connect的pin角檢測以及附屬連接蓋翻合檢測有很大的挑戰,而這系列的視覺定位、檢測直接關系到產品質量,因此將智能視覺技術用在FPC-Connect識別是非常必要的[3]。目前國內已經有很多廠家采用機器視覺技術來檢測Connect的Pin角和其他電子器件,在一定程度上提高了生產效率和不良溢出率,但是缺少對FPC、Connect及其連接蓋這一整個系統的視覺處理,而且多數視覺算法存在不穩定性,尤其是在光源和硬件環境復雜的情況下,容易出現定位或識別的錯誤,最終導致產品不良率升高,浪費成本[4-5]。

在FPC、Connect識別方面,國內研究人員已經將圖像處理與計算機視覺技術引入到該領域中,對其展開研究,如孫國棟[5]提出了基于機器視覺的FPC缺陷視覺檢測系統,首先通過預處理消除彩色圖像噪聲,然后根據片體顏色特征,選擇特定顏色空間對其進行輪廓提取,并以 輪廓為基底設計掩膜,獲取相應的感興趣區域圖像;再基于RGB顏色空間的正交基投影理論與HSV顏色空間色調處理算法,達到了FPC、Connect定位識別的目的。但是,此技術依靠目標及背景顏色明顯差異完成定位,在環境光干擾較大和背景復雜時,往往影響了識別精度。趙大興[6]提出了FPC缺陷檢測對位系統,首先借助標定板實現相機標定,然后通過工件移動實現視覺坐標與運動坐標的標定,最后通過雙Mark點和目標位置的調節實現 FPC補強片目標位置的標定,此方法可以在不精確定位FPC的情況下實現FPC上每塊補強片定位。然而,這種技術依賴FPC周邊特殊參考網物,背景多變且無Mark參考的情況下,往往不能區分FPC與背景,導致定位失敗。

對此,本文為了提高FPC、Connect識別檢測算法的適應性,使其在背景復雜、環境多變的情況下,仍然能夠精確定位出FPC、Connect位置、完成引導插拔FPC、Pin檢測和連接蓋檢測。本文提出了基于圖像匹配與特征分析的FPC引導檢測系統,針對FPC定位引導、Connect-Pin檢測和連接蓋檢測的需求。先設計基于歸一化協方差與匹配度的視覺引導檢測算子,完成FPC定位插拔引導和連接蓋翻合檢測。然后耦合形態學與梯度能量等特征,完成Connect的pin檢測。最后,測試了本文系統的定位與檢測精度。

2 FPC引導檢測算法

本文算法流程見圖1。該算法首先將FPC材料板隨導軌運動到工業相機鏡下進行圖像采集,隨后采用歸一化協方差和匹配算法,對FPC進行定位,計算出FPC坐標并傳遞給插拔設備完成視覺引導。然后利用形態學處理與特征(灰度方差、梯度能量、最大熵)分析,檢測Connect的Pin數量,完成pin檢測。最后機構合上連接蓋,視覺系統做連接蓋翻合檢測。視覺系統與插拔機構進行三次交互,完成以上作業流程,交互機制如圖2所示。待定位引導的FPC如圖3所示,可見背景光不足即圖像特征不明顯。待檢測的Connect的pin如圖4所示,可見目標特征微弱且背景復雜。待檢測的連接蓋如圖5所示,為翻合到位狀態即OK狀態,依據本文定位引導算子,達到匹配度標準值則判為OK,反之判為NG。

圖1 本文機制架構Fig.1 Mechanism framework of this paper

圖2 本系統通信交互流程Fig.2 Communication interaction flow of the system

圖3 待定位FPC圖像Fig.3 FPC image to be positioned

圖4 待檢測的Connect Pin圖像Fig.4 Connect Pin image to be positioned

圖5 待檢測的連接蓋圖像Fig.5 Connected cover image to be detected

2.1 基于圖像匹配的FPC定位與連接蓋檢測算子

FPC材料及其連接蓋隨傳送帶到工業相機鏡下,完成圖像采集后,如圖3所示,本系統需要對FPC上端的連接蓋進行定位,計算坐標傳送給插拔設備,完成視覺定位引導。由于連接蓋整體成亮灰度,背景成暗灰度,而且連接蓋本身存在明暗交替的灰度特征,故本文提出灰度協方差特征[7-8]來完成定位。灰度協方差特征代表目標及其區域明暗變化程度,體現一定范圍內的灰度分布特征,具有區域特征代表性:

(1)

其中,D為灰度協方差值,代表圖像局部區域灰度分布,n為圖像區域中的像素個數,(xi,yi)為圖像區域某一點的坐標,I(xi,yi)為該點灰度值,U為圖像平均灰度值。

依據模型(1),得到灰度協方差,再根據其目標與模板區域變化特征,構建圖像匹配度函數,如下所示:

其中,R表示圖像區域與模板匹配度,值越大,說明當下圖像區域與模板的匹配程度越高,M、N為模板圖像寬與長,S為圖像區域協方差,T為圖像區域協方差,(i,j)位于圖像中某坐標。

本文算法以5個像素為步長,大小為M*N覆蓋區域,逐一提取待定位引導圖像局部區域,計算圖像區域與連接蓋模板圖像匹配程度,取匹配度最高處為目標位置,完成FPC連接蓋目標定位,定位結果如圖6所示,可見本文定位引導結果準確。

圖6 本文定位引導效果圖Fig.6 Positioning and guiding effect chart

完成FPC插拔后,機構需將連接蓋回復原位,即合上連接蓋至初始位置。本系統需對連接蓋是否翻合成功,進行檢測。檢測原理與定位一致,即匹配連接蓋位置,匹配成功,則代表連接蓋正常翻合,匹配失敗,代表連接蓋未翻合或翻合不到位,本檢測方法對圖5進行檢測,處理結果如圖7所示,可見連接蓋定位正確,為連接蓋正常翻合情況。

圖7 本文連接蓋匹配檢測效果圖Fig.7 The effect of matching cover matching in this paper

2.2 基于特征分析的Pin檢測

完成FPC引導及連接蓋檢測,本系統還需對連接蓋中的連接器Pin數量進行測量,從而檢測是否有pin腳缺失。首先采用形態學開運算,對pin圖像進行二值化處理,得到含pin的二值圖像。然后提取區域目標特征(灰度方差、梯度能量),排除雜質區域干擾,分割出pin區域并計算個數,完成pin檢測。形態學開運算為先腐蝕后膨脹,本文在此基礎上做了改善,即三次腐蝕和兩次膨脹交替進行,充分祛除雜質,加強pin區域:

Er=E?S⊕S?S⊕S?S

(3)

式中,Er為形態學處理完的圖像,E為形態學處理后的圖像,?為腐蝕運算符,⊕為膨脹運算符,S為結構分子,是一個3*3矩陣,用來做膨脹腐蝕處理:

(4)

通過開運算處理后圖像見圖8,可見得到包含pin在內的二值圖像。接著對圖像中的白色區域(疑似目標)進行特征提取處理,首先提取灰度方差[9]特征:

(5)

式中,n為圖像區域中的像素個數,(xi,yi)為圖像區域某一點的坐標,I(xi,yi)為該點灰度值,U為圖像平均灰度值;f為灰度方差,代表圖像區域灰度變化規律,然后計算梯度能量[10-11]:

(6)

式中,t為梯度能量,n為圖像區域中的像素個數,(xi,yi)為圖像區域某一點的坐標,I(xi,yi)為該點灰度值,梯度能量代表圖像邊緣灰度分布規律。提取區域特征后,與標準pin特征比較,祛除特征不符合標準值的區域,分割出pin區域,如圖9所示,可見精確分割出pin。最后完成pin計數,并在原圖上標注出定位計算到的pin,如圖10所示,可見pin檢測正確。

圖8 開運算結果Fig.8 Open operation result

圖9 特征分析結果Fig.9 Characteristic analysis result

圖10 pin定位效果圖Fig.10 Pin positioning effect chart

3 實驗與討論

為了體現本文算法的優勢,將當前FPC、連接器pin識別性能較好的技術-文獻[5]、[6]設為對照組。實驗參數:灰度協方差(38)、灰度方差(214)梯度能量(95)。

以圖11為FPC待定位引導對象,其包含用來定位的FPC連接蓋。利用本文算法對其檢測后,通過采用灰度協方差建立匹配函數,匹配出FPC連接蓋位置,如圖12所示,而文獻[5]與文獻[6]兩種算法的匹配度不高,均存在一定的偏差,見圖13與圖14。

圖11 原圖Fig.11 Initial Image

圖12 本文識別結果Fig.12 Identification result of the proposed algorithm

以圖15為測試目標,利用所提算法與文獻[5]、文獻[6]三種技術對其檢測,結果見圖16～圖18。由圖可知,本文算法的識別精度最高,匹配檢查正確,而文獻[5]、文獻[6]鏈子算法的識別精度不佳,其匹配檢查錯誤。同樣,以圖19為測試對象時,仍有相同的結果,見圖19～圖21。原因是本文算法利用形態學處理與特征(灰度方差、梯度能量)提取分析,精準定位出pin目標,從而在此基礎上,本文算法為FPC精確插拔提供了保證。而利用對照組文獻[5]技術在檢測目標時,由于單純采用顏色空間特性,在連接蓋背景多變或pin背景復雜的情況下,往往對目標識別不準。而利用對照組文獻[6]技術由于采用MARK對位,依賴FPC、連接蓋及pin周邊參考物,在目標背景復雜且成像環境不穩定的情況下,往往對目標定位識別不準。由此,文獻[5]、[6]的FPC、pin識別技術存在FPC插拔錯誤的風險。

圖13 文獻[5]識別結果Fig.13 Identification result of reference[5]

圖14 文獻[6]識別結果Fig.14 Identification result of reference[6]

圖15 原圖Fig.15 Initial image

4 結 論

為了解決FPC、連接蓋、電子連接器pin目標

圖16 本文識別結果Fig.12 Identification result of the proposed algorithm

圖17 文獻[5]識別結果Fig.17 Identification result of reference[5]

圖18 文獻[6]識別結果Fig.18 Identification result of reference[6]

圖19 原圖Fig.19 Initial Image

圖20 本文識別結果Fig.20 Identification result of this algorithm

圖21 文獻[5]識別結果Fig.21 Identification result of reference[5]

圖22 文獻[6]識別結果Fig.21 Identification result of reference[6]

背景復雜且成像不穩定因素,影響FPC準確插拔與檢測的問題,本文設計了基于圖像匹配與特征分析的FPC引導檢測系統,實現對FPC圖像的定位、引導插拔設備跑位、連接蓋翻合定位檢測、pin定位檢測。實驗結果表明:與當前FPC、pin識別技術相比,在面對存在背景復雜與環境干擾大的情況下,本文方法具有更好的精度,為FPC精確插拔提供了技術保障。

[1] ZHAO Qijie,CAO Peng,TU Dawei.Toward intelligent manufacturing:label characters marking and recognition method for steel products with machine vision[J].Advances in Manufacturing,2014,2(1):3-12.

[2] 黃杰賢.FPC焊盤表面缺陷檢測研究[J].激光與紅外,2015,23(14):286-290.

HUANG Jiexian.Study on surface defect detection of FPC welding disk[J].Laser and infrared,2015,23(14):286-290.

[3] 苗振海.FPC不規則貼膠片的視覺定位算法研究[J].制造業自動化,2015,43(2):71-76.

MIAO Zhenhai.Research on visual localization algorithm of FPC irregular film[J].manufacturing automation,2015,43(2):71-76.

[4] WANG Xuewu.Three-dimensional vision-based sensing of GTAW:a review[J].The International Journal of Advanced Manufacturing Technology,2014,72(4):333-345.

[5] 孫國棟.一種FPC缺陷視覺檢測方法[J].自動化儀表,2015,12(34):218-225.

SUN Guodong.A FPC defect visual inspection method[J].automation instrument,2015,12(34):218-225

[6] 趙大興.基于機器視覺FPC缺陷檢測對位系統研究[J].制造業自動化,2015,21(21):283-287.

ZHAO Daxing.Research on FPC based defect detection and alignment system based on machine vision[J].manufacturing automation,2015,21(21):283-287.

[7] 褚娜.FPC連接器焊腳外觀檢測關鍵技術研究[J].中國計量學院學報,2015,17(32):427-430.

ZHU Na.Research on the key technology of the appearance detection of FPC connector pin[J].Journal of China Jiliang University,2015,17(32):427-430.[8] LIU Huaigui,QIN Wen,QI Haotian.Parcellation of the human orbitofrontal cortex based on gray matter volume covariance[J].Hum.Brain Mapp,2015,36(2):181-185.

[9] Dirk J.A.Smit,Dorret I.Boomsma,Hugo G.Schnack.Individual Differences in EEG Spectral Power Reflect Genetic Variance in Gray and White Matter Volumes[J].Twin Research and Human Genetics,2012,15(3):384-392.

[10] 張一天,關右江,吳艷楠.一種基于梯度能量的LSB匹配檢測算法[J].計算機輔助設計與圖形學學報,2013,25(6):782-787.

ZHANG Yitian,GUAN Youjiang,WU Yannan.LSB matching detection algorithm based on gradient energy[J].Journal of computer aided design and computer graphics,2013,25(6):782-787.

[11] 郭敬濱,馮華杰,王龍.基于梯度能量函數的調焦窗口構建方法[J].2016,12(03):97-202.

GUO Jingbin,FENG Huajie,WANG Long.Focusing window construction method based on gradient energy function[J].2016,12(03):97-202.

The FPC Guide Inspection Algorithm Based on Image Matching and Characteristics Analysis

WU Juan

(Xi’an Vocational and Technical College,Xi’an 710077,China)

In order to solve the problem of low stability of location correct rate under complex FPC background in current FPC positioning check algorithm,the FPC guide inspection system based on image matching and characteristics analysis was proposed in this paper.First of all,the normalized covariance was calculated according to the gray scale characteristics of the connecting cover,and introduced into image matching algorithm to construct the matching degree factor.Visual guide detection operator was designed for finishing FPC positioning plug-pull guide and connection cover detection.Then the gray variance,gradient energy and other features were extracted based on morphological segmentation of pin target,and detection operator with feature extraction and feature analysis was defined to detect pin count.Experimental results show that,this algorithm has a higher matching accuracy and positioning accuracy under complex and volatile FPC background compared with the current positioning and guiding detection technology.

image matching; characteristics analysis; gray covariance; morphology; gradient energy

吳 鵑 女(1982-),山西臨猗人,講師,碩士,研究方向為圖像處理、計算機應用。

TP 391

A