基于機(jī)器視覺的漆包線組裝識(shí)別與電阻點(diǎn)焊定位系統(tǒng)

劉明 黃增好 曹彪 曾家銓 田然

摘要：為了解決漆包線電阻點(diǎn)焊過程中焊點(diǎn)難以精確定位，并由此產(chǎn)生虛焊、焊偏及漏焊等焊接質(zhì)量問題，設(shè)計(jì)了一種基于機(jī)器視覺的漆包線組裝識(shí)別與電阻點(diǎn)焊定位系統(tǒng)。分析漆包線點(diǎn)焊定位過程中的各種不良組裝模式，研究識(shí)別與定位系統(tǒng)的圖像處理算法，制訂了定位策略及規(guī)則。首先利用模板匹配提取ROI，得到漆包線與焊盤所在區(qū)域圖像;其次采用閾值分割、形態(tài)學(xué)處理、Laplacian算子等圖像處理算法，識(shí)別并剔除定位過程中的不良組裝模式;最后通過邊緣提取并采用合適的算法得到最佳焊點(diǎn)位置。實(shí)驗(yàn)結(jié)果表明，定位系統(tǒng)能有效剔除不良模式，準(zhǔn)確提取并輸出最佳焊點(diǎn)位置坐標(biāo)，識(shí)別與提取所需時(shí)間短，能夠滿足漆包線自動(dòng)化點(diǎn)焊要求。

關(guān)鍵詞：機(jī)器視覺;圖像處理;邊緣提取;定位;自動(dòng)化

中圖分類號(hào)：TG409 ? ? ?文獻(xiàn)標(biāo)志碼：A ? ? ? ? 文章編號(hào)：1001-2003（2021）05-0007-06

DOI：10.7512/j.issn.1001-2303.2021.05.02

0 ? ?前言

漆包線作為家用電器和儀器儀表的基礎(chǔ)元件和關(guān)鍵材料，被廣泛應(yīng)用在電子器件、家用電器及汽車產(chǎn)品中[1]。近年來，隨著電子行業(yè)的蓬勃發(fā)展，漆包線與電子元器件的焊接成為電子制造業(yè)的一個(gè)關(guān)鍵性問題。由于漆包線與電子元器件尺寸微小，焊接工藝復(fù)雜，易造成焊接質(zhì)量不穩(wěn)定、零件熔毀、難以形成正常熔核等問題[2]，因此一般采用微型電阻焊。傳統(tǒng)漆包線電阻點(diǎn)焊采用人工焊接，焊接效率低且焊接效果一致性較差，無法保證質(zhì)量。

隨著智能工廠與工業(yè)4.0的熱潮，許多工廠生產(chǎn)線將漆包線點(diǎn)焊與運(yùn)動(dòng)控制系統(tǒng)結(jié)合組成自動(dòng)化漆包線點(diǎn)焊系統(tǒng)。同時(shí)機(jī)器視覺技術(shù)也獲得了快速發(fā)展，被越來越多地應(yīng)用到電阻點(diǎn)焊中[3]。機(jī)器視覺技術(shù)具有非接觸性、柔性大、信息量大、速度快、精準(zhǔn)度高等優(yōu)點(diǎn)[4]，可以很好地滿足漆包線點(diǎn)焊定位的要求。文中提出的漆包線組裝識(shí)別與電阻點(diǎn)焊定位方法，采用機(jī)器視覺檢測(cè)系統(tǒng)進(jìn)行圖像采集，重點(diǎn)分析了漆包線與焊盤的各種不良相對(duì)位置模式，利用圖像處理方法識(shí)別并剔除了定位過程中的不良模式，最后輸出良好模式下最佳焊點(diǎn)位置坐標(biāo)給運(yùn)動(dòng)控制系統(tǒng)，為漆包線自動(dòng)化點(diǎn)焊提供必要條件。

1 系統(tǒng)設(shè)計(jì)

漆包線點(diǎn)焊機(jī)器視覺定位系統(tǒng)得主要功能是實(shí)現(xiàn)對(duì)焊前組裝的漆包線與焊盤的相對(duì)位置模式的識(shí)別與最佳焊點(diǎn)位置的提取。系統(tǒng)識(shí)別與定位檢測(cè)的對(duì)象為錫焊盤和聚氨酯漆包銅圓線，焊盤尺寸為0.9 mm×1.5 mm，漆包線線徑為0.08 mm。漆包線與焊盤的不同模式如圖1所示。

系統(tǒng)主要分為圖像采集系統(tǒng)和圖像處理系統(tǒng)，如圖2所示。圖像采集系統(tǒng)由工業(yè)相機(jī)、鏡頭、同軸光源及光電傳感器組成。相機(jī)采用大恒MER-201-25GC-P面陣工業(yè)相機(jī)，鏡頭為維視AFT-ZL0930工業(yè)鏡頭。當(dāng)產(chǎn)品運(yùn)動(dòng)到相機(jī)視野范圍內(nèi)，光電傳感器產(chǎn)生觸發(fā)信號(hào)，控制工業(yè)相機(jī)采集產(chǎn)品圖像。

圖像處理系統(tǒng)是識(shí)別與定位系統(tǒng)的核心部分。在接收到待處理的圖像后，通過依次進(jìn)行的模板匹配、閾值分割、形態(tài)學(xué)處理及Laplacian算子卷積等圖像處理算法，識(shí)別在漆包線組裝過程中可能出現(xiàn)的焊盤區(qū)域無漆包線、漆包線線偏、漆包線翹起、漆包線彎曲及漆包線傾斜等不良模式;在剔除不良模式后，通過對(duì)漆包線和焊盤的邊緣輪廓特征提取與分析，并采用合適的算法得到最佳焊點(diǎn)位置坐標(biāo)。將最佳焊點(diǎn)位置坐標(biāo)傳輸?shù)竭\(yùn)動(dòng)控制系統(tǒng)，控制機(jī)頭運(yùn)動(dòng)到最佳焊點(diǎn)位置進(jìn)行漆包線的自動(dòng)化焊接。

2 組裝缺陷識(shí)別與焊點(diǎn)定位

在漆包線人工點(diǎn)焊過程中，首先將漆包線在焊盤上進(jìn)行組裝，點(diǎn)焊操作人員用肉眼或借助放大鏡尋找最佳焊點(diǎn)位置，根據(jù)經(jīng)驗(yàn)進(jìn)行焊接。在本系統(tǒng)中，用機(jī)器視覺系統(tǒng)代替人眼采集產(chǎn)品圖像，經(jīng)圖像處理后，將最佳焊點(diǎn)位置坐標(biāo)信息傳輸至運(yùn)動(dòng)控制系統(tǒng)，控制點(diǎn)焊機(jī)頭運(yùn)動(dòng)到指定位置，完成焊接。

2.1 圖像預(yù)處理

采集的原圖像經(jīng)灰度化、高斯濾波等圖像預(yù)處理后，可進(jìn)行模板匹配，提取感興趣區(qū)域（Region of Interest，ROI）。

模板匹配算法是將滑動(dòng)窗口在目標(biāo)圖像上遍歷并計(jì)算相似度量，找到與模板圖像最相似的區(qū)域[5]。文中采用基于形狀的模板匹配。首先創(chuàng)建一個(gè)模板，為提高搜索效率，采用基于圖像金字塔[6]的分層識(shí)別策略。

將模板定義為點(diǎn)集pi=（ri，ci）T及對(duì)應(yīng)方向向量di=（ti，ui）T，方向向量由邊緣濾波器計(jì)算，經(jīng)仿射變換后得到pi'和di'。以同樣的邊緣濾波器為圖像中每個(gè)點(diǎn)（r，c）T計(jì)算其方向向量er，c=（vr，c，wr，c）T。在圖像中的某個(gè)特定點(diǎn)q=（r，c）T處，分別將仿射變換后模板中所有點(diǎn)的方向向量與圖像中對(duì)應(yīng)點(diǎn)的方向向量進(jìn)行歸一化，并計(jì)算它們點(diǎn)積的總和作為相似度量：

從圖像金字塔的頂層開始，通過式（1）計(jì)算模板所在的所有可能位姿上的相似度量，大于閾值smin被認(rèn)為是潛在位置，跟蹤這些位置到圖像金字塔的更低層，直到在最底層圖像找到目標(biāo)物體。

為確定閾值smin，對(duì)包含無漆包線、漆包線線偏、漆包線翹起、漆包線彎曲、漆包線傾斜及良好模式的60幅圖像進(jìn)行模板匹配。模板匹配過程中相似度量s在0.7～1.0范圍內(nèi)，如圖3所示。

本系統(tǒng)中設(shè)置閾值smin為0.6，以保證模板匹配能適應(yīng)絕大部分情況，且匹配結(jié)果良好。圖4a為原始圖像，圖4b為經(jīng)模板匹配后提取的ROI區(qū)域。

2.2 無漆包線

可用閾值分割法提取焊盤區(qū)域，根據(jù)區(qū)域數(shù)量M識(shí)別焊盤上是否存在漆包線。

閾值分割通過設(shè)定灰度值閾值，將圖像前景與背景區(qū)域分開，形成二值圖像，是目前應(yīng)用最為廣泛的圖像分割算法[7]。

對(duì)比RGB圖像中焊盤區(qū)域三通道平均灰度值G1（203，254，213）和漆包線區(qū)域三通道平均灰度值G2（212，245，127），發(fā)現(xiàn)Blue通道灰度值差異較大。對(duì)RGB圖像進(jìn)行通道變換，生成Red、Green、Blue三個(gè)單通道灰度圖，在Blue通道灰度圖中，焊盤與漆包線灰度值差異明顯。可用Otsu法[8]在Blue通道灰度圖中動(dòng)態(tài)選取閾值。對(duì)于圖像I （x，y），有：

式中 g為類間方差;ω0、ω1分別為前景區(qū)域和背景區(qū)域的像素點(diǎn)數(shù)占整幅圖像的比例;μ0、μ1分別為前景和背景平均灰度值。遍歷圖像得到使類間方差g最大的閾值T，T即為所求的分割閾值。漆包線圖像經(jīng)閾值T分割及面積特征選擇后的焊盤區(qū)域如圖5所示，可通過區(qū)域數(shù)量M判斷焊盤上有無漆包線：圖5a區(qū)域數(shù)量為1，無漆包線;圖5b區(qū)域數(shù)量為2，有漆包線。

2.3 線偏識(shí)別

在漆包線電阻點(diǎn)焊中，焊點(diǎn)不能過于偏離焊盤中心，否則不能形成完整熔核，或者熔核位于焊盤邊緣，導(dǎo)致焊點(diǎn)抗拉強(qiáng)度降低。焊盤被漆包線分成兩個(gè)區(qū)域，可用兩區(qū)域面積之比來判斷漆包線是否偏離焊盤中心。識(shí)別存在漆包線后，對(duì)焊盤區(qū)域按面積進(jìn)行排序，取得最大區(qū)域面積S1與第二大區(qū)域面積S2，并計(jì)算面積之比S1/S2。若S1/S2大于閾值Ra，說明漆包線相對(duì)于焊盤中心位置偏移較大，產(chǎn)生線偏，否則可判定無線偏現(xiàn)象。本系統(tǒng)中設(shè)定閾值Ra=5，可較好地識(shí)別線偏模式。

2.4 翹起識(shí)別

在焊盤上組裝的漆包線產(chǎn)生翹起時(shí)，機(jī)頭下壓后會(huì)導(dǎo)致漆包線受力不均偏離焊頭，引起偏焊甚至漏焊等焊接質(zhì)量問題。

用閾值分割提取漆包線區(qū)域圖像，良好漆包線邊緣明顯，翹起漆包線邊緣模糊。采用Laplacian算子對(duì)漆包線圖像進(jìn)行卷積運(yùn)算可得到漆包線的邊緣幅度，如圖6所示，漆包線良好和翹起下的Laplacian邊緣幅度差異明顯。為尋求漆包線翹起程度與Laplacian邊緣幅度的關(guān)系，對(duì)漆包線無翹起（0 mm）和漆包線翹起高度0.1 mm、0.2 mm、0.3 mm、0.5 mm、0.7 mm、0.9 mm、1.1 mm、1.3 mm、1.5 mm下進(jìn)行10組實(shí)驗(yàn)，得到Laplacian邊緣幅度方差D，計(jì)算平均值及標(biāo)準(zhǔn)誤差，如圖7所示。可以看出，在漆包線無翹起（0 mm）以及微小程度翹起（0.1～0.2 mm）時(shí)，方差值D均大于25，當(dāng)漆包線翹起程度較大（0.3 mm以上）時(shí)，方差值D穩(wěn)定在25以下。因此，本系統(tǒng)取閾值Rd=25判斷漆包線有無翹起情況。

2.5 彎曲識(shí)別

組裝的漆包線彎曲程度過大導(dǎo)致焊點(diǎn)受力不均，同樣會(huì)造成焊點(diǎn)抗拉強(qiáng)度降低。

可利用霍夫變換[9]檢測(cè)漆包線的直線度。霍夫變換過程中，一定數(shù)量的點(diǎn)處于一定的角度范圍內(nèi)被判定為一條直線。對(duì)漆包線骨架區(qū)域進(jìn)行霍夫變換可得到直線數(shù)量n及所有直線之間最大角度θ。彎曲度由n和θ共同決定，且n=1時(shí)，漆包線為一條直線，彎曲度為0，因此定義彎曲度Cv：

若直線數(shù)量n≠1，在直線數(shù)量n小于3且直線間最大角度θ小于0.262 rad（即15°）時(shí)，彎曲度低，對(duì)焊點(diǎn)質(zhì)量影響小，可被本系統(tǒng)接受，即彎曲度閾值Rc=0.288。當(dāng)彎曲度Cv大于閾值Rc時(shí)，判定漆包線為彎曲狀態(tài)。

2.6 傾斜識(shí)別

漆包線傾斜角度過大時(shí)，與焊頭接觸面積小于漆包線良好模式（見圖8a），且由于點(diǎn)焊焊頭的特殊斜面結(jié)構(gòu)（見圖8b），傾斜模式下形成的焊點(diǎn)畸形，焊點(diǎn)強(qiáng)度較低。因此，漆包線傾斜角不能過大，本系統(tǒng)取傾斜角閾值Rl =0.262 rad （即15°）。

為識(shí)別并剔除漆包線傾斜模式，在判定漆包線為直線或近似直線狀態(tài)后，對(duì)2.5節(jié)中經(jīng)霍夫變換所得的n條直線，分別求得各直線與垂直線的夾角，夾角平均值為α。若α大于傾斜角閾值Rl ，則判定漆包線為傾斜模式。

2.7 焊點(diǎn)定位

剔除不良模式后，得到良好模式下的漆包線與焊盤圖像。為提取良好模式下的最佳焊點(diǎn)位置，需提取焊盤與漆包線的邊緣輪廓。

Sobel算子原理簡(jiǎn)單，計(jì)算量小，對(duì)于水平和垂直方向上的邊緣檢測(cè)效果好[10]。可用Sobel算子提取焊盤邊緣輪廓，如圖9所示。

采取相同的方法可提取漆包線骨架。為提高邊緣位置精度，可分別從焊盤和漆包線骨架提取亞像素邊緣輪廓，如圖10a所示。兩邊緣輪廓交點(diǎn)為C1、C2，取C1、C2中點(diǎn)為Q，過Q點(diǎn)作水平線，該水平線與漆包線交點(diǎn)即為最佳焊點(diǎn)位置，如圖10b所示。最佳焊點(diǎn)位置提取算法保證了提取位置的準(zhǔn)確性和有效性。由焊盤和漆包線的亞像素邊緣求得的焊點(diǎn)位置精度高，符合生產(chǎn)要求。

2.8 識(shí)別與定位流程

提取最佳焊點(diǎn)位置坐標(biāo)后，經(jīng)過標(biāo)定計(jì)算發(fā)送給運(yùn)動(dòng)控制系統(tǒng)，控制點(diǎn)焊機(jī)頭進(jìn)行精密點(diǎn)焊。程序流程如圖11所示。

3 試驗(yàn)分析

為了驗(yàn)證文中機(jī)器視覺定位檢測(cè)系統(tǒng)的準(zhǔn)確性、實(shí)時(shí)性及穩(wěn)定性，對(duì)漆包線焊前進(jìn)行組裝識(shí)別與定位檢測(cè)試驗(yàn)。采集無漆包線、漆包線線偏、漆包線翹起、漆包線彎曲、漆包線傾斜與良好6種位置模式下的各40幅圖像，經(jīng)本系統(tǒng)的識(shí)別與定位檢測(cè)，試驗(yàn)結(jié)果如表1所示。其中無漆包線、漆包線線偏以及漆包線翹起、良好4種模式均被正確識(shí)別出來;彎曲模式下正確識(shí)別數(shù)為39;傾斜模式下正確識(shí)別數(shù)量為38，總識(shí)別率為98.75%。

基于表1及圖像數(shù)據(jù)進(jìn)行分析，彎曲模式下的誤判主要是由于霍夫變換中判定為同一條直線的點(diǎn)數(shù)設(shè)定過大，某些直線未能被提取，彎曲度Cv計(jì)算值變小，導(dǎo)致系統(tǒng)判定漆包線為未彎曲狀態(tài)。傾斜模式誤判主要原因是漆包線介于傾斜與未傾斜之間，且初始傾斜角閾值Rl設(shè)定過于嚴(yán)苛，可根據(jù)實(shí)際情況放寬閾值，重新設(shè)定合適的參數(shù)。

各種模式下識(shí)別與定位時(shí)間如圖12所示，各模式識(shí)別所需時(shí)間短，波動(dòng)范圍小，識(shí)別與定位算法穩(wěn)定。試驗(yàn)表明，定位檢測(cè)系統(tǒng)能很好地剔除定位過程中的不良模式，識(shí)別良好模式并進(jìn)行最佳焊點(diǎn)定位的平均時(shí)間為317.3 ms，滿足漆包線點(diǎn)焊自動(dòng)化產(chǎn)線的生產(chǎn)節(jié)拍。

4 結(jié)論

文中設(shè)計(jì)的基于機(jī)器視覺的漆包線點(diǎn)焊定位系統(tǒng)，可用于漆包線自動(dòng)化點(diǎn)焊的焊前識(shí)別與定位。針對(duì)漆包線組裝過程中可能出現(xiàn)的焊盤區(qū)域無漆包線、漆包線線偏、漆包線翹起、漆包線彎曲及漆包線傾斜等不良模式，采取相應(yīng)的圖像處理算法及識(shí)別策略，剔除不良模式后，對(duì)焊盤與漆包線進(jìn)行邊緣提取與分析，采用合適的算法得到最佳焊點(diǎn)位置坐標(biāo)，可提高產(chǎn)品質(zhì)量與合格率。本系統(tǒng)可提高企業(yè)的自動(dòng)化水平，具有一定的生產(chǎn)價(jià)值。

參考文獻(xiàn)：

李偉群，王力，李曉.漆包線行業(yè)現(xiàn)狀及發(fā)展趨勢(shì)分析[J].機(jī)電產(chǎn)品開發(fā)與創(chuàng)新，2002（2）：13-16.

楊景衛(wèi)，曹彪.微型零件精密電阻點(diǎn)焊技術(shù)及其應(yīng)用[J].焊接，2009（6）：43-47，75.

Zhang S，Zhang Y，Yang T，et al. Research on LED filament spot welding robot based on machine vision[C].//IEEE International Conference on Information & Automation. IEEE，2016.

Kipman Y，Mehta P，Johnson K. Machine-Vision-Based Analytical Tools for Digital Fabrication[C].//NIP & Digital Fabrication Conference. 2009.

Wanli Ouyang， Tombari F， Mattoccia S， et al. Performance Evaluation of Full Search Equivalent Pattern Matching Algorithms.. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（1）：127-43.

Steger C ， Ulrich M ， Wiedemann C . Machine Vision Algorithms and Applications[M]. 2007.

夏良正. 數(shù)字圖像處理（第2版）[M]. 江蘇：東南大學(xué)出版社，2006.

劉健莊，栗文青.灰度圖象的二維Otsu自動(dòng)閾值分割法[J].自動(dòng)化學(xué)報(bào)，1993（1）：101-105.

王昱，趙正校，楊碩.基于直線邊緣識(shí)別的圖象區(qū)域定位算法[J].計(jì)算機(jī)工程，1999（9）：61-62，87.

靳鵬飛.一種改進(jìn)的Sobel圖像邊緣檢測(cè)算法[J].應(yīng)用光學(xué)，2008（4）：625-628.