基于HALCON的貼片IC焊接缺陷檢測(cè)算法研究

李文靜，張虎山，焦 鍵

(1.重慶水利電力職業(yè)技術(shù)學(xué)院 智能制造學(xué)院， 重慶 402160; 2.重慶建設(shè)汽車系統(tǒng)股份有限公司， 重慶 401320)

印刷電路板(PCB)集成了各種電子元器件的信息，其裝配質(zhì)量直接關(guān)系到產(chǎn)品的性能。嚴(yán)重的焊接缺陷將引起整個(gè)電路損壞而導(dǎo)致控制系統(tǒng)、檢測(cè)系統(tǒng)、通信系統(tǒng)等的癱瘓。盡管近年來焊接工藝和質(zhì)量檢驗(yàn)水平不斷提高，然而仍然無法完全避免PCB焊接缺陷引發(fā)的故障。尤其對(duì)于貼片IC器件，它具有引腳多、間距小等特點(diǎn)，使得IC器件的焊接缺陷檢測(cè)難度高于其他的元件。

機(jī)器視覺檢測(cè)技術(shù)是以人工智能、模式識(shí)別和圖像處理為基礎(chǔ)，實(shí)現(xiàn)對(duì)目標(biāo)對(duì)象的測(cè)量、判斷和識(shí)別[1]。目前，機(jī)器視覺在產(chǎn)品各方面缺陷檢測(cè)及其他領(lǐng)域均有廣泛應(yīng)用。相對(duì)傳統(tǒng)檢測(cè)方法，機(jī)器視覺技術(shù)在實(shí)現(xiàn)企業(yè)自動(dòng)化管理、安全高效生產(chǎn)方面起到了不可替代的作用，它既可以降低工人的勞動(dòng)強(qiáng)度又可以提高產(chǎn)品生產(chǎn)的安全性，具有準(zhǔn)確、快速、智能化程度高等優(yōu)點(diǎn)[2]。

本文在充分研究國(guó)內(nèi)外焊接缺陷檢測(cè)以及機(jī)器視覺的原理及應(yīng)用方法的基礎(chǔ)上，提出了一種基于機(jī)器視覺的貼片IC焊接缺陷檢測(cè)系統(tǒng)，對(duì)PCB板在裝配過程中的貼片IC焊接缺陷進(jìn)行檢測(cè)，以提高電路板裝配的效率和準(zhǔn)確率。

1 貼片IC焊接檢測(cè)系統(tǒng)

1.1 系統(tǒng)結(jié)構(gòu)

該貼片IC焊接缺陷檢測(cè)系統(tǒng)結(jié)構(gòu)如圖1所示，整個(gè)系統(tǒng)主要包括工業(yè)相機(jī)、光源、裝配流水線、機(jī)械運(yùn)動(dòng)控制、圖像采集模塊、上位機(jī)、圖像處理模塊、瑕疵報(bào)警等。當(dāng)系統(tǒng)啟動(dòng)時(shí)，工業(yè)相機(jī)對(duì)經(jīng)過裝配流水線傳送過來的待檢測(cè)電路板進(jìn)行圖像采集，并通過相機(jī)鏡頭經(jīng)光電傳感器及模數(shù)轉(zhuǎn)換等圖像采集模塊將二進(jìn)制信號(hào)送到上位機(jī)中。上位機(jī)中的圖像處理模塊利用HALCON中的圖像處理算法對(duì)待檢測(cè)圖像進(jìn)行定位、預(yù)處理、閾值分割等以提取貼片IC焊點(diǎn)特征信息，然后根據(jù)設(shè)定的焊點(diǎn)圖像模式識(shí)別算法判斷貼片IC焊點(diǎn)是否存在缺陷。如果檢測(cè)到存在缺陷，上位機(jī)則發(fā)出指令到運(yùn)動(dòng)控制模塊，剔除有焊點(diǎn)缺陷的PCB板。

圖1 檢測(cè)系統(tǒng)結(jié)構(gòu)示意圖

1.2 圖像處理軟件

該貼片IC焊接缺陷檢測(cè)系統(tǒng)的圖像處理算法基于HALCON軟件設(shè)計(jì)，HALCON是德國(guó)MVtec公司開發(fā)的一套完善標(biāo)準(zhǔn)機(jī)器視覺算法包，擁有應(yīng)用廣泛的機(jī)器視覺集成開發(fā)環(huán)境，它由一千多個(gè)各自獨(dú)立的函數(shù)，以及底層的數(shù)據(jù)管理核心構(gòu)成，其中包含了各類數(shù)學(xué)轉(zhuǎn)換、濾波、形態(tài)學(xué)計(jì)算分析、校正、色彩以及幾何、分類辨識(shí)等基本計(jì)算功能，且與各類工業(yè)相機(jī)兼容性較好，能簡(jiǎn)單便捷地獲取圖像，已被廣泛應(yīng)用于工業(yè)生產(chǎn)的各類自動(dòng)化檢測(cè)中[3]。

2 機(jī)器視覺檢測(cè)系統(tǒng)原理

針對(duì)貼片IC焊接缺陷檢測(cè)的問題，本文提出了一種基于機(jī)器視覺的檢測(cè)算法，算法處理流程如圖2所示。首先確定一個(gè)標(biāo)準(zhǔn)的模板圖像，利用模板圖像對(duì)待檢測(cè)圖像進(jìn)行位置矯正，并確定待檢測(cè)ROI區(qū)域。然后對(duì)提取的待檢測(cè)區(qū)域進(jìn)行圖像預(yù)處理、圖像分割提取焊點(diǎn)信息，包括圖像增強(qiáng)、圖像濾波、閾值分割、形態(tài)學(xué)處理等。最后對(duì)分割出的焊點(diǎn)圖像進(jìn)行模式識(shí)別以確定焊點(diǎn)是否存在缺陷。

圖2 焊點(diǎn)檢測(cè)流程框圖

2.1 圖像定位

由于機(jī)械定位原因，PCB板在流水線工作平臺(tái)生產(chǎn)過程中可能會(huì)出現(xiàn)移位、旋轉(zhuǎn)等現(xiàn)象，因此，在檢測(cè)過程中首先對(duì)待檢測(cè)圖像進(jìn)行位置矯正。本文采用剛體仿射變換，剛體變換分為平移和旋轉(zhuǎn)，從一個(gè)點(diǎn)和角度計(jì)算一個(gè)剛體仿射變換矩陣。在二維空間中，點(diǎn)(x1,y1)經(jīng)過剛體變換至點(diǎn)(x2,y2)的映射關(guān)系為

(1)

仿射變換通過增加圖像每一維度上的比例變化和縮放因子來擴(kuò)展剛體變換的自由度，仿射變換可分解為平移變換和矩陣變換[4]。 在二維空間中，點(diǎn)(x1,y1)經(jīng)過仿射變換至點(diǎn)(x2,y2)的映射關(guān)系為

(2)

2.2 ROI區(qū)域提取

在圖像處理領(lǐng)域，有一個(gè)非常重要的名詞ROI(region of interest)，對(duì)應(yīng)的中文解釋就是感興趣區(qū)域，即從圖像中圈定一個(gè)區(qū)域，將要處理的圖像從整個(gè)圖像變?yōu)橐粋€(gè)小區(qū)域，這樣就便于進(jìn)行進(jìn)一步的處理，可以大大減小處理時(shí)間，這個(gè)區(qū)域就成為圖像分析所關(guān)注的焦點(diǎn)。

對(duì)于待檢測(cè)PCB板上除了檢測(cè)目標(biāo)焊接引腳，還會(huì)有很多其他無需檢測(cè)的背景物體，如引腳標(biāo)識(shí)、線路等，檢測(cè)環(huán)境較復(fù)雜。而對(duì)于一個(gè)特定的電路板，其芯片引腳位置都是固定的，因此，首先利用HALCON中g(shù)en_rectangle算子在標(biāo)準(zhǔn)模板圖像中創(chuàng)建需要檢測(cè)的元器件矩形區(qū)域，然后在PCB板檢測(cè)過程中，利用read_region算子讀取標(biāo)準(zhǔn)模板創(chuàng)建的矩形區(qū)域，并通過intersection、reduce_domain算子從待檢測(cè)圖中分割ROI區(qū)域作為檢測(cè)對(duì)象[7]。如圖3所示為本實(shí)驗(yàn)提取的待檢測(cè)ROI區(qū)域。

圖3 ROI區(qū)域

2.3 圖像預(yù)處理

1) 圖像增強(qiáng)。為了提高檢測(cè)系統(tǒng)的處理速度，在對(duì)待檢測(cè)目標(biāo)圖像處理過程中，需要將檢測(cè)系統(tǒng)采集到的彩色圖像轉(zhuǎn)化成單通道的灰度圖像。圖像的轉(zhuǎn)換按照以下公式進(jìn)行：

Y=0.299*R+0.587*G+0.114*B

(3)

其中:Y為彩色圖像轉(zhuǎn)換成灰度圖像后對(duì)應(yīng)像素點(diǎn)的灰度值；R、G、B分別為紅、綠、藍(lán)三色的分量值，對(duì)待檢測(cè)圖像進(jìn)行灰度化處理效果如圖4(a)所示。

另外，圖像在采集過程中，會(huì)因?yàn)镻CB板元器件之間的相互遮擋導(dǎo)致引腳焊點(diǎn)區(qū)域曝光不足的情況。檢測(cè)過程中就需要對(duì)待檢測(cè)PCB圖像進(jìn)行均衡化處理，使得圖像像素值在0～255灰階上的分布更加均衡，從而增大圖像間距及反差，使得引腳焊點(diǎn)細(xì)節(jié)更加清晰[8]，處理效果如圖4(b)所示。

2) 圖像濾波。PCB板表面鍍層面的不均勻反射、PCB板上的污物，圖像在生成以及傳輸過程中產(chǎn)生的信道噪聲、電噪聲和其他噪聲都會(huì)影響焊點(diǎn)圖像的質(zhì)量，對(duì)后續(xù)特征提取產(chǎn)生不利影響。為了抑制噪聲，改善待測(cè)焊點(diǎn)圖像質(zhì)量，便于后續(xù)更高層次的處理，必須對(duì)待檢焊點(diǎn)圖像進(jìn)行去噪預(yù)處理[9]。通常去噪處理的方法有中值濾波、均值濾波、高斯濾波等。實(shí)驗(yàn)發(fā)現(xiàn)，中值濾波算法對(duì)于本文的檢測(cè)環(huán)境能夠取得較好的濾波效果。中值濾波算法的原理是：首先對(duì)窗口M中的各個(gè)像素按照灰度值大小進(jìn)行排隊(duì)，然后用中間位置的像素值g(x,y)表示原來f(x,y)的灰度值：

g(x,y)=Med{f(x-k,y-l),(k,l∈M)}

(4)

式(4)中:M表示窗口大小；f(m-k,n-l)用以表示窗口M的像素灰度值大小。

利用HALCON中的median_image算子對(duì)圖像進(jìn)行中值濾波以消除噪聲。其濾波效果如圖4(c)所示，中值濾波有效消除了該IC芯片圖像的噪聲信息，為后續(xù)處理奠定了良好基礎(chǔ)。

圖4 圖像預(yù)處理

2.4 圖像分割

1) 閾值分割。圖像分割就是依據(jù)形狀、紋理、灰度和顏色等特征把圖像分成若干個(gè)具有獨(dú)特性質(zhì)的特定區(qū)域并提出感興趣目標(biāo)的過程[10-11]。現(xiàn)有的圖像分割方法主要可以分為以下幾類：基于區(qū)域的分割方法、基于邊緣的分割方法、基于閾值的分割方法以及基于特定理論的分割方法等。

通常焊點(diǎn)區(qū)域和芯片本身具有明顯的灰度差，因此，本文利用灰度直方圖確定全局閾值進(jìn)行分割，使用Halcon中的threshold (Median,Region,195,248)算子，其中MinGray=195，MaxGray=248。

2) 形態(tài)學(xué)處理。通過閾值分割得到的區(qū)域不僅含有焊點(diǎn)區(qū)域，也包含許多非焊點(diǎn)的雜點(diǎn)和小的突出物，這將影響檢測(cè)結(jié)果的精確性。為了保證檢測(cè)精確度，準(zhǔn)確提取焊點(diǎn)區(qū)域，需要對(duì)圖像進(jìn)行形態(tài)學(xué)處理，以消除不必要的干擾。形態(tài)學(xué)處理的基本運(yùn)算包括膨脹和腐蝕，對(duì)膨脹、腐蝕的基本運(yùn)算進(jìn)行組合又可以形成閉運(yùn)算、開運(yùn)算等實(shí)用的形態(tài)學(xué)算法[12]。本實(shí)驗(yàn)采用閉運(yùn)算對(duì)待檢測(cè)焊點(diǎn)圖像進(jìn)行處理，即先膨脹后腐蝕。

膨脹運(yùn)算如下：

膨脹運(yùn)算可以用以聯(lián)通較近的多個(gè)區(qū)域，填補(bǔ)閾值分割后待檢測(cè)目標(biāo)中的空洞。用公式表示為:

(5)

腐蝕運(yùn)算如下：

腐蝕運(yùn)算用以消除目標(biāo)圖像中的孤立、無用的噪聲點(diǎn)。腐蝕運(yùn)算如式(6)所示。

AΘB={(x,y)|(B(x,y)?A)}

(6)

其中，A為二值圖像中所有像素值為1的點(diǎn)的集合，B是結(jié)構(gòu)元。腐蝕運(yùn)算可以使得圖像亮的細(xì)節(jié)部分減少，相比原圖像更暗。

閉運(yùn)算如下：

閉運(yùn)算就是先膨脹后腐蝕的運(yùn)算過程，其公式如式(7)所示：

A·B=(A⊕B)ΘB

(7)

閉運(yùn)算可以去除圖像中的暗細(xì)部分，消除細(xì)長(zhǎng)的鴻溝、小的孔洞、狹窄的間斷，而目標(biāo)對(duì)象總的形狀和位置不變。

本文分別利用了HALCON中的connection,select_region_point,closing_circle以及fill_up 等算子，消除了焊點(diǎn)檢測(cè)中小的孔洞，并填補(bǔ)輪廓線中的斷裂，處理效果比較好。如圖5為圖像分割效果圖。

圖5 圖像分割效果圖

2.5 焊點(diǎn)圖像識(shí)別

1) 區(qū)域連通。對(duì)IC焊點(diǎn)圖像進(jìn)行分割后，為防止屬于同一焊點(diǎn)的像素被分成不同區(qū)域，以及方便計(jì)算焊點(diǎn)面積并進(jìn)行進(jìn)一步識(shí)別，需要進(jìn)行區(qū)域連通[13-14]。

假如某點(diǎn)p與其相鄰域中的點(diǎn)q像素值相同，則認(rèn)為p點(diǎn)和q點(diǎn)是連通的，當(dāng)某個(gè)區(qū)域中的每個(gè)像素均與該區(qū)域其他像素連通時(shí)，則形成一個(gè)連通區(qū)域，常用的有4連通和8連通算子，4連通和8連通分別如圖6(a)、圖6(b)所示。經(jīng)過實(shí)驗(yàn)驗(yàn)證，8連通算子能更好的根據(jù)周圍像素對(duì)焊點(diǎn)缺陷區(qū)域進(jìn)行檢測(cè)，故本文采用8連通區(qū)域。在Halcon中，連通區(qū)域算子為connection。

圖6 連通區(qū)域

2) 面積計(jì)算。焊點(diǎn)面積的計(jì)算指的就是計(jì)算焊點(diǎn)區(qū)域包括的像素點(diǎn)的總數(shù)目，可以使用HALCON中的area_center算子計(jì)算各個(gè)焊點(diǎn)區(qū)域的中心位置和焊點(diǎn)面積，并對(duì)檢測(cè)出的焊點(diǎn)各個(gè)區(qū)域像素值進(jìn)行標(biāo)記，從而通過計(jì)算圖像每個(gè)標(biāo)記操作得到圖像總區(qū)域的個(gè)數(shù)。

3) 焊點(diǎn)識(shí)別流程。工業(yè)生產(chǎn)過程中最嚴(yán)重的焊點(diǎn)缺陷主要有短路和漏焊，本文主要針對(duì)這兩種缺陷進(jìn)行識(shí)別。短路主要采用連通區(qū)域檢測(cè)算法通過識(shí)別焊點(diǎn)是否橋接來實(shí)現(xiàn)。首先得到同一連通區(qū)域中的所有像素點(diǎn)，并對(duì)不同的連通區(qū)域進(jìn)行標(biāo)記，然后計(jì)算這些連通區(qū)域的面積。如果有相鄰的兩個(gè)焊點(diǎn)連接到一起出現(xiàn)橋接，則連通區(qū)域面積將增大，且檢測(cè)結(jié)果中只會(huì)出現(xiàn)一個(gè)連通域，那么對(duì)于固定芯片，通過和標(biāo)準(zhǔn)圖像所提取的焊點(diǎn)個(gè)數(shù)及焊點(diǎn)面積進(jìn)行比較，即可識(shí)別出是否存在短路焊點(diǎn)[15]。而對(duì)于漏焊的焊點(diǎn)，其連通域個(gè)數(shù)會(huì)減少，但各個(gè)連通區(qū)域面積不變，從而可以結(jié)合此兩個(gè)特征來判斷是否漏焊。在圖像預(yù)處理、圖像分割的基礎(chǔ)上對(duì)待檢測(cè)圖像進(jìn)行識(shí)別，算法流程如圖7所示。

圖7 識(shí)別算法流程框圖

3 PCB板焊點(diǎn)檢測(cè)實(shí)驗(yàn)

利用本文提出的貼片IC焊接缺陷檢測(cè)算法對(duì)待檢測(cè)芯片焊點(diǎn)進(jìn)行檢測(cè)，爆點(diǎn)位置及焊點(diǎn)面積檢測(cè)界面如圖8所示。其中，該標(biāo)準(zhǔn)芯片正常焊點(diǎn)面積范圍為[120,160]，焊點(diǎn)區(qū)域個(gè)數(shù)為8。本文采集的待檢測(cè)芯片焊點(diǎn)面積大小像素值為[135 144 137 128 137 128 146 148]，焊點(diǎn)區(qū)域個(gè)數(shù)為8。通過判斷焊點(diǎn)區(qū)域個(gè)數(shù)，可見該芯片不存在短路和漏焊缺陷，確定為正常芯片。

圖8 爆點(diǎn)位置及焊點(diǎn)面積檢測(cè)界面

為驗(yàn)證本文提出算法的可行性，對(duì)工業(yè)現(xiàn)場(chǎng)采集的260幅樣本圖像進(jìn)行檢測(cè)，其中具有漏焊現(xiàn)象圖像96幅，具有橋接焊點(diǎn)的圖像85幅。利用本文提出的貼片IC檢測(cè)算法對(duì)其進(jìn)行缺陷檢測(cè)，實(shí)驗(yàn)結(jié)果如表1所示。

表1 實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)表

從表1數(shù)據(jù)可以看出：橋接樣本中98.8%的缺陷焊點(diǎn)可以被識(shí)別，漏焊樣本的識(shí)別率達(dá)100%，正常焊點(diǎn)的檢測(cè)正確率為98.7%，平均耗時(shí)為150 ms。由于光源等因素的影響，經(jīng)過分割后得到的連通區(qū)域面積減小，導(dǎo)致個(gè)別正常焊點(diǎn)、橋接被誤判為漏焊。總體看來，本文提出的貼片IC焊接缺陷識(shí)別算法取得較好的檢測(cè)效率和檢測(cè)精度。

4 結(jié)論

該貼片IC焊接缺陷檢測(cè)系統(tǒng)基于圖像增強(qiáng)、圖像濾波預(yù)處理，閾值分割、形態(tài)學(xué)處理等圖像分割及焊點(diǎn)缺陷模式識(shí)別的算法完成對(duì)電路板中貼片IC焊接主要缺陷橋接及漏焊的精確檢測(cè)。實(shí)驗(yàn)結(jié)果表明，該檢測(cè)算法識(shí)別正確率達(dá)98.7%以上，平均耗時(shí)為150 ms，具有一定的理論和實(shí)際意義。