基于LabVIEW的CSP芯片植球后視覺檢測算法研究

劉勁松　邱爽

摘要：為了對CSP植球后的芯片進行植球質(zhì)量檢測，采用機器視覺方法，借助LabVIEW中的基本函數(shù)庫和視覺模塊，對植球后的芯片進行圖像采集、ROI提取、噪聲抑制、二值化和形態(tài)學處理，有效地將焊錫球亮點從圖像背景中分割出來，而后運用圓Hough變換對焊錫球進行圓心定位，最終基于焊錫球的實際偏移量，對檢測區(qū)域中每塊芯片植球是否合格作出判斷，并且統(tǒng)計出少球與多球的位置信息。結果證明，該算法檢測準確度高，具備一定的應用價值。

關鍵詞：機器視覺；質(zhì)量檢測；LabVIEW；CSP植球；圓Hough變換

DOIDOI：10.11907/rjdk.181027

中圖分類號：TP301.6

文獻標識碼：A文章編號文章編號：16727800（2018）009004305

英文標題Research on Visual Detection Algorithm After CSP Chip Ball Planting Based on LabVIEW

--副標題

英文作者LIU Jingsong1，2， QIU Shuang1

英文作者單位（1.School of Mechanical Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China；2.Shanghai Micson Industrial Automation Co.，Ltd.，Shanghai 201114，China）

英文摘要Abstract：In order to detect the quality of chips after CSP ball planting，with the help of the basic function library and visual module in LabVIEW，we adopt the method of machine vision to carry out image acquisition，ROI extraction，noise suppression，binarization and morphological processing on the chips after ball planting，and effectively separate solder balls from image background.Then circular Hough transform is used to locate the centres of solder balls.Finally，based on the actual offset of solder balls，we can judge whether each chip in the detection area is qualified and collect the statistics of position information where ball is lacked or redundant.It turns out that the algorithm has high detection accuracy and possesses certain application value.

英文關鍵詞Key Words：machine vision； quality detection； LabVIEW； CSP ball planting； circular Hough transform

0引言

芯片尺寸級封裝（Chip Scale Package，CSP），按照日本電子機械工業(yè)會（EIAJ）定義，是指與晶片（Die）大小相同或者比之稍微大些的封裝技術總稱[1]。作為CSP封裝工藝中的關鍵步驟，植球就是把焊錫球植放到芯片的PAD點上，從而使芯片與外部電路相連接，其質(zhì)量將直接關系到器件的性能與可靠性[2]。因此，對植球后芯片上的焊錫球進行植放質(zhì)量檢測顯得至關重要。而CSP芯片植球質(zhì)量檢測的難點在于焊錫球的尺寸小、數(shù)目多、密度大，還需滿足快檢測速度和高位置精度等要求，所以僅靠肉眼和常規(guī)接觸性測量是無法實現(xiàn)的。

機器視覺是近幾年迅速發(fā)展起來的新興綜合技術，具有效率高、自動化程度高、能進行非接觸性檢測等優(yōu)點[3]。采用機器視覺方法解決CSP芯片植球的質(zhì)量檢測問題，以取代傳統(tǒng)的人工檢測，勢在必行。國內(nèi)研究人員對BGA植球視覺檢測技術設計過大致可行的方案，但未對植球后的各種問題提出有針對性的具體算法，同時將焊錫球數(shù)目作為芯片多球、少球判斷依據(jù)，降低了檢測準確度。本文通過LabVIEW軟件平臺，針對CSP植球后芯片圖像的采集、處理、分析和判斷，研究了一整套相應算法，從而實現(xiàn)高準確度檢測。

1系統(tǒng)總體概述

機器視覺系統(tǒng)通常包括圖像采集、圖像處理與分析、邏輯判斷與控制等3個過程。尤其是前兩個環(huán)節(jié)，其中幾個關鍵技術能否被順利攻克，將對整個視覺系統(tǒng)是否可以達到預期目的產(chǎn)生極大影響[4]。本文先設計合適的光源與照明方式以獲取優(yōu)質(zhì)的芯片檢測區(qū)域圖像，再對圖像進行預處理和圓心定位，最后采用基于焊錫球偏移量的判別算法，實現(xiàn)對芯片植球的質(zhì)量檢測，系統(tǒng)流程如圖1所示。

2圖像采集

2.1光源與照明方式設計

照明作用于系統(tǒng)的原始輸入并直接影響輸入數(shù)據(jù)的質(zhì)量。恰當?shù)墓庠磁c照明方式，不但可以突出需要檢測的對象及其特征，而且還能抑制不需要的干擾成分，方便后續(xù)圖像處理[5]。所以該方面設計須慎重對待。

LED光源的穩(wěn)定性和顯色性好，發(fā)光強度高，光譜范圍可覆蓋整個可見光。考慮到CSP焊錫球的顏色多為白色或銀白色，依據(jù)色覺搭配原理，藍色光源可以凸顯出白色，故選用藍色LED光源。同時，鑒于焊錫球表面較為光滑，對光反射強烈，于是選用環(huán)形光源以減少反射，并使光能在焊錫球上均勻照射[6]。光源設計如圖2（a）所示。

采用低角度前照明的照射方式，使LED光源與芯片呈很小的角度，僅讓焊錫球反射的部分光進入工業(yè)相機，以突出焊錫球并抑制背景。照明方式設計如圖2（b）所示。

2.2采集過程

在上述照明條件下，通過LabVIEW視覺模塊中的NIIMAQdx驅動CCD灰階相機，并利用低階（LL）取像元件對植球后的芯片進行圖像采集。具體采集流程圖、對應程序圖以及采集到的芯片檢測區(qū)域灰度圖如圖3所示。

3圖像處理

視覺系統(tǒng)采集到的原始灰度圖包含大量圖像信息，有檢測需要的焊錫球信息，也有不需要的噪聲、圖像背景和多余的助焊劑等不利于后續(xù)分析判斷的冗余信息[7]。而在復雜圖像中進行圓檢測時容易產(chǎn)生更多無效積累，加大計算量[8]。因此，對原始灰度圖進行預處理，以消除干擾并加快檢測速度，是很有必要的。

3.1ROI提取

CSP芯片植球質(zhì)量檢測，歸根結底就是判斷檢測區(qū)域中每塊植球后的芯片是否符合要求。所以，在執(zhí)行圖像處理及其后續(xù)操作時，首先須把待處理對象限定于檢測區(qū)域中的某一芯片，即將圖像中的每塊芯片劃定為一個矩形感興趣區(qū)域（ROI），而后逐一處理。這樣在減少處理時間、提高精度的同時，也間接排除了其它干擾。在LabVIEW中，可通過IMAQ Extract函數(shù)實現(xiàn)對感興趣區(qū)域的提取。提取出的芯片ROI圖如圖4所示。

3.2圖像平滑

由于圖像在生成、傳輸?shù)纫幌盗羞^程中，難免會受到來自系統(tǒng)內(nèi)部與外部的各種干擾，所以經(jīng)過ROI提取得到的芯片圖中或多或少會存在噪聲，如脈沖噪聲等。而圖像的平滑處理就是用不同的濾波方法對圖像進行去噪處理[9]。

本文采用中值濾波的平滑方法降噪，即用每個像素點領域內(nèi)全部像素點的灰度值中值代替該點的灰度值。中值濾波輸出為：

yi，j=MedianAfi，j（1）

式（1）中，fi，j和yi，j分別為原始圖像和濾波后的圖像，A為濾波窗口。在LabVIEW中，可通過IMAQ NthOrder函數(shù)實現(xiàn)對圖像的中值濾波操作。本文選取5×5方形濾波窗口對芯片ROI圖進行中值濾波。

3.3圖像分割

為了將檢測需要的焊錫球從圖像背景中分割出來，須對中值濾波后的芯片灰度圖作二值化處理，即選擇一個合適的閾值T，如果圖像中像素的灰度值小于此閾值，則把該像素的灰度值設置為0，否則設置為255。變換函數(shù)為：

f（x）=0，x

式（2）中，x為原圖中像素的灰度值，fx為二值化后像素的灰度值。而合理選取閾值T，對于盡可能地保留CSP焊錫球的特征信息、剔除與焊錫球灰度值相近的背景點，十分關鍵。

雙峰法是一種基于灰度直方圖的自動閾值確定方法[10]。LabVIEW中通過函數(shù)IMAQ Histograph統(tǒng)計圖像的灰度分布，濾波后芯片圖的灰度直方圖如圖5所示。觀察圖5可以分析，圖像背景的灰度值主要集中在25-100區(qū)間內(nèi)，焊錫球目標灰度值接近于255，兩者呈現(xiàn)較為明顯的雙峰特性。在這種情況下，雙峰法很適用，所以本文用雙峰法求得最低谷處的灰度值，即濾波后芯片圖的最佳閾值T為254。

LabVIEW中通過函數(shù)IMAQ Threshold實現(xiàn)對圖像的閾值分割，得到二值化后的芯片圖，如圖6所示。能夠看出，在保存邊緣信息的前提下，焊錫球可以很好地與背景及部分多余助焊劑區(qū)分開。

3.4形態(tài)學處理

由圖6可以發(fā)現(xiàn)，二值化后的圖像包含閾值分割沒有去除的殘余助焊劑噪點，同時焊錫球的邊緣輪廓有纖細突起，內(nèi)部也有由環(huán)形光源照射反光引起的黑色孔洞。

本文先用5×5的結構元對二值圖作開運算，目的是在不明顯改變焊錫球面積和形狀的基礎上，平滑其邊緣，并消除小于該結構元的助焊劑噪點。再用同樣的結構元對二值圖作閉運算，以在不明顯改變焊錫球面積和形狀的基礎上，填補球內(nèi)孔洞。

以上開、閉運算雖然解決了小面積噪點、焊錫球孔洞和突起問題，但是很難處理好面積較大的助焊劑噪點。使用高級形態(tài)學中的刪除小塊區(qū)域方法，刪除二值圖中面積小于45像素的8連通區(qū)域，即可除去剩余面積較大的噪點，以消除殘余背景噪聲。最終結果如圖7所示。

LabVIEW中通過函數(shù)IMAQ Morphology實現(xiàn)開閉操作，采用函數(shù)IMAQ RemoveParticle刪除小塊區(qū)域。

4圓心定位算法

圓Hough變換是當前應用最為廣泛的圓檢測算法之一[11]。該算法可靠性高，對邊緣不連續(xù)、部分區(qū)域殘缺、變形、噪聲等狀況均有良好的適應性[12]。

設{（xi，yi） | i=1，2，3，...，n}為圖像中點的集合，（x，y）是屬于該集合的一點，在參數(shù)坐標系中的方程為：

（x-a）2+（y-b）2=r2（3）

通過上述方程進行坐標變換，將x-y圖像平面上的圓轉換到a-b-r參數(shù)空間中去，則圖像平面上的圓與參數(shù)空間中的一點相對應，圖像平面上的一點與參數(shù)空間中的一個三維錐面相對應。對圖像平面上的一個圓來說，半徑是固定的，所以由圓周上各點組成的集合在參數(shù)空間中表現(xiàn)為半徑相等、圓心（xi，yi）不等的空間圓集合，而這些空間圓必定會相交于參數(shù)空間中的某一點（a0，b0，r0），如圖8（a）所示。該點的參數(shù)便對應著圖像平面上該圓的圓心坐標和半徑[13]。

基于此，先在參數(shù)空間中構造一個三維累積數(shù)組，其中的元素為A（a，b，r）。將r設為遞增變量，可根據(jù)經(jīng)驗知識確定半徑變化的范圍（rmin，rmax），從rmin開始遞增到rmax。每次運算前先固定半徑為rj，再在垂直于rj軸的平面上求圓心為（xi，yi）的圓周各點，其中（xi，yi）取原圖像平面上的邊緣點，并與在該平面映像的二維累積陣列上的相應點A（a，b，rj）累加，即：

A（a，b，rj）=A（a，b，rj）+1（4）

最后，根據(jù)累加后的最大值所對應點的參數(shù)a、b、r，確定出x-y圖像平面上的圓。在LabVIEW中，通過函數(shù)IMAQ Find Circles可對圖像中的焊錫球進行圓檢測，從而得到圓心坐標，實現(xiàn)圓心定位。根據(jù)運算得到數(shù)據(jù)擬合出的圓以及圓心位置如圖8（b）所示。

5植球質(zhì)量檢測

檢測區(qū)域中共有20個芯片，每個芯片都有78個I/O口需要植球。該I/O口就是植球的理想位置，而先前得到的圓心坐標則為焊錫球在芯片上的實際位置。檢測CSP芯片植球質(zhì)量的標準主要體現(xiàn)在：根據(jù)所植焊錫球實際位置相對于理想位置的偏移量，植球后的芯片有無出現(xiàn)多球或者少球現(xiàn)象。

設定偏移量閾值為t。在允許的偏移量t內(nèi)，若某一I/O口處沒有發(fā)現(xiàn)焊錫球，即所有焊錫球的實際圓心坐標都不在以該I/O口坐標為圓心、t為半徑的圓內(nèi)，則判定該I/O口處少球；若在非I/O口的位置植放了焊錫球，即該焊錫球的實際圓心坐標在所有以I/O口坐標為圓心、t為半徑的圓外部，則判定該焊錫球所在位置多球；特別地，若某一I/O口處植放了兩個以上焊錫球，即有兩個以上實際圓心坐標滿足在以該I/O口坐標為圓心、t為半徑的圓內(nèi)條件，則判定該I/O口處多球。

設某焊錫球的實際圓心坐標為（ai，bi），某I/O口坐標為（mk，nk）。如果焊錫球滿足在圓內(nèi)條件，則兩者的間距應當小于等于t，即：

（ai-mk）2+（bi-nk）2

（5）

一旦芯片被檢測到有多球或者少球的情形，則判定該芯片植球不合格，然后根據(jù)多球、少球位置坐標作重新植球處理。芯片合格則進行下一道工序。

本文通過LabVIEW基本函數(shù)實現(xiàn)了以上判別算法，用for循環(huán)對檢測區(qū)域中的每塊芯片進行植球質(zhì)量檢測，并將芯片植球結果以布爾二維數(shù)組形式返回給控制系統(tǒng)。對少球和多球位置在處理過的芯片二值圖中進行標記，并統(tǒng)計位置信息。為方便觀察，將偏移量閾值t設為焊錫球直徑的30%進行運算，其中焊錫球的標準直徑為19個像素。取芯片第一行作數(shù)據(jù)統(tǒng)計，統(tǒng)計出的少球位置信息如表1所示，多球位置信息如表2所示，少球、多球位置標記如圖9所示。由結果可見，本文提出的視覺檢測算法檢測準確度高，行之有效。

6結語

機器視覺的廣泛應用，大幅提高了生產(chǎn)自動化水平以及裝備的使用效率、可靠性與穩(wěn)定性[14]。本文采用機器視覺方法，結合光源與照射方式的選取，提出了一種CSP芯片植球質(zhì)量檢測算法。該算法在LabVIEW中證明了可行性，然而仍存在需要改進之處，如圓心定位算法的資源占用量大、檢測功能不夠多樣化等。隨著對其研究的不斷深入，機器視覺技術必然會更加完善，在工業(yè)自動化生產(chǎn)領域發(fā)揮越來越大的作用[15]。

參考文獻參考文獻：

[1]萩本英二.CSP技術[M].第1版.陳連春，譯.臺灣：建興出版社，1998.

[2]劉勁松，郭儉，王鶴.芯片尺寸級CSP封裝自動植球技術的研究[J].制造業(yè)自動化，2015，37（10）：117120.

[3]賈偉妙.基于機器視覺的芯片BGA封裝焊球缺陷檢測及MATLAB仿真[D].合肥：合肥工業(yè)大學，2009.

[4]劉勁松，梁皓源.基于OpenCV的晶圓編號識別算法研究[J].軟件導刊，2017，16（6）：2527.

[5]郭建強.BGA全自動植球機視覺檢測和自動對準控制技術研究[D].合肥：合肥工業(yè)大學，2006.

[6]NOVINI A.Fundamentals of machine vision lighting[C].Proceedings of SPIE，1987：4452.

[7]劉勁松，時威，張金志.BGA返修芯片批量植球機關鍵技術研究[J].電子工藝技術，2015，36（3）：125128.

[8]葉峰，陳燦杰.基于有序Hough變換的快速圓檢測算法[J].光學精密工程，2014，22（4）：11051111.

[9]袁勇，張固瀾.一種改進的中值濾波方法[J].成都理工大學學報：自然科學版，2013，40（2）：125129.

[10]楊修國.關于直方圖雙峰法的研究與改進[J].電子設計工程，2012，20（12）：176179.

[11]劉勁松，高揚，邱進軍.基于機器視覺的BGA植球后缺陷檢測技術的研究[J].現(xiàn)代制造工程，2016（3）：115118.

[12]朱桂英，張瑞林.基于Hough變換的圓檢測方法[J].計算機工程與設計，2008（6）：14621464.

[13]黃石安.基于數(shù)字圖像處理的圓形檢測[D].南京：南京理工大學，2006.

[14]計時鳴，黃希歡.工業(yè)機器人技術的發(fā)展與應用綜述[J].機電工程，2015，32（1）：113.

[15]徐國保，尹怡欣，周美娟.智能移動機器人技術現(xiàn)狀及展望[J].機器人技術與應用，2007（2）：2934.

責任編輯（責任編輯：何麗）