基于機(jī)器視覺的半導(dǎo)體表面缺陷檢測(cè)研究

董先飛，韓震宇，廖聲洋，儀向向

(四川大學(xué)制造科學(xué)與工程學(xué)院，四川成都610065)

0 引言

隨著電子產(chǎn)業(yè)的發(fā)展，半導(dǎo)體的運(yùn)用范圍越來越廣，人們對(duì)于半導(dǎo)體的質(zhì)量要求也越來越高。一個(gè)半導(dǎo)體的表面封裝質(zhì)量對(duì)于其電氣性能和后續(xù)PCB 板上的焊接和貼片有重大的影響，因此對(duì)于半導(dǎo)體電子元器件的生產(chǎn)廠家來說，確保半導(dǎo)體的封裝質(zhì)量十分重要［1］。目前，大多數(shù)半導(dǎo)體電子元器件廠還在使用人工檢測(cè)的方法來檢測(cè)其封裝質(zhì)量，由于人工檢測(cè)是用人的眼睛觀察封裝是否有缺陷，存在主觀因素的干擾，并且長(zhǎng)時(shí)間工作會(huì)使工人產(chǎn)生視疲勞，勞動(dòng)強(qiáng)度大并造成生產(chǎn)效率降低，因此這種人工檢測(cè)的方式已不能適應(yīng)現(xiàn)代工業(yè)高速發(fā)展的要求。機(jī)器視覺的出現(xiàn)使得檢測(cè)效率大大提高，生產(chǎn)更趨于自動(dòng)化，所以其在工業(yè)生產(chǎn)中得到了越來越廣泛的應(yīng)用。本文利用機(jī)器視覺技術(shù)開發(fā)了一個(gè)針對(duì)SOT-23 封裝式半導(dǎo)體表面缺陷的在線檢測(cè)系統(tǒng)，并在實(shí)際生產(chǎn)中投入使用。

1 半導(dǎo)體缺陷檢測(cè)系統(tǒng)介紹

該檢測(cè)系統(tǒng)由計(jì)算機(jī)、工業(yè)CCD 相機(jī)、圖像采集卡、環(huán)形光源、圖像處理軟件、固定光源的機(jī)械結(jié)構(gòu)等部分組成。圖1 是半導(dǎo)體表面質(zhì)量缺陷檢測(cè)系統(tǒng)的結(jié)構(gòu)示意圖。調(diào)節(jié)光源并通過位置傳感器觸發(fā)由CCD相機(jī)獲取半導(dǎo)體表面字符圖像，使用圖像處理軟件處理字符圖像來檢測(cè)半導(dǎo)體表面是否存在缺陷。

對(duì)于SOT-23 封裝式半導(dǎo)體來說，需要檢測(cè)其塑封表面所打印的字符是否存在、是否完整，檢測(cè)塑封表面劃痕與塑封缺陷。為了突出這些特征，需要選擇合適的光源照明方式。高質(zhì)量的圖像信息是系統(tǒng)正確判斷和決策的原始依據(jù)，是整個(gè)系統(tǒng)成功與否的關(guān)鍵所在。

圖1 半導(dǎo)體表面缺陷檢測(cè)系統(tǒng)結(jié)構(gòu)示意圖

2 照明方式的選取

機(jī)器視覺中通過照明使被檢測(cè)物的重要特征凸現(xiàn)，不需要的特征得到抑制。根據(jù)不同的檢測(cè)對(duì)象需要選擇不同的照明方式。常用的照明方式有背光照明、正面明場(chǎng)照明、正面暗場(chǎng)照明、同軸光照明等［2］。本文檢測(cè)系統(tǒng)中需要將管體表面的字符與劃痕缺陷凸顯，因此選用低角度暗場(chǎng)照明的方式。所謂暗場(chǎng)照明是指光源與攝像頭位于被測(cè)物的同一側(cè)，光源的位置使得大部分的反射光沒有進(jìn)入相機(jī)，僅僅將照射到被測(cè)物體的特定部分的反射光進(jìn)入相機(jī)。圖2 為低角度照明暗場(chǎng)照明方式的光路示意圖，圖3 為低角度暗場(chǎng)照明方式下管體成像的效果圖。

圖2 低角度照明暗場(chǎng)照明方式的光路示意圖

圖3 低角度暗場(chǎng)照明方式下管體成像的效果圖

3 字符識(shí)別

本系統(tǒng)中字符識(shí)別只需要檢測(cè)字符的完整性，因此管體表面所印的字符作為一個(gè)字符模板，在一個(gè)感興趣區(qū)域(ROI)里面去匹配這個(gè)字符模板，從而判斷字符的完整性。

模板匹配是指在目標(biāo)圖像中尋找預(yù)先設(shè)定的模板圖像的過程。根據(jù)匹配算法的不同可以大概分為以下兩種:基于灰度值的模板匹配和基于邊緣點(diǎn)的模板匹配。

基于灰度值的模板匹配算法是基于模板與圖像中最原始的灰度值進(jìn)行匹配［3］，這類算法比較簡(jiǎn)單，但是當(dāng)圖像很大的時(shí)候，計(jì)算量就會(huì)很大，運(yùn)算所消耗的時(shí)間將會(huì)很長(zhǎng)。并且基于灰度值的模板匹配模板只能平移，在目標(biāo)圖像旋轉(zhuǎn)或者大小發(fā)生變化的情況下，匹配的精確度會(huì)大大降低，甚至?xí)ヅ涫　Ｔ诒疚牡南到y(tǒng)檢測(cè)中，管子經(jīng)由機(jī)器手將其放入一個(gè)凹槽，在凹槽底部連接一個(gè)真空吸嘴，管子就是通過此吸嘴與凹槽的相互作用進(jìn)行定位的，由于機(jī)器的振動(dòng)和凹槽與管子的間隙，管子在凹槽內(nèi)不可避免地會(huì)產(chǎn)生一些平移和旋轉(zhuǎn)，故此類匹配算法不可取。

基于邊緣點(diǎn)的模板匹配也就是基于特征的模板匹配，特征匹配是指通過提取兩個(gè)或多個(gè)圖像的特征(點(diǎn)、線、面等特征)，對(duì)特征進(jìn)行參數(shù)描述，然后運(yùn)用所描述的參數(shù)來進(jìn)行匹配的一種算法。基于邊緣點(diǎn)的模板匹配所用的模板由目標(biāo)的邊緣點(diǎn)集組成，通過計(jì)算兩個(gè)點(diǎn)集的Hausdorff 距離進(jìn)行匹配。Hausdorff 距離是一種極大-極小距離，令模板中邊緣點(diǎn)表示為T，圖像中邊緣點(diǎn)表示為E，則這兩個(gè)點(diǎn)集之間的Hausdorff 距離可由公式(1)得出:

h(T，E)與h(E，T)的定義相互對(duì)稱。由此可知，Hausdorff 距離由已知的兩個(gè)距離最大值組成:一個(gè)是模板邊緣與最近圖像邊緣之間的最大距離，另一個(gè)是圖像邊緣與模板邊緣之間的最大距離。因此，為了得到一個(gè)低的總距離，必須保證每個(gè)模板邊緣點(diǎn)與一個(gè)圖像邊緣點(diǎn)非常接近，同時(shí)也要保證每個(gè)邊緣點(diǎn)都與一個(gè)模板邊緣點(diǎn)非常接近［4］，這樣匹配出來的結(jié)果才會(huì)更準(zhǔn)確。

基于邊緣點(diǎn)的模板匹配能夠有效地抑制光照變化的影響，適應(yīng)現(xiàn)場(chǎng)復(fù)雜的外界環(huán)境，并且其不需要建立兩幅圖之間點(diǎn)的對(duì)應(yīng)關(guān)系，只需要提取圖像的邊緣信息，計(jì)算速度快。基于邊緣點(diǎn)的模板匹配對(duì)位置變化比較敏感，可以大大提高匹配的精度。現(xiàn)場(chǎng)環(huán)境復(fù)雜多變，因此選用此方法可以增加系統(tǒng)的可靠性。

4 缺陷識(shí)別

字符識(shí)別后，需對(duì)獲取到的被檢物體的圖像進(jìn)行處理，識(shí)別缺陷特征。該檢測(cè)系統(tǒng)中，首先通過識(shí)別矩形管子邊緣確定檢測(cè)范圍，然后采用差影法去除字符干擾，最后對(duì)差影圖像進(jìn)行Blob 缺陷提取。圖4 為系統(tǒng)識(shí)別缺陷流程圖。

圖4 系統(tǒng)識(shí)別缺陷流程圖

4.1 邊緣檢測(cè)

管子由定位模具定位，因此可以進(jìn)一步縮小檢測(cè)范圍，提高檢測(cè)效率。在圖像處理中針對(duì)矩形管子邊緣劃定四個(gè)矩形ROI。在矩形ROI 范圍內(nèi)采用3×3 鄰域Sobel 算子搜尋邊緣點(diǎn)。使用最小二乘法將獲取到的邊緣點(diǎn)集擬合成一條直線，即為管子邊緣。邊緣點(diǎn)的檢測(cè)個(gè)數(shù)C 由檢測(cè)密度V 和檢測(cè)像素寬度W 決定，其關(guān)系式為

式中:V 是指檢測(cè)間隔內(nèi)像素的個(gè)數(shù)。

邊緣點(diǎn)的檢測(cè)密度越大，間隔像素越少，獲取到的邊緣點(diǎn)個(gè)數(shù)越多，擬合的直線越準(zhǔn)確。但是，檢測(cè)密度的增大會(huì)導(dǎo)致檢測(cè)效率的降低，考慮到實(shí)時(shí)檢測(cè)的需求，合理設(shè)置檢測(cè)密度十分重要。運(yùn)用Sobel 算子分別從下而上、從上而下、從右至左、從左至右四個(gè)方向在ROI 內(nèi)搜索邊緣點(diǎn)，并分別擬合出四條邊緣線，延長(zhǎng)相交構(gòu)造出管體矩形邊緣，為塑封表面的缺陷檢測(cè)確定了檢測(cè)范圍。

4.2 缺陷檢測(cè)

Blob 分析方法是缺陷檢測(cè)常用的方法。Blob 分析原理是對(duì)圖像中相同像素的連通域進(jìn)行分析，該連通域稱為Blob。Blob 分析可為機(jī)器視覺應(yīng)用提供圖像中的斑點(diǎn)的數(shù)量、位置、形狀和方向，還可以提供相關(guān)斑點(diǎn)間的拓?fù)浣Y(jié)構(gòu)［5］。

在管體表面劃傷缺陷的檢測(cè)中，單純的用Blob 提取缺陷是不可行的，因?yàn)槿毕莸幕叶戎蹬c字符的灰度值相差不多，通過Blob 算法提取出的缺陷將不僅僅是缺陷，還包括了字符，所以在Blob 提取缺陷之前要把字符去除。本文采用差影法去除字符的干擾。

差影法簡(jiǎn)單來說就是對(duì)兩幅圖片所對(duì)應(yīng)的灰度值做減法運(yùn)算，兩幅相同的圖片做差影后將會(huì)變成一幅全黑的圖片［6］。使用差影法最關(guān)鍵的就是將兩幅圖片對(duì)準(zhǔn)，否則差影之后的結(jié)果將會(huì)有很大的殘留誤差。

差影法首先要確定差影模板，用來和目標(biāo)圖像進(jìn)行相減。本文使用模板匹配算法中所得到的字符模板的二值圖作為差影模板，如圖5所示。

圖5 字符模板(上)與差影模板(下)

在基于邊緣點(diǎn)的模板匹配后，可以準(zhǔn)確地得到字符區(qū)域在圖像中的位姿，從而實(shí)現(xiàn)差影模板與圖像中字符區(qū)域的對(duì)準(zhǔn)。首先對(duì)圖像進(jìn)行二值化，然后將二者做差影運(yùn)算，最后對(duì)差影圖像進(jìn)行Blob 缺陷提取，有效的屏蔽了字符的影響。圖6 為系統(tǒng)所找到的缺陷圖，左側(cè)陰影區(qū)域內(nèi)為劃傷缺陷。

5 結(jié)論

圖6 系統(tǒng)所找到的缺陷

本系統(tǒng)在工廠試用后，能夠快速準(zhǔn)確地檢測(cè)出半導(dǎo)體塑封表面的缺陷，現(xiàn)已投入正式生產(chǎn)中。本系統(tǒng)的處理時(shí)間在70 ms 左右，安裝有本系統(tǒng)的機(jī)器平均每小時(shí)產(chǎn)量由13000 顆左右提高到了20000 顆左右，極大提高了生產(chǎn)效率;在產(chǎn)品的合格率方面也由以前的99.80%左右提升到了99.99%左右，有效地增加了產(chǎn)品的合格率。并且產(chǎn)業(yè)的自動(dòng)化程度也得到了提升，克服了傳統(tǒng)人工檢測(cè)的主觀性因素與不能長(zhǎng)時(shí)間連續(xù)工作的問題。

［1］張素娟，李海岸.新型塑封器件開封方法以及封裝缺陷［J］.半導(dǎo)體技術(shù)，2006，31(7):509-511.

［2］張巧芬，高健.機(jī)器視覺中照明技術(shù)的研究進(jìn)展［J］.照明工程學(xué)報(bào)，2011(2):31-37.

［3］陳皓，馬彩文，陳岳承，等.基于灰度統(tǒng)計(jì)的快速模板匹配算法［J］.光子學(xué)報(bào)，2009，38(6):1586-1590.

［4］Huttenlocher D P，Klanderman G A，Ruckldgew J.Comparing image using the Hausdorff distance［J］.IEEE Transactions on PAM I，1993，15(9):850-863.

［5］李蕊艷.基于機(jī)器視覺的芯片識(shí)別及定位軟件的研究開發(fā)［D］.西安:西安理工大學(xué)，2009.

［6］張立凡.基于機(jī)器視覺的圖文印刷缺陷檢測(cè)研究［D］.北京:北京印刷學(xué)院，2010.