用于半導(dǎo)體芯片封裝的真空吸嘴視覺識別技術(shù)

邱景，胥云，廖映華，劉思懿，容瀟偉

(1.四川輕化工大學機械工程學院，四川宜賓 644000；2.四川省移動終端結(jié)構(gòu)件全制程先進制造技術(shù)工程研究中心，四川宜賓 644000;3.悉尼大學工程學院，新南威爾士州悉尼 2006)

0 前言

在半導(dǎo)體芯片封裝過程中，精確拾取和轉(zhuǎn)移芯片是保證封裝工序能正常進行的前提[1]。而使用型號匹配的真空吸嘴是正確拾取轉(zhuǎn)移芯片的關(guān)鍵。由于真空吸嘴微小，一些外觀極為相似的真空吸嘴僅憑人眼難以區(qū)分，一旦拿錯，極易造成無法準確吸取芯片，或轉(zhuǎn)移時芯片脫落而造成芯片破損等問題，嚴重影響了封裝的精度和效率。

機器視覺技術(shù)在封裝技術(shù)中一些關(guān)鍵點上已經(jīng)被廣泛應(yīng)用。WANG等[2]通過分析MCP-X圖像增強器分辨率與幾何放大率的關(guān)系來檢測印刷電路板中焊點的缺陷；席偉等人[3]通過使用區(qū)域生成法和最大內(nèi)接矩形法實現(xiàn)對PCB板的糾偏；蘇珊等人[4]利用圖像二值化、連通域標記等算法識別出SMT元件引腳的連錫缺陷。然而機器視覺在芯片真空吸嘴的識別分類方面鮮有應(yīng)用。目前仍然通過人工取用真空吸嘴，極易拿錯。為了保證芯片封裝的順利進行，本文作者開發(fā)了一套基于OpenCV以及Qt平臺的用于半導(dǎo)體芯片封裝的真空吸嘴識別系統(tǒng)，在使用真空吸嘴吸取芯片之前，識別真空吸嘴，確保工程師不會拿錯真空吸嘴。

1 真空吸嘴的視覺識別方案

1.1 真空吸嘴的視覺識別原理

此系統(tǒng)的識別任務(wù)主要是識別出真空吸嘴是哪一種型號。對真空吸嘴的結(jié)構(gòu)和材質(zhì)研究發(fā)現(xiàn)，真空吸嘴的顏色僅有黑色、白色和乳色，其內(nèi)、外輪廓形狀非圓即方，如圖1所示。因而此系統(tǒng)選擇真空吸嘴的形狀、顏色和內(nèi)、外輪廓的寬高尺寸作為識別特征。

圖1 真空吸嘴顏色和形狀特征

此系統(tǒng)中需要識別的真空吸嘴種類較多，還要滿足企業(yè)客戶日后可以識別新種類真空吸嘴的需求。因此選擇創(chuàng)建真空吸嘴數(shù)據(jù)庫，通過圖像處理算法獲取型號已知的真空吸嘴的特征參數(shù)，錄入到真空吸嘴數(shù)據(jù)庫中。對型號未知的真空吸嘴進行識別時，將獲取的特征參數(shù)與數(shù)據(jù)庫中已錄入的數(shù)據(jù)做比對，查找到數(shù)據(jù)庫中相應(yīng)的真空吸嘴，提示該真空吸嘴的型號和特征信息。系統(tǒng)識別原理如圖2所示。

圖2 系統(tǒng)識別原理

1.2 實驗平臺搭建

芯片真空吸嘴識別系統(tǒng)由硬件和軟件組成，其中硬件系統(tǒng)實物組成如圖3所示。軟件編程平臺為Qt Creator 4.7.2，使用Qt編寫圖像采集、軟件界面、數(shù)據(jù)庫操作和串口通信。使用OpenCV編寫圖像處理算法。硬件主要包括CMOS相機、遠心鏡頭、背光源、光源控制器和PC機，系統(tǒng)的檢測精度為0.2 mm。相機選用德國Basler公司生產(chǎn)的acA3800-10gm-Baslerace黑白工業(yè)相機。

圖3 硬件系統(tǒng)實物

2 圖像預(yù)處理

2.1 圖像濾波

在圖像采集過程中，受成像傳感器材料屬性、工作環(huán)境、電子元器件和電路結(jié)果等影響，圖像必然帶有一定的噪聲。這些噪聲使得圖像退化失真，圖像特征與細節(jié)模糊，給后期的處理分析帶來較大的困難[5]。必須要使用濾波降噪算法來減少實際圖像和理想圖像之間的差值，降低噪聲對尺寸測量的負面影響。常用的濾波去噪算法有均值濾波、中值濾波、高斯濾波和雙邊濾波等。經(jīng)過試驗比較，雙邊濾波不僅有良好的降噪能力，還有優(yōu)秀的保邊能力，不像其他濾波算法在降噪的同時，會在一定程度上模糊邊緣，破壞邊緣信息。使用雙邊濾波降噪的實驗結(jié)果如圖4所示。

圖4 雙邊濾波實驗效果

2.2 Blob分析

Blob分析是對圖像中具有相同像素的連通域進行分析的一種算法[6]，可以獲取連通域的個數(shù)、位置、形狀、面積、最小外接矩形等特征信息，適用于2D平面高對比度的視覺檢測。Blob分析的主要內(nèi)容有閾值分割、形態(tài)學處理、連通域分析和Blob特征提取等。在此系統(tǒng)中，Blob分析的目的在于獲得真空吸嘴區(qū)域的面積特征和其最小外接矩形特征，后續(xù)提取識別特征的檢測區(qū)域都將依托于最小外接矩形的長、寬、角度和中心位置來計算。Blob分析結(jié)果如圖5所示。

圖5 Blob分析結(jié)果

3 特征提取

3.1 形狀特征提取

矩形度反映了物體與矩形相似的程度，體現(xiàn)在物體對其最小外接矩形的充滿度，是圖像處理中相當重要的概念之一。設(shè)物體的面積為S0，其最小外接矩形的面積為SMER，R為其矩形度，其數(shù)學表達式如下：

(1)

當R=1時，物體形狀即為矩形；R越小，物體形狀越不規(guī)律，與矩形的差距越大，圓形物體的R約為0.785。設(shè)定矩形度閾值TR來識別矩形和圓形：

(2)

對于外輪廓的形狀識別，其面積等于真空吸嘴區(qū)域面積與內(nèi)輪廓區(qū)域面積之和，其最小外接矩形與真空吸嘴區(qū)域相同，因此計算外輪廓的R值還需要獲取內(nèi)輪廓區(qū)域面積。對于內(nèi)輪廓的形狀識別，首先要在濾波圖像上剪裁出內(nèi)輪廓圖像，剪裁區(qū)域的中心、角度與外輪廓最小外接矩形相同，寬、高則為外輪廓的最小外接矩形的1/2；然后對裁剪圖像進行Blob分析；最后獲得內(nèi)輪廓區(qū)域面積及其最小外接矩形。真空吸嘴形狀特征提取算法流程如圖6所示。

圖6 真空吸嘴形狀特征提取的算法流程

設(shè)定TR的初始值為0.95，提取不同形狀的真空吸嘴形狀特征，實驗結(jié)果如圖7所示。

圖7 形狀特征提取的實驗結(jié)果

3.2 尺寸特征提取

基于一維像素序列灰度躍變的邊緣點檢測是一種簡單穩(wěn)定的尺寸測量方法[7]。其原理就是設(shè)置若干個具有方向的矩形搜索區(qū)域，將搜索區(qū)域內(nèi)的圖像沿搜索方向的垂直方向投影為一維像素序列，利用圖像的一階導(dǎo)數(shù)來計算邊緣、二階導(dǎo)數(shù)來測量每個邊緣的銳利程度和極性，極性的正負可以用來判斷邊緣點是由暗到亮，或者是由亮到暗。此外二級導(dǎo)數(shù)還可以確定邊緣的中心位置，獲得精度更高的亞像素邊緣點[7]。邊緣點檢測原理如圖8所示。

圖8 基于一維像素序列灰度躍變的邊緣點檢測原理

在此系統(tǒng)中, 真空吸嘴尺寸的測量方法大致可分為以下兩種：

(1)對于圓形輪廓的尺寸測量，需要構(gòu)建一個與被測圓十分接近的期望圓，在期望圓的圓弧上設(shè)置若干個均勻分布的矩形搜索區(qū)域，搜索方向為沿半徑指向圓心或是由圓心沿半徑向外。利用最小二乘算法將檢測到的邊緣點集來進行圓擬合，擬合圓即為被測圓，圓尺寸測量原理如圖9(a)所示。在此系統(tǒng)中，期望圓的圓心(REC,CEC)和直徑DEC均可通過被測輪廓的最小外接矩形來進行初始設(shè)置：

圖9 尺寸測量原理

(3)

式中：RMER、CMER、WMER分別為被測輪廓的最小外接矩形中心行、列坐標和寬度。被測輪廓的期望圓圓弧上設(shè)置10個寬20、高5的矩形搜索區(qū)域，搜索方向沿半徑指向圓心。外輪廓測量的邊緣點極性設(shè)置為由亮到暗，內(nèi)輪廓設(shè)置為由暗到亮。

(2)對于矩形輪廓的尺寸測量，僅需設(shè)置一個矩形搜索區(qū)域，在搜索方向上檢測極性為一正一負的兩個邊緣點，兩個邊緣點的間距即為被測尺寸，稱該矩形搜索區(qū)域為測量矩形。矩形尺寸測量原理如圖9(b)所示。在此系統(tǒng)中，測量矩形輪廓需要創(chuàng)建寬度測量矩形MR1和高度測量矩形MR2，兩個測量矩形的中心(RMR1,MR2,CMR1,MR2)、寬度WMR1,MR2和高度HMR1,MR2同樣參考被測輪廓的最小外接矩形來初始設(shè)置：

(4)

式中：A、B為常量值。此系統(tǒng)中A、B的初始值均設(shè)置為20。兩個測量矩形的搜索方向φMR1,MR2為

(5)

式中：φMER為被測輪廓最小外接矩形主軸相對于水平軸的弧度。外輪廓的兩個測量矩形的第一個邊緣點極性設(shè)置為由亮到暗，第二個邊緣點極性設(shè)置為由暗到亮，而內(nèi)輪廓測量矩形的極性設(shè)置與外輪廓相反。

根據(jù)真空吸嘴的形狀來選取相應(yīng)的尺寸測量方法，真空吸嘴尺寸特征提取算法的流程如圖10所示。對外圓內(nèi)圓、外方內(nèi)方和外方內(nèi)圓3種真空吸嘴進行尺寸特征提取實驗，實驗結(jié)果如圖11所示，其中Wouter、Houter為外輪廓的寬、高，Winner、Hinner為內(nèi)輪廓的寬、高尺寸。

圖10 真空吸嘴尺寸特征提取的算法流程

圖11 尺寸特征提取的實驗結(jié)果

3.3 顏色特征提取

此系統(tǒng)的CMOS相機采集的是單通道圖像，因而無法使用基于RGB、HSV等顏色空間的顏色識別算法。但通過對真空吸嘴顏色特征分析發(fā)現(xiàn)，當背光亮度較強時，不同顏色的真空吸嘴的灰度值相差較大，從圖像上看就是乳色真空吸嘴區(qū)域最亮，黑色真空吸嘴最暗，白色真空吸嘴在二者之間。因此考慮采用計算灰度平均值的方法去識別這3種顏色。灰度平均值作為圖像處理中重要的概念之一，反映了圖像的亮度，值越大說明圖像亮度越大，反之越小，其數(shù)學表達式如下：

(6)

此系統(tǒng)中光源控制器可調(diào)節(jié)0～255級范圍的亮度。在上述形狀和尺寸特征提取中，亮度為65級，3種顏色的真空吸嘴如圖12所示，可以看出：在65級亮度下，3個真空吸嘴的灰度值差異并不明顯。

圖12 65級亮度下三種顏色的真空吸嘴

為了尋找合適的背光亮度和灰度閾值，本文作者設(shè)計一個實驗：

(1)采集65級亮度下3種顏色的真空吸嘴圖像，對其進行Blob分析，獲取其最小外接矩形特征。

(2)調(diào)整背光源亮度，采集每一級亮度下的3種真空吸嘴圖像，共計255張圖像。

(3)在這255張圖像上，計算最小外接矩形區(qū)域內(nèi)圖像的灰度平均值。

(4)生成灰度平均值與亮度的變化關(guān)系曲線，如圖13所示。

圖13 灰度平均值隨亮度變化曲線

從圖13可以明顯看出：在90～105級亮度時，3種顏色的真空吸嘴的灰度平均值均處于增長區(qū)間，黑色真空吸嘴灰度平均值約在100，白色真空吸嘴在200上下，而乳色真空吸嘴超過240，且相差較大。因此，選擇100級亮度作為識別真空吸嘴顏色的背光亮度，在該級亮度下，設(shè)定灰度平均值閾值識別真空吸嘴顏色。

(7)

式中：TC-W為識別乳色與白色真空吸嘴的灰度平均值閾值，初始值設(shè)為210；TW-B為識別白色與黑色真空吸嘴的灰度平均值閾值，初始值設(shè)置為150。真空吸嘴顏色識別的算法流程如圖14所示。

圖14 真空吸嘴顏色特征提取的算法流程

對真空吸嘴進行顏色特征提取實驗，實驗結(jié)果如圖15所示。可以看出：在100級背光亮度下，3種顏色的真空吸嘴灰度值差異明顯，乳色真空吸嘴更是與背景相融。

圖15 顏色特征提取的實驗結(jié)果

4 標定與實驗測試分析

4.1 系統(tǒng)標定

在真空吸嘴的尺寸特征提取中，獲得的都是像素尺寸，因而需要通過標定將像素尺寸轉(zhuǎn)換為實際尺寸。相機的標定是保證測量系統(tǒng)精度的基石，求取圖像坐標與世界坐標的轉(zhuǎn)換關(guān)系[8]，將圖像上的點與現(xiàn)實世界中的實際點一一對應(yīng)。計算像素當量是機器視覺測量領(lǐng)域中最為常用的標定方法，其中像素當量就是單位像素所代表的實際距離。計算過程就是利用一個已知物理尺寸為l的標準件，通過圖像處理測量其像素尺寸n，由下式計算出像素當量d：

d=l/n

(8)

此系統(tǒng)主要任務(wù)是識別真空吸嘴，對真空吸嘴的測量精度要求不高，并且選用的遠心鏡頭畸變小，選用計算像素當量的標定方法最為合適。在檢測區(qū)域放置規(guī)格為7×7-2.5-1.25-10的圓點標定板，使用圓尺寸測量方法測量其中一個圓點的直徑，測量出像素尺寸為134.763 pixel，如圖16所示，由此像素當量d為

圖16 標定結(jié)果

d=l/n=0.185 511

(9)

4.2 實驗測試分析

首先將29種型號已知的真空吸嘴錄入到真空吸嘴數(shù)據(jù)庫中，特征信息如表1所示；然后識別時，將獲取到的真空吸嘴的特征參數(shù)與數(shù)據(jù)庫中已錄入的數(shù)據(jù)進行比對；最后顯示出查找到的真空吸嘴的型號。實驗設(shè)置為3組，每組29個真空吸嘴(每種真空吸嘴各一個)，共計87個[9]。實驗結(jié)果如表2所示。

表1 真空吸嘴數(shù)據(jù)庫

從表2可以看出:除了有一個真空吸嘴無法識別，其他真空吸嘴都能正確分類，并且未出現(xiàn)誤判的情況，真空吸嘴總體識別正確率達到了98.85%。未能識別出的真空吸嘴是23號，對其展開分析發(fā)現(xiàn)，該真空吸嘴顏色被錯誤地識別為白色。查看該真空吸嘴的灰度平均值為164.392，對該真空吸嘴反復(fù)測試發(fā)現(xiàn)，其灰度平均值在148.685～165.937內(nèi)波動，略微超過了黑色真空吸嘴的灰度平均值的上限150。重新設(shè)置黑、白色真空吸嘴灰度平均值的閾值為170，重復(fù)試驗，全部都可以正確分類。系統(tǒng)軟件如圖17所示。

表2 實驗結(jié)果

圖17 系統(tǒng)軟件

5 結(jié)束語

針對半導(dǎo)體封裝過程中芯片真空吸嘴無法識別分類的問題，開發(fā)了基于OpenCV以及Qt平臺的用于半導(dǎo)體芯片封裝的真空吸嘴識別系統(tǒng)。提出了基于矩形度識別真空吸嘴形狀的方法、基于灰度平均值識別真空吸嘴顏色方法以及基于一維像素序列灰度躍變的邊緣點檢測的尺寸測量方法；通過構(gòu)建真空吸嘴數(shù)據(jù)庫，將待測真空吸嘴的特征信息與數(shù)據(jù)庫中的標準特征進行比對，實現(xiàn)了真空吸嘴的分類。實驗結(jié)果表明：該系統(tǒng)的識別正確率高達98.85%，準確率明顯優(yōu)于人眼識別，可為芯片真空吸嘴的分類管理提供有效途徑。