基于視覺伺服的LED芯片形狀匹配算法研究

李德龍，龔時華，王子悅，鹿懷慶

華中科技大學(xué) 機(jī)械科學(xué)與工程學(xué)院，武漢 430074

1 引言

隨著LED產(chǎn)能需求的不斷擴(kuò)大，LED關(guān)鍵設(shè)備的研發(fā)和改進(jìn)越來越重要。芯片的定位是進(jìn)行芯片檢測、擴(kuò)晶、貼片等必不可少的關(guān)鍵環(huán)節(jié)[1]。隨著芯片尺寸的不斷減小、裝備效率的不斷提高，特別是由于運(yùn)動平臺在高加速度下的頻繁啟停，造成硅片、Wafer膜的變形，導(dǎo)致芯片定位與對準(zhǔn)產(chǎn)生較大誤差，嚴(yán)重影響了LED芯片檢測、分選裝備定位精度與效率。

視覺伺服（visual servoing）首先是由Hill和Par提出的，其主要涉及計(jì)算機(jī)視覺、圖像處理、控制理論、實(shí)時計(jì)算等在內(nèi)的多個相關(guān)領(lǐng)域[2]。

文獻(xiàn)[3]采用的是沒有視覺反饋的運(yùn)動補(bǔ)償，僅進(jìn)行一次全幅的精匹配來實(shí)現(xiàn)精確定位。然而平臺在高速啟停下會產(chǎn)生振動，以及受到摩擦力等干擾，會造成定位誤差。

文獻(xiàn)[4]為了提高模板匹配的跟蹤性能，提出基于梯度搜索的圓模板匹配方法，采用灰度匹配值和差分匹配值來共同設(shè)定匹配值。但處理時間不能滿足視覺伺服系統(tǒng)的要求。文獻(xiàn)[5]針對汽車牌照的識別，提出把彩色圖像變?yōu)槎M(jìn)制圖像，通過設(shè)定像素?cái)?shù)，去除小于像素?cái)?shù)的區(qū)域，從而保留字符區(qū)域，減少待檢測區(qū)域。并不適合LED芯片的識別。

本文一方面對傳統(tǒng)形狀匹配算法進(jìn)行了優(yōu)化，提高了LED芯片識別定位的速度。另一方面，提出了多級補(bǔ)償策略：第一級為快速識別并完成一個芯片間距的移動；第二級為通過視覺反饋補(bǔ)償，完成芯片的精確定位。在視覺伺服系統(tǒng)的基礎(chǔ)上，增加了定位補(bǔ)償和一次快速粗匹配，同時精匹配從全局優(yōu)化為特定區(qū)域的匹配，有效地減少了時間。

2 視覺伺服系統(tǒng)簡介

本文基于的視覺伺服系統(tǒng)由圖像采集系統(tǒng)、圖像處理系統(tǒng)和運(yùn)動控制系統(tǒng)組成，構(gòu)成基于視覺反饋的運(yùn)動控制系統(tǒng)，實(shí)現(xiàn)平臺在運(yùn)動過程中的快速識別與精確定位。為實(shí)現(xiàn)該目的，流程圖見圖1并采用以下步驟：

（1）圖像預(yù)處理：采用自適應(yīng)中值濾波算法，消除圖像噪聲的干擾[6]；采用雙線性差值算法，消除因?yàn)殓R頭安裝誤差導(dǎo)致的圖像畸變的影響。

（2）提取模板區(qū)域：通過鼠標(biāo)選取一個區(qū)域作為模板區(qū)域，采用閾值分割，得到去掉邊緣噪聲的模板。

（3）快速識別：在運(yùn)動前進(jìn)行形狀匹配的粗識別，快速得到了wafer膜上所有芯片的坐標(biāo)信息，為運(yùn)動控制提供運(yùn)動數(shù)據(jù)，并儲存在內(nèi)存中。

圖1 視覺伺服流程圖

（4）驅(qū)動電機(jī)移動wafer盤到達(dá)相應(yīng)的位置。

（5）精匹配：基于粗匹配的數(shù)據(jù)，對當(dāng)前鏡頭中心八鄰域內(nèi)的芯片進(jìn)行精匹配，得到單個芯片的準(zhǔn)確坐標(biāo)和姿態(tài)信息，誤差為鏡頭中心與芯片中心的距離。

（6）將誤差與設(shè)定的定位精度進(jìn)行比較，若滿足要求，則說明當(dāng)前電機(jī)成功移動到了目標(biāo)位置；若不滿足要求，則說明并未移動到目標(biāo)位置，因此進(jìn)行運(yùn)動補(bǔ)償，直到滿足定位要求[7]。

（7）對下一顆芯片進(jìn)行定位：調(diào)用內(nèi)存中的粗識別數(shù)據(jù)，循環(huán)（4）～（6）的過程，直到完成所有芯片的定位。

傳統(tǒng)的定位是進(jìn)行一次精匹配，缺少運(yùn)動補(bǔ)償?shù)倪^程，因此定位精度較低。相比之下，采用上述過程，通過粗識別得到芯片的理論位置，通過視覺反饋得到芯片的實(shí)際位置，通過偏差計(jì)算實(shí)時得到芯片定位補(bǔ)償值，由運(yùn)動控制系統(tǒng)對偏差進(jìn)行實(shí)時補(bǔ)償，因此提高了芯片定位與對準(zhǔn)的精度，同時可以克服運(yùn)動平臺在高加速度下頻繁啟停帶來的誤差影響[8]。

3 提取LED芯片的模板區(qū)域

拍照獲取一幅LED芯片圖像，通過肉眼觀察，從多個芯片中選擇一個無缺陷，沒有大幅度旋轉(zhuǎn)的芯片，用鼠標(biāo)選擇該芯片區(qū)域。并分析該模板區(qū)域的灰度直方圖，由圖2可知，芯片和背景對比明顯，可以選擇兩峰之間的波谷對應(yīng)的像素值作為全局閾值，將圖像分割為目標(biāo)對象和背景。其公式如下：

圖2 模板區(qū)域提取前后的灰度直方圖

其中 f(x,y)為原圖像點(diǎn)的像素值，g(x,y)為分割后的圖像對應(yīng)點(diǎn)的像素值，T為全局閾值。通過全局閾值分割得到最終模板，如圖3所示，有效去除了背景和噪聲。

圖3 模板區(qū)域提取前后的示意圖

4 快速識別

傳統(tǒng)的模板匹配針對的是單目標(biāo)定位，通過找出模板在圖像中的最佳匹配位姿得到圖像中目標(biāo)的位姿信息。然而一幅LED芯片圖像中有多個芯片，屬于多目標(biāo)定位，直接用傳統(tǒng)的模板匹配會出現(xiàn)定位錯誤，以及處理時間過長等問題。因此，本文先進(jìn)行快速分割等操作，把多目標(biāo)的模板匹配轉(zhuǎn)化為單目標(biāo)的模板匹配，再進(jìn)行先粗后精的匹配。

4.1 減少搜索面積

將芯片與背景進(jìn)行分割，并刪除小面積不完整區(qū)域以減少搜索面積，步驟如下：

（1）采用Otsu算法進(jìn)行圖像分割，相比于其他的分割算法，它更適合處理目標(biāo)和背景處于不同灰度級范圍的圖像[9]，通過分析圖2（a）的灰度直方圖可知，本圖的背景和目標(biāo)芯片在灰度上有較大差別，因此采用Otsu算法有更好的分割效果。

（2）采用Blob算法和開運(yùn)算等形態(tài)學(xué)操作，填充芯片中的孔洞，并把不完整的芯片過濾掉，最終得到原圖像的分割數(shù)據(jù)。如圖4所示。

圖4 減少搜索面積

4.2 減少搜索角度

在圖4（b）的基礎(chǔ)上，計(jì)算該圖像中每顆芯片的外接矩形，得到該視野640×480像素下每顆芯片的偏離角度。

通過對同一組LED芯片偏離角度θ進(jìn)行分析，采用Jarque-Bera檢驗(yàn)，驗(yàn)證其符合正態(tài)分布。考慮到正態(tài)分布在(μ-3σ,μ+3σ)以外的取值概率不到0.3%的特性，因此，本文先計(jì)算出μ和σ，并采用正態(tài)分布3σ準(zhǔn)則確定搜索角度范圍：(μ-3σ,μ+3σ)。

傳統(tǒng)的方法是對每一個芯片均需在[-10°,10°]多次搜索來進(jìn)行匹配。本算法通過計(jì)算外接矩形，求出適合本組芯片的最優(yōu)角度偏離值，從而減少了搜索的角度。

具體過程如下：芯片的外接矩形有無數(shù)個，其中面積最小的定義為最小外接矩形[10]。通過計(jì)算芯片的最小外接矩形，可以確定其大致的長、寬和角度。求得外接矩形的方法有投影法、旋轉(zhuǎn)法等[11]，本文采用的是主軸法。

假設(shè)經(jīng)過芯片形心的直線為：

分別做兩條平行于主軸的直線和垂直于主軸的直線，且與芯片相切于點(diǎn)ABCD：

因此得到矩形A1B1C1D1，計(jì)算對應(yīng)的矩形面積，如圖5所示。通過改變α角度確定最小面積，獲得最小外接矩形，從而計(jì)算出形心的坐標(biāo)(x,y)和θ。

圖5 外接矩形原理圖

4.3 對芯片區(qū)域進(jìn)行形狀匹配

基于形狀的模板匹配通過計(jì)算模板邊緣點(diǎn)與待匹配圖像（圖4（b））相應(yīng)點(diǎn)歸一化的方向向量的點(diǎn)積和，作為相似度量值[12]。

模板由一系列點(diǎn) p′i=(x′i,y′i)T，i=1,2,…,n 和對應(yīng)于每個點(diǎn)的一個歸一化的灰度梯度向量dˉ′i=(tˉ′,uˉ′)T構(gòu)成，其中 p′i定義為相對于模板中心的相對坐標(biāo)。

被搜索圖像中每個點(diǎn)(x,y)的歸一化的灰度梯度向量[13]：

其中，g(x,y)為被搜索圖像的灰度函數(shù)。

當(dāng)模板中心位于待匹配圖像g(x,y)上某一點(diǎn)q=(x,y)T時，模板與待匹配圖像進(jìn)行匹配。 eˉq+p′為待匹配圖像相應(yīng)處的歸一化灰度梯度向量[14]：

模板中心點(diǎn)在q點(diǎn)處與待匹配圖像的相似度定義為：

其中，n為模板邊緣點(diǎn)的個數(shù)。該相似度具有不受光照變化影響且不受遮擋的特性。該數(shù)值與模板中有多少部分在圖像中有關(guān)，如果物體有60%被遮擋，匹配分值不會超過0.6。

因此可以通過選擇一個匹配分值的閾值來決定什么時候找到了匹配目標(biāo)。假設(shè)相似度的閾值為smin。使用公式（9）計(jì)算相似度，定義sj表示累計(jì)到模板的第j個元素時歸一化點(diǎn)積的總和[15]：

模板中剩余n-j項(xiàng)的點(diǎn)積總和：

在計(jì)算過程中，當(dāng)滿足：

可判斷出當(dāng)前位置為非目標(biāo)位置，在第 j個元素后提前停止相似度的計(jì)算，從而提高了速度。

最后采用圖像金字塔的分層搜索策略，分為3層進(jìn)行，并使用3.2節(jié)得到的搜索角度，得到每個芯片的粗定位坐標(biāo)(x0,y0)。

5 精定位

將4.3節(jié)得到的粗坐標(biāo)(x0,y0)儲存在數(shù)組中，并根據(jù)該一系列坐標(biāo)，驅(qū)動電機(jī)使每個芯片移動到相機(jī)的中心，依次進(jìn)行拍攝，在(x0,y0)的八鄰域內(nèi)，使用公式（12）進(jìn)行匹配，得到每顆芯片中心的準(zhǔn)確坐標(biāo)(xi,yi)，計(jì)算得到偏離坐標(biāo)(Δx,Δy)，根據(jù)偏離坐標(biāo)再次驅(qū)動電機(jī)進(jìn)行補(bǔ)償從而實(shí)現(xiàn)精確定位。

6 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)驗(yàn)證視覺伺服系統(tǒng)的多級補(bǔ)償?shù)挠行裕琇ED芯片搜索角度的優(yōu)化，以及識別率、識別時間的減少。

實(shí)驗(yàn)平臺如圖6所示，視覺系統(tǒng)選用了高性能工業(yè)相機(jī)，高倍率連續(xù)變焦鏡頭以及可控點(diǎn)光源與環(huán)形光源，運(yùn)動部分則采用了高性能多軸控制器和交流伺服電機(jī)驅(qū)動的二維定位平臺。

6.1 多級補(bǔ)償效果測試

對圖4（a）內(nèi)的25顆芯片定位進(jìn)行測試，計(jì)算得到補(bǔ)償前后的誤差值，如圖7所示，前10顆芯片的數(shù)據(jù)如表1、2所示。分析發(fā)現(xiàn)，補(bǔ)償后的誤差值在2 μm內(nèi)，定位效果明顯優(yōu)于補(bǔ)償前。

圖6 實(shí)驗(yàn)平臺圖

表1 測試補(bǔ)償結(jié)果（X坐標(biāo)） μm

表2 測試補(bǔ)償結(jié)果（Y坐標(biāo)） μm

圖7 補(bǔ)償前后

6.2 搜索角度測試

計(jì)算每個芯片的最小外接矩形，得到25顆芯片的角度偏離值，如圖8所示，其中角度最小值為0.117 1°，最大值為0.209 6°，使用Matlab中的jbtest（x，alpha）函數(shù)，計(jì)算得到h=0，表明接受假設(shè)，即滿足正態(tài)分布。因此求得μ=0.159 2,σ=0.027 8,μ-3σ=0.075 8,μ+3σ=0.242 6，將搜索范圍設(shè)為[0.075 8°，0.242 6°]，正態(tài)分布密度函數(shù)圖如圖9所示。相比較于本算法，傳統(tǒng)算法為了能夠匹配所有不同情況的芯片，需要把搜索范圍設(shè)為固定的[－10°，10°]，搜索角度明顯增大。

圖8 角度偏離值

6.3 形狀匹配的耗時測試

隨機(jī)采集5幅圖，并進(jìn)行粗識別階段的耗時測試，其中形狀匹配閾值均設(shè)置為0.7，結(jié)果如表3所示。與文獻(xiàn)[16]提出的算法進(jìn)行對比，該傳統(tǒng)算法是以局部梯度特征和局部邊緣方向作為主要特征，使用梯度方向直方圖（HOG）來確定初始位置和方向，第二步使用主方向模板（DOT）進(jìn)行匹配，從而精確地確定位置。其優(yōu)點(diǎn)是對變形有較好的魯棒性，然而該算法無法區(qū)分不完整芯片和正常芯片，因此加大了計(jì)算量。本算法平均每顆芯片耗時0.8 ms，文獻(xiàn)[16]平均每顆芯片耗時2.3 ms，相比之下，效率有了很大的提高。

圖9 正態(tài)分布圖

表3 耗時測試（MinScore=0.7） ms

同時分析形狀匹配閾值對實(shí)驗(yàn)結(jié)果的影響，如表3、4所示，MinScore設(shè)置得越大，搜索得就越快。結(jié)合實(shí)際生產(chǎn)過程中的經(jīng)驗(yàn)，當(dāng)MinScore>0.7會出現(xiàn)漏識別，MinScore<0.7會出現(xiàn)誤識別，因此把形狀匹配閾值設(shè)置為0.7最合適。

表4 不同形狀匹配閾值的測試

7 結(jié)束語

傳統(tǒng)的算法面向的是常見的對象，采用的是通用的模板匹配方法，具體到LED芯片，由于破損芯片和正常芯片有較高的相似性，傳統(tǒng)算法不能快速準(zhǔn)確地區(qū)分不完整的芯片，因此消耗大量的計(jì)算時間。本文提出了基于視覺伺服的多級補(bǔ)償策略，同時優(yōu)化了圖像算法：通過圖像分割，Blob算法去除破損的芯片，從而減少匹配搜索的面積；通過求取最小外接矩形，從而減少了匹配搜索的角度，最后，再進(jìn)行模版匹配。本算法減少了模板匹配的計(jì)算量，節(jié)約了時間，同時為了提高視覺伺服的定位精度，把全局的精匹配優(yōu)化為一次全局的粗匹配和特定區(qū)域的精匹配。

本文后續(xù)的研究方向之一是時延補(bǔ)償，由于圖像處理占用較多時間，可采用線性和非線性預(yù)測器相結(jié)合的特征軌跡跟蹤，滿足目標(biāo)跟蹤精度和穩(wěn)定性的要求。

[1]吳曉.面向LED芯片檢測與分選的機(jī)器視覺定位系統(tǒng)的開發(fā)[J].貴州大學(xué)學(xué)報：自然科學(xué)版，2013，30（3）：93-103.

[2]李牧.機(jī)器人無標(biāo)定視覺伺服關(guān)鍵技術(shù)的研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2008.

[3]吳曉.基于圖案匹配LED芯片定位系統(tǒng)[J].半導(dǎo)體技術(shù)，2013，38（7）：556-559.

[4]Xia Junbo.Template matching algorithm based on gradient search[C]//International Conference on Mechatronics and Control（ICMC），2014：1472-1475.

[5]Goel S，Dabas S.Vehicle registration plate recognition system using template matching[C]//InternationalConference on SignalProcessing and Communication（ICSC），2013：315-318.

[6]楊卓東.改進(jìn)自適應(yīng)中值濾波的圖像去噪[J].通訊技術(shù)，2015，48（11）：1257-1260.

[7]周烽.基于數(shù)控程序重構(gòu)的誤差補(bǔ)償技術(shù)研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2010.

[8]劉升.高速高精度宏微雙驅(qū)動運(yùn)動平臺結(jié)構(gòu)優(yōu)化設(shè)計(jì)[D].廣州：廣東工業(yè)大學(xué)，2015.

[9]陳慶為.基于灰色理論的木板材表面缺陷圖像分割質(zhì)量評價研究[D].哈爾濱：東北林業(yè)大學(xué)，2014.

[10]張法全，王國富，曾慶寧，等.利用重心原理的圖像目標(biāo)最小外接矩形快速算法[J].紅外與激光工程，2013，42（5）：1382-1387.

[11]李勇.基于機(jī)器視覺的玻璃瓶在線檢測系統(tǒng)研究[D].濟(jì)南：山東大學(xué)，2012.

[12]趙振民，彭國華，符立梅.基于形狀模板的快速高精度可靠圖像匹配[J].計(jì)算機(jī)應(yīng)用，2010，30（2）：441-444.

[13]楊一帆.基于無衍射光的光學(xué)偏角測量系統(tǒng)及專用匹配算法研究[D].武漢：華中科技大學(xué)，2014.

[14]顧倩蕓.LED固晶機(jī)視覺系統(tǒng)的設(shè)計(jì)與算法實(shí)現(xiàn)[D].合肥：合肥工業(yè)大學(xué)，2014.

[15]張代林，陳文廣，謝經(jīng)明，等.基于形狀模板匹配的印刷品缺陷檢測[J].機(jī)械與電子，2013，40（12）：40-43.

[16]Xu Xinyu，van Beek P，F(xiàn)eng Xiaofan.High speed object matching and localization using gradientorientation features[J].Intelligent Robots and Computer Vision XXXI：Algorithms and Techniques，2014，9025（7）：1-13.