基于機(jī)器視覺的SOP芯片引腳缺陷檢測(cè)系統(tǒng)設(shè)計(jì)*

李本紅，張淼，歐幸福

(1.佛山職業(yè)技術(shù)學(xué)院，廣東佛山528137;2.廣東工業(yè)大學(xué)自動(dòng)化學(xué)院，廣州510006)

基于機(jī)器視覺的SOP芯片引腳缺陷檢測(cè)系統(tǒng)設(shè)計(jì)*

李本紅1*，張淼2，歐幸福1

(1.佛山職業(yè)技術(shù)學(xué)院，廣東佛山528137;2.廣東工業(yè)大學(xué)自動(dòng)化學(xué)院，廣州510006)

為解決人工檢測(cè)SOP芯片引腳缺陷所存在的諸多問題，設(shè)計(jì)一套基于機(jī)器視覺的SOP芯片引腳缺陷自動(dòng)檢測(cè)系統(tǒng)。系統(tǒng)采用ARM-DSP雙核架構(gòu)快速地實(shí)現(xiàn)圖像采集、處理和特征提取以及外圍應(yīng)用功能，設(shè)計(jì)基于動(dòng)態(tài)閾值的快速分割算法來獲取芯片的特征圖像，采用灰度躍變檢測(cè)引腳中點(diǎn)、中點(diǎn)直線擬合和引腳間距統(tǒng)計(jì)等方法實(shí)現(xiàn)對(duì)SOP芯片引腳缺陷的自動(dòng)檢測(cè)。實(shí)驗(yàn)結(jié)果表明該系統(tǒng)快速、準(zhǔn)確、可行。

圖像處理;芯片引腳缺陷;圖像分割;直線擬合;間距統(tǒng)計(jì)

在IC集成芯片器件生產(chǎn)過程中，芯片的外觀質(zhì)量檢測(cè)是其中一項(xiàng)必不可少的環(huán)節(jié)，包括IC芯片的引腳尺寸、殘缺、偏曲、間距不均、平整度差等檢測(cè)項(xiàng)目，而上述質(zhì)量問題會(huì)直接影響電路產(chǎn)品的質(zhì)量。目前IC集成芯片器件的外觀質(zhì)量檢測(cè)主要采用人工目檢方法。人工目檢方法雖方便直接，但存在以下幾個(gè)方面的問題:(1)人工目檢方法不能實(shí)現(xiàn)24 h不間斷工作，工人工作強(qiáng)度大，易造成視覺疲勞，導(dǎo)致誤檢，直接降低產(chǎn)品檢測(cè)的可靠性;(2)人工目檢的質(zhì)量判斷標(biāo)準(zhǔn)不易量化，導(dǎo)致檢測(cè)結(jié)果穩(wěn)定較差;(3)由于IC集成芯片尺寸較小，受限于人眼的識(shí)別能力，人工目檢的檢測(cè)速度和精度較低，使得檢測(cè)效率低、人力成本較高。上述因素在較大程度上制約了我國(guó)IC集成芯片生產(chǎn)行業(yè)的發(fā)展，如何改進(jìn)生產(chǎn)檢測(cè)工藝，實(shí)現(xiàn)檢測(cè)方法的智能化和自動(dòng)化，提高微觀級(jí)別工藝檢測(cè)精度和效率，降低成本，促進(jìn)大規(guī)模集成電路工業(yè)化生產(chǎn)技術(shù)的升級(jí)，成為產(chǎn)業(yè)發(fā)展的迫切需要。

1 系統(tǒng)總體

系統(tǒng)是由背景光源及驅(qū)動(dòng)電路、線陣式CCD工業(yè)相機(jī)及其輔助裝置、FPGA圖像采集電路、基于DSP和ARM雙處理器結(jié)構(gòu)的嵌入式圖像處理和控制部分、信號(hào)輸出部分等組成［4］。系統(tǒng)框圖如圖1所示。

嵌入式圖像處理和控制部分是系統(tǒng)的核心，主控制器采用三星公司的S3C6410ARM處理器，配置、移植Linux操作系統(tǒng)，協(xié)處理器使用TI公司的TMS320C6678DSP處理器。系統(tǒng)硬件原理圖框圖如圖2所示。

圖1 系統(tǒng)結(jié)構(gòu)框圖

圖2 系統(tǒng)硬件原理圖

DSP協(xié)處理器主要接收來自FPGA圖像采集電路傳送過來的IC芯片圖像數(shù)據(jù)，完成圖像預(yù)處理、分割、模板匹配、缺陷分析等復(fù)雜的圖像處理工作，將圖像處理結(jié)果發(fā)送給ARM主控制器，同時(shí)以AV信號(hào)輸出給顯示器進(jìn)行顯示。

ARM主控制器主要完成人機(jī)交互、任務(wù)管理、數(shù)據(jù)輸入輸出、外部設(shè)備的控制和通信等系統(tǒng)的基本運(yùn)行。(1)通過操作觸摸屏查看圖像處理結(jié)果等數(shù)據(jù)，設(shè)置、處理系統(tǒng)參數(shù)等;(2)接收光纖傳感器的芯片位置觸發(fā)信號(hào)，通過光源控制器點(diǎn)亮環(huán)形LED光源，觸發(fā)CCD工業(yè)相機(jī)拍攝芯片圖像; (3)采集、處理和控制電機(jī)轉(zhuǎn)速、加減速及正反轉(zhuǎn)。(4)將檢測(cè)結(jié)果數(shù)據(jù)存儲(chǔ)到硬盤中，以待日后查閱、統(tǒng)計(jì)應(yīng)用等;(5)根據(jù)圖像處理結(jié)果，控制剔除裝置剔除缺陷芯片;(6)通過以太網(wǎng)連接器實(shí)現(xiàn)遠(yuǎn)程監(jiān)控。

2 系統(tǒng)硬件設(shè)計(jì)

2.1 圖像采集電路

CameraLink是一種機(jī)器視覺應(yīng)用領(lǐng)域廣泛采用的基于物理層的LVDS的數(shù)據(jù)串行通信協(xié)議。由于CameraLink串行通信信號(hào)分為電源信號(hào)、視頻數(shù)據(jù)信號(hào)(ChannelLink標(biāo)準(zhǔn))、相機(jī)控制信號(hào)、串行通信信號(hào)和視頻數(shù)據(jù)信號(hào)，采用低壓差分信號(hào)LVDS進(jìn)行傳輸，而FPGA處理器使用的是LVTTL或LVCOMS電平信號(hào)，所以本文使用SN65LVDS94、 SN65LVDS391和SN65LVDS179對(duì)CameraLink信號(hào)進(jìn)行轉(zhuǎn)換。其中SN65LVDS94用于4路視頻圖像數(shù)據(jù)信號(hào)X0:X3的轉(zhuǎn)換，SN65LVDS391用于4路工業(yè)相機(jī)控制信號(hào)CC1:CC4的轉(zhuǎn)換，SN65LVDS179用于一對(duì)異步串行通信控制信號(hào)的轉(zhuǎn)換。具體電路如圖3所示。

圖3 圖像采集電路

2.2 圖像處理電路

為滿足ARM主處理器和DSP協(xié)處理器之間高速的數(shù)據(jù)傳輸要求，本文采用基于IDT70261的雙端口RAM的接口電路，通過IDT70261芯片兩組獨(dú)立數(shù)據(jù)接口D0L-D15L和D0R-D15R實(shí)現(xiàn)S3C6410和TMS320C6678連接。ARM和DSP的連接電路圖如圖4所示。

圖4 ARM與DSP連接電路圖

2.3 ARM外圍控制電路

主控制器S3C6410的外圍控制電路主要包括觸摸屏顯示器、以太網(wǎng)接口電路、電機(jī)控制電路、環(huán)形光源控制電路、光纖傳感器、硬盤存儲(chǔ)器以及次品分揀裝置等部分，外圍控制電路如圖5所示。觸摸屏顯示器、以太網(wǎng)接口和硬盤存儲(chǔ)器通過自身獨(dú)立接口與主控制器連接，用戶系統(tǒng)操作、遠(yuǎn)程通信和信息存儲(chǔ)等功能;光纖傳感器用于獲取芯片在檢測(cè)平臺(tái)上的位置信息;S3C6410通過通用I/O口GPC1與運(yùn)放耦合電路連接，并經(jīng)由固態(tài)繼電器控制檢測(cè)平臺(tái)驅(qū)動(dòng)電機(jī)，控制電機(jī)的正反轉(zhuǎn)和加減速，耦合電路和固態(tài)繼電器保障控制端和電機(jī)強(qiáng)電端之間互不干擾;環(huán)形光源控制電路通過通用I/O口GPC2控制，實(shí)現(xiàn)環(huán)形光源的點(diǎn)亮和熄滅;芯片次品剔除裝置由通用I/O口GPC3控制輔助吹氣裝置，實(shí)現(xiàn)芯片次品的剔除動(dòng)作。

2.4 VGA接口電路

VGA顯示接口電路模塊主要用于顯示DSP協(xié)處理器實(shí)時(shí)圖像處理結(jié)果。在接口電路高性能的ADV7123譯碼器芯片實(shí)現(xiàn)3路10 bit RGB顏色信息的數(shù)模轉(zhuǎn)換。為使輸入RGB數(shù)據(jù)的位數(shù)與Camera-Link工業(yè)相機(jī)的像素位數(shù)一致，在接口電路中將3路數(shù)據(jù)輸入端的低兩位接地置零，如圖6所示。

圖5 ARM外圍控制電路

圖6 VGA顯示接口電路

3 系統(tǒng)軟件設(shè)計(jì)

3.1 系統(tǒng)軟件實(shí)現(xiàn)流程

集成芯片引腳缺陷檢測(cè)算法包括對(duì)SOP集成芯片的引腳尺寸偏差、殘缺、偏曲、間距不均等類型缺陷的檢測(cè)，算法流程圖如圖7所示。

具體步驟如下:

(1)圖像采集模塊通過Camera Link從CCD工業(yè)相機(jī)獲取芯片圖像，并傳輸給圖像處理協(xié)控制器DSP。

(2)協(xié)處理器DSP對(duì)原始芯片圖像進(jìn)行濾波降噪等預(yù)處理，利用模板匹配算法獲取芯片位置信息和角度信息，根據(jù)位置信息和角度對(duì)預(yù)處理芯片圖像旋轉(zhuǎn)至準(zhǔn)水平位置，并設(shè)置合理尺寸的ROI區(qū)域，提取ROI區(qū)域內(nèi)的芯片圖像。

(3)利用數(shù)學(xué)形態(tài)學(xué)腐蝕膨脹算法對(duì)ROI區(qū)域的芯片圖像進(jìn)行處理，進(jìn)一步去除干擾噪聲。

(4)利用迭代閾值分割法對(duì)ROI區(qū)域的芯片圖像進(jìn)行而知分割，提取芯片輪轂圖像。

(5)通過直線擬合算法獲取芯片兩側(cè)的邊緣函數(shù)、斜度和左右頂角坐標(biāo)。

(6)由芯片的左右頂角坐標(biāo)，計(jì)算芯片引腳根部擬合直線，并從引腳根部開始沿引腳方向，按像素遞增，設(shè)置n條與引腳根部擬合直線平行的掃描直線。

(7)沿芯片引腳根部擬合直線檢查像素灰度值，得到芯片引腳根部中心點(diǎn)坐標(biāo)，計(jì)算引腳間距;沿n條掃描直線檢測(cè)像素灰度，得到引腳在該處位置的中點(diǎn)，根據(jù)引腳的所有中點(diǎn)信息，計(jì)算引腳長(zhǎng)度、平直度和偏曲度，根據(jù)上述計(jì)算結(jié)果判斷是否存在尺寸偏差、殘缺、偏曲和間距不均等缺陷。

圖7 缺陷檢測(cè)算法流程

3.2 圖像分割算法

芯片目標(biāo)圖像分割是芯片圖像的關(guān)鍵，本文采用實(shí)現(xiàn)芯片圖像從背景圖像中快速分割提取［5-6］。

(1)根據(jù)芯片圖像的全局灰度直方圖計(jì)算出最大灰度值Gmax和最小灰度值Gmin，設(shè)初始閾值為:

(2)使用初始閾值Gmen將原始圖像分割為目標(biāo)圖像T和背景圖像B，并分別計(jì)算其灰度均值:式中，G(i，j)為像素點(diǎn)灰度值，N(i，j)像素點(diǎn)的加權(quán)系數(shù)。

(3)根據(jù)步驟(2)的灰度均值計(jì)算第2次分割閾值:

(4)若Tk+1=Tk，則程序執(zhí)行結(jié)束，Tk為最佳分割閾值;否則令k=k+1，跳轉(zhuǎn)至步驟(2)繼續(xù)循環(huán)執(zhí)行直至迭代計(jì)算得到最佳閾值。

3.3 缺陷識(shí)別算法

芯片引腳缺陷檢測(cè)算法是系統(tǒng)軟件實(shí)現(xiàn)的核心［7-9］，本文采用的缺陷檢測(cè)算法如下:

(1)由芯片的左右頂部(底部)頂角坐標(biāo)，設(shè)置引腳根部中點(diǎn)掃描直線，沿該直線檢測(cè)所有n個(gè)引腳根部的中點(diǎn)坐標(biāo)(xi，0，yi，0)，計(jì)算兩兩相鄰引腳根部中點(diǎn)的間距，即為引腳根部間距，公式如下:

若si大于最大預(yù)設(shè)間距Smax或si小于最小預(yù)設(shè)間距Smin，則判斷引腳根部間距存在缺陷或引腳缺失。

(2)通過最小二乘法將管腳的根部中點(diǎn)坐標(biāo)擬合成直線，該直線公式如下:

(3)同理，沿引腳方向按像素點(diǎn)遞增，擬合與引腳根部中點(diǎn)掃描直線平行的其余m條引腳中點(diǎn)掃描直線，m的大小為引腳長(zhǎng)度方向的像素點(diǎn)個(gè)數(shù)值，直線公式如下:

其中:根據(jù)式(7)檢測(cè)引腳像素值，得到該掃描直線上的引腳第i個(gè)引腳的第j個(gè)中點(diǎn)的坐標(biāo)為(xi，j，yi，j)，根據(jù)式(5)計(jì)算第j條掃描直線方向的兩兩引腳中點(diǎn)間距，根據(jù)結(jié)果判斷是否存在引腳殘缺或偏曲。

(4)根據(jù)每一個(gè)引腳中點(diǎn)坐標(biāo)(xi，j，yi，j)，擬合出每一個(gè)引腳的直線函數(shù):其中:

計(jì)算每一個(gè)引腳的中點(diǎn)擬合直線的斜度Ki=，若大于最大預(yù)設(shè)斜度=+ε或小

4 實(shí)驗(yàn)結(jié)果及分析

系統(tǒng)圖像傳感器采用30萬像素的嘉恒OK_AM1121型1/3英寸黑白面陣CCD工業(yè)相機(jī)，分辨率為640×480，曝光時(shí)間850μs;配備6 mm的T2616FICS-3型Computar鏡頭;背景光源使用奧普特OPT-RI5030白色LED環(huán)形光源，同時(shí)將EMCV(Embedded Computer Vision Library)移植至系統(tǒng)DSP協(xié)處理器上完成圖像的預(yù)處理等工作。

4.1 芯片圖像提取

使用上述算法對(duì)2 000幅SOP型芯片圖像進(jìn)行測(cè)試驗(yàn)證，現(xiàn)選取4幅有代表性的圖像予以說明，其中圖8是引腳合格的芯片圖像，其中，從左至右分別為原始圖像、旋轉(zhuǎn)至準(zhǔn)水平圖像、裁剪圖像、濾波降噪圖像、二值分割圖像和開關(guān)運(yùn)算后圖像。圖9～圖11是有引腳缺陷的3類不合格芯片圖像。

圖8 合格芯片引腳提取算法效果

圖9 引腳缺失提取算法效果

圖10 引腳殘缺提取算法效果

圖11 引腳偏曲提取算法效果

從上述測(cè)試可以看出，采用本文的圖像預(yù)處理方法能完整提取芯片引腳圖像，通過圖像裁剪減少信息冗余，與濾波算法結(jié)合降低圖像噪聲干擾，使用迭代閾值二值分割算法能快速計(jì)算芯片圖像最佳分割閾值，提取引腳圖像。

4.2 引腳缺陷檢測(cè)

根據(jù)SOP芯片常用封裝標(biāo)準(zhǔn)，引腳間距為1.27 mm，引腳長(zhǎng)度為2.54 mm。結(jié)合系統(tǒng)的標(biāo)定和芯片圖像的測(cè)量統(tǒng)計(jì)結(jié)果，引腳平均長(zhǎng)度為46個(gè)像素，引腳平均間距為23個(gè)像素，合格芯片引腳個(gè)數(shù)為單列14個(gè)，按照設(shè)計(jì)要求設(shè)定合格引腳間距誤差為不超過5個(gè)像素。

在提取芯片引腳圖像的基礎(chǔ)上，對(duì)圖9～圖11的引腳圖像使用本文的缺陷檢測(cè)方法，分別設(shè)置35條灰度躍變檢測(cè)直線，獲取引腳根部、端部和其他部分的中心坐標(biāo)，記錄引腳根部中心個(gè)數(shù)分別為14、13、14和14個(gè)，則圖9所示的芯片缺失1個(gè)引腳;計(jì)算每條掃描直線上每?jī)蓚€(gè)引腳中心坐標(biāo)的間隔距離si，如表1所示，其中圖8所示芯片引腳間距均在標(biāo)準(zhǔn)范圍內(nèi)，圖9～圖11所示芯片引腳分別存在缺失、殘缺、偏曲等缺陷。

圖12左圖為各類型芯片缺陷檢測(cè)結(jié)果圖，紅線為引腳中點(diǎn)灰度檢測(cè)基準(zhǔn)和引腳中點(diǎn)，右圖為沿引腳中點(diǎn)灰度檢測(cè)基準(zhǔn)的灰度變化及灰度變化導(dǎo)數(shù)圖，其中淺色曲線為沿灰度檢測(cè)基準(zhǔn)線上像素灰度變化曲線，深色曲線為灰度導(dǎo)數(shù)曲線。

通過對(duì)2 000個(gè)SOP集成芯片進(jìn)行檢驗(yàn)，可得系統(tǒng)的引腳缺陷檢驗(yàn)出錯(cuò)率為0.5%，且其中0.2%錯(cuò)判現(xiàn)象為合格產(chǎn)品被誤判為次品，系統(tǒng)可滿足實(shí)際生產(chǎn)的需要。

表1 引腳中心間距si統(tǒng)計(jì)結(jié)果

圖12 引腳缺陷檢測(cè)結(jié)果

5 結(jié)束語

本文提出了整個(gè)SOP芯片引腳缺陷檢測(cè)系統(tǒng)的硬件設(shè)計(jì)和軟件算法設(shè)計(jì);借助ARM主處理器在監(jiān)視控制、人機(jī)交互等方面的優(yōu)勢(shì)和DSP協(xié)處理器強(qiáng)大的數(shù)字圖像處理能力，采用了ARM+DSP的雙處理器結(jié)構(gòu)實(shí)現(xiàn)缺陷檢測(cè)算法和系統(tǒng)應(yīng)用功能的快速處理;設(shè)計(jì)了迭代閾值二值分割算法和數(shù)學(xué)形態(tài)學(xué)算法相結(jié)合的方法完成引腳圖像的有效提取，設(shè)計(jì)了基于灰度躍變檢測(cè)引腳中心點(diǎn)的引腳缺陷識(shí)別方法。從實(shí)驗(yàn)結(jié)果看來，該方法檢測(cè)效率高、穩(wěn)定性好，滿足工程的實(shí)際應(yīng)用。

［1］夏鏈，賈偉妙，崔鵬，等.基于機(jī)器視覺的BGA芯片缺陷檢測(cè)及其MATLAB實(shí)現(xiàn)［J］.合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版)，2009，32(11):32-38.

［2］朱更明，李方敏.芯片管腳缺陷在線視覺檢測(cè)系統(tǒng)研究［J］.電子制作，2015，30(9):1866-1873.

［3］劉建峰，李承峰.基于機(jī)器視覺的IC芯片外觀檢測(cè)系統(tǒng)［J］.計(jì)算機(jī)工程與應(yīng)用，2009，45(35):46-51.

［4］黃偉基，謝云.基于ARM與DSP的PET瓶蓋缺陷在線檢測(cè)系統(tǒng)的設(shè)計(jì)［J］.機(jī)床與液壓，2013，41(7):174-180.

［5］Ma Yide，Dai Ruolang，Li Lian.An Counting and Segmentation Method of Blood Cell Image With Logical and Morphological Featureofcell［J］.Chinese Journal of Electronics，2002，11(1):53-55.

［6］丁倩雯.基于FPGA的自適應(yīng)像素分割算法設(shè)計(jì)與實(shí)現(xiàn)［J］.電子器件，2015，38(3):510-555.

［7］劉泉，胡文娟.基于機(jī)器視覺的PCB缺陷檢測(cè)系統(tǒng)設(shè)計(jì)與研究［J］.電子器件，2007，30(2):550-556.

［8］鄭金駒，李文龍，王瑜輝，等.QFP芯片外觀視覺檢測(cè)系統(tǒng)及檢測(cè)方法［J］.中國(guó)機(jī)械工程，2013，24(3):290-298.

［9］何榮芳，孫長(zhǎng)庫(kù)，王鵬，等.SMT封裝電路板三維在線檢測(cè)技術(shù)［J］.傳感技術(shù)學(xué)報(bào)，2015，28(2):290-297.

李本紅(1974-)，男，漢族，籍貫湖南省祁陽縣，現(xiàn)為佛山職業(yè)技術(shù)學(xué)院電氣自動(dòng)化專業(yè)電子技術(shù)講師，主要研究方向?yàn)樽詣?dòng)控制系統(tǒng)的設(shè)計(jì)與分析，lbh_1974@163.com;

張淼(1968-)，漢族，籍貫廣東省廣州市，華南理工大學(xué)博士，現(xiàn)為廣東工業(yè)大學(xué)自動(dòng)化學(xué)院教授，主要研究方向?yàn)閳D像處理、模式識(shí)別，bezhangm@ gdut.edu.cn;

歐幸福(1985-)，男，漢族，籍貫湖南省衡陽市，2013年于廣東工業(yè)大學(xué)獲碩士學(xué)位，現(xiàn)為佛山職業(yè)技術(shù)學(xué)院電氣自動(dòng)化專業(yè)講師，主要研究方向?yàn)閿?shù)字圖像處理，機(jī)器視覺，adaouxingfu@163.com。

SOP Chip Pins Defect Detection Based on Machine Vision System Design*

LIBenhong1*，ZHANGMiao2，OU Xingfu1

(1.Foshan Vocational and Technical College，F(xiàn)ushan Guangdong 528137，China;2.Guangdong University of Technology，Guangzhou 510006，China)

In order to solve the problems in manual inspection of SOP chip defect，design an automatic detection system of SOP chip defect based on machine vision.The system uses ARM-DSP dual-core architecture to achieve these functions rapidly such as image acquisition，processing and feature extraction as well as peripheral applications.It designed a fast segmentation algorithm based on dynamic threshold to get the chip feature image and used themethods of grayscale transition detector pin midpoint，midpoint line fitting and pin spacing statistical to realize automatic detection of the SOP chip pin defect.Experimental results show that the system is fast，accurate and feasible.

image processing;chip pin defect;image segmentation;line fitting;spacing statistics

C:7230;6340

10.3969/j.issn.1005－9490.2017.01.033

TP391.41

:A

:1005－9490(2017)01－0171－08

項(xiàng)目來源:廣東省教育部產(chǎn)學(xué)研重大專項(xiàng)項(xiàng)目(2012A090300005)

2016-01-31修改日期:2016-03-14