基于扇區(qū)鄰域特征工程的玻璃封裝絕緣端子缺陷檢測

蔡 念 李煒博 黃欽豪 周 帥 邱寶軍 何兆泉

①(廣東工業(yè)大學信息工程學院 廣州 510006)

②(天津大學 天津 300072)

③(工業(yè)和信息化部電子第五研究所 廣州 510006)

④(惠州市廣工大物聯(lián)網(wǎng)協(xié)同創(chuàng)新研究院有限公司 惠州 516025)

1 引言

玻璃金屬封裝耐高溫高壓，在極端環(huán)境下表現(xiàn)良好，因此玻璃封裝絕緣端子被廣泛應用于航天航空、國防、石油天然氣鉆探、高輻射高溫等場景[1,2]。在實際生產(chǎn)過程中，非均勻的熱應力可能造成玻璃封裝開裂[3–5]，降低玻璃封裝絕緣端子的介電性能，導致漏電甚至擊穿[2]、短路[6]，給電子設(shè)備造成不可估量的損壞。目前，行業(yè)借助顯微鏡肉眼觀察檢測絕緣端子的玻璃封裝質(zhì)量，耗時耗力，主觀性強，極易漏檢[7]。因此，玻璃封裝絕緣端子外觀質(zhì)量自動檢測是電子封裝制造領(lǐng)域迫在眉睫、亟需解決的問題。

相比于普通封裝電子元件，玻璃封裝絕緣端子較為少見，且其玻璃封裝表面反光嚴重，表面脫落區(qū)域與未脫落區(qū)域沒有顯著的對比度差異。因此，基于機器視覺的玻璃絕緣端子玻璃封裝質(zhì)量檢測研究極其少見[8–10]。Liu等人[8]使用經(jīng)典的自適應全局閾值方法二值化玻璃封裝絕緣端子圖像，基于形態(tài)學特征對各連通域進行分析定位氣孔缺陷。但是，絕緣端子的玻璃封裝脫落往往極其不規(guī)則，難以用形態(tài)學特征進行表征。鑒于深度學習具有的強大自學習能力，他們引入 Fast R-CNN檢測玻璃封裝絕緣端子的氣孔缺陷[9]。因為數(shù)據(jù)驅(qū)動型的深度學習方法需要大量樣本，所以他們使用深度卷積對抗生成網(wǎng)絡(luò)(Deep Convolutional Generative Adversarial Networks, DCGAN)生成具有微小黑色氣孔的玻璃封裝絕緣端子仿真數(shù)據(jù)[10]。但是，絕緣端子的玻璃封裝脫落往往形態(tài)各異，外觀表征極其不規(guī)則，顏色差異大，實際生產(chǎn)中難以采集到大量外觀表征各異的玻璃封裝絕緣端子真實缺陷樣本，因此生成的仿真數(shù)據(jù)與真實數(shù)據(jù)有很大的偏差，導致深度學習方法在檢測絕緣端子玻璃封裝脫落缺陷時將不可避免地遇到困難。

也有一些文獻研究與絕緣端子玻璃封裝外觀形態(tài)、材質(zhì)高度相似的產(chǎn)品外觀質(zhì)量檢測。Fu等人[11]融合中值濾波、Canny算子、幾何特征提取及Otsu等經(jīng)典圖像處理方法檢測透明玻璃藥瓶瓶口的裂紋、缺邊、污點等缺陷。這些方法高度依賴連通域檢測，可是Otsu方法會讓背景復雜、干擾較大的玻璃封裝絕緣端子圖像無法分割出理想的連通域區(qū)域。Lin等人[12]基于Otsu分割結(jié)果和4個方向像素點關(guān)系獲取發(fā)光二極管(Light Emitting Diode, LED)環(huán)氧樹脂封裝穹頂?shù)母信d趣區(qū)域，然后采用塊離散余弦變換和灰色關(guān)聯(lián)分析抑制高頻分量，最后重建圖像并消除隨機紋理和不均勻光照，檢測微小缺陷。絕緣端子的玻璃封裝嚴重反光導致眾多區(qū)域在圖像上表征為高頻信息，因此這種方法將會濾除這些重要區(qū)域，使得檢測無法進行。Zhou等人[13]提出一種熵率超像素圓檢測方法來定位啤酒瓶底區(qū)域，融合調(diào)頻顯著性檢測、各向異性擴散、超像素分割等方法定位中心區(qū)域內(nèi)缺陷，基于小波變換和多尺度濾波定位環(huán)形區(qū)域內(nèi)缺陷。可是，超像素分割對于玻璃封裝絕緣端子這類感興趣目標區(qū)域?qū)Ρ榷容^低的圖像往往分割效果并不好，進而影響后續(xù)的缺陷定位。

本文根據(jù)玻璃封裝絕緣端子圖像的先驗知識，提出一種扇區(qū)鄰域(Sector Neighborhood, SN)特征工程方法檢測玻璃封裝絕緣端子缺陷。首先，采用數(shù)學形態(tài)學提取待檢測區(qū)域，根據(jù)其圖像特點將待檢測區(qū)域劃分為若干個扇區(qū)。然后，根據(jù)圖像先驗知識，設(shè)計扇區(qū)基本統(tǒng)計特征、扇區(qū)灰度變化率、扇區(qū)反光特征和扇區(qū)方向統(tǒng)計特征等4類特征表征各扇區(qū)，再輸入到梯度提升決策樹(Gradient Boosting Decision Tree, GBDT)分類器[14]進行粗分類。為了充分考慮扇區(qū)之間的關(guān)聯(lián)性，基于扇區(qū)領(lǐng)域的粗分類設(shè)計SN特征。最后，融合扇區(qū)的4類特征與SN特征，采用GBDT分類器完成缺陷精細檢測。

2 玻璃封裝絕緣端子缺陷檢測

2.1 檢測框架

所提玻璃封裝絕緣端子缺陷檢測框架如圖1所示，主要包括預處理、粗分類、精細分類等3個階段。在預處理階段，基于顏色特征和形態(tài)學方法提取玻璃封裝絕緣端子圖像的待檢測區(qū)域，再基于形狀先驗將感興趣區(qū)域劃分為若干個扇區(qū)。在粗分類階段，針對其圖像特點設(shè)計一系列扇區(qū)特征，采用GBDT進行粗分類。在精細分類階段，結(jié)合扇區(qū)鄰域的粗分類結(jié)果設(shè)計SN特征，彌補僅扇區(qū)特征難以描述扇區(qū)與扇區(qū)之間關(guān)聯(lián)性的不足，最后基于SN特征和扇區(qū)特征采用GBDT精細定位缺陷。

圖1 玻璃封裝絕緣端子缺陷檢測框架

2.2 預處理

玻璃封裝絕緣端子由引腳、玻璃封裝和外圍金屬封裝構(gòu)成。玻璃封裝內(nèi)為藍色的絕緣材料，因此對圖像依次進行藍色閾值選取、開閉操作和最大連通域選擇，即可去除圖像中引腳區(qū)域和外圍金屬封裝區(qū)域，獲取待檢測區(qū)域。

2.3 粗分類

針對玻璃封裝絕緣端子的特點，設(shè)計扇區(qū)基本統(tǒng)計特征、扇區(qū)灰度變化率、扇區(qū)反光特征和扇區(qū)方向統(tǒng)計特征等4類特征。然后，將扇區(qū)特征輸入到GBDT進行粗分類。

2.3.1 扇區(qū)基本統(tǒng)計特征

2.3.3 扇區(qū)反光特征

2.4 精細分類

雖然粗分類已經(jīng)利用扇區(qū)及其鄰域像素的一些信息進行缺陷粗檢測，但是未能充分利用扇區(qū)與扇區(qū)之間的關(guān)聯(lián)性。因此，基于粗分類結(jié)果構(gòu)造每個扇區(qū)的SN特征以全面表征其扇區(qū)鄰域信息。之后，合并扇區(qū)特征與SN特征輸入到GBDT進行缺陷的精細分類檢測。

2.4.1 SN特征

3 實驗和討論

3.1 數(shù)據(jù)集與測試環(huán)境

本文數(shù)據(jù)由Leica KL300 LED采集獲得，共采集4 3 張玻璃封裝絕緣端子圖像，圖像大小為2448×1920。根據(jù)2.2節(jié)的扇區(qū)分塊策略進行分扇區(qū)，去掉引腳對絕緣端子遮蓋部分，一共獲得9485個扇區(qū)，其中缺陷樣本為1063個，正常樣本8422個。實驗均在配置為Windows10 64位旗艦操作系統(tǒng)，Intel i5-9300H CPU @ 2.40 GHz, 16 GB內(nèi)存的筆記本電腦上完成，以Pycharm為仿真平臺，使用Python語言編程。

使用重疊度(Intersection over Union, IoU)、像素級漏檢率(Pixel-based Omission Rate, POR)、塊級誤檢率(Sector-based Error Rate, SER)、準確度(Accuracy, Acc)和F1等標準評價檢測算法的性能。IoU, POR和F1描述檢測算法的像素級別檢測能力；SER描述檢測算法在塊上的誤檢率；Acc描述檢測算法對每個塊分類的準確率，即缺陷定位能力。

3.2 扇區(qū)大小的影響

圖2 SN特征提取

扇區(qū)的大小影響論文方法的缺陷檢測性能，由2.2節(jié)的兩個重要參數(shù)m和n決定。如圖3(a)—圖3(c)所示，隨著m與n的數(shù)值增加，劃分出的扇區(qū)數(shù)量增加，每個扇區(qū)的面積也減小，這意味著特征向量增多，分類器能捕捉到更多的特征，因此Acc, POR和SER等指標增高。但是，當m與n增大到一定程度后，Acc和POR緩慢增長，但SER驟增。這是因為當扇區(qū)數(shù)量多到一定程度時，扇區(qū)面積太小反而造成扇區(qū)與扇區(qū)之間的圖像差異性過小，進而導致這些扇區(qū)產(chǎn)生的特征向量之間的可區(qū)分性降低，因此分類器性能開始變差。圖3(d)可以看出，m與n的數(shù)值越大，檢測時間越多，隨著扇區(qū)數(shù)量快速增長，檢測時間也驟然上升。因此，綜合考慮分類器的分類性能和檢測耗時，本文取m=3且n=4。

圖3 m和n參數(shù)對算法性能的影響

3.3 對比實驗

為了驗證本文所提玻璃封裝絕緣端子質(zhì)量檢測方法，對比了4種傳統(tǒng)圖像處理方法，分別是注意力模型[13]、離散余弦變換(Discrete Cosine Transform, DCT)[11]、形態(tài)學[7]和Otsu[10]。圖4分別展示了玻璃封裝絕緣端子原圖、缺陷標注圖以及4種對比方法和本文提出方法的檢測結(jié)果圖。表1展示了各種檢測方法對43張玻璃封裝絕緣端子圖像的缺陷檢測統(tǒng)計結(jié)果。

注意力模型[13]通過相鄰超像素之間的差異性進行缺陷定位，但是可能因為拍攝角度問題會導致引腳遮擋部分玻璃封裝區(qū)域(圖4(a))，這樣遮擋區(qū)域的超像素與其他區(qū)域差異性會很大，最終導致注意力模型將非遮擋區(qū)域都認為是潛在缺陷區(qū)域(圖4(c))，表1也展示了該方法的誤檢率極高。玻璃封裝的部分區(qū)域可能會產(chǎn)生反光，導致其灰度值遠大于玻璃封裝的其他區(qū)域，而且玻璃封裝的脫落區(qū)域與非脫落區(qū)域的灰度差異性并不大。因此，Otsu[10]這種通過自適應閾值將圖像灰度分為兩類的方法將極易受反光影響，導致大量的誤檢(圖4(d))。DCT[11]通過分離高頻和低頻分量進行缺陷分類，同樣也會受到反光影響(圖4(e))。形態(tài)學[8]通過顏色閾值二值化后從那些符合特定模式的連通域進行篩選，但玻璃封裝絕緣端子的脫落缺陷形態(tài)各異、脫落區(qū)域范圍大小不一，因此形態(tài)學方法也出現(xiàn)了大量的誤檢(圖4(f))。且連通域計算成本太大，導致該方法的檢測時間遠超其他方法(表1)。本文所提特征工程方法不僅涵蓋了每個扇區(qū)的內(nèi)部信息，還通過SN特征包含了其扇區(qū)鄰域信息，能夠全面地表征玻璃封裝絕緣端子的脫落區(qū)域與非脫落區(qū)域的差異性特點。因此，相比于以上檢測方法，本文方法能夠精準地定位玻璃封裝脫落區(qū)域(圖4(g))，取得了最佳缺陷檢測性能(表1)。而且，本文所提特征工程方法針對具體工程設(shè)計，未采用復雜的特征提取方案，因此檢測效率也較高。

圖4 玻璃封裝絕緣端子缺陷檢測結(jié)果

4 結(jié)束語

絕緣端子的玻璃封裝脫落將導致電子元器件可靠性降低甚至失效，本文提出一種特征工程方法檢測絕緣端子玻璃封裝脫落缺陷。首先，將玻璃封裝絕緣端子圖像劃分若干個扇區(qū)。然后，提出4大類扇區(qū)特征以表征各扇區(qū)內(nèi)部信息，并采用GBDT進行粗分類。之后，融合最近鄰扇區(qū)內(nèi)部信息提出SN特征提取方法。最后，綜合SN特征和扇區(qū)4大類特征進行精細分類、定位玻璃封裝脫落區(qū)域。對比實驗表明，相比于現(xiàn)有類似檢測方法，本文方法能夠更有效地檢測到玻璃封裝脫落缺陷且檢測效率尚可，其檢測性能高達IoU為97.56%,、F值為0.987、POR為0.62%、PER為29.50%。

然而，SN特征和扇區(qū)特征之間都有鄰域相關(guān)信息，可能會產(chǎn)生特征冗余。因此，在未來的工作中將考慮特征降維以進一步提升檢測性能及效率。