基于深度學習的微小元器件智能在線檢測系統

丁成波，劉蜜，劉超

(貴州航天電器股份有限公司，貴州貴陽 550009)

0 前言

隨著科學技術的迅速發展，航天航空技術也得到了相應的發展，各個系統所需要的元器件型號及種類逐漸增多，對其質量及檢測過程要求也更加嚴格。目前微小元器件(如電容、電阻以及一些外形結構類似芯片)尺寸和表面缺陷的檢測和識別方法主要是人工目識法，這種方法不僅勞動強度大、主觀性強、效率低，檢測人員視覺易疲勞，而且會經常出現錯檢現象，存在質量隱患。

因此，研究一種高速在線智能檢測方法以適應微小元器件尺寸及表面缺陷檢測的高效率、高精度要求十分必要。隨著新一代深度技術的成熟和進步，與傳統視覺算法相比，深度學習算法可以有效處理弱小缺陷、復雜場景、缺陷形態多變等增量場景，因此，在工業質檢領域，運用計算機視覺技術替代純人工檢測成為可能。

基于此，本文作者構建了一套機器視覺和深度學習相結合的智能在線檢測系統。該系統不僅可以實現多品種微小元器件的自動化在線檢測，而且還能夠對微小元器件表面缺陷進行識別,且系統檢測效率高、穩定性強、識別準確率高。這種方法既滿足自動化檢測要求，又能有效解決傳統自動化檢測的難點，為實現多品種大批量微小元器件的尺寸、位置、方向和缺陷在線檢測和識別提供了思路。

1 系統架構

該智能識別系統框架如圖1所示，主要由傳統的機器視覺識別模塊和深度學習模塊兩個部分組成。傳統的機器視覺主要對微小元器件的尺寸、位置和方向進行檢測，而深度學習則用于微小元器件表面缺陷識別。

圖1 系統架構

1.1 視覺硬件設計

此檢測系統的視覺硬件結構示意如圖2所示。其中相機采用的是500萬像素的CCD 工業相機，鏡頭選用1倍倍率的物方遠心鏡頭。光照系統采用的是環形帶散射光源，該光源發射的光線經反射后可以完全進入鏡頭，成像質量比較好。

圖2 視覺硬件結構示意

1.2 算法流程設計

整個系統算法過程如圖3所示。首先將微小元器件擺放在載盤上并去除其表面附著的多余物或者灰塵；然后選擇需要實現的檢測功能，并啟動設備；根據功能需求完成元器件的尺寸、定位、方向識別和缺陷檢查等，最后對微小元器件表面缺陷進行識別。

圖3 算法流程設計

2 基于機器視覺的圖像處理

此套系統使用的圖像處理算法如圖4所示，主要包括了圖像灰度增強、圖像自動二值化、圖像均值濾波、圖像邊緣特征提取以及模板匹配等圖像處理過程。

圖4 圖像處理過程

2.1 圖像灰度增強

在實際檢測過程中圖像的質量往往達不到理想狀態，所以需要對圖像進行一些增強處理以削弱外界環境對圖像造成的噪聲對圖像質量的影響。

圖像灰度增強是為了增強微小元器件區域和載盤背景區域的對比度，使灰度圖像明暗對比顯著。灰度增強是將灰度分段線性變換，將原圖像某點(,)的灰度(,)映射成新的圖像灰度(,)，即：

(,)=[(,)]

(1)

假設原圖像(,)的灰度范圍[,]，增強后圖像(,)的灰度范圍擴展至[,]。灰度增強的的函數表達式為

(2)

圖5是幾種常見微小元器件原始圖像，圖6顯示了圖像灰度增強后的圖像。從圖像中可以看出背景更黑、前景更亮了。

圖5 幾種常見微小元器件原始圖像

圖6 陶瓷濾波電容應用灰度增強后的正反面效果

2.2 圖像的自動二值化

為了使微小元器件圖像中特征信息和背景信息的對比度達到最佳效果，突出有用的特征信息，最終形成一幅灰度值只有0和1的圖像，使用了一種自動二值化算法。算法原理如下：

假設圖像尺寸是一幅×大小的圖像,(,)是圖像中點(,)處像素的灰度值，灰度級為，則(,)∈[0,-1]。若灰度級的所有像素個數為，則第級灰度出現的概率為

(3)

其中:=0,1,2,…,-1，且

(4)

若把圖像中的像素按灰度級用閾值劃分成兩部分，即背景和目標。背景灰度級為0～-1，目標的灰度級為～-1。

背景和目標出現的概率分別為

(5)

(6)

其中:+=1

背景部分的平均灰度值為

(7)

目標部分的平均灰度值為

(8)

圖像的總平均灰度值為

(9)

圖像中背景和目標的類間方差為

()=(-)+(-)

(10)

令的取值從0～-1變化，計算不同值下的類間方差()，使得()最大時的那個就是所要求的最佳閾值。圖7是圖像經過自動二值化后的圖像。

圖7 二值化后陶瓷濾波電容正反面的圖像

2.3 圖像濾波

圖像濾波是為了保證原有圖像信息不被破壞的情況下盡可能地抑制干擾噪聲，以期獲得質量更高的圖像。根據陶瓷濾波電容圖像噪聲特點，選取中值濾波來消除或削弱圖像中的噪聲。中值濾波是用圖像像素點領域灰度值的中值來代替該圖像像素點的灰度值。中值濾波實現原理如下：

(，)=Median{(-，-)，，∈}

(11)

式中：(，)為原始圖像中點(，)的灰度值；(，)為圖像濾波后的灰度值；為濾波窗口。

此系統采用中值濾波方法進行圖像處理的效果如圖8所示。

圖8 應用中值濾波后的陶瓷濾波電容正反面效果

2.4 邊緣直線特征提取

對微小元器件邊緣直線的提取采用了霍夫變換算法。霍夫變換算法是將圖像邊緣每一個特征數據點轉換成平面中的一條曲線，根據共線數據特征點對應的曲線相交于參數空間中一點的關系，讓邊緣直線的提取問題轉化為計數問題。直線的參數方程為：=cos+cos：其中：表示原點到直線的垂直距離；表示從原點到直線的連線與水平線的夾角。通過上述方程就可以把一個點(，)轉換成(，)的關系。通過霍夫變換算法提取到的陶瓷濾波電容器邊緣直線如圖9所示，圖中紅色線條表示陶瓷濾波電容的邊緣輪廓曲線。

圖9 陶瓷濾波電容正反面邊緣直線輪廓特征

根據邊緣輪廓曲線進一步可以檢測出陶瓷濾波電容的尺寸(長度和寬度)、位置(中心坐標和傾斜角度)、方向(正面和反面)以及極性(陰極和陽極)。

3 微小元器件類型識別

3.1 模板匹配算法

模板匹配算法是將一張固定大小和方向的圖像，運用相應的算法在一張大圖像中搜索與該圖像類似的目標圖像的算法。其算法原理如下：

如若模板圖像用(，)表示，表示模板圖像寬度，表示模板圖像；被搜索區域用(，)表示，表示搜索區域的寬度，表示搜索區域的高度；用(，)表示模板圖像在被搜索區域中覆蓋區域(，)的左上角坐標；模板圖像(，)和模板圖像在被搜索區域中覆蓋區域(，)的相關性用(，)表示，那么：

(，)=

(12)

其中：水平和豎直兩個方向上可以搜索的次數分別用和表示，=-，=-。因此，當模板圖像在搜索區域完全搜索完成后，計算出最大(，)用(,)表示。并將(,)與設定的閾值進行比較，若大于閾值則表示該覆蓋區域與模板圖像匹配，反之則不匹配。

3.2 實驗及結果分析

根據模板匹配算法原理，首先建立如圖10所示陶瓷濾波電容正反面的模板樣圖，接著隨機抽取外觀正常的陶瓷濾波電容、電阻和三極管各33個隨機放入載盤(一個載盤可以放置100個產品)中進行實驗，最后記錄系統分類數據。

圖10 陶瓷濾波電容正反面模板樣圖

在測試過程中將系統檢測結果與人工檢測結果進行對比，其結果如表1所示。

表1 幾種常見微小元器件混合檢測實驗結果 單位：個

從表1可以看出:該系統可以準確識別出各類微小元器件的類型，其識別準確率均達到了100%。并且經過人工復核發現該系統能夠準確檢測出產品的尺寸、位置、方向以及極性。

4 基于深度學習的缺陷識別

4.1 模型建立

卷積神經網絡(CNN)預測原理示意如圖11所示，輸入的樣本圖像首先經過兩層卷積層(Conv+Relu)，網絡模型從圖像中初步學習和提取特征；然后進入池化層(Max Pooling)，前兩個卷積層所提取的信息被壓縮；接著圖像前向傳播依次再經過3個卷積層，進一步提取學習圖像中的特征；最后進入最大池化層壓縮信息，傳入全連接層，特征矩陣2維壓縮為一維特征向量，再由softmax將一維特征向量映射到具體的某一個分類。

圖11 CNN預測原理示意

4.2 學習效果評價

在采集大量微小元器件圖像后，將缺陷類別主要分為劃痕、多余物、色斑和缺損，如圖12所示。

圖12 不同缺陷類型圖像

根據缺陷存在的實際情況將圖像切分為4個部分。如圖13所示。

圖13 區域分割

接著經過人工標注，設計并建立深度學習網絡，設置初始參數。并將人工標注的樣本圖像輸入，進行模型訓練。該模型訓練效果如圖14所示，其最終學習準確率達96%。

圖14 模型訓練效果

進一步地，設計數據記錄與統計模塊，模型訓練完成后在檢測裝置視覺模塊中試運行，機器篩選與人工篩選串行(系統篩選后人工篩選)，收集系統的分選準確率。首先人工挑選陶瓷濾波電容、電阻和三極管有缺陷和無缺陷產品各15只；接著隨機將90只產品放入載盤中進行檢測并記錄檢測時間；最后將系統檢測的每一只產品結果與人工復核結果按一一對應的方法進行比較，其結果見表2。

表2 幾種常見微小元器件缺陷檢測實驗結果 單位：個

從表2中可以得出:缺陷識別準確率為95.56%，其中無法識別類的4個產品經過人工復核發現其缺陷特征不顯著，受光照影響后特征進一步被削弱導致系統無法識別。

另外，根據系統記錄時間檢測90個產品總耗時約為30 s，平均檢測效率約為0.344 s/個。人工檢測90只產品約耗時2 min，較之效率約提升了4倍。

5 結論

針對微小元器件的尺寸、位置、方向和缺陷自動化在線檢查和識別難的問題，提出了一種基于機器視覺和深度學習相結合的智能在線檢測方法，該方法構建的系統檢測效率約0.344 s/個，尺寸、方向和位置檢測準確率達100%，缺陷識別準確率約為95.56%。相比傳統的人工目識法具有識別準確率高、穩定性強優點，具有良好的實用價值，同時也為實現了大批量多品種的微小元器件在線檢測提供了參考。