基于深度學習的自動光學檢測技術

摘 ?要：人工智能如何在工廠落地？如何用深度學習的方法來推動傳統產業的效率提升？本文介紹了在產品缺陷檢查中引入深度學習的原理，實現路徑及方法，并通過實際案例對其經濟效益做了比較，希望對相關從業者帶來一些借鑒或啟發。

關鍵詞：人工智能;自動光學檢測;Automated Optical Inspection （AOI）;深度學習;Deep Learning;人工神經網絡;Artificial Neural Network （ANN）;卷積神經網絡;Convolutional Neural Network（CNN）;誤判（Overkill）;漏判（Underkill）

隨著珠江三角洲和長江三角洲一帶用工荒的蔓延，越來越多的工廠開始嘗試用自動光學檢測（AOI）來代替人工目檢。

如果在自動光學檢測中使用深度學習功能，用一定量的樣本來進行反復訓練，通過神經網絡的自我進化，使機器達到一定程度的人工智能，可以大大提高漏判（Underkill）率和誤判（Overkill）率，達到遠超人工目檢的效率和可靠性，這就是我們這次力爭要達到的目的。下面講講我們使用的深度學習的原理。

卷積神經網絡是深度學習中應用最廣泛的網絡模型之一。特別是在Krizhevsky等專家提出了一種經典的CNN架構，論證了深度結構在特征提取上的潛力，并在圖像識別任務上取得了重大突破之后，CNN得到了人們越來越多的關注和研究。本次任務就采用這種網絡來進行PZT缺陷的識別。圖中RELU（Rectified Linear Unit），又稱修正線性單元，是一種激勵函數，它可以讓大數值通過，而讓一些神經元處于不會激發的陳舊態，因此可以加快訓練速度。池化層位于卷積層之間，通過最大值或平均值采樣在層間減少圖像大小。壓平層用來將多維的輸入一維化，常用在從卷積層到全連接層的過渡。深度神經網絡的最后一層往往是全連接層+Softmax（分類網絡）。

在實際操作中，我們購買COGNEX（康耐視）的商業軟件COGNEX ViDi的開發版來作為我們進行深度學習的訓練平臺。在該平臺上通過如下步驟來將上述原理落地：1）.收集：收集好品和壞品的圖像;2）.標記：在壞品的圖像上標記缺陷類別;3）.訓練：用COGNEX ViDi平臺訓練軟件模型;4）.驗證：用正常流拉的產品來檢測，讓有經驗的工人對其結果來進行驗證，對其判斷錯誤的產品重新進行標記，再返回去訓練模型，如此循環，經過一段時間的運行后，其漏判（Underkill）率由最初的2%降到0.01%，誤判（Overkill）率由最初的5%降到0.2%，取得了遠遠好于人工檢測的效果。

為便于讀者對其流程有個更直觀的認識，我們舉一個實際的例子來進行說明。

PZT是安裝在電腦磁頭上的壓電陶瓷，一個磁頭模組上左右兩側對稱各安裝一個，通過它能夠對磁頭飛行姿態進行微調，從而能夠穩定地讀寫磁盤上的數據。為了達到這個目的，就必須對PZT進行嚴格檢測，使它不能有如下缺陷：裂紋、離起、彎曲、劃痕、擦傷、歪斜、PZT缺失 、多膠、少膠、極性錯、毛刺、白點、黑點、白色纖維等。當前人工PZT目檢是工人在40倍顯微鏡下看PZT的各面是否有缺陷，存在速度慢，容易疲勞，易漏檢等，且效率不高，現在人均檢測每天4000-5000個，6s/pcs。計劃開發一款自動視覺檢測機器替代人工檢測，實現3000UPH（unit per hour，每小時生產工件數 ）檢查要求。

我們用6臺相機來提取圖像，各組相機分工如下，

第1組相機： 檢測PZT正面多膠、少膠、極性錯、歪斜、PZT缺失、白色纖維等。

第2&3組相機： 檢測PZT側面裂紋、離起、彎曲等。

第4組相機： 檢測PZT正面裂紋、劃痕、擦傷、歪斜、PZT缺失 、毛刺、白點、黑點等。檢測PZT側面裂紋、離起、彎曲等。

準備數據集（Dataset）。為了使用深度學習算法，要收集一些帶缺陷或不帶缺陷的PZT樣品，為它們加上標記，這些圖像及相應的標記被用作訓練深度學習模型的數據集。如下圖所示。注意：為了檢測出每一種缺陷，用作訓練的數據集必須包括所有種類的缺陷。

訓練階段。在訓練階段，如果模型輸出和標記之間有差異，系統將自動更新深度學習模型。如此訓練模型來學習PZT圖像的特征，盡力在自己的輸出中分割出帶標記的缺陷。這個過程叫監督學習，而標記可以看作為一個老師。

驗證。在訓練完成并保存結果后，即使新輸入的圖像不在數據集內，深度學習模型也能夠對其是OK或NG作出預判。注意：此階段不必為產品提供標記。

機器動作簡介：如下圖四所示，托盤（本次檢測的產品是由多層復合材料貼合成厚度為0.04mm的條狀物，用定位銷定位，用3條薄壓條壓在托盤上，托盤內有磁鐵將壓條吸在托盤上）被工人放入上料單元的氣爪上，升降氣缸下降，氣爪打開，托盤落到輸送盤上，橫向移料機構上的氣缸將其沿X方向拍齊，輸送盤上自帶的夾緊氣缸在Y方向夾緊，此時輸送盤通真空，真空通過托盤上的幾排孔將產品緊緊吸在托盤上，輸送盤向里移動到相機1下成像后向外退回。此時橫向移料機構將托盤轉移到與相機2對應的輸送盤上，輸送盤向里移動到相機2下成像后向外退回，轉移到與相機3對應的輸送盤，最后輸送盤移動到激光打標機下，在檢測不合格產品上打上激光標記后向外退回，下料單元的升降氣缸下降，氣爪將托盤托住后升起，

基于深度學習的自動光學檢測設備（PZT AOI機）和人工檢測的收益對比：

此技術由于效率高，大大減少人力成本（一臺機早晚班可以抵得上10個人），質量可靠，適應范圍廣，未來必將在工業檢測上有越來越廣闊的應用前景。

參考文獻：

《AlexNet-Imagenet classification with deep convolutional neural networks》、《Python編程技術》、《Tensor Flow從入門到精通》、《計算機視覺與深度學習實戰》。

作者簡介：程丙坤（1969 —），男，漢族，湖北省天門市人，高級工程師，大學本科學歷，目前研究方向為機器換人或自動化設備開發設計與研究。