Passat車頂鉚釘拉鉚數(shù)量機(jī)器視覺檢測系統(tǒng)

邵奇棟，尤 勇，周 萬

Passat車頂鉚釘拉鉚數(shù)量機(jī)器視覺檢測系統(tǒng)

邵奇棟，尤 勇，周 萬

（上汽大眾汽車有限公司南京分公司，江蘇 南京 211100）

在Passat車頂拉鉚生產(chǎn)過程中，目前采用人工目視的方法檢查是否存在鉚釘遺漏問題，該方法檢查效率較低且存在錯檢漏檢等問題。文章將深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)引入到車頂拉鉚檢測中，提出了一種基于ReLU激活函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)算法，并通過實(shí)驗(yàn)表明該算法具有精度高、魯棒性強(qiáng)等特點(diǎn)，為深度學(xué)習(xí)應(yīng)用于車身視覺檢測提供了一種新的思路。實(shí)驗(yàn)檢測成功率可以達(dá)到99.87%，滿足生產(chǎn)過程中的質(zhì)量認(rèn)定要求，對工程應(yīng)用推廣具有指導(dǎo)意義。

汽車制造；視覺識別；深度學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)

在車身制造過程中，車頂總成生產(chǎn)通常會運(yùn)用到拉鉚工藝，而在日常生產(chǎn)中手工拉鉚工藝可能存在鉚釘遺漏的情況，從而引起不必要的生產(chǎn)返工[1]。當(dāng)前針對鉚釘遺漏問題，常采用人工目視檢測手段，該手段存在耗費(fèi)人工且可靠性不足等缺點(diǎn)。為避免鉚釘遺漏問題需增加機(jī)械拉鉚設(shè)備，同時開啟自動拉鉚檢測功能，該辦法涉及設(shè)備改造與一定規(guī)模的經(jīng)濟(jì)投資，工廠車身車間在車頂總成工位增加工業(yè)相機(jī)與工控機(jī)，運(yùn)用Python自主開發(fā)視覺檢測系統(tǒng)，實(shí)現(xiàn)判斷鉚釘遺漏的自動識別功能。

Passat車頂加強(qiáng)板需要進(jìn)行工序拉鉚，共16顆拉鉚螺母。手工拉鉚孔位附近有多余工藝孔，如工人在操作過程中因誤判或疲勞從而導(dǎo)致個別車頂存在遺漏鉚釘，缺陷車頂總成流出車間后，對總裝安裝天窗總成生產(chǎn)造成影響，天窗總成安裝無法在線一次完成，最終造成缺陷車離線返工，單車返工時間約150分鐘[2]。

為解決人工拉鉚遺漏問題，車間增加了鉚釘數(shù)量檢查工藝，工人對鉚釘進(jìn)行手寫標(biāo)數(shù)，實(shí)際操作結(jié)果表明，該工藝工作量大、效率低、對于人工檢查的結(jié)果無相關(guān)記錄可追溯分析。由于人工檢測并未實(shí)現(xiàn)100%杜絕缺陷流出，本文提出一種基于深度學(xué)習(xí)的視覺檢測方法，最終有效地解決了鉚釘遺漏的問題。

1 卷積神經(jīng)網(wǎng)絡(luò)原理

基于深度學(xué)習(xí)的視覺檢測方法，具體過程原理參考圖1 典型卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成。深度學(xué)習(xí)是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對數(shù)據(jù)表征特點(diǎn)進(jìn)行學(xué)習(xí)的算法。本文的卷積神經(jīng)網(wǎng)絡(luò)主要包括八個權(quán)重層，即五個卷積層和三個全連接層。本章主要介紹卷積神經(jīng)網(wǎng)絡(luò)中的卷積層、全連接層的原理與結(jié)構(gòu)[3]。

圖1 典型卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成

1.1 卷積層原理

卷積層的處理流程為：卷積－激活函數(shù)－池化－歸一化，最后得到卷積層的輸出結(jié)果。卷積操作是使用*的卷積核（*的矩陣）對輸入圖像進(jìn)行逐行掃描，得到卷積運(yùn)算后的特征映射圖像[4]。如圖2所示，圖像在補(bǔ)0操作下（為保證圖像大小一致，在圖像最外圈添加一層像素值為0的像素點(diǎn)）使用3*3的卷積核進(jìn)行運(yùn)算得到卷積后的輸出結(jié)果。

圖2 卷積網(wǎng)絡(luò)原理

1.2 激活函數(shù)原理

感知機(jī)模型也叫單層神經(jīng)網(wǎng)絡(luò)，即判斷是否能觸發(fā)神經(jīng)元特征的判斷器。在最初的感知模型中，輸入輸出之間的關(guān)系如圖3所示。

圖3 感知基礎(chǔ)模型

由圖3可知，最基礎(chǔ)的感知模型只是單純的線性關(guān)系，這樣的網(wǎng)絡(luò)有很大的局限性，無法滿足較復(fù)雜的觸發(fā)環(huán)境。因此，在特殊情況下需要對輸出進(jìn)行非線性轉(zhuǎn)換，如式（1）所示，加權(quán)求和結(jié)果輸入到一個非線性的函數(shù)中（激活函數(shù)），多層網(wǎng)絡(luò)層的疊加不再是單純的線性變換，而是具有更強(qiáng)的表現(xiàn)能力[5]。

在網(wǎng)絡(luò)層數(shù)較少時，Sigmoid函數(shù)被廣泛使用，該函數(shù)將實(shí)數(shù)歸一化至0～1，這種計(jì)算特性可以很好地模擬神經(jīng)元在受刺激后是否得到激活并繼續(xù)向下傳輸結(jié)果（0表示幾乎不被激活，1表示完全激活）[6]。因此，使用Sigmoid函數(shù)可以較好地滿足激活函數(shù)的作用。Sigmoid函數(shù)特征曲線如圖4所示。

圖4 Sigmoid函數(shù)曲線

當(dāng)Sigmoid函數(shù)輸入較為極端時，其函數(shù)值趨近不變導(dǎo)數(shù)較小，在神經(jīng)網(wǎng)絡(luò)反向傳播的時候?qū)е潞芏嗪苄〉腟igmoid導(dǎo)數(shù)累加以至于結(jié)果趨近于0，權(quán)重值更新較慢，增加大量的運(yùn)算量[7]。為了解決Sigmoid訓(xùn)練收斂速度慢的問題，引入了ReLU激活函數(shù)，如圖5所示。

圖5 ReLU函數(shù)特征曲線

對比Sigmoid函數(shù)，ReLU函數(shù)輸入小于或等于0時輸出為0，而輸入大于0時恒等輸出，具有計(jì)算開銷小、網(wǎng)絡(luò)稀疏性高等優(yōu)點(diǎn)。故本文選用ReLU函數(shù)作為激活函數(shù)。

1.3 池化層原理

本文選用常規(guī)池化對圖像集進(jìn)行操作，在保留原圖像特征的前提下大幅減少像素?cái)?shù)量，可有效避免過擬合的情況，使學(xué)習(xí)效果更加理想。池化操作一般是對圖像逐行取池化卷積核大小的像素值，取最值或者平均值進(jìn)行運(yùn)算保留特征像素值[8]。該操作可以在保留圖像原有特征的前提下大幅度減少計(jì)算量，池化操作原理如圖6所示。

圖6 池化原理

最后對池化后的數(shù)據(jù)集進(jìn)行歸一化，當(dāng)某通道與附近通道像素絕對值都比較大時可以利用局部響應(yīng)歸一化將數(shù)值變小，使得更加方便準(zhǔn)確。局部響應(yīng)歸一化計(jì)算方式如式（2）所示：

2 實(shí)驗(yàn)驗(yàn)證

首先對圖像源進(jìn)行采集，包括有/無鉚釘?shù)膱D像。本文一共采集了1 000張不同位置的鉚釘圖像，分別包括500張有鉚釘?shù)膱D像以及500張遺漏拉鉚的圖像作為數(shù)據(jù)集。通過圖像處理對16個鉚釘位置進(jìn)行校驗(yàn)，對圖像進(jìn)行分割截取，定位鉚釘位置如圖7所示。保留只存在鉚釘?shù)膮^(qū)域進(jìn)行訓(xùn)練，訓(xùn)練集如圖8所示。

圖7 鉚釘圖像源

圖8 鉚釘訓(xùn)練集

然后經(jīng)過卷積－激活函數(shù)－池化－歸一化－全連接等操作得到輸出圖像，各層處理輸入與輸出結(jié)果如表1所示。

表1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

NeuralnetworkInputActivationShapeStepPadding Image227*227 Conv 1227*22711*11*9640 Pool 155*55*963*320 Conv 227*27*48*25*5*48*128*222 Pool 227*27*128*23*320 Conv 313*13*128*23*3*256*192*211 Conv 413*13*192*23*3*192*192*211 Conv 513*13*192*23*3*192*128*211 Pool 313*13*128*23*320 Fc 16*6*128*26*6*256*4 096 Fc 24096

計(jì)算完成后輸出4 096個數(shù)據(jù)，將這些數(shù)據(jù)與最后一層的兩個神經(jīng)元進(jìn)行全連接，經(jīng)過訓(xùn)練后輸出兩個浮點(diǎn)型數(shù)值，這些數(shù)值就是模型預(yù)測結(jié)果，分別代表識別判斷是否存在遺漏鉚釘，判斷結(jié)果如圖9所示。

圖9 算法判斷結(jié)果

該深度學(xué)習(xí)算法可以顯著提高對有無鉚釘按斷的檢測成功率，該算法在基于Thensorflow框架下訓(xùn)練前后準(zhǔn)確率對比如圖10所示。

圖10 訓(xùn)練準(zhǔn)確率

由圖10可知，對比算法前后對于鉚釘?shù)淖R別率由51.13%提高到99.87%，得到了顯著的提升。

3 結(jié)語

本文針對實(shí)際生產(chǎn)過程中車頂拉鉚是否存在鉚釘遺漏的問題，引入了深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)幫助自動識別鉚釘，自主開發(fā)了一套視覺識別系統(tǒng)。自制了基于1 000張圖像的訓(xùn)練集，該平臺方法存在以下優(yōu)勢：1）與人工檢查相比，測速快、單次檢測耗時控制在10 s內(nèi)；同時機(jī)器視覺檢測工作穩(wěn)定、出錯率低，后期可加入拍照存檔功能。2）檢查準(zhǔn)確率高達(dá)99.87%，基本避免了因人為失誤導(dǎo)致的漏檢、錯檢。3）未來嘗試將該識別技術(shù)用于其他生產(chǎn)過程質(zhì)量檢測中，如膠水檢測、螺柱檢測等。

[1] SUTTON R,BARTO A.Reinforcement Learning:An Introduction[M].Cambridge:MIT Press,1998.

[2] 周志華.機(jī)器學(xué)習(xí)[M].北京:清華大學(xué)出版社,2016.

[3] 張慧,王坤峰,王飛躍.深度學(xué)習(xí)在目標(biāo)視覺檢測中的應(yīng)用進(jìn)展與展望[J].自動化學(xué)報(bào),2017,43(8):1289- 1305.

[4] 郭憲,方純勇.深入淺出強(qiáng)化學(xué)習(xí):原理入門[M].北京:電子工業(yè)出版社,2018.

[5] 邱錫鵬.神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)[M].北京:機(jī)械工業(yè)出版社,2020.

[6] DAI W,LI D,TANG D,et al.Deep Learning Assisted Vision Inspection of Resistance Spot Welds[J].Journal of Manufacturing Processes,2021,62(8):262-274.

[7] 馮超.強(qiáng)化學(xué)習(xí)精要:核心算法與TensorFlow實(shí)現(xiàn)[M].北京:電子工業(yè)出版社,2018.

[8] ANDREWS D,PATRICIA P D,FITZGERALD C.Acc- elerating Learning of Competence and Increasing Long-term Learning Retention[J].The arXiv,2022,27 (8):698-701.

The Visual Inspection System for Quantity of Passat Roof Rivet

SHAO Qidong, YOU Yong, ZHOU Wan

( SAIC Volkswagen Nanjing Branch Company, Nanjing 211100, China )

In the current riveting production process of Passat roof, manual visual inspection is used to check whether there is rivet omission, which is inefficient, and there are problems such as wrong inspection and missing inspection.In this paper, the deep learning convolution neural network is introduced into the roof riveting detection, and a convolution neural network algorithm based on ReLU activation function is proposed. Experiments show that the algorithm has high accuracy and strong robustness, which provides a new idea for the application of deep learning to vehicle body visual detection,The success rate of experimental detection reaches 99.87%, meet the quality assurance requirements in the production process, which has guiding significance for the engineering application and promotion.

Automobile manufacturing; Visual recognition; Deep learning; Neural network

U463

A

1671-7988(2023)18-140-04

邵奇棟（1984－），男，碩士，工程師，研究方向?yàn)槠囍圃欤珽-mail:shao9@126.com。

10.16638/j.cnki.1671-7988.2023.018.027