基于卷積神經(jīng)網(wǎng)絡的自動壓鉚對位系統(tǒng)

連志強 ，柯躍前 ，劉偉斌

（1.福州大學 機械工程及自動化學院，福州 350108；2.泉州師范學院物理與信息工程學院，泉州 362000；3.泉州華創(chuàng)智能科技有限公司，泉州 362000）

0 引言

壓鉚是指采用沖壓設備將螺紋件（螺釘或螺母）牢固地鉚接在圓孔上的一種工藝（如圖1所示）。鈑金件在加工中常采用壓鉚工藝在其上預埋螺紋件，便于機械緊固連接。由于螺紋件的規(guī)格不一，目前多采用人工定位鉚接點（圓心），并根據(jù)孔徑大小的不同手動切換壓鉚螺紋件，這樣不僅效率低且成本高。隨著智能制造技術(shù)的推廣，急需研制出一套能自動識別不同類型圓孔，并引導壓鉚設備自動壓鉚的自動對位機器識別系統(tǒng)。

圖1 螺紋件壓鉚示意圖

現(xiàn)有的圓孔識別算法有斑點面積分類法[1]、基于邊緣檢測的最小二乘法[2,3]、邊緣三維點云提取法[4]等。幾種算法的原理不同，用途不一。斑點面積分類算法采用形態(tài)學提取孔徑內(nèi)斑點信息，并設定不同的高低閾值以達到分類目的，但需預先設定閾值，且無法適應畸變圓孔的分類；基于邊緣檢測的最小二乘法通過提取邊界信息后利用最小二乘法擬合，但存在邊界投影畸變，對變形圓孔測量誤差較大；基于邊緣三維點云提取法通過獲取邊緣三維點進行圓擬合，但在檢測翹曲、變形面上的圓孔時反應過慢，效率太低。

圖2 燈具鈑金件圖紙

圖2所示為本設計中批量生產(chǎn)的鈑金件之一——燈具鈑金件，圖中φ4.2、φ5.5分別為M3、M4螺紋件在壓鉚之前預留的圓孔。因鈑金件受力不均容易引起翹曲、變形等現(xiàn)象，現(xiàn)有算法支持下的機器視覺系統(tǒng)對圓孔進行分類識別時，圓孔易出現(xiàn)成像畸變（如表1所示），導致機器判斷困難或分類錯誤，從而使壓鉚設備停壓或壓錯螺紋件。

表1 缺陷圓孔圖像

近年來，AlexNet（一種神經(jīng)網(wǎng)絡結(jié)構(gòu)）[5]在ImageNet（一個用于視覺對象識別軟件研究的大型可視化數(shù)據(jù)庫）競賽上表現(xiàn)優(yōu)異，卷積神經(jīng)網(wǎng)絡逐漸被人們所關(guān)注。卷積神經(jīng)網(wǎng)絡是一種前饋神經(jīng)網(wǎng)絡，具有較強的表征學習能力。國外在醫(yī)學檢驗、機械故障診斷及語義分類等領(lǐng)域的應用日趨成熟[6～8]。國內(nèi)相關(guān)學者也正密切關(guān)注該領(lǐng)域的技術(shù)發(fā)展，如溫州大學智能信息系統(tǒng)研究所的趙漢理[9]提出了基于卷積神經(jīng)網(wǎng)絡的雙行車牌分割算法，有效地提高了雙行車牌識別準確率；北方民族大學計算機科學與工程學院的白靜[10]在針對三維模型多視圖分類中有益信息淹沒和混淆的問題，提出一種基于卷積神經(jīng)網(wǎng)絡和投票機制的三維模型分類檢索算法，有效提升了分類性能。本文首先采用了基于卷積神經(jīng)網(wǎng)絡的方法對兩種圓孔的分類識別進行了研究，其次結(jié)合常用的幾何位置識別算法——基于霍夫變換圓心定位算法，設計了一種自動壓鉚對位系統(tǒng)。

1 自動壓鉚對位系統(tǒng)總體方案設計

自動壓鉚系統(tǒng)示意圖如圖3所示，包括圖像采集系統(tǒng)（光源、鏡頭及相機等）、圖像處理系統(tǒng)、送料機器人和壓鉚設備等。系統(tǒng)工作流程圖如圖4所示。

圖3 自動壓鉚對位系統(tǒng)示意圖

圖4 自動壓鉚對位系統(tǒng)工作流程圖

2 算法結(jié)構(gòu)及原理介紹

2.1 卷積神經(jīng)網(wǎng)絡內(nèi)部結(jié)構(gòu)

本文在Inception V3（一種神經(jīng)網(wǎng)絡結(jié)構(gòu)名為Inception的3.0版本）[11]框架上進行了修改。相比其他網(wǎng)絡，它更好的利用了內(nèi)部的計算資源，網(wǎng)絡深度有所增加，且引入的卷積分解有效提升了效率。

如表2所示，網(wǎng)絡內(nèi)含6個卷積層[12]、2個池化層[13]、三個不同種類的Inception（此神經(jīng)網(wǎng)絡的核心組成單元）模塊、Relu（Rectified Linear Unit，指線性整流函數(shù)）激活函數(shù)[14]、BN層（Batch Normalization，指批量歸一化）[15]、2個全連接層和softmax（歸一化指數(shù)函數(shù)）分類器等。其中卷積層均采用3×3的卷積核，第一、第五層步長為2，其余步長為1。而池化層分別采用3×3和8×8的卷積核，對應步長為2，1。

表2 網(wǎng)絡內(nèi)部結(jié)構(gòu)

2.2 網(wǎng)絡末端分類器

本設計重新構(gòu)建了網(wǎng)絡末端的全連接層，使Softmax分類器輸出2個分類，并重新訓練了新全連接層參數(shù)。網(wǎng)絡末端采用交叉熵作為代價函數(shù)。

2.2.1 Softmax分類器原理

Softmax為歸一化指數(shù)函數(shù)，在多分類場景中，softmax分類器應用十分廣泛。它能把輸入數(shù)據(jù)映射為0～1之間的實數(shù)，并且實數(shù)和為1。softmax輸出每個分類被取到的概率。

2.2.2 交叉熵函數(shù)原理

交叉熵是衡量人工神經(jīng)網(wǎng)絡預測值與實際值的一種方式，神經(jīng)網(wǎng)絡離線訓練目的是使其值越小越好。采用交叉熵函數(shù)作為代價函數(shù)有效提升了權(quán)重和偏置的更新速度，其函數(shù)表達式為：

式(2)中，C表示代價函數(shù)，v表示神經(jīng)元期望輸出值，m表示實際輸出值，求和是在所有輸入數(shù)據(jù)x（像素值向量）上進行的。

2.3 Hough 變換圓檢測原理

Hough（霍夫）變換[16]在圖像處理中主要用于幾何形狀的識別。基于霍夫變換的圓檢測是目前廣為應用的方法之一，其可靠性高，對帶有變形、殘缺及不連續(xù)邊緣等有良好的適應性。

已知圓的一般方程為：

則在極坐標下圓的方程為：

式中：（a，b）為圓心，r為半徑。

圓的一般方程映射到極坐標空間中為一條曲線。同一圓上的若干點在極坐標空間中表現(xiàn)為若干條空間曲線在某一點相交。故同一個圓上的點映射在極坐標空間里的曲線必定相交于同一點。最后，通過圓半徑信息，便可檢測出原坐標系的圓心坐標。

3 算法設計流程

如圖5所示，首先卷積神經(jīng)網(wǎng)絡將圓孔分類后，引導壓鉚設備切換壓鉚螺紋件；其次霍夫變換圓檢測算法根據(jù)卷積網(wǎng)絡分類的孔徑信息，識別出圓心坐標（鉚接點）。

圖5 算法設計流程圖

3.1 卷積神經(jīng)網(wǎng)絡離線訓練參數(shù)設置

本設計在Tensorflow環(huán)境下對神經(jīng)網(wǎng)絡進行了1萬多次迭代訓練。其中訓練集圖片160張，測試集圖片40張（φ4.2、φ5.5正常圓孔、缺陷圓孔1與缺陷圓孔2的比例均約為3:1:1）。設置初始學習率為0.001，學習率衰減因子為0.8，衰減周期為10，批次大小為8。實驗過程中，損失值在0.60上下波動時，將學習速率衰減因子調(diào)整為0.9，批次大小調(diào)整為5。

3.2 卷積神經(jīng)網(wǎng)絡圓孔分類效果

為驗證卷積神經(jīng)網(wǎng)絡對φ4.2、φ5.5圓孔的分類性能，本文分別采用多種方法對相同的圓孔數(shù)據(jù)集各進行了100次分類實驗，實驗數(shù)據(jù)如表3所示。

表3 不同算法圓孔分類實驗數(shù)據(jù)統(tǒng)計表

由表3可得，不同算法圓孔分類成功率如表4所示。

表4 不同算法圓孔分類實驗成功率統(tǒng)計表

由此可見，本文方法有明顯優(yōu)勢，能有效識別畸變圓孔。

圖6所示為測試集分類準確率變化情況。通過對比可以發(fā)現(xiàn)訓練前期準確率不到50%，經(jīng)訓練后，準確率上升為97%，進一步驗證了上述實驗結(jié)果。

圖6 測試集分類準確率的變化情況

由圖7可知，在網(wǎng)絡的訓練過程中交叉熵損失值不斷下降。經(jīng)15000次迭代訓練后交叉熵損失始終處于0.58以下，已相對收斂，應停止訓練。

圖7 訓練前后期交叉熵損失值的變化情況

圖8所示為輸出參數(shù)直方圖，顏色越淺，迭代步數(shù)越多。對比前后參數(shù)可知：網(wǎng)絡末端的權(quán)重參數(shù)值分布良好，訓練前期網(wǎng)絡誤差不會在后期放大，模型穩(wěn)定性較好。

圖8 訓練前后期神經(jīng)網(wǎng)絡模型輸出參數(shù)直方圖

3.3 霍夫變換鉚接點檢測效果

霍夫變換圓檢測算法在收到卷積神經(jīng)網(wǎng)絡發(fā)出的孔徑信息后便開始定位鉚接點。經(jīng)現(xiàn)場測試發(fā)現(xiàn)：該算法能準確輸出鉚接點，解決了現(xiàn)有算法所面對的困難。如圖9所示，十字交叉點即表示該缺陷圓孔的圓心。坐標分別為（932.422，500.086）、（56.177，189.977）。

圖9 本文算法檢測畸變圓孔位置效果圖

為驗證此算法的穩(wěn)定性和優(yōu)越性，本文采用多種算法分別對φ4.2、φ5.5各進行100次鉚接點識別測試。其中包含φ4.2、φ5.5正常圓孔鈑金件各60個，缺陷圓孔鈑金件各40個，實驗數(shù)據(jù)如表5所示。

表5 不同算法鉚接點識別實驗數(shù)據(jù)統(tǒng)計表

4 實驗結(jié)果分析

經(jīng)多次實驗測試，不同算法鉚接點識別成功率及算法平均每次耗時如表6所示。

表6 不同算法鉚接點識別成功率統(tǒng)計表

由表6得，現(xiàn)有算法識別成功率普遍不高。基于邊緣三維點云提取法雖然表現(xiàn)出相對較高的成功率，但耗時長，影響效率。而本文方法成功率高，耗時短，有效提升了自動壓鉚對位系統(tǒng)的可靠性和穩(wěn)定性。

根據(jù)自動壓鉚對位系統(tǒng)需求，基于LabVIEW與Opencv編寫了人-機交互界面。軟件界面如圖10所示。點擊“運行”便觸發(fā)相機工作與算法運行，待檢測到圓孔信息，并識別出鉚接點后，機器人自動將圓孔移至壓鉚處。同時，系統(tǒng)觸發(fā)相應指令，使對應的壓鉚螺紋件進入指定位置，實現(xiàn)自動對位壓鉚。

圖10 自動壓鉚對位系統(tǒng)人機操作界面

5 結(jié)語

為實現(xiàn)壓鉚工藝自動化，本文依次使用了基于卷積神經(jīng)網(wǎng)絡和基于霍夫變換的圓檢測算法，設計了一種自動壓鉚對位系統(tǒng)。該系統(tǒng)能準確識別鉚接點，自動將相應規(guī)格的壓鉚螺紋件鉚接在圓孔上。通過卷積神經(jīng)網(wǎng)絡在提取圖像特征方面的優(yōu)越性，有效的提取了圓孔的數(shù)據(jù)特征，解決了畸變圓孔圖像識別困難及分類錯誤的問題。考慮圓孔邊緣翹曲變形的特點，采用了霍夫變換圓檢測算法，提高了鉚接點的識別成功率和效率。試驗表明自動壓鉚對位系統(tǒng)有效替代了人工壓鉚，降低企業(yè)生產(chǎn)成本的同時也提升了效率。