基于機器視覺微小螺紋孔缺陷智能檢測技術(shù)的研究＊

林 杰 宣寒玉 宋學(xué)勇 趙 敏

（①蘇州凌云視界智能設(shè)備有限責(zé)任公司，江蘇 蘇州 215000；②蘇州電加工機床研究所有限公司，江蘇 蘇州 215000）

隨著強國戰(zhàn)略的實施，工業(yè)產(chǎn)品智能制造技術(shù)的不斷地升級，尤其3C電子行業(yè)如手機、電腦和智能穿戴發(fā)展迅猛，消費者不僅對產(chǎn)品功能有較高的個性化要求，對產(chǎn)品的品質(zhì)質(zhì)量也有更高的要求。其中，3C產(chǎn)品不同零件之間的連接和緊固不可缺少，但由于螺絲緊固的問題導(dǎo)致整個產(chǎn)品失效的情況時有發(fā)生[1-3]。因此，3C產(chǎn)品制造商對微小結(jié)構(gòu)件的螺紋孔的工藝參數(shù)有嚴(yán)格的管控要求，對于高端的3C產(chǎn)品要做到對微小螺紋孔進(jìn)行全檢，通常一部手機有30個以上的微小螺紋孔，其基本尺寸在直徑0.8～2 mm，傳統(tǒng)的工人對微小螺孔質(zhì)量檢測通過人的眼睛觀察，工作量相當(dāng)大，生產(chǎn)成本相對較高，而且誤檢率和漏檢率都比較高。

近年來，眾多視覺檢測企業(yè)和學(xué)者對相關(guān)的技術(shù)進(jìn)行了很多的嘗試，但是對于φ≤1 mm的螺紋孔采取傳統(tǒng)的視覺檢測技術(shù),不能獲取好的圖片質(zhì)量，使微小螺孔內(nèi)部爛牙、殘砂、異物及殘膠等缺陷無法發(fā)現(xiàn)，無法對其進(jìn)行有效檢測。

針對結(jié)構(gòu)件微小螺孔內(nèi)部的質(zhì)量檢測需求擬通過對機器視覺檢測技術(shù)的研究，開發(fā)設(shè)計一種基于機器視覺微小螺紋孔缺陷檢測技術(shù)方法，并通過實驗去驗證其技術(shù)的先進(jìn)性和實用性，為技術(shù)的實用應(yīng)用奠定好基礎(chǔ)[4-5]。

1 系統(tǒng)需求分析

下面以手機框中微小螺紋孔質(zhì)量缺陷檢測為例（圖1所示），探討其微小螺紋孔缺陷智能檢測技術(shù)方法。

圖1 手機中框零件螺孔示意圖

手機中框的零件當(dāng)中有14個螺紋孔，有正面的孔如RR1、UA8，也有側(cè)邊的孔如UA2、UA5，有些孔是通孔如LR3、LR6，有些孔是錐型孔如LA4，螺紋孔的尺寸直徑0.8～2 mm，根據(jù)當(dāng)前日常人工檢測螺紋孔的歷史數(shù)據(jù)，螺紋孔的主要不良來自孔的側(cè)面和底部；各類缺陷主要在生產(chǎn)制造過程當(dāng)中產(chǎn)生，常見的質(zhì)量問題有殘膠、灰塵、殘砂、爛牙及異物，如圖2所示。

圖2 零件當(dāng)中螺孔缺陷示意圖

基于不同缺陷對于后續(xù)工藝的影響，制定了不同檢出率設(shè)計要求，其中重要的缺陷爛牙和異物要求100%的檢出，其他的缺陷檢出率90%以上；缺陷的尺寸≤0.02 mm, 真值對比≤0.01 mm。

2 總體系統(tǒng)設(shè)計

2.1 系統(tǒng)總體結(jié)構(gòu)

手機結(jié)構(gòu)件螺紋孔缺陷檢測系統(tǒng)主要包括機械結(jié)構(gòu)、電氣運動控制系統(tǒng)、光學(xué)圖像采集系統(tǒng)、軟件系統(tǒng)以及圖像算法五大部分組成，基本框架如圖3所示。整體系統(tǒng)檢測的孔位和檢測的內(nèi)容比較多，因此采用的多工位轉(zhuǎn)盤設(shè)計，通過PLC邏輯控制器來實現(xiàn)伺服運動控制，DD馬達(dá)實現(xiàn)8個工位的高精度轉(zhuǎn)動，通過以太網(wǎng)來對相機進(jìn)行觸發(fā)，圖像采集卡采集相關(guān)圖片數(shù)據(jù)，最終實現(xiàn)全流程的檢測和控制。

圖3 視覺系統(tǒng)的整體架構(gòu)設(shè)計方案

2.2 硬件系統(tǒng)設(shè)計

首先通過CCD和光源系統(tǒng)，對各個螺紋孔進(jìn)行拍照和取相，取得清晰的圖像是最關(guān)鍵的步驟，為了滿足微小螺紋孔對整個螺紋整圈檢測需要，創(chuàng)新設(shè)計了4相機組合配合棱鏡折射的多目機械視覺微小螺紋孔系統(tǒng)化解決方案，如圖4所示。

圖4 多目機械視覺微小螺紋孔檢測方案

按照手機的螺孔的最大尺寸M2，缺陷最小尺寸規(guī)格 0.02 mm×0.02 mm，作為光學(xué)成像系統(tǒng)初始設(shè)計需求，基本設(shè)計思路如下。

（1）確定相機規(guī)格

根據(jù)采樣定理，物方空間的缺陷尺寸至少在像方空間對應(yīng)2個CCD像素才能保證基本采樣有效。考慮到設(shè)備的機械振動、物料的尺寸公差導(dǎo)致欠采樣，軟件可靠處理至少需要像方空間3個CCD像素來表現(xiàn)物方空間的缺陷。因此，首先確定物方空間分辨率即像素當(dāng)量為：

相機的分辨率由視野要求確定，這里視野要求參考螺孔最大尺寸設(shè)計。按照M2螺孔的外徑2 mm計算。相機理論上最小分辨率要求，Resolution X=Resolution Y=2/0.006 7=298 pixel。實際設(shè)備使用中，會存在機械上料偏差、物料尺寸公差，此外還可能存在相機斜視導(dǎo)致的視野壓縮。因此要求視野設(shè)計保持3倍以上余量。相機實際工程設(shè)計最小分辨率為，Resolution min=298×3=894 pixel。

參照上述相機分辨率要求，選取1.3M工業(yè)彩色相機LYS-GE13-30C，分辨率為1 280×960，像元尺寸為 0.003 75 mm。相機的最小分辨率邊 960 pixel，大于計算最小要求值894 pixel，成像視野為8.58 mm×6.43 mm，滿足設(shè)計要求。

（2）確定鏡頭規(guī)格

鏡頭規(guī)格主要由放大倍率、焦距以及匹配相機決定。本案設(shè)計放大倍率計算如下：

鏡頭工作距離要求受制于結(jié)構(gòu)設(shè)計空間。本案結(jié)構(gòu)空間要求鏡頭工作距離在100～150 mm之間。按照距離均值125 mm計算鏡頭焦距，可得

式中：L為鏡頭工作距離，M為鏡頭放大率。計算結(jié)果為44.9 mm，實際工業(yè)長焦鏡頭焦距都為整數(shù)，因此鏡頭焦距取整定為50 mm。

方案采用的相機CCD芯片為1/3''，機械接口為C口，因此鏡頭規(guī)格參照該規(guī)格匹配選型。結(jié)合放大倍率和焦距，鏡頭最終選取50 mm焦距工業(yè)微距鏡頭LYL-ML50F-10MP。主要規(guī)格參數(shù)為C接口，最大支持 1.1'' CCD 芯片，在 0.56×下工作距離 110 mm，滿足設(shè)計要求。

（3）確定光源規(guī)格

螺孔為圓桶形金屬件，螺牙以螺旋線的形式分布在桶壁上。從觀察目標(biāo)形狀分析，目標(biāo)為較為規(guī)則的內(nèi)凹圓柱曲面特征。照明分析可按照高反內(nèi)圓曲面進(jìn)行。因此，光源對應(yīng)該曲面形狀，選取環(huán)形光源，盡可能保證內(nèi)圓曲面上的照明均勻性。通過實物實驗分析及小批量驗證，最終選取白色環(huán)形光源RBP-IR-4000-W。

（4）工程化集成設(shè)計

首先，根據(jù)螺孔的圓桶形狀特點，鏡頭光軸必須和螺紋孔側(cè)壁成傾斜夾角，才能采集到螺孔側(cè)壁螺牙圖像。為了能更好地對微小螺紋孔缺陷進(jìn)行全方位檢測，設(shè)計了4個相機鏡頭系統(tǒng)，每個相機鏡頭系統(tǒng)負(fù)責(zé)螺孔90°圓周的圖像采集，四相機同時一次成像完成圖像采集。

考慮到相機鏡頭傾斜布置，相比于相機鏡頭垂直布置，會帶來成像系統(tǒng)XY方向空間尺寸的增加。4個相機如采用分立布置，螺紋孔檢測時相機既要調(diào)整高度，又要調(diào)整角度，調(diào)整變量太多很難保證調(diào)整精度。設(shè)計引入反射棱鏡系統(tǒng)，將相機鏡頭的姿態(tài)從和水平傾斜布置改為和水平面垂直布置，減小了成像系統(tǒng)的體積。同時，棱鏡系統(tǒng)作為精密光學(xué)裝置，所有棱鏡都固定在同一個高精度的機械安裝件上，棱鏡之間的位置和角度都是能精確保證，可以作為調(diào)整的基準(zhǔn)面，相機鏡頭系統(tǒng)在裝調(diào)時，只做高度調(diào)整即可。本案設(shè)計，最終采用的反射棱鏡規(guī)格為 15 mm×15 mm ×15 mm。光學(xué)成像系統(tǒng)最終工程化設(shè)計結(jié)果如圖5所示。

圖5 微小螺紋孔光學(xué)圖像采集系統(tǒng)設(shè)計

2.3 螺孔檢測軟件與算法設(shè)計

2.3.1 螺紋孔小徑測量算法

螺紋孔徑小、長比大，孔徑邊緣由于加工工藝的問題有噪聲干擾；為了保證檢測精度，測量算法使用激光測量提取邊緣點，并進(jìn)行異常點的剔除，最后用圓形擬合工具得到孔徑的尺寸[6-8]。

圓形擬合工具采取基于代數(shù)距離的圓擬合方法,圓形擬合原理如下：通常情況下，用一般方程來描述圓

對于給定擬合數(shù)據(jù)點 (xi,yi)，i=1,2,···,n(n＞ 2)，基于代數(shù)距離的圓擬合的誤差函數(shù)可以表示為

根據(jù)非線性最小均方優(yōu)化，目標(biāo)函數(shù)F(A,B,C)的最小二乘解必然滿足條件為

根據(jù)式（2）采用SVD分解可以確定參數(shù)A、B、C[9-12]。

參與擬合的邊緣點可能存在干擾，設(shè)計了一種自動剔除局外點的算法，圖6所示。

圖6 自動剔除局外點的算法

圓形擬合工具能夠快速構(gòu)建出穩(wěn)定擬合結(jié)果組合的幾何，然后從中篩選出RMS誤差最小的擬合曲線作為最終擬合結(jié)果，圖7為 φ1.6 mm微小螺紋孔測量剔除異常點測量效果。

圖7 微小螺紋孔測量剔除異常點測量效果

2.3.2 螺紋圈數(shù)檢測算法

螺紋圈數(shù)檢測算法主要采取圖8所示，該方案通過邊緣定位和聚類分析，可用在破損、干擾等情況下對的螺紋進(jìn)行準(zhǔn)確計數(shù)。

圖8 螺紋圈數(shù)檢測流程

（1）定位工具：邊緣定位技術(shù)以圖像邊緣信息為基礎(chǔ)，采用邊緣相關(guān)分?jǐn)?shù)作為相似性度量指標(biāo)，在實時圖像中搜索和參考圖像具有一致邊緣特征的位置，即匹配分?jǐn)?shù)最高的位置。

定位工具訓(xùn)練：從訓(xùn)練圖像中提取模式的邊緣信息，選取若干個邊界點構(gòu)成該模式的幾何描述。圖9a所示為訓(xùn)練圖像，圖9b所示為訓(xùn)練結(jié)果，即訓(xùn)練模式的幾何描述。

圖9 基于邊緣相似度的邊緣定位

（2）聚類分析工具：對圖像中的2-D形狀進(jìn)行檢測和分析，得到諸如目標(biāo)位置、形狀、方向和目標(biāo)間的拓?fù)潢P(guān)系等信息。根據(jù)這些信息可對目標(biāo)進(jìn)行識別。

分析工具的主要內(nèi)容包括：圖像分割，將圖像中的目標(biāo)和背景分離；去噪，消除或減弱噪聲對目標(biāo)的干擾；場景描述，對目標(biāo)之間的拓?fù)潢P(guān)系進(jìn)行描述；特征量計算，計算目標(biāo)的2-D形狀特征。聚類分析特征場景描述如圖10所示[13]。

圖10 聚類分析特征場景描述

應(yīng)用聚類分析工具能夠得到每個螺紋的位置、長度和寬度等信息，通過對螺紋統(tǒng)計分析可以得到螺紋圈數(shù)。螺紋聚類分析實時檢測結(jié)果如下圖11所示。

圖11 螺紋聚類分析實時檢測結(jié)果

（3）螺紋孔缺陷檢測

螺紋孔底部和側(cè)面缺陷包括：殘膠、灰塵、殘砂、爛牙和異物等，缺陷形態(tài)各異，好壞品區(qū)分度不大，尤其是底部腐蝕與缺陷較難區(qū)分。螺孔底部與側(cè)面缺陷情況如圖12所示。底部腐蝕干擾，底部和側(cè)面合格品如圖13所示。

圖12 螺孔底部缺陷品與側(cè)面缺陷

圖13 底部腐蝕干擾，底部和側(cè)面合格品

針對傳統(tǒng)的檢測算法，誤漏檢指標(biāo)較難保證。本文利用人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)相結(jié)合的方法，通過批量訓(xùn)練學(xué)習(xí)缺陷，應(yīng)用訓(xùn)練的模型進(jìn)行缺陷的推理檢測，來提高微小螺紋檢測精準(zhǔn)度和速度。

深度學(xué)習(xí)采用端到端的方式來解決問題，即直接將圖像特征提取與模式分類集合在一起，然后根據(jù)具體的模式分類目標(biāo)損失函數(shù)從數(shù)據(jù)中自動地學(xué)習(xí)到有效的特征并實現(xiàn)模式分類。神經(jīng)網(wǎng)絡(luò)可以通過數(shù)據(jù)規(guī)模方式的增加來提升運算性能，從而解決產(chǎn)品背景干擾大，產(chǎn)品表面復(fù)雜，成像特性復(fù)雜，缺陷對比度低等問題。基于深度學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)算法和各節(jié)點結(jié)構(gòu)如圖14、15所示[14-15]。

圖14 基于深度學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)算法

由圖15可用看出，卷積神經(jīng)網(wǎng)絡(luò)由可學(xué)習(xí)的參數(shù)組成，每一層也是進(jìn)行一個線性運算和經(jīng)過一個激活函數(shù)，參數(shù)的學(xué)習(xí)也是根據(jù) BP 算法。基本上就是用共享權(quán)重在空間中進(jìn)行擴展的標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)主要是通過內(nèi)部卷積來識別圖片，內(nèi)部卷積可以看到圖像上識別對象的邊緣。卷積神經(jīng)網(wǎng)絡(luò)通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)與人工神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息[16-17]。

圖15 深度神經(jīng)網(wǎng)絡(luò)中各節(jié)點結(jié)構(gòu)示意圖

卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)基本構(gòu)成：

①卷積層 (Conv)，特征提取。

②激活層 (Relu)，激活神經(jīng)元。

③池化層 (Pool)，下采樣，減小參數(shù)規(guī)模。

④全連接層(FC)，分類器，將學(xué)習(xí)到的特征空間映射到樣本空間。

微小螺紋孔缺陷檢測深度學(xué)習(xí)，采用兩個網(wǎng)絡(luò)模型分別檢測底部缺陷和側(cè)面缺陷，基于深度學(xué)習(xí)的卷積人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖16所示[18]。

圖16 基于深度學(xué)習(xí)的卷積人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.4 系統(tǒng)測試結(jié)果

系統(tǒng)采用VS2019為開發(fā)集成環(huán)境，開發(fā)了包括螺孔孔徑、螺紋圈數(shù)、螺紋缺陷等相關(guān)功能，通過軟件不同部分與相關(guān)硬件之間的通信連接，在成像系統(tǒng)中得到相關(guān)清晰的圖片，再進(jìn)行背景的剔除，通過對圖像的預(yù)處理，找到疑似區(qū)域，再進(jìn)行精密的提取，對圖像結(jié)果ROI進(jìn)行合并，得到如圖17所示相關(guān)的圖像和結(jié)果。

圖17 集成環(huán)境下的微小螺紋孔檢測圖像

為了進(jìn)一步驗證檢測算法的有效性和可靠性，對實際超過1 000個生產(chǎn)的產(chǎn)品進(jìn)行采樣，對于算法不斷的迭代，通過機器學(xué)習(xí)圖片分析，重點對于側(cè)面孔和底部孔的殘膠、灰塵、殘砂、爛牙和異物的缺陷進(jìn)行了分類和分級評估，將成像的等級分為ABCD等級，缺陷檢測難度等級分為高中低三檔。最終的檢出率情況如表1所示，對于難度較高的灰塵檢出率達(dá)90%，而重點核心的缺陷爛牙和異物可以到達(dá)100%的檢出。

表1 深度人工神經(jīng)網(wǎng)絡(luò)算法的微小螺紋缺陷檢出率

3 結(jié)語

本文通過對基于機器視覺微小螺紋孔缺陷智能檢測技術(shù)的研究，得出以下結(jié)論：

（1）針對微小螺紋孔（φ0.8 ～2 mm）的螺紋孔，創(chuàng)新設(shè)計了一種基于四目機械視覺結(jié)合反射棱鏡的微小螺紋孔圖像掃描的技術(shù)方法。再通過耦合技術(shù)實現(xiàn)四相機同時一次成像完成整個圖像采集工作。

（2）考慮到螺紋孔徑比大，孔徑邊緣加工工藝噪聲干擾問題，測量算法研究激光測量提取結(jié)合邊緣計算法對異常點進(jìn)行剔除，再通過圓形擬合工具得到螺紋孔的精確尺寸。

（3）針對傳統(tǒng)的檢測算法，誤漏檢指標(biāo)較難保證問題。利用人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)相結(jié)合的方法，通過批量訓(xùn)練學(xué)習(xí)缺陷，應(yīng)用訓(xùn)練的模型進(jìn)行缺陷的推理檢測，通過現(xiàn)場實際測試結(jié)果可知，本測試系統(tǒng)的測試精度可達(dá)0.02 mm，對于核心的缺陷檢測率都在90%以上，為3C智能檢測行業(yè)的進(jìn)一步發(fā)展提供了有效的解決方案，釋放了大量的重復(fù)工作的勞動力，為社會創(chuàng)造了較好的價值。