基于機(jī)器視覺的金屬板材表面缺陷光學(xué)檢測技術(shù)

周神特，王宇宇，張 瀟, 左澤青，趙文宏

(浙江工業(yè)大學(xué) 機(jī)械工程學(xué)院，杭州 310014)

砂帶平面磨床加工的金屬板材目前已廣泛應(yīng)用于航空航天、汽車、模具等諸多高新技術(shù)行業(yè)，并且這些行業(yè)對金屬板材加工后表面質(zhì)量的要求日益提高[1-4]。目前，金屬板材的表面檢測主要依賴人工抽檢和目測的方式，檢測結(jié)果誤差較大，檢測效率低。而培養(yǎng)專業(yè)的人工檢測人員耗費(fèi)時間長，勞動成本高，并且現(xiàn)有檢測金屬板材表面缺陷的技術(shù)較為落后，尚未達(dá)到自動化、智能化的要求。

基于機(jī)器視覺的金屬板材表面缺陷光學(xué)檢測是一種非接觸式的檢測方式，利用非接觸式的檢測方式能夠快速、有效地提取金屬板材的表面信息，實(shí)現(xiàn)金屬板材的表面缺陷檢測[5-6]。韓寧等[7]分析了激勵線圈與特定被測金屬材料耦合作用時的傳感特性，基于巨磁阻(GMR)芯片設(shè)計了用于檢測微細(xì)裂紋的電渦流探頭，并開發(fā)了一種相應(yīng)的測試系統(tǒng)；秦雷等[8]采用超聲紅外鎖相熱像檢測法實(shí)現(xiàn)了對金屬板材構(gòu)件接觸界面類缺陷的檢測；羅朝莉[9]采用完全非接觸式激光超聲可視化方法對金屬板材的人工缺陷進(jìn)行檢測；胡亮等[10]基于線性CCD(Charge Coupled Device)攝像機(jī)設(shè)計了一套智能無損檢測系統(tǒng)來實(shí)現(xiàn)對鋼板表面缺陷的在線檢測。

針對企業(yè)實(shí)際需求和工作環(huán)境，以及金屬板材尤其是砂光機(jī)加工的金屬板材的特性，搭建了一套基于機(jī)器視覺的金屬板材表面缺陷檢測系統(tǒng)，并對缺陷圖像進(jìn)行深入的分析與分類研究，提高了金屬板材缺陷的檢測速度與識別精度。

1 光學(xué)檢測系統(tǒng)的組成

基于機(jī)器視覺的金屬板材表面缺陷光學(xué)檢測系統(tǒng)主要分為圖像采集系統(tǒng)、機(jī)械設(shè)備、圖像處理系統(tǒng)3部分，如圖1所示。圖像采集系統(tǒng)主要負(fù)責(zé)圖像采集、實(shí)時圖像的傳輸;機(jī)械設(shè)備部分主要負(fù)責(zé)金屬板材的傳送;圖像采集系統(tǒng)中需要對相機(jī)工作位置以及光源位置進(jìn)行調(diào)整，以拍攝出能反映板材各個部分缺陷的圖片。圖像處理系統(tǒng)和圖像采集系統(tǒng)之間通過千兆網(wǎng)線進(jìn)行通信，處理系統(tǒng)中的計算機(jī)接收來自圖像采集系統(tǒng)采集到的圖像，并利用算法完成對圖像的實(shí)時處理及分類。

圖1 金屬板材表面缺陷檢測系統(tǒng)示意

考慮到對大尺寸金屬板材表面缺陷檢測精度的需求，以及金屬板材的傳送速度，缺陷面積、相機(jī)與測量工件的距離等影響因素[11]，最終選擇的工業(yè)相機(jī)為海康威視公司的CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)黑白面陣工業(yè)相機(jī)，型號為MV-CA050-10GM。

設(shè)計的圖像采集裝置主要由水平方向上的導(dǎo)軌和滑塊、垂直方向上的導(dǎo)軌和滑臺、工業(yè)相機(jī)和LED(發(fā)光二極管)光源組成。上位機(jī)控制電機(jī)帶動水平導(dǎo)軌上的滑塊和垂直方向上的滑臺移動，使相機(jī)到達(dá)不同的采集位置并調(diào)整相機(jī)與板材表面的距離。在實(shí)際運(yùn)行過程中，由于金屬板材的面積較大，只進(jìn)行一次拍攝不能清晰地得到板材表面的圖像。相機(jī)需要在上位機(jī)的控制下在板材上方反復(fù)移動并采集圖像。鋼板上被相機(jī)采集的區(qū)域?yàn)椤癝”或“Z”形。

2 缺陷檢測算法的設(shè)計與研究

2.1 圖像預(yù)處理

金屬板材的常見缺陷有結(jié)疤、擦傷、劃痕、孔洞、麻點(diǎn)等，這些缺陷尺度變化大，與背景差異小。在這種條件下，均值、高斯濾波會導(dǎo)致圖像模糊，而中值濾波較為耗時，且易造成圖像灰度分布的不連續(xù)[12]。筆者利用圖像的幾何性質(zhì)，采用偏微分方程對圖像進(jìn)行去噪[13-14]，該方法可以按照某種規(guī)律擴(kuò)散圖像內(nèi)部的等照度線來達(dá)到去噪的效果，同時也可控制相應(yīng)的擴(kuò)散速度和方向。針對中值濾波存在的不足，基于偏微分方程導(dǎo)出相應(yīng)的擴(kuò)散原理如式(1),(2)所示。

(1)

u(x,y,0)=u0(x,y)

(2)

式中：u(x,y,t)為輸出圖像；u0為輸入圖像；u為圖像的梯度；div為散度。

利用濾波和圖像等照度線擴(kuò)散結(jié)合來達(dá)到亮度均衡的目的，同時也消除了其余不穩(wěn)定因素對圖像質(zhì)量的影響。以劃痕為例，圖2是缺陷圖像預(yù)處理后的效果對比。

圖2 預(yù)處理結(jié)果

2.2 缺陷目標(biāo)檢測

為了滿足金屬板材缺陷檢測的實(shí)時性要求，需要快速地獲取較多邊緣，且檢測到的邊緣應(yīng)在實(shí)際邊緣的中心。為滿足上述要求，選用該邊緣算法[15]，該算法具有抗噪性能好，定位精度高，檢測速度快，虛假邊緣少，邊緣寬度僅為一個像素等優(yōu)點(diǎn)。

首先，輸入的圖像通過高斯濾波器來達(dá)到平滑圖像、濾除噪聲的目的，但高斯濾波器會影響檢測器的性能，式(3)為高斯濾波器核方程。

(3)

式中：Hij為二維高斯卷積核;s為高斯分布標(biāo)準(zhǔn)差;k為核矩陣的維數(shù);i，j各代表一個維度。

圖像中的邊緣指向各個方向，故Canny算法利用4個算子來檢測圖像中的水平、垂直和對焦邊緣。像素點(diǎn)的梯度強(qiáng)度和方向如式(4),(5)所示。

(4)

θ=arctan(Gy/Gx)

(5)

式中：G為梯度的強(qiáng)度;θ為梯度方向。

再將梯度圖像進(jìn)行非極大值抑制，剩余的像素可以更加準(zhǔn)確地表示圖像中的實(shí)際邊緣，最后再為圖像設(shè)置滯后雙閾值，完成對邊緣的分割。

Canny算法的檢測效果較好，但是仍然存在不足，選用的高斯濾波器雖然在一定程度上減少了噪聲的影響，但同時也破壞了圖像的部分細(xì)節(jié)，且圖像的滯后雙閾值由人為設(shè)置，不具有魯棒性。針對這些不足，提出了通過最大類間方差算法[16-17](OTSU)自適應(yīng)確定圖像雙閾值的改進(jìn)方法，該改進(jìn)對圖像的灰度分布特征進(jìn)行操作，不受亮度和對比度的影響，效果較好。最優(yōu)滯后閾值如式(6)所示。

PA2(ωA2-ω0)+PA3(ωA3-ω0)]

(6)

改進(jìn)后的Canny算法處理結(jié)果如圖3所示。

圖3 改進(jìn)后的Canny算法處理結(jié)果

2.3 缺陷特征提取與識別

圖像特征提取算法是獲取缺陷區(qū)域特征參數(shù)的有效手段，常見的特征提取算法有尺度不變特征變換[18-19]、加速穩(wěn)健特征[20]、灰度直方圖、圖像矩等。考慮到工廠環(huán)境復(fù)雜，工作環(huán)境中灰塵等雜質(zhì)以及其他光源會對圖像質(zhì)量造成影響，最后采用SIFT(尺寸不變特征變換)算法提取金屬板材的表面缺陷。針對圖像局部特征，SIFT算法對亮度變化不敏感的問題，解決了工作環(huán)境中其他光源的影響，對于旋轉(zhuǎn)、尺度縮放等操作也具有保持不變形的能力，對于其余雜質(zhì)、噪聲也能保持一定的穩(wěn)定性。綜上所述，SIFT算法滿足檢測所處的實(shí)際工作場景，金屬板材表面缺陷的自身狀態(tài)，同時SIFT算法可滿足實(shí)時檢測的要求，即使少數(shù)的數(shù)據(jù)集也可以產(chǎn)生大量的SIFT的特征向量[21]。

該算法實(shí)現(xiàn)了在不同分辨率下對邊緣、角點(diǎn)檢測的特征提取。高斯核是實(shí)現(xiàn)尺度變化的唯一線性核。一個圖像的尺度空間可以定義為

(7)

L(x,y,σ)=G(x,y,σ)·I(x,y)

(8)

式中:(x,y)為像素位置;L為高斯函數(shù);I為原圖像;σ為空間尺度坐標(biāo);m，n為高斯的維度。

生成尺度空間后，構(gòu)建高斯差分(DoG)金字塔[22]，如式(9)所示。

DoLi=D(x,y,σ)=

[G(x,y,kσ)-G(x,y,σ)]·I(x,y)

(9)

式中：k為相鄰尺度空間的比例因子;D為高斯差分函數(shù)。

DoG的目的是構(gòu)建不同尺寸下的特征點(diǎn)，圖4為高斯差分金字塔模型。

圖4 高斯差分金字塔模型

建立尺度空間后，先將離散空間的極值點(diǎn)擬合為連續(xù)空間的極值點(diǎn)，再通過擬合的函數(shù)來求得精確的極值點(diǎn)。擬合函數(shù)的方程式為

(10)

式中：X=(x,y,σ)T，可以求得對應(yīng)的極值點(diǎn)和偏移量，圖5為擬合結(jié)果。

圖5 擬合結(jié)果

針對前文所計算的極值點(diǎn)及其相鄰尺度空間像素梯度進(jìn)行計算，梯度的幅值及其方向如式(11)所示。

m(x,y)={[L(x+1,y)-L(x-1,y)]2+

[L(x,y+1)-L(x,y-1)]2}1/2

(11)

(12)

式中：L為極值點(diǎn)的尺度空間值，建議窗口半徑為3×1.5σ，尺度采用3σ原則。

為了滿足缺陷特征的旋轉(zhuǎn)不變性，需對圖像局部特征的每個關(guān)鍵點(diǎn)指定一個方向參數(shù)，圖6為部分方向直方圖。

圖6 部分方向直方圖

其中，主方向?yàn)橹狈綀D的峰值，超過峰值80%的為輔方向。

以上步驟中，每個特征點(diǎn)有位置、尺度、方向3個信息，需將這些信息生成描述子，且這些描述子應(yīng)具有獨(dú)特性，用來描述特征信息，最后進(jìn)行歸一化，以消除光照的影響。

(13)

式中：h為描述子向量;l為歸一化后的特征向量。

以孔洞缺陷為例，圖7中圓圈為金屬板材表面缺陷的特征點(diǎn)。

圖7 SIFT提取特征點(diǎn)

缺陷圖像在經(jīng)過SIFT算法提取特征步驟后，依據(jù)缺陷的不同特征參數(shù)對其進(jìn)行準(zhǔn)確的識別判定并歸類。筆者設(shè)計了一種基于BP(誤差反傳)神經(jīng)網(wǎng)絡(luò)[23]與SVM(支持向量機(jī))結(jié)合的分類器。對比BP神經(jīng)網(wǎng)絡(luò)與SVM的分類準(zhǔn)確度，對每一類缺陷特征進(jìn)行識別分類，并設(shè)置相關(guān)閾值，將大于閾值的圖片送入服務(wù)器的數(shù)據(jù)庫進(jìn)一步處理[24]。

3 試驗(yàn)結(jié)果與分析

3.1 參數(shù)討論

經(jīng)過對圖像的特征參數(shù)進(jìn)行分析，通過灰度直方圖、圖像矩(描述灰度圖像特征的一個物理量)對大量的缺陷樣本圖像進(jìn)行特征參數(shù)提取，包括灰度均值ω、面積S、縱橫比λ、圓形度e、空洞數(shù)H、能量E，并組成標(biāo)準(zhǔn)缺陷數(shù)據(jù)庫，為缺陷分類器后續(xù)的訓(xùn)練學(xué)習(xí)提供充足的樣本。從標(biāo)準(zhǔn)缺陷數(shù)據(jù)庫中抽取9組劃痕、孔洞、麻點(diǎn)等幾個典型缺陷圖像的特征參數(shù)(見表1)。

表1 缺陷樣本特征參數(shù)

3.2 結(jié)果分析

為了驗(yàn)證缺陷檢測算法的可靠性，采用4類金屬板材的缺陷：結(jié)疤、輥印、劃痕、孔洞。每個缺陷樣本數(shù)為300張，總計1 200張金屬板材缺陷樣本。

檢測結(jié)果分為檢測率、漏檢率、誤檢率,定義如式(14)所示。

x=a/N,y=b/N,z=c/N

(14)

式中：x為檢測率；y為漏檢率；z為誤檢率；a為檢測出的缺陷樣本個數(shù)；b為漏檢樣本個數(shù)；c為誤檢樣本個數(shù)。

改進(jìn)的Canny算法檢測率為92.68%，單幅圖像的檢測時間僅為49.8 ms。相對于經(jīng)典的Canny算法，改進(jìn)后的算法對圖像邊緣的分割更加完整，并且避免了人工設(shè)定雙閾值所帶來的不確定性，算法的執(zhí)行效率也得到了提高。不同算法統(tǒng)計結(jié)果如表2所示，可見改進(jìn)后的算法各個方面都有較大的提升，取得的效果良好。

表2 不同算法統(tǒng)計結(jié)果

利用BP神經(jīng)網(wǎng)絡(luò)和SVM結(jié)合的分類器對不同類型的缺陷進(jìn)行測試，實(shí)際測試效果如表3所示。可以看出，基于SIFT算法提取特征，利用BP神經(jīng)網(wǎng)絡(luò)和SVM融合的分類器具有較高的識別率，平均識別率為90.22%。

表3 缺陷分類統(tǒng)計結(jié)果

4 結(jié)語

以檢測金屬板材表面缺陷為目標(biāo)，針對平面砂光機(jī)的加工特性，設(shè)計研發(fā)了一套基于機(jī)器視覺的金屬板材表面缺陷光學(xué)檢測系統(tǒng)，通過控制圖像采集平臺的移動定位，實(shí)現(xiàn)對金屬板材不同位置、不同幅寬的拍攝，通過圖像處理系統(tǒng)能夠?qū)崿F(xiàn)對缺陷的檢測識別及分類。該缺陷光學(xué)檢測系統(tǒng)創(chuàng)新點(diǎn)如下：保證中值濾波去噪有效性的同時，采用偏微分方程圖像去噪，使圖像按等照度線進(jìn)行擴(kuò)散，有效降低了噪聲，加快了圖像處理的速度；通過最大類間方差算法(OTSU)自適應(yīng)確定圖像雙閾值，改進(jìn)Canny算法的高斯濾波器對圖像的灰度分布特征進(jìn)行操作，改進(jìn)后的算法不受亮度和對比度的影響，效果較好；利用SIFT算法提取缺陷特征，具有較好的魯棒性；提出了一種BP神經(jīng)網(wǎng)絡(luò)和SVM結(jié)合的分類器的檢測方案，缺陷檢測率為92.68%，單幅圖像檢測時間僅為49.8 ms。