基于機(jī)器視覺方法的焊縫缺陷檢測及分類算法

李超，孫俊

江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院，江蘇無錫214122

基于機(jī)器視覺方法的焊縫缺陷檢測及分類算法

李超，孫俊

江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院，江蘇無錫214122

CNKI網(wǎng)絡(luò)出版：2017-02-28,http://kns.cnki.net/kcms/detail/11.2127.TP.20170228.1839.018.html

1 引言

焊接是金屬制罐行業(yè)中的重要環(huán)節(jié)之一，如何有效地檢測焊縫質(zhì)量對于提高企業(yè)的生產(chǎn)效率有著至關(guān)重要的意義。目前，常用的自動化焊縫檢測手段有X射線探傷技術(shù)等，但這些技術(shù)對于薄壁金屬罐的檢測效果都不甚理想[1]。

對于薄壁金屬罐，最為常用的傳統(tǒng)方法是人工目測法。這種方式存在依賴檢測人員水平、檢測人員易疲勞等問題，從而造成較多的漏檢或誤檢[2]。

為了避免人工檢測的這些缺陷，在生產(chǎn)線上安裝了一套自動化采樣設(shè)備，以很高的頻率拍攝焊縫圖像，代替人工目測，并期望設(shè)計(jì)一套算法分析這些樣本以實(shí)現(xiàn)焊縫檢測的自動化。

對于采集的焊縫圖像序列，可以看作是幀與幀之間有較長時間間隔的視頻拍攝序列，因此本文將在視頻檢測中常用的運(yùn)動目標(biāo)檢測算法運(yùn)用到焊縫圖像的檢測中來。目前，主要的運(yùn)動目標(biāo)檢測算法有以下三種：光流法、相鄰幀差法和背景差分法。

其中光流法[3-4]由于計(jì)算的復(fù)雜度非常高，難以滿足視覺監(jiān)視系統(tǒng)實(shí)時處理的要求；相鄰幀差法[5-6]對光線變化敏感，而且難以獲得目標(biāo)所在區(qū)域的精確描述，容易產(chǎn)生空洞現(xiàn)象。

背景差分法[7-8]是目前運(yùn)動目標(biāo)的檢測與分割中最常用的一種方法，它能夠提供較為完全的特征數(shù)據(jù)，符合焊縫檢測的實(shí)際應(yīng)用要求。其原理是將當(dāng)前輸入圖像的每個像素與背景圖像逐一比較，提取運(yùn)動目標(biāo)。背景差分法的關(guān)鍵在于合適的背景模型的選取，包括背景的構(gòu)建和更新兩個部分。

近年來，許多專家學(xué)者對背景圖像的構(gòu)建進(jìn)行了大量的研究。Friedman和Russell[9]提出了一種基于高斯加權(quán)分布的方法，該算法將每一個像素的灰度值都看作是3個高斯分布的加權(quán)，分別對應(yīng)背景、前景和陰影。但對于復(fù)雜的背景，用一個高斯模型來表示往往是不夠的。因而在此基礎(chǔ)上，C.Stauffer[10]等人提出了一種包含K個高斯部分的混合高斯模型來表示背景像素的分布規(guī)律的方法。受到這種模型的啟發(fā)，本文在傳統(tǒng)的背景差分法上改進(jìn)，嘗試提取出缺陷焊縫的含缺陷區(qū)域。

當(dāng)?shù)玫胶缚p缺陷區(qū)域之后，本文依據(jù)缺陷區(qū)域的面積、亮度、波形等特征[11]，設(shè)計(jì)了焊縫缺陷分類算法，來區(qū)分焊縫缺陷的類型，實(shí)時地提示焊縫缺陷類型能夠方便工人對生產(chǎn)裝置進(jìn)行及時的調(diào)整，避免出現(xiàn)更多次品。

在下面的章節(jié)中，本文會介紹算法的具體步驟。但首先，必須先了解焊縫缺陷類型的表現(xiàn)形式。

2 焊縫缺陷類型

在金屬制罐行業(yè)中，主要采用高頻電阻焊接技術(shù)對薄壁金屬罐進(jìn)行焊接。正常的金屬制罐焊縫圖片如圖1所示。

圖1 正常焊縫圖像

圖1中，黑色區(qū)域?yàn)榻饘僦乒薜暮附硬糠郑Q為焊縫區(qū)域；上下兩部分白色區(qū)域?yàn)楹缚p周圍的留空區(qū)域。關(guān)于薄壁金屬罐的缺陷類型，本文在參考有關(guān)文獻(xiàn)的基礎(chǔ)上[12]，與實(shí)際生產(chǎn)情況結(jié)合，對焊縫缺陷進(jìn)行了較為完全統(tǒng)計(jì)和歸類，主要分為以下幾種。

熔焊：通常由于電極周圍部件溫度過高導(dǎo)致的。這種類型的缺陷區(qū)域通常比其他類型缺陷面積更大，往往會占據(jù)焊縫區(qū)域的絕大部分，如圖2（a）所示。

焊穿：通常由于焊接電流突然增大從而擊穿金屬表面形成。圖2（b）中的低灰度區(qū)域即為缺陷部分。

虛焊：通常由于焊接時溫度較低，從而使焊縫未能達(dá)到塑熔狀態(tài)。在視覺上通常表現(xiàn)為較正常焊縫的亮度更高，如圖2（c）所示。

此外，在焊接期間，防銹膠水與塵土的混合物有時會因振動滴落到焊縫區(qū)域上，圖像上表現(xiàn)為較小塊的黑色區(qū)域，如圖2（d）所示，本文將其稱為偽缺陷。這類現(xiàn)象很可能會導(dǎo)致對焊縫缺陷的誤判。

還有極少一部分焊縫缺陷，由于其表面沒有明顯的視覺特征，本文暫不進(jìn)行討論。

圖2 缺陷焊縫圖像舉例

3 改進(jìn)的背景差分法

3.1 算法依據(jù)

根據(jù)背景差分法的原理，使用背景差分法時需保證使用環(huán)境滿足以下兩點(diǎn)：（1）能保證焊縫缺陷的前景部分與背景模型有較明顯的差別；（2）對于不同的樣本其背景環(huán)境差別需盡可能小。

圖3是同一批次焊縫中連續(xù)拍攝的一部分的采樣樣本，其中，圖（e）、（f）為含缺陷焊縫圖像，其他為正常焊縫圖像。可以看出，同批次正常焊縫的成像形狀、傾斜角度等特征基本一致，但缺陷焊縫的邊界則有明顯的波動，也可能出現(xiàn)多塊焊縫區(qū)域。

圖3 焊縫圖像序列

根據(jù)這些特點(diǎn)，同時基于C.Stauffer等人的理論[10]，本文將焊縫缺陷實(shí)時檢測類比為運(yùn)動目標(biāo)實(shí)時檢測，依據(jù)拍攝的焊縫圖像序列構(gòu)建背景模型。由于焊縫區(qū)域和留空區(qū)域兩部分的差別十分明顯，本文將背景初始化為包含兩個高斯模型的混合高斯模型。而缺陷焊縫圖像中的缺陷特征部分則類比為快速運(yùn)動的目標(biāo)，即為前景。很明顯的，這種類比方法使條件一得到了滿足。

對于條件二，在實(shí)際生產(chǎn)中，焊縫圖像特征不統(tǒng)一主要是因?yàn)樵谂胃鼡Q時產(chǎn)品之間可能存在差異，如金屬罐直徑有微小差異導(dǎo)致焊縫區(qū)域?qū)挾雀淖兊龋蟛糠智闆r下成像特征基本一致。因此當(dāng)產(chǎn)品成像特征差別較大時，進(jìn)行背景模型重構(gòu)。而在一般情況下，背景模型保持不變。這不僅滿足了條件二，也保證了算法的效率。

3.2 背景模型的構(gòu)建

在背景模型構(gòu)建的過程中，為了盡可能避免初始值選擇對模型造成的影響，本文采用線性插值法更新高斯模型中的中心和距離，同時提高了模型構(gòu)建的效率。算法的具體過程如下：

（1）定義并初始化混合高斯模型參數(shù)

背景模型中的每個點(diǎn)都由兩個高斯模型組成的混合高斯模型來表示。定義G1()θ1和G2(θ2)為混合高斯模型中的兩個高斯模型，分別為和，對應(yīng)圖像的焊縫區(qū)域和留空區(qū)域。其中，參數(shù)μ1和μ2為聚類中心，參數(shù)σ1和σ2為聚類距離，參數(shù)φ1和φ2為權(quán)值。

一般混合高斯模型的初始化是根據(jù)經(jīng)驗(yàn)給予模型一個初始值，這種方法穩(wěn)定性較差。本文根據(jù)焊縫圖像的特點(diǎn)提出了一種如下的模型初始化方法，經(jīng)檢驗(yàn)?zāi)軌虮ＷC模型的穩(wěn)定性。具體步驟如下：

①在一組連續(xù)采樣圖像序列中隨機(jī)選取一幀圖像。

②采用Otsu算法[13]來將所選圖像的焊縫區(qū)域和留空區(qū)域分割開來，分別用來初始化混合高斯模型中的兩個高斯模型：假設(shè)Otsu算法獲取的閾值為T,I1由所有灰度值小于等于T的像素組成，對應(yīng)焊縫區(qū)域，I2由所有灰度值大于T的像素組成，對應(yīng)留空區(qū)域。

③分別計(jì)算I1和I2像素灰度均值μ10和μ20。

④分別計(jì)算I1和I2像素灰度值標(biāo)準(zhǔn)差σ10和σ20。

⑤令φ10=1，φ20=1，得到兩個高斯模型的初始化參數(shù)為θ10=(μ10,σ10,φ10)和θ20=(μ20,σ20,φ20)。

（2）訓(xùn)練背景模型，更新均值、標(biāo)準(zhǔn)差和權(quán)值

將采樣序列中的圖像依次作為訓(xùn)練樣本對模型進(jìn)行訓(xùn)練。定義訓(xùn)練樣本中坐標(biāo)為(x,y)的像素點(diǎn)灰度值為f(x,y)，將f(x,y)分別帶入兩個高斯模型中：

根據(jù)N1,N2判斷該點(diǎn)屬于哪個聚類中心。若f(x,y)屬于Gi(μi,σi,φi),i=1,2，則根據(jù)下面的公式更新θi：

對于每幅圖中的每個點(diǎn)都重復(fù)以上步驟，對背景模型中每個點(diǎn)的混合高斯模型參數(shù)進(jìn)行更新，直到參數(shù)的變化率時，認(rèn)為模型趨于穩(wěn)定。

（3）根據(jù)權(quán)值選擇背景模型中該像素點(diǎn)的灰度值

比較每個像素點(diǎn)的混合高斯模型中兩個高斯模型的權(quán)值，取權(quán)值較高的高斯模型的均值（即聚類中心）作為背景模型中該點(diǎn)的灰度值。

通過以上3個步驟，就構(gòu)建了采樣圖像序列對應(yīng)的背景模型。圖4為圖3所在圖像序列使用該算法經(jīng)過40輪迭代后構(gòu)建出的背景模型。可以看出，與圖3中的樣本相比，背景模型的邊緣更為平滑。

圖4 圖3的樣本序列構(gòu)建的背景模型

3.3 焊縫缺陷特征的提取

提取焊縫的缺陷特征是算法中關(guān)鍵的一步，直接關(guān)系到焊縫缺陷檢測與后續(xù)分類的準(zhǔn)確性。算法的具體步驟如下：

（1）采樣圖像與背景圖像差分，得到前景部分的二值圖像

假設(shè)一組連續(xù)采樣圖像中，第k幀圖像為Dk，其背景模型為Bk，提取前景部分的閾值為T，則前景部分二值圖像Fk的算法如下：

如圖5所示，圖5（a）為圖2中的熔焊舉例，圖5（b）為該焊縫圖像對應(yīng)的背景模型，這里可以看出，不同采樣序列對應(yīng)的焊縫背景模型還是有差別的。圖5（c）為差分后得到的前景部分二值圖像。

圖5 缺陷焊縫前景圖像提取

閾值T往往是一個經(jīng)驗(yàn)值，但本文考慮到焊縫背景模型的不確定性，將每個點(diǎn)的閾值與其對應(yīng)的背景高斯模型結(jié)合起來，即采用高斯模型中的標(biāo)準(zhǔn)差σi的倍數(shù)作為閾值T，使其能夠隨不同的背景模型而變化。經(jīng)過大量的實(shí)驗(yàn)，本文取3倍的標(biāo)準(zhǔn)差作為閾值，即T=3×σi。

（2）對二值圖像去噪，得到焊縫缺陷區(qū)域

從圖5（c）可以看出，前景二值圖像上存在許多噪聲。這些噪聲大部分是由于拍攝的焊縫部分的紋理在不斷變化，或是其位置因?yàn)樯a(chǎn)線的振動發(fā)生細(xì)微的改變而產(chǎn)生的。為了避免誤檢，本文使用9×9的結(jié)構(gòu)元素進(jìn)行開運(yùn)算來消除較小的噪聲區(qū)域。圖5（c）經(jīng)過開運(yùn)算后如圖6（a）所示。

經(jīng)過開運(yùn)算后，大部分的噪聲區(qū)域已經(jīng)被消除，但還有少量的較大面積的噪聲區(qū)域存在。觀察大量樣本后發(fā)現(xiàn)，面積小于400的區(qū)域絕大部分是因光照或受熱略微不均勻產(chǎn)生的，也應(yīng)視為噪聲區(qū)域。圖6（a）刪除小面積連通區(qū)域后的圖像如圖6（b）所示。

圖6 缺陷焊縫前景圖像提取

（3）得到焊縫缺陷特征圖像

為了能夠準(zhǔn)確區(qū)分焊縫缺陷的類型，需要將焊縫缺陷部分的具體圖像提取出來，保留缺陷特征的原貌。因此，本文將二值圖像Fk與原圖像Dk進(jìn)行點(diǎn)乘，得到的圖像即為焊縫缺陷特征圖像Ik：

如圖7所示，得到的焊縫缺陷特征圖像Ik除焊縫缺陷區(qū)域外，其余圖像區(qū)域的像素值均為0，不會對后續(xù)的缺陷類型識別產(chǎn)生影響。

圖7 焊縫缺陷特征圖像

3.4 背景模型的更新

由于焊縫的成像特點(diǎn)隨時會發(fā)生改變，背景模型應(yīng)當(dāng)能夠自動更新來確保檢測的穩(wěn)定性和準(zhǔn)確性。對于基于背景模型的重構(gòu)算法，大多數(shù)是通過模型參數(shù)的自適應(yīng)調(diào)整來實(shí)現(xiàn)背景更新的[14]。但這種算法只適用于背景緩慢變化的情況，不適用于焊縫成像特征變化很大的情況。另一種應(yīng)用相對普遍的是定時更新的背景更新算法，即每隔一段固定的時間就提取之后的一段圖像來進(jìn)行背景重構(gòu)[15]。由于生產(chǎn)過程中焊縫成像特征變化時刻的不確定性，這種算法也不適用。

本文采用的是Haritaoglu等人[16]提出的一種背景模型更新策略：如果當(dāng)前拍攝的連續(xù)20幀圖像（一般同一個罐子上的焊縫會被拍攝4～6張圖片）與背景模型進(jìn)行差分后，得到的差圖像中有差異的像素比例都大于某一閾值（這里取60%），則可以認(rèn)為是背景模型發(fā)生了很大變化，即可按照3.2節(jié)的算法重構(gòu)背景模型。這種更新算法不但能夠適應(yīng)背景模型的突然變化，而且能夠大大減少背景模型的更新頻率，符合實(shí)際生產(chǎn)中高實(shí)時性的需求。

4 焊縫缺陷分類算法

4.1 缺陷面積檢測法

提取焊縫缺陷特征后，含有偽缺陷的焊縫圖片往往被提取出的特征區(qū)域很小，圖2（d）提取焊縫缺陷特征區(qū)域后如圖8所示。對比一般的焊縫缺陷特征，比如圖7，偽缺陷的缺陷區(qū)域面積要小得多。

圖8 偽缺陷的缺陷特征圖像

此外，由于生產(chǎn)環(huán)境的不穩(wěn)定，金屬罐很可能發(fā)生振動、位移、焊縫寬度略微改變等現(xiàn)象，這可能會導(dǎo)致正常的焊縫圖像在進(jìn)行焊縫缺陷特征提取后也會得到較小的缺陷區(qū)域，形成誤檢，本文稱此類誤檢為背景差誤檢。圖9為同一批次焊縫前后寬度不一致導(dǎo)致背景差誤檢的一個示例。

圖9 背景差誤檢示例

圖10為偽缺陷、背景差誤檢以及普通缺陷的缺陷部分的總面積對比舉例，從圖10可以看出，偽缺陷和背景差誤檢相對于一般的焊縫缺陷面積要小得多，因此有以下判斷方式：

其中，S即為焊縫特征缺陷區(qū)域的像素個數(shù)，也就是面積。由圖10可知，取T1=1×104為S的閾值可以滿足檢測要求。

圖10 缺陷面積對比

4.2 缺陷亮度檢測法

圖2中的三類焊縫缺陷經(jīng)過特征提取后的圖片如圖11所示。

圖11 三類焊縫缺陷特征圖像

從圖中可以看出，虛焊的缺陷部分以高灰度值的白色區(qū)域?yàn)橹鳎复┖腿酆竷煞N缺陷則以低灰度值區(qū)域?yàn)橹鳌Ｓ纱耍疚耐ㄟ^焊縫缺陷部分的像素均值來反應(yīng)缺陷區(qū)域的整體亮度差別，以此來區(qū)分虛焊和其他類型的焊縫缺陷，像素均值L的計(jì)算方式具體如下：

其中，S為缺陷部分像素點(diǎn)的個數(shù)，X()i(1≤i≤S)為缺陷部分每個像素點(diǎn)的灰度值，即為缺陷部分的所有像素點(diǎn)的像素之和。

得到L后，通過式（9）來判斷焊縫缺陷是否為虛焊：

為了確定閾值T2，本文統(tǒng)計(jì)了15組虛焊樣本和15組熔焊或焊穿缺陷樣本的像素均值，結(jié)果如圖12。

圖12 像素均值分布圖

可以看出除了極個別的樣本，絕大部分虛焊樣本的像素均值均在200以上，而熔焊和焊穿缺陷則在200以下。例外的樣本是背景差誤檢和虛焊兩種缺陷混合導(dǎo)致的，但這種情況發(fā)生的概率極小，不會影響絕大部分的檢測結(jié)果，會在以后考慮改進(jìn)。在這里，本文將T2=200作為缺陷亮度判斷的閾值。

4.3 波形檢測法

觀察圖11（a）和圖11（b），可以看出對于焊穿和熔焊這兩種缺陷在缺陷區(qū)域?qū)挾取⑦吘壡€等特征上有著各自不同的特點(diǎn)，故本文采用了波形分析的方法，試圖找出能區(qū)分這兩種缺陷的波形特征。

所謂波形，就是對特征圖像的每一列進(jìn)行求和得到的一個行向量。波形檢測的過程主要有列向灰度值求和、曲線平滑、一階差分及其極差判斷。

（1）列向灰度值求和

假設(shè)一幅大小為m×n的焊縫缺陷特征圖像對應(yīng)的矩陣X如下：

對矩陣X的每一列進(jìn)行求和，得到n維行向量S，即為該圖對應(yīng)的波形序列：

圖13為熔焊（圖11（a））的波形圖舉例。

（2）曲線平滑

從圖13可以看出，許多點(diǎn)離散于波形整體趨勢之外，在后續(xù)進(jìn)行一階差分時，這些點(diǎn)有可能會導(dǎo)致對波形整體變化趨勢的誤判。因此，本文使用均值濾波對波形進(jìn)行平滑處理，去除波形中的噪點(diǎn)（滑動窗口大小span=40）：

圖13 熔焊（圖11（a））對應(yīng)的波形圖

兩種缺陷的波形經(jīng)過平滑處理后如圖14所示。不難看出，原先突出的離散點(diǎn)均被去除，波形變化的趨勢更易被提取出來了。

圖14 經(jīng)過曲線平滑后的波形圖

（3）一階差分及其極差判斷

對比圖14中兩種缺陷類型的波形，可以發(fā)現(xiàn)：熔焊的波形上升和下降都比較緩和，焊穿的波形上升和下降的幅度較大；相對應(yīng)的，焊穿形成的波峰和波谷要比熔焊更為突出。

在離散函數(shù)中，一階差分可以反應(yīng)波形上升下降幅度的差別，離散函數(shù)的一階差分定義如下：即為的一階差分。由于在上述的焊縫波形中，相鄰兩項(xiàng)之差大部分都較為接近，不足以作為區(qū)分焊縫是否有缺陷的標(biāo)準(zhǔn)。因此，本文根據(jù)焊縫波形的特點(diǎn)，提出了一種改進(jìn)的一階差分方法：

由此得到焊縫缺陷的一階差分序列：

其中，w為進(jìn)行差分的兩個元素之間的距離，w的取值太小不能很好體現(xiàn)出焊縫缺陷的特征，取值太大又可能會超過了大部分缺陷區(qū)域的長度，因此w的取值值得詳細(xì)的討論。

在得到序列D后，考慮到能更好地反映出波形的上升下降的幅度大小，本文取差分序列的極差R作為判斷標(biāo)準(zhǔn)來區(qū)分兩種焊縫缺陷類型：

T3的取值與w密切相關(guān)，本文會在下面通過一組實(shí)驗(yàn)對T3和w的取值進(jìn)行具體討論。

4.4 焊縫缺陷分類器

由以上的缺陷判斷方式可知，本文宜采用樹狀分類器，如圖15所示。

圖15 焊縫缺陷分類器流程圖

5 相關(guān)實(shí)驗(yàn)及討論

5.1 一階差分判斷閾值討論

如3.3節(jié)所述，w和T3的取值直接關(guān)系到熔焊與焊穿檢測的準(zhǔn)確性。以下對兩者的值及它們間關(guān)系進(jìn)行討論，試圖從中找到合適的w與T3的取值。

（1）極差R與w之間的關(guān)系

圖16是焊穿和熔焊兩種缺陷的R-w關(guān)系圖，分別對應(yīng)5個不同的焊穿缺陷和6個不同的熔焊缺陷。

從圖16可以看出，對于兩幅圖中的每個單獨(dú)的曲線來說，整體趨勢上，極差R是隨著w的增大而增大的。對比兩種缺陷R-w關(guān)系圖，可以發(fā)現(xiàn)焊穿缺陷的極差R隨w的增長速度較快，且除去部分特例外，大部分的焊穿缺陷的R值在w=60（圖中直線處）附近趨于穩(wěn)定。而熔焊缺陷的極差R隨w的增長速度相對較慢，且大部分在w∈()0,150之內(nèi)保持持續(xù)增長的趨勢。因此，一般來說在w=60處，兩種缺陷的極差R最容易被區(qū)分開來。

（2）w=60時極差R的分布及閾值T3的確定

圖16 經(jīng)過曲線平滑后的波形圖

w=60時兩種缺陷R值的分布圖如圖17所示。從圖中可以看出，兩種缺陷對應(yīng)的點(diǎn)大部分都可以被圖中的橫線分割開來，因此本文取w=60。圖中橫線對應(yīng)的R值53即為閾值T3的取值。

圖17 w=60時極差R分布圖

5.2 模擬檢測實(shí)驗(yàn)

模擬實(shí)驗(yàn)總共對150張事先拍攝好的焊縫圖片進(jìn)行模擬檢測，圖片均通過實(shí)際生產(chǎn)線環(huán)境進(jìn)行拍攝，并通過以上一系列算法進(jìn)行缺陷檢測和分類。這些樣本包含了3種缺陷樣本、偽缺陷樣本以及正常樣本。實(shí)驗(yàn)通過Matlab7.10（R2010a）軟件進(jìn)行。實(shí)驗(yàn)結(jié)果如表1。

模擬實(shí)驗(yàn)的結(jié)果表明，本文的檢測算法準(zhǔn)確率達(dá)到96%，誤檢率為4%，而在實(shí)際生產(chǎn)中，由于缺陷樣本的比例非常小，檢測準(zhǔn)確率會進(jìn)一步提高。因此，可以認(rèn)為該檢測算法的準(zhǔn)確率基本能夠滿足實(shí)際生產(chǎn)的需求，可以投入到實(shí)際生產(chǎn)應(yīng)用中。

5.3 實(shí)際生產(chǎn)線應(yīng)用檢測

進(jìn)行在線檢測之前，整個算法工程被部署到一臺監(jiān)控薄壁金屬罐生產(chǎn)線的工控機(jī)上。生產(chǎn)線運(yùn)行一周后，共生產(chǎn)19 140個產(chǎn)品，出現(xiàn)78個缺陷產(chǎn)品，次品率0.4%，含偽缺陷產(chǎn)品92個（缺陷和偽缺陷均經(jīng)過人工嚴(yán)格篩選）。檢測系統(tǒng)的檢測結(jié)果如表2。

表2 實(shí)際生產(chǎn)線檢測結(jié)果

從檢測結(jié)果可以看出，有少部分的正常焊縫和偽缺陷被誤檢為缺陷焊縫，通過觀察誤檢的樣本，發(fā)現(xiàn)這些樣本由于生產(chǎn)線的振動而成像模糊，或是偽缺陷的位置過于靠近焊縫核心區(qū)域，從而導(dǎo)致誤檢。還有少數(shù)的虛焊和熔焊樣本沒有被系統(tǒng)檢測出來，通過檢測次品發(fā)現(xiàn)，這些缺陷視覺上表現(xiàn)得不太明顯，在拍攝樣本中的特征區(qū)域較小，從而被誤認(rèn)為正常焊縫。出現(xiàn)誤檢和漏檢的原因都是后續(xù)要改進(jìn)的地方。總體而言，99.55%的檢測準(zhǔn)確率可以滿足實(shí)際生產(chǎn)的需要。

6 結(jié)語

根據(jù)薄壁金屬罐的焊接技術(shù)特點(diǎn)，本文提出了基于機(jī)器視覺的焊縫缺陷檢測方法。根據(jù)焊縫成像的特點(diǎn)，本文采用了改進(jìn)的背景差分法，基于混合高斯模型構(gòu)建背景圖像，實(shí)現(xiàn)了缺陷焊縫特征圖像的提取，并以缺陷區(qū)域的多個特征為依據(jù)，設(shè)計(jì)了分類算法，實(shí)現(xiàn)了焊縫缺陷類型的識別。從實(shí)驗(yàn)結(jié)果上看，算法能夠較為準(zhǔn)確地識別出焊縫缺陷及其類型，能滿足生產(chǎn)線的實(shí)時檢測需求，同時也能方便工人根據(jù)缺陷類型對生產(chǎn)裝置進(jìn)行及時調(diào)整。

在后續(xù)的研究中，主要工作會集中在對當(dāng)前算法的改進(jìn)上，盡可能地提高類型識別的準(zhǔn)確率，進(jìn)一步降低誤檢及漏檢的概率。此外，若后續(xù)收集到足夠數(shù)量的不同類型的缺陷樣本，也會考慮嘗試用神經(jīng)網(wǎng)絡(luò)或深度學(xué)習(xí)等方法對缺陷樣本進(jìn)行分類，以避免人工閾值的選取，使算法能夠自動適應(yīng)不同的生產(chǎn)環(huán)境，同時也有可能因此進(jìn)一步提高分類的準(zhǔn)確性。

[1] Lawson S W，Parker G A.Automatic detection of defects in industrial ultrasound images using a neural network[C]//Proceedings of SPIE，1996：37-47.

[2] 王慧玲.基于機(jī)器視覺的焊縫缺陷檢測技術(shù)的研究[D].哈爾濱：哈爾濱理工大學(xué)，2008.

[3] McCane B，Novins K，Crannitch D，et al.On benchmarking optical flow[J].Computer Vision and Image Understanding，2001，84（1）：126-143.

[4] Vidal R，Ravichandran A.Optical flow estimation&segmentation of multiple moving dynamic textures[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR’05），2005：516-521.

[5] Panahi S，Sheikhi S，Hadadan S，et al.Evaluation of backgroundsubtractionmethods[C]//DigitalImageComputing：Techniques and Applications（DICTA），2008：357-364.

[6] Wu D，Cheng W，Yu S.Camshift object tracking algorithm based on inter-frame difference and motion prediction[J].Opto-Electronic Engineering，2010，1.

[7] 葉鋒，范曼曼，鄭子華，等.一種改進(jìn)的基于平均背景模型的運(yùn)動目標(biāo)檢測算法[J].福建師范大學(xué)學(xué)報：自然科學(xué)版，2011，27（4）：44-49.

[8] McHugh J M，Konrad J，Saligrama V，et al.Foregroundadaptive background subtraction[J].IEEE Signal Processing Letters，2009，16（5）：390-393.

[9] Friedman N，Russell S.Image segmentation in video sequences：A probabilistic approach[C]//Proceedings of the Thirteenth Conference on Uncertainty in Artificial Intelligence.[S.l.]：MorganKaufmannPublishersInc，1997：175-181.

[10] Stauffer C，Grimson W E L.Adaptive background mixture models for real-time tracking[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition，1999.

[11] 邵家鑫，都東，石涵，等.基于厚壁工件X射線實(shí)時成像的焊縫缺陷自動檢測[J].清華大學(xué)學(xué)報：自然科學(xué)版，2013（2）：150-154.

[12] 黃來軍，陳擁軍，何華聰，等.高頻電阻焊焊縫缺陷分析與檢測儀的設(shè)計(jì)[J].包裝與食品機(jī)械，2002，20（5）：13-14.

[13] Zhang J，Hu J.Image segmentation based on 2D Otsu method with histogram analysis[C]//2008 International Conference on Computer Science and Software Engineering，2008：105-108.

[14] Magee D R.Tracking multiple vehicles using foreground，background and motion models[J].Image and Vision Computing，2004，22（2）：143-155.

[15] Barnich O，Van Droogenbroeck M.ViBe：A universal backgroundsubtractionalgorithmforvideosequences[J].IEEE Transactions on Image Processing，2011，20（6）：1709-1724.

[16] Haritaoglu I，Harwood D，Davis L S.W4：Real-time surveillance of people and their activities[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（8）：809-830.

LI Chao,SUN Jun.Effective method of weld defect detection and classification based on machine vision.Computer Engineering andApplications,2018,54（6）：264-270.

LI Chao,SUN Jun

School of Internet of Things Engineering,Jiangnan University,Wuxi,Jiangsu 214122,China

In order to effectively identify and classify weld defects of thin-walled metal canisters in industrial production,a weld defect detection and classification algorithm based on machine vision is proposed in this paper.By using the Gaussian mixture model,a modified background subtraction method is proposed to extract the feature areas of the weld defects.On this basis,it proposes an algorithm for weld detection and classification according to the extracted features,such as the defect areas,the defect brightness and the gray-value curves.Experimental results show that the proposed algorithms can identify and classify the thin-walled weld defects with more than 96%of accuracy rate and can meet the requirement of the real-time and continuous weld defect detection.

machine vision;weld defect detection;weld defect classification;Gaussian mixture model;background subtraction;curve detection method

對于在工業(yè)生產(chǎn)中如何有效地識別薄壁金屬罐焊縫的缺陷及其類型判別的問題，提出了一種基于機(jī)器視覺技術(shù)的自動化焊縫缺陷檢測及分類算法。利用混合高斯模型，提出了一種改進(jìn)的背景差分法，主要用來提取焊縫缺陷的特征區(qū)域。在此基礎(chǔ)上，以不同缺陷類型的缺陷面積、亮度及波形特征等差別作為依據(jù)，對焊縫缺陷進(jìn)行了分類。實(shí)驗(yàn)檢測結(jié)果表明，算法可以對主流的薄壁金屬制罐焊縫缺陷類型進(jìn)行準(zhǔn)確的識別和歸類，達(dá)到了96%以上的精確度。同時，算法的運(yùn)算時間也能夠滿足在實(shí)際生產(chǎn)中的高實(shí)時性需求。

機(jī)器視覺；焊縫缺陷檢測；焊縫缺陷類型識別；混合高斯模型；背景差分法；波形檢測法

2016-09-22

2016-12-01

1002-8331（2018）06-0264-07

A

TP391

10.3778/j.issn.1002-8331.1609-0322

國家自然科學(xué)基金（No.61672263）。

李超（1990—），男，碩士研究生，主要研究領(lǐng)域?yàn)闄C(jī)器學(xué)習(xí)、圖像處理等，E-mail：lcmeteor@163.com；孫俊（1971—），男，教授，博士生導(dǎo)師，主要研究領(lǐng)域?yàn)槿斯ぶ悄堋C(jī)器學(xué)習(xí)、計(jì)算智能、高性能計(jì)算等。