基于機器視覺的汽車零件涂裝缺陷檢測方法

周鼎賀，宋志峰，林富生，余聯慶，史正倩，程澤

（武漢紡織大學機械工程與自動化學院，湖北省數字化紡織裝備重點實驗室，三維紡織湖北省工程研究中心，湖北 武漢 430200）

隨著汽車行業不斷發展，汽車零件涂裝工藝及質量受到越來越多的關注。工藝水平以及現場生產環境的不確定性等因素會造成涂層表面產生不同程度的缺陷，尤其是在涂裝零件表面的孔洞邊緣處，經常會由于表面形狀發生變化或孔洞周圍存在油污，造成如圖1所示的破損、漏膜等情況，對零件的使用壽命造成影響。針對這一情況，人們對孔洞邊緣的缺陷檢測進行了一些探索。王愛芳等[1]基于自適應生長區算法對圖像進行分割，判斷孔洞邊緣是否存在缺陷，提取準確率為75.16%，但該算法速度較慢。王雪梅[2]利用神經網絡對孔洞周圍的涂裝缺陷進行分類檢測，對缺陷進行了合理分類，但提取準確率并未提高。駱亞微[3]通過圖像分割，改善了分水嶺算法和Canny算子不連續的情況，進一步提高了識別準確率，但花費時間較長，不利于工業上的快速檢測。

圖1 涂裝缺陷Figure 1 Coating defects

本文在現有工作基礎上提出了一種新的檢測方法，在保證檢測精度的前提下，進一步減少檢測所需時間，提高檢測效率。首先采取不同的光照方式與光源進行實驗，得到合適的圖像采集方案；然后通過對比不同的孔洞定位擬合方法對孔洞進行快速定位及擬合縮短檢測時間；再使用快速傅里葉變換，在頻域內構建高通濾波器進行濾波與卷積，利用傅里葉逆變換轉回空間域從而消除噪聲，保留缺陷特征；最后使用閾值分割與特征提取，提取出缺陷區域。

1 檢測平臺的搭建

基于機器視覺的涂裝缺陷檢測主要包括涂裝圖像的采集和處理兩部分。

1.1 涂裝圖像的采集

圖像采集系統一般由工業CCD相機、圖像采集卡、照射光源、輸入輸出設備等組成[4]，采用側向照明，其總體結構如圖2所示。

圖2 涂層缺陷檢測系統Figure 2 System for detecting defects of coatings

1.2 光源實驗

在工業圖像采集的過程中常用的光源類型有鎢絲燈、鹵素燈、熒光燈、鎂氖燈和LED光源燈[5]，其中LED光源具有較快的響應速度和較高的可靠性，因此以其作為試驗光源。

為了更好地捕捉黑色涂裝零件表面的缺陷，增強對比度，選取冷白色溫6 500 ~ 7 500 K的LED白色光源，并且通過使用光源控制器來尋找合適的光源亮度。通過不同的光源配合側向的打光方式可滿足盡量減少表面反光的要求。針對同一涂裝零件表面成像效果的分析見表1。

表1 不同形狀的LED光源的成像效果Table 1 Imaging effects of different types of LED light sources

為了進一步觀察不同光源對圖像采集時的影響，截取40組圓環周圍100像素 × 100像素的樣本計算光照有效性。其過程如下：

(1) 按式(1)計算該區域內3個顏色分量的平均值Igray(i,j)。

式中(i,j)為某點像素的坐標，R(i,j)、G(i,j)和B(i,j)分別為紅色分量、綠色分量和藍色分量。通過Halcon軟件內的get_gray_val算子獲得目標區域的灰度值，并通過decompose算子實現R、G、B三通道分離，從而得出目標區域內的各顏色分量數值。

(2) 按式(2)計算光照有效性η。

式中σ iσ j為像素點個數。如圖3所示，4種光源下的光照有效率均大于0.2。環形光源的光照有效率分布在0.55附近，不同區域的波動幅度較大，對于圖像特征的采集可能會出現缺漏。條形光源在主要照射區域的光照有效率較高，在0.6附近，但對于附近區域的采集性較差，只有0.25。平面光源的光照有效性較高，在0.65附近，且對圖像區域的采集比較平均。同軸光源雖然對各個區域的采集性較好，但有效率只有0.2，整體偏低。為了獲得更好的圖像采集效果，選取平面光源作為主光源進行圖像采集。

1.3 圓環的擬合及定位

為了檢測零件表面各圓孔周圍是否存在缺陷，首先要對零件表面的圓孔進行識別定位，在識別到圓孔之后，再對周圍區域進行缺陷檢測，進一步縮小檢測區域以縮短檢測時間。其次，經過邊緣提取和雙閾值輪廓尋找，可以初步尋找到零件表面圓孔的大致輪廓與離散的空間點；最后為了更好地尋找圓輪廓，利用迭代加權最小二乘法將空間上離散的點與殘缺的圓輪廓進行擬合。

1.3.1 亞像素邊緣提取

對圖像進行邊緣提取，從而得到物體表面各個位置的輪廓，為后續對圓環的定位以及圓環周圍缺陷的檢測奠定基礎。基于Sobel算子與Canny算子的邊緣提取能夠較為準確地提取出圖像待檢邊緣及骨架，其具體過程如下：

設其一階水平、豎直的2 × 2卷積模板為Tx、Ty為：

利用矩陣對圖像像素點進行卷積：x

Γ、yΓ為該像素點水平與豎直方向的梯度，其幅值Γ(x,y)與方向α分別為：

Sobel算子對計算出的水平梯度與豎直梯度進行加權疊加，計算出整體方向的梯度；而Canny算子在計算規定方向的梯度基礎之上，對其他的梯度方向進行非最大抑制，保證了單一邊緣響應的良好性，可以更好地提取圖像邊緣細節。

經過亞像素邊緣Sobel算子與Canny算子提取后，圖像邊緣如圖4所示，可見Canny算子對此涂裝零件的邊緣提取有較好的適應性，因此最終選擇了Canny算子進行邊緣提取。

圖4 Canny算子(a)和Sobel算子(b)邊緣提取Figure 4 Edges extracted by Canny arithmetic (a) and Sobel arithmetic (b)

1.3.2 迭代擬合

由于圓環輪廓附近無關影響點較多，在進行擬合時影響較大，對每個像素點引入權重函數?()δ，弱化遠距離點對圓環輪廓擬合的影響。而權重函數?()δ的計算需要在得到擬合圖形的方程上進行，因此需要利用多次迭代擬合后進行距離的計算來定義權重函數，這些權重用于后續的迭代過程。

首先利用最小二乘方程m(f)對二維平面的離散點集Δ(x,y)進行n階擬合。其結果如圖5所示，由圖可知擬合的階數越大，處于擬合曲線上的離散點越多，但曲線越曲折，不利于后續圓的擬合，因此在保證一定數量的離散點處在擬合曲線之上后，應盡量降低擬合的階數，經實驗選取n= 3。

圖5 n階擬合曲線Figure 5 n-order fitting curves

1.3.3 加權擬合

利用Huber權重函數?1()δ和Tukey權重函數?2()δ對空間離散點集?(x,y)進行圓的擬合實驗，其結果如圖6所示。該擬合的有效性見圖7。

圖6 Huber函數(a)和Tukey函數(b)擬合試驗Figure 6 Fitting experiments of Huber function (a) and Tukey function (b)

圖7 Huber函數與Tukey函數擬合的有效性Figure 7 Fitting effectiveness of Huber function and Tukey function

由于擬合圓輪廓的大部分輪廓已經得到，因此采用Huber權重函數對該圓環提取模型的適應性較好，提取結果如圖8所示。

圖8 Huber函數擬合圓Figure 8 Circle fitted based on Huber function

1.3.4 分割感興趣區域(ROI，region of interest)

為了進一步減少無關區域對缺陷檢測的影響，以已定位擬合的圓環為內圓向外擴大，形成如圖9所示的同心圓環ROI區域，從而減少檢測區域，縮短檢測時間。

圖9 ROI區域分割Figure 9 Segmentation of ROI region

1.4 圖像預處理

由于實際生產環境的復雜性，即使設計應用了相應的光學系統來減少孔洞周圍的反光，但噪聲的出現仍不可避免[6]，在保留特征而不損失細節信息的前提下，在頻域內使用非線性濾波器對原始圖像進行光照平衡處理，進一步減小反光對缺陷檢測的影響。

1.4.1 使用非線性帶阻濾波器去噪

首先通過傅里葉變換將數字圖像信號轉入頻域：

其中f(x,y)為圖像矩陣，x、y為圖像的行列坐標，F(u,v)為f(x,y)的頻譜。

同一光照下，圖像信號s(x,y)由入射光k(x,y)和反射光l(x,y)兩部分組成[7]，通過傅里葉變換將圖像信號傳入頻域：

圖像經過傅里葉變換后，頻域特性也是由入射光k(x,y)和反射光l(x,y)決定，其中l(x,y)主要體現缺陷的具體位置[8]。

其次，在頻域內構建濾波器并進行卷積積分：

G(u,v)為經過傅里葉變換后頻域中的卷積函數，其中傳遞函數如式(11)所示。

其中E0為終止頻率，當u0=v0=0時E0=E。通過改變傳遞函數使高頻通過、低頻消除，在不損壞圖像缺陷邊緣的前提下去除影響噪聲：

其中lh擴大高頻部分所乘系數，ll為降低低頻部分所乘系數，λ為銳化系數。由于最終的濾波器要使得高頻通過、低頻阻隔，因此需要lh>1、ll<1才能達到減弱孔洞周圍亮度的目的。利用MATLAB對不同終止頻率下的非線性帶阻濾波器進行構建，如圖10所示。

圖10 不同終止頻率下的帶阻濾波器Figure 10 Band stop filters at different cut-off frequencies

最后將處理后的頻域信號反傅里葉變換轉回時域：

經過不同終止頻率濾波器處理后的涂裝零件表面如圖11所示。對比4種終止頻率濾波器對圖像處理的結果可以發現E0= 10時最大程度地保留了缺陷細節，并減少了光照影響，因此最終選取E0= 10。

圖11 不同終止頻率下的濾波處理孔洞表面圖像Figure 11 Images of hole surface filtered under different cut-off frequencies

1.5 圖像分割

1.5.1 閾值分割

對預處理之后的圖像進行閾值分割可以有效地將缺陷區域與背景分割開[9]。首先利用Halcon軟件自帶的Image助手觀察圖12所示的灰度分度直方圖，發現存在分離明顯的波峰圖，因此采用binary_threshold算子，由Halcon計算出合適的閾值進行閾值分割；然后對閾值分割后的圖像進行如圖13所示的形態學處理；最后進行邊緣提取，擬合相鄰XLD曲線，便于后續特征提取。

圖12 灰度直方圖Figure 12 Gray histogram

圖13 閾值分割與形態學處理Figure 13 Threshold segmentation and morphological processing

1.5.2 缺陷提取

由于缺陷出現的區域以及缺陷的長、寬、灰度等特征均具有隨機性，因此選取面積作為缺陷特征提取的要素，使用select算子對area參數為50 ~ 9 999內的缺陷特征進行提取，提取結果如圖14所示。

圖14 不同零件的缺陷提取Figure 14 Defect extraction of different parts

2 結果與討論

2.1 檢測精度分析

為了進一步對該算法的檢測精度、穩定性與可靠性進行驗證，利用相機對零件進行隨機抽樣采集，按照上述方法對采集到的圖片進行實驗驗證。實驗樣本為100組，從1到100進行編號。為了檢驗算法的正確性，1?10號全部為不合格產品，11?20號全部為合格產品，21?100號中包括合格產品與不合格產品各40件。1?10號以及11?20號樣品的檢測結果均正確，21?100號試驗樣品的檢測結果與檢測用時見表2。

表2 隨機樣本的檢測結果Table 2 Detection result of random samples

2.2 可靠性與穩定性分析

在實際生產環境中，燈光等因素可能會對檢測過程產生影響。為了檢測該算法的穩定性與可靠性，在略微不同的環境下對1?10號試驗樣品和11?20號實驗樣品進行50次重復性實驗。從表3和表4可見，該算法對不同環境的適應性較好，不合格產品的檢測成功率平均達到99.4%，合格產品的檢測成功率平均達到99.6%。檢測用時如圖15所示，單幅圖像的缺陷檢測平均用時為320 ms，單個零件檢測平均用時為3.6 s，檢測效率與傳統人工檢測相比提高了40%，滿足工業生產需求。

圖15 檢測用時統計Figure 15 Statistics of testing time

表3 不合格產品的檢測穩定性Table 3 Stability of test results for unqualified product

表4 合格產品的檢測穩定性Table 4 Stability of test results for qualified products

3 結論

傳統人工檢測汽車涂裝零件缺陷存在效率和檢測精度較低、人工成本較高等問題。為了檢測汽車零件表面孔洞邊緣的涂裝缺陷，改進了基于機器視覺的涂裝缺陷檢測方法，并對實際生產中的涂裝零件缺陷進行了檢測與分析。

使用平面光源、CCD(電荷耦合器件)相機、數據采集卡和上位機搭建起圖像采集系統，實現了涂裝零件圖片的采集。采用Blob(連通域)分析、閾值分割等方法，實現了對涂裝缺陷的檢測。另外，搭建了一種非線性濾波器來減小光照對圖像處理的影響。利用Huber迭代加權的圓擬合方式實現了基于Canny算子的空間圓環的擬合定位，擬合有效性達到80%。

經驗證，設計的算法具有較高的檢測準確率，單幅圖像的缺陷檢測用時較短，滿足工業生產的需求。