基于機器視覺的疵點檢測方法的研究進展

王孟濤 李岳陽 杜帥

摘 要：機器視覺在織物疵點檢測方面具有廣泛的應(yīng)用，對紡織品質(zhì)量控制具有重要的現(xiàn)實意義。本文通過對近幾年相關(guān)文獻的分析，簡要綜述關(guān)于疵點檢測各種方法，并按照對織物圖像處理的方法不同可分為：結(jié)構(gòu)方法、統(tǒng)計學(xué)方法、頻譜分析方法、基于模型的方法和基于學(xué)習(xí)的方法。著重闡述了各類方法的優(yōu)缺點，并總結(jié)該領(lǐng)域的發(fā)展趨勢。

關(guān)鍵詞：圖像處理;紡織品;疵點檢測;機器視覺

中圖分類號：TS186.3

文獻標(biāo)志碼：A

文章編號：1009-265X（2019）05-0057-05

Abstract：Machine vision is widely applied in the detection of fabric defects， and carries important practical significance for the quality control of textiles. Through the analysis of relevant literatures in recent years， the various methods of defect detection are summarized， and they can be divided into structural method， statistical method， spectrum analysis method， model-based method and learning-based method in accordance with the different methods of fabric image processing. This paper highlights the advantages and disadvantages of various methods and summarizes the development trends of this field.

Key words：image processing; textiles; defect detection; machine vision

織物疵點檢測是紡織品質(zhì)量控制中必不可少的環(huán)節(jié)，隨著工業(yè)技術(shù)的發(fā)展，基于機器視覺的織物疵點檢測逐漸成為紡織企業(yè)發(fā)展的必然趨勢。傳統(tǒng)的織物疵點檢測方法都是由檢驗人員來完成，有數(shù)據(jù)表明：一個較為熟練的檢驗人員的驗布速度不超過20 m/min，驗布的幅寬在1 m之內(nèi)，檢驗效率約70%[1-2]。并且，織物疵點可出現(xiàn)在生產(chǎn)過程中的任何階段，疵點的形狀和種類千變?nèi)f化，給疵點識別帶來了諸多的困難。因此，以快速和可靠機器視覺來代替低效的人工視覺，實現(xiàn)織物疵點自動化檢測，具有重要的經(jīng)濟效益和現(xiàn)實意義。

1 織物疵點檢測方法

一般根據(jù)對圖像處理的原理不同，織物庛點檢測可以分為如下幾類[3-4]：結(jié)構(gòu)方法、統(tǒng)計學(xué)方法、頻譜分析方法、基于模型的方法以及基于學(xué)習(xí)的方法。本文主要對近幾年檢測算法的最新研究進展進行了分類探究和分析，比較了各種算法的優(yōu)劣勢，著重分析基于支持向量機和深度學(xué)習(xí)方法的特性。

1.1 基于結(jié)構(gòu)方法的織物疵點檢測

結(jié)構(gòu)方法將紋理視為紋理基元的組合，紋理分析通過獲取紋理特征并推斷其替換規(guī)則來執(zhí)行。根據(jù)這種方法，織物圖案的紋理可以通過簡單紋理結(jié)構(gòu)的組合來實現(xiàn)。結(jié)構(gòu)紋理分析包含兩個順序階段：基本織物紋理的檢測;整體織物紋理圖案的建模。Abouelela等[5]進行了結(jié)構(gòu)疵點的檢測，但是結(jié)構(gòu)方法的可靠性很低，結(jié)構(gòu)化方法只能將織物疵點從非常規(guī)整的紋理中分離出來。

1.2 基于統(tǒng)計方法的織物疵點檢測

統(tǒng)計方法使用一階統(tǒng)計量和二階統(tǒng)計量來提取織物紋理的特征，該特征來描述織物紋理之間相異性及織物紋理整體結(jié)構(gòu)的一致性。基于統(tǒng)計方法的疵點檢測主要有[6]：灰度共生矩陣（Gray-leve Cooccurr-ence Matrix）、數(shù)學(xué)形態(tài)學(xué)（Mathematical Morphology）、直方圖統(tǒng)計法（Histogram Statistical Appr-oach）等方法。

1.2.1 灰度共生矩陣

灰度共生矩陣（GLCM）統(tǒng)計方法是20世紀(jì)70年代初由Haralick首次提出，它是在假定圖像中各像素間的空間分布關(guān)系包含了圖像紋理信息的前提下，提出的具有廣泛性的紋理分析方法。由于灰度圖像是由接近的灰度值像素塊構(gòu)成，因此采用灰度共生矩陣的熵、慣性矩、同質(zhì)性、角二階距等14個統(tǒng)計特性的特征值，能很好的表征二維織物紋理特性。Zhu等[7]首先利用自相關(guān)函數(shù)來確定色織物的圖案周期，得到檢測窗口的大小，其次用GLCM計算可以表征原圖像的特征值，然后計算無疵點圖像與模板圖像之間的GLCM的歐氏距離，最后給出合適的閾值以實現(xiàn)織物疵點檢測。Latif等[8]首次提出將小波變換和灰度共生矩陣相結(jié)合的疵點檢測算法，算法流程是：首先采用小波變換將原織物圖像分成一定大小的子圖塊，然后選取灰度共生矩陣的（熵、慣性矩、同質(zhì)性、角二階距）4個統(tǒng)計特性對每一子圖像提取特征值，組成特征向量，最后采用測試樣本中的36幅圖像進行檢測，實驗結(jié)果：正確率達到90.78%。但是共生矩陣存在兩個主要劣勢：高分辨率圖像的性能較差;計算成本高。

1.2.2 數(shù)學(xué)形態(tài)學(xué)

數(shù)學(xué)形態(tài)學(xué)是基于對象幾何的初步信息的特征提取方法，其基本操作是膨脹，侵蝕，開放和關(guān)閉[9]。目前，形態(tài)學(xué)圖像處理已逐步演化成為圖像處理的一個核心研究領(lǐng)域。Mak等[10]利用最佳形態(tài)學(xué)濾波器對于一些特定種類疵點進行檢測，并且應(yīng)用到一個實時的檢測系統(tǒng)中，檢測率可達97.4%。

1.2.3 直方圖統(tǒng)計法

直方圖包含圖像灰度像素分布的基本統(tǒng)計數(shù)據(jù)。常見的直方圖統(tǒng)計特性有平均值、標(biāo)準(zhǔn)差、方差和中值等。劉洲峰等[11]首先將織物原圖像按照要求分割成一定大小的子圖像，然后對每一子圖像利用局部二進制模式（LBP）和灰度直方圖等方法提取子圖像的特征，任意選取一個子圖像塊的特征，與其他n個子圖像塊特征作對比，經(jīng)對比之后生成視覺顯著圖，最后選取合適的閾值對生成的顯著圖進行閾值分割，達到檢測出疵點結(jié)果。但是由于灰度直方圖的計算過程過于簡單和LBP生成的特征向量的維數(shù)過高，計算量大等因素，導(dǎo)致這種方法使用較少，可靠性低。

1.3 基于頻譜方法的織物疵點檢測

基于頻譜的織物疵點檢測是利用織物中基本紋理基元高度的周期性類似于頻譜特性的規(guī)律，將圖像從空間域（或時域）變換到頻域，來檢測織物疵點。有傅里葉變換法[12]、小波變換[13-14]、Gabor濾波器[15]等。

1.3.1 傅里葉變換

傅里葉變換是一種圖像紋理分析技術(shù)，能夠進行從時域到頻域的詳細分析。在圖像處理中，這種技術(shù)和紋理圖像的特征是頻率分量，織物圖像的大小在旋轉(zhuǎn)期間不會改變。

Dorian等[16]提出一種基于傅里葉分析、模糊聚類和模板匹配的疵點檢測算法框架，主要對于機織物的平紋，斜紋和緞紋140種織物圖像進行實驗。結(jié)果表明：實驗精度可達到97%。由于傅里葉變換受織物結(jié)構(gòu)變化的影響較大，因此該方法的實時性和通用性都較差。

1.3.2 小波變換

小波變換是一種信號分析技術(shù)，它作為傅里葉變換的一種替代方案而被開發(fā)，具有多分辨率分析的特點，而且小波變換最主要的優(yōu)點就是局部的分析。由于織物疵點產(chǎn)生的位置一般不會遍及整個織物表面，因此，小波變換在織物疵點應(yīng)用也越來越多。

李敏等[17]將小波變換和神經(jīng)網(wǎng)絡(luò)相結(jié)合對織物疵點進行檢測和識別：首先采用小波變換對原圖像進行預(yù)處理，分解成一定大小的子塊，然后利用Radon小波對每一小塊進行小波變換生成特征曲線圖，最后用神經(jīng)網(wǎng)絡(luò)對特征曲線圖進行分析以達到識別出疵點區(qū)域的目的。張國英等[18]首先使用小波變換將原始織物圖像分解成m×n大小的子圖，分別從（0°，45°，90°，135°）方向的子圖像上提取織物紋理的特征值，然后將不同方向的特征值組成特征向量，用于后續(xù)的檢測。結(jié)果表明：織物疵點檢測的正確率達到84%。但是楊曉波[19]提取小波分解后各通道的方差值作為分類的特征值，通過采用不同的優(yōu)化方案進行實驗，實驗流程：首先使用標(biāo)準(zhǔn)小波基對前5種方案進行測試，然后再使用自適應(yīng)小波對余下實驗進行測試。結(jié)果表明：分類精確率達95.8%。

1.3.3 Gabor濾波器

Gabor變換是D.Gabor 1946年提出的，可以根據(jù)紋理結(jié)構(gòu)定制不同比例和方向的濾波器。在圖像處理中，Gabor濾波器的頻率和方向決定了濾波器的大小和處理圖像的位置，適合對織物紋理結(jié)構(gòu)的描述和分析。

尉苗苗等[20]研究提出通過優(yōu)化Gabor濾波器中的參數(shù)來達到識別經(jīng)編織物疵點的目的。該方法的優(yōu)點在于將Gabor濾波器和QPSO優(yōu)化算法相結(jié)合，最終使得檢測率達到96.67%，且具有良好的魯棒性。Jing等[21]設(shè)計了一種采用多個Gabor濾波器和核主成分分析方法以檢測織物疵點。此算法首先選取4個方向和6個尺度的Gabor濾波器組對織物圖像進行濾波處理并計算特征向量，通過使用核主成分分析方法降低高維特征向量，相似矩陣由歐式方程計算，并用OTSU進行圖像分割，實驗結(jié)果表明：該方法獲得較高的檢測率。

1.4 基于模型方法的織物疵點檢測

常見基于模型的織物疵點檢測方法包括自回歸模型（AutoRegressive，AR）、高斯馬爾可夫模型（Gauss Markoff，GM）以及其他模型。朱俊嶺等[22]在高斯馬爾科夫模型的基礎(chǔ)上作了改進，首先在水平和垂直方向?qū)ψ哟翱诘幕叶戎捣謩e進行方差投影，然后通過GM模型對灰度值的方差投影進行譜估計，通過譜估計后正常和待檢測織物都會有各自的相關(guān)系數(shù)，通過比較相關(guān)系數(shù)的不同，以實現(xiàn)檢測出疵點的目的。但是，基于模型的方法計算量大，檢測的織物疵點種類少，實時性和通用性不理想，因此近幾年沒有關(guān)于此方法的最新研究。

1.5 基于學(xué)習(xí)的織物疵點檢測

模式識別問題的一般模式：圖像預(yù)處理、提取特征、分析特征和分類器設(shè)計。隨著近幾年計算機技術(shù)的進展，各個紡織企業(yè)都向著智能制造方向轉(zhuǎn)變，因而基于機器學(xué)習(xí)的方式也是越來越受歡迎。基于學(xué)習(xí)的織物疵點檢測方法有人工神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)和支持向量機等。

1.5.1 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)具有很強的非線性擬合能力，可映射任意復(fù)雜的非線性關(guān)系，而且學(xué)習(xí)規(guī)則簡單，便于計算機實現(xiàn)。而且它的魯棒性、記憶能力、非線性映射能力都很強。

Wong等[23]提出了一種新的疵點檢測技術(shù)，將小波變換和BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，首先采用小波變換對原始圖像進行平滑處理，再采用均值濾波對織物紋理背景進行衰減，然后利用閾值處理獲得二值圖像，并用小波變換提取二值圖像的9個特征向量，送入到BP神經(jīng)網(wǎng)絡(luò)進行分類。結(jié)果表明：此方法能夠有效識別出常見的5種疵點。槐向兵等[24]采用特征融合的方法來提取常見5類織物疵點的特征值，然后形成特征向量，進而輸入到BP神經(jīng)網(wǎng)絡(luò)進行識別。實驗結(jié)果：檢測準(zhǔn)確率達98.3%。

1.5.2 深度學(xué)習(xí)

隨著近幾年深度學(xué)習(xí)的興起，在織物疵點檢測方面的應(yīng)用也越來越多。Li等[25]提出一種基于Fisher準(zhǔn)則的疊加去噪自動編碼器的算法（FCSDA），首先將原始圖像分成相同大小的塊，利用有疵點和無疵點的樣本訓(xùn)練FCSDA，然后對測試集的樣本利用已訓(xùn)練的FCSDA進行疵點分類，最后通過重建圖像和疵點圖像的殘差來確定疵點位置的閾值。結(jié)果表明：在具有周期性圖案的提花經(jīng)編織物上，該方法的檢測效果較好。然而景軍鋒等[26]對深度學(xué)習(xí)又進一步改進，提出基于Fisher準(zhǔn)則的棧式去噪自編碼器算法，首先也是把原始圖像分解成一定大小的塊，采用稀疏自編碼器提取小塊的特征，然后利用該特征訓(xùn)練卷積自編碼器的參數(shù)，提取原圖像的低維特征，最后將該特征輸入到棧式去噪自編碼器網(wǎng)絡(luò)進行疵點分類，結(jié)果表明：該算法能有效地提取織物圖像的分類特征，又有Fisher準(zhǔn)則的加入，疵點檢測準(zhǔn)確率又有所提高。

1.5.3 支持向量機

支持向量機是一種常見的分類器，通常在兩分類或者多分類的情況下使用較多。支持向量機SVM在小樣本檢測分類中優(yōu)勢較為明顯。Basu等[27]將基于子圖像的PCA方法應(yīng)用于從訓(xùn)練和測試結(jié)構(gòu)圖像中提取特征，并使用多類SVM分類器來執(zhí)行分類任務(wù)。該方法在織物疵點標(biāo)準(zhǔn)TILDA數(shù)據(jù)庫上進行測試，成功率達到96.36%。Ding等[28]將原圖像分解成圖像塊，然后將不同的Gabor濾波器組應(yīng)用到每個圖像塊中，通過將每個圖像塊的不同方向和尺度的所有Gabor特征連接起來生成特征向量，采用PCA來減少Gabor特征向量的維數(shù)，最后利用SVM將每個圖像塊分為無疵點和有疵點的類。

[12] SAKHARE K， KULKARNI A， KUMBHAKARN M， et al. Spectral and spatial domain approach for fabric defect detection and classification[C]// Internat-ional Conference on Industrial Instrumentation and Control，2015：640-644.

[13] JASPER W， JOINES J， BRENZOVICH J. Fabric defect detection using a genetic algorithm tuned wavelet filter[J].The Journal of the Textile Institute，2005，96（1）：43-54.

[14] XIA D， JIANG G， LIY， et al. Warp-knitted fabric defect segmentation based on non-subsampled Contourlet transform[J]. The Journal of The Textile Institute， 2017，108（2）：239-245.

[15] JING J. Automatic defect detection of patterned fabric via combining the optimal gabor filter and golden image subtraction[J].Journal of Fiber Bioengineering & Informatics， 2015，8（2）：229-239.

[16] DORIANS， DORIT M. Blind weave detection for woven fabrics[J].Pattern Analysis and Applica-tions，2015，18（3）：725-737.

[17] 李敏，崔樹芹，陳佳.應(yīng)用視覺顯著性的小提花織物疵點檢測[J].紡織學(xué)報，2016（12）：38-42.

[18] 張國英，陳淑蘭，趙君.不同光照下織物瑕疵檢測方法研究[J].計算機科學(xué)與應(yīng)用，2014（9）：181-186.

[19] 楊曉波.基于自適應(yīng)離散小波變換的混合特征畸變織物疵點識別[J].紡織學(xué)報，2013（1）：133-137.

[20] 尉苗苗，李岳陽，蔣高明，等.應(yīng)用最優(yōu)Gabor濾波器的經(jīng)編織物疵點檢測[J].紡織學(xué)報，2016，37（11）：48-54.

[21] JING J， FAN X， LI P. Automated fabric defect detection based on multiple gabor filters and KPCA[J]. International Journal of Multimedia & Ubiquitous Engineering，2016，11（6）：93-106.

[22] 朱俊嶺，汪軍，張孝南，等.基于AR模型的機織物線狀疵點研究[J].紡織學(xué)報，2012（8）：50-54.

[23] WONG W K， YUEN C W M， FAN D D， et al.Stitching defect detection and classification using wavelet transform and BP neural network[J]. Expert Systems with Appli-cations.2009，36（2）：3845-3856.

[24] 槐向兵，厲征鑫，劉建立，等.基于輪廓波變換的織物疵點分割[J].計算機工程與設(shè)計，2014（6）：2153-2158.

[25] LIY D，ZHAOW G，PANJ H.Deformable patterned fabric defect detection with fisher criterion-based deep learning[J]. IEEE，2017，14（2）：1256-1264.

[26] 景軍鋒，黨永強，蘇澤斌，等.基于改進SAE網(wǎng)絡(luò)的織物疵點檢測算法[J].電子測量與儀器學(xué)報，2017（8）：1321-1329.

[27] BASU A， CHANDRA J K， BANERJEE P K， et al. Sub image based eigen fabrics method using multi-class SVM classifier for the detection and classification of defects in woven fabric[C]//Third International Conference on Computing Communication & NETWORKING Technologies， 2012：1-6.

[28] DINGS M，LIC L，LIUZ F.Fabric defect detection scheme based on gabor filter and PCA[J].Advanced Materials Research， 2012，482-484：159-163.