應用局部紋理特征的無監(jiān)督織物瑕疵檢測算法

周 建， 王靜安， 高衛(wèi)東

(1. 江南大學 紡織服裝學院, 江蘇 無錫 214122; 2. 生態(tài)紡織教育部重點實驗室(江南大學), 江蘇 無錫 214122)

應用局部紋理特征的無監(jiān)督織物瑕疵檢測算法

周 建1,2， 王靜安1， 高衛(wèi)東1,2

(1. 江南大學 紡織服裝學院, 江蘇 無錫 214122; 2. 生態(tài)紡織教育部重點實驗室(江南大學), 江蘇 無錫 214122)

針對當前算法對種類繁多瑕疵，尤其是經緯向瑕疵適應差問題，提出一種應用局部紋理特征的無監(jiān)督織物瑕疵檢測算法。這種算法采用無監(jiān)督檢測方案，檢測過程中不需要參考樣本。在檢測過程中，首先根據瑕疵稀少性特點，直接從整體織物圖像中獲取表征局部織物紋理的局部二值模式直方圖特征；然后利用機織物經緯交織特點對局部織物圖像沿經緯向投影，并在此基礎上提取特征；最后計算所提取特征的瑕疵異常圖，并對其進行權重方式融合后實施閾值分割，實現瑕疵檢測。實驗結果表明，所提出的投影特征能有效表征局部織物紋理，與局部二值模式特征結合使用能有效檢測織物瑕疵。

織物瑕疵； 紋理表征； 經緯向投影； 異常檢測

與產業(yè)用紡織品不同，服用紡織品表面瑕疵對最終成品的質量及價格有著直接的影響。據統(tǒng)計，織物表面瑕疵可導致價格下降45%到65%[1]。由于受人體生理特征的限制，傳統(tǒng)的人工驗布方式存在勞動強度高、檢測效率低及結果一致性差等缺點，難以滿足現代智能化、自動化的生產需求。為此，近年來應用計算機視覺替代人工視覺進行織物瑕疵自動檢測已成為趨勢。

由于織物瑕疵形狀、尺寸和異常程度不可預測，織物瑕疵檢測屬于單分類問題或異常檢測問題[2]。進行織物瑕疵異常檢測的核心在于學習能描述正常織物紋理分類的模型，并以此對非正常紋理(瑕疵)進行拒絕。根據是否需要學習樣本，現有織物檢測算法可分為有監(jiān)督和無監(jiān)督2種類型。有監(jiān)督類型是指檢測算法進行瑕疵檢測前需要正常樣本或瑕疵樣本進行訓練學習，以獲得最佳的檢測效果。例如，常用的有監(jiān)督檢測方法有Gabro濾波法[3-5]和小波分析法[6]，這類方法需要通過大量的樣本進行訓練，限制了其應用范圍。

相反，無監(jiān)督類型檢測算法不需要任何參考樣本用于參數學習，其設計難度也較有監(jiān)督類型算法高。現有的有監(jiān)督類型檢測方法主要基于信號處理[7-8]和特征提取[9]。基于信號處理法是將織物圖像進行有帶通的濾波后完成瑕疵分割，然而該方法受頻帶選取影響較大；在基于特征提取法中，文獻[9]提取了局部二進制模式(local binary pattern，LBP)和灰度直方圖用于描述織物紋理的局部特征，并結合整體顯著性對突出瑕疵區(qū)域實現無監(jiān)督分割。雖然該方法在瑕疵檢測時取得了較好的效果，但由于所提取的直方圖特征僅對灰度分布變化較敏感，對于灰度分布變微弱的瑕疵檢測結果并不理想，尤其是紋理和灰度變化異常微弱的經緯向瑕疵。

本文針對上述方法的不足，提出了一種應用局部紋理特征的無監(jiān)督織物瑕疵檢測算法。所提出的算法綜合考慮了機織物經緯交織及其瑕疵稀少性[10]特點，采用經緯向投影特征對灰度變化微弱的瑕疵進行描述，并結合LBP直方圖特征實現瑕疵準確分割。

1 織物瑕疵特征分析與局部紋理表征

1.1 織物瑕疵特征分析

機織物是由經紗系統(tǒng)和與之正交的緯紗系統(tǒng)通過特定交織規(guī)律織造而成，所形成的機織物紋理具有高度紋理特征。正常織物即無瑕疵織物，其表面紋理排列會呈現出很高的規(guī)則度(周期性)與一致性。當有瑕疵出現時，規(guī)則的織物紋理都會受到或多或少的破壞，比如紋理的周期、結構取向或明暗分布等。通常根據瑕疵對正常紋理的破壞形式，可將瑕疵異常特征分為結構型、灰度型和經緯向型3類，其典型外觀如圖1所示。圖像尺寸為512像素×512像素。從圖中可看出：結構型瑕疵通常僅改變紋理結構，對灰度值幾乎沒有影響；灰度型瑕疵通常會明顯地改變紋理局部灰度值，且對紋理結構也有相應的影響，故該類瑕疵檢測難度較低；而經緯向型瑕疵通常對正常紋理的結構和灰度影響微弱且面積較小，在實際生產中也較常見且檢測難度較高。

另一方面，相比于正常紋理區(qū)域，瑕疵區(qū)域面積所占比例較小，屬小概率事件，具有明顯的局部性和稀少性特點。為此，本文針對經緯向瑕疵的取向特點，對其進行經緯向投影以實現其微弱特征的增強，同時結合瑕疵稀少性特點，直接從整體織物樣本上獲取能表征局部織物紋理特征以實現無監(jiān)督檢測。

1.2 基于LBP的局部織物紋理表征

局部二值模式是一種描述圖像紋理結構的非參數算子，由于其出色的局部紋理區(qū)分能力，自提出以來已經得到了廣泛的應用。該方法的核心思想是以圖像子窗口的中心像素點灰度值為參考值，與其鄰域像素點進行比較，然后將比較所得的0,1邏輯值按一定順序編碼成二進制碼，進而以該二進制碼實現圖像局部紋理特征的描述。實際應用中會將二進制碼轉換成相應的十進制數，計算公式[11]為

(1)

式中：FP-R為中心像素點的LBP特征值；P為鄰域中像素點個數；R為圓形鄰域半徑；G為圖像子窗口中心像素點灰度值；gi為圖像子窗口內第i個像素點灰度值。

如式(1)所示，隨著鄰域P的增大，LBP特征值范圍呈指數增加。在實際應用中，通常采用其簡化后等價模式(或稱均勻LBP)，其LBP特征值種類僅有P(P-1)+2，遠遠小于原來的2P種。

(2)

式中，U為LBP所得的二進制碼序列首尾相連時，從0到1或是從1到0的轉變次數。

1.3 基于經緯向投影的局部紋理表征

考慮到機織物的特殊織造工藝，其所形成的織物紋理信息主要集中在經紗和緯紗2個方向，其所產生的多數瑕疵類型也呈現出較強的經緯取向性。此外，經緯向瑕疵通常所帶來的異常范圍僅涉及單根的經紗或緯紗，對紋理結構和灰度破壞皆較小，檢測難度較大。為此，本文將局部織物圖像沿水平(緯向)和垂直(經向)方向進行投影，以所得的投影向量對織物紋理進行表征。設K(i，j)為w×h的圖像塊，記其在水平和垂直方向投影所得一維向量分別為Ph和Pv：

(3)

顯然，式中水平投影向量Ph著重反映緯向紋理特征，垂直投影向量Pv著重反映經向紋理特征。根據機織物組織結構特點，正常紋理所得的投影向量仍具有規(guī)則穩(wěn)定的性質，而瑕疵紋理尤其是經緯向瑕疵的投影向量則呈現出不規(guī)律或有突變情況，換言之，投影操作能很好地增強經緯向瑕疵，在此基礎上進行瑕疵區(qū)分也將變得更容易。

2 算法實施流程

所提算法采用無監(jiān)督方案，首先在子窗口內計算能代表整體織物紋理的LBP直方圖特征，然后在此基礎上計算基于LBP和投影瑕疵異常圖，最后將異常圖融合進行瑕疵分割。具體步驟如下。

1)LBP直方圖特征計算。

設織物樣本為I(i，j)，尺寸為W像素×H像素。首先將I(i，j)無重疊地劃分為w像素×w像素的子窗口，記為pi。再根據式(2)計算每個子窗口pi在3像素×3像素分塊的LBP特征值，記為F8-1(i)，并統(tǒng)計F8-1(i)在子窗口中的LBP特征值頻率，并以此來表征紋理特征，其計算公式為

(4)

式中：rk為LBP特征值的k階灰度值；Nrk為F8-1(i)灰度階為rk的像素點個數。

根據瑕疵紋理的稀少性特點，直接取式(4)計算所得的LBP直方圖特征H(i，rk)的平均值作為表征圖像整體紋理特征的參考值，記為Havg。

2)基于LBP的瑕疵異常圖計算。

在獲取代表正常紋理特征的LBP直方圖特征后，將織物樣本I(i，j)有重疊地劃分為w像素×w像素的子窗口，子窗口之間重疊為區(qū)域(w-1)像素×w像素或w像素×(w-1)像素，記為{pt}。同理計算{pt}的LBP直方圖特征，并記為H(t)。顯然，若子窗口pt為正常紋理，則其直方圖特征H(t)與Havg之間相似度會很高，反之則低。本文通過子窗口直方圖特征與Havg之間的相似度來表征瑕疵異常情況，并采用χ2距離計算2個直方圖距離[12]，其公式為

SL(i,j)=χ2(H(t),Havg)

(5)

式中：SL(i，j)為基于LBP的瑕疵異常圖；(i，j)為子窗口{pt}中心像素點位置。

3)基于投影的瑕疵異常圖計算。

將步驟2)所得的子窗口{pt}，應用式(3)計算其每個子窗口在水平與垂直方向的投影向量，記為Ph(t)和Pv(t)。計算水平與垂直投影向量差分平方和，記為Dh(t)和Dv(t)，并以此作為瑕疵異常程度的度量標準，則有：

(6)

式中：Sp(i，j)為基于投影的瑕疵異常圖；(i，j)為子窗口{pt}中心像素點位置；“°”為融合運算符。實驗表明了取Dh(t)和Dv(t)二者之間的最大值能得到最佳檢測效果。

4)瑕疵異常圖融合。

如上所述，對局部織物圖像進行投影操作可增強經緯向型瑕疵，而LBP直方圖特征著重反映結構型瑕疵，即二者在瑕疵適應上存在互補性，因此，在實際檢測時由于二者對瑕疵的響應是不同的，若直接將二者所得的瑕疵異常圖通過簡單相加進行融合勢必會削弱部分瑕疵信息，導致最終分割效果不佳。基于此，本文借鑒Fisher準則，根據二者對瑕疵的響應程度，對各自所得的瑕疵異常圖進行有權重的融合，以保證瑕疵區(qū)域在融合后不被削弱，其權重和融合公式定義如下：

S(i,j)=wwtSL(i,j)+(1-wwt)SP(i,j)

(7)

式中：S(i，j)為融合后異常圖；wwt為瑕疵異常圖SL(i，j)的權重值；σ1和μ1分別為SL(i，j)的標準差和平均值；σ2和μ2分別為SP(i，j)的標準差和平均值。

由式(7)可知：σ越大表示瑕疵異常圖中灰度值波動越大，對瑕疵響應越強；而μ越小則說明背景比較干凈，對瑕疵響應越弱。故σ/μ越大，表明對瑕疵響應越強且背景和瑕疵分離程度也越好，融合時權重應越大。為驗證式(7)的有效性，圖2示出了對瑕疵不同響應下所得的瑕疵異常圖與權重值實例。圖像尺寸為512像素×512像素。從圖中可直觀看出，投影特征對圖2(a)中瑕疵的響應要明顯優(yōu)于LBP特征，即融合時應占較大權重。通過式(7)計算圖2(c)融合時權重為0.59，符合預期分析，表明式(7)能根據對瑕疵的響應程度確定融合權重權。

值得注意的是，在應用式(7)融合前，采用極小-極大值標準化方法將SL(i，j)和SP(i，j)歸一化到[0 1]區(qū)間，即有：歸一化后的數據=(原數據-最小值)/(最大值-最小值)。

5)瑕疵分割。

根據瑕疵異常圖計算公式可知，瑕疵區(qū)域在異常圖中會表現出較大的數值，適應采用簡單的閾值法進行瑕疵分割。考慮到瑕疵屬小概率事件且集中分布在直方圖右側，對整體背景區(qū)域灰度值分布基本無影響。本文研究直接取異常圖S(i，j)的均值的2倍作為自適應分割閾值T。

(8)

3 實驗與結果

為驗證上一節(jié)所述算法的有效性，本文研究選取了典型的結構型和經緯型瑕疵進行實驗，如百腳、雙緯及橫檔等。所選用的織物瑕疵樣本皆來源于生產一線，圖像尺寸皆為512像素×512像素，分辨率為210像素/2.54 cm，實際織物尺寸約為62 mm×62 mm。圖3示出了本文所選方法對4種典型織物瑕疵的檢測結果。

3.1 相關說明

本文算法采用無監(jiān)督方案，所涉及的主要參數僅有子窗口尺寸w。對于LBP特征而言，子窗口尺寸的選取依據以盡可能充分描述織物紋理特征優(yōu)先，即選取時不宜過小，前期實驗表明，w取織物紋理最小周期的2倍左右為最佳，過大會導致對瑕疵紋理不敏感；而對于投影特征而言，子窗口尺寸的選取以能充分反映經緯瑕疵為優(yōu)先，即選取時不宜過大，取織物紋理最小周期左右為最佳。另一方面考慮到實驗所用織物樣本行與列周期范圍皆在6～11個像素之間，且為提高算法運算效率，本文統(tǒng)一選用16像素×16像素的子窗口用于提取LBP特征，投影特征的提取則統(tǒng)一采用8像素×8像素的子窗口。

3.2 結果分析與討論

從圖3中可看出，對經緯向瑕疵，如粗經和雙緯，本文提出的投影特征所得的瑕疵異常圖要明顯優(yōu)于LBP特征。而對于結構型瑕疵，如百腳稀緯，2種特征都能有效地突出有異常的瑕疵區(qū)域。然而對結構變異復雜的結構型瑕疵，如吊經，2種特征在突出該類瑕疵時呈現出互補性，即投影特征側重反映有經緯向異常的區(qū)域，而LBP特征側重反映宏觀紋理變異區(qū)域。這也意味著所提出的投影特征能有效表征局部織物紋理且具有較強的瑕疵區(qū)分能力，尤其是經緯向瑕疵，同時與LBP特征結合使用能更為完整地突出復合型結構變異瑕疵，提高了算法的魯棒性。此外，從圖中所得的瑕疵異常融合結果可直觀看出，本文所提出的權重計算準則能夠有效地保留原有瑕疵區(qū)域，進而為瑕疵的準確分割提供必要條件。

為進一步驗證算法的有效性，同時將本文算法與Ralló等[8]提出基于Gabor濾波器的無監(jiān)督異常算法進行比較，以下簡稱無監(jiān)督Gabor方法，其分割結果分別如圖3所示，其中分割后處理皆采用形態(tài)學的開運算。對比各種方法可知，本文算法所得的分割結果皆好于無監(jiān)督Gabor方法。其主要原因是Gabor濾波器必須與瑕疵尺寸與方向匹配時才能獲得最佳效果，例如對于像百腳這類紋理結構變異非常一致的瑕疵，無監(jiān)督Gabor方法所用的16個通道的濾波器組中僅有極少通道能響應瑕疵區(qū)域，直接將所有通道分割結果融合作為輸出，會將那些能響應瑕疵的通道削弱，導致漏檢。

4 結 論

受益于瑕疵稀少性特點，本文直接從整體織物圖像中獲取代表織物局部紋理的LBP特征，進而實現瑕疵的無監(jiān)督檢測。利用機織物經緯交織特點，對局部織物圖像進行經緯向投影后提取特征，能在實現經緯向瑕疵增強的同時減小計算量。在瑕疵異常圖融合時，依據不同特征對瑕疵的響應程度進行有權重下的融合，使突出的瑕疵區(qū)域得到充分保留。實驗結果表明所提出的算法能有效分割瑕疵尤其是異常特征較弱的經緯向瑕疵。與無監(jiān)督Gabor方法的對比結果也進一步證實本文算法的有效性。

FZXB

[1] SRINIVASAN K, DASTOR P H, RADHAKRISHNAIHAN P, et al. FDAS: a knowledge-based frame detection work for analysis of defects in woven textile structures[J]. Journal of the Textile Institute, 1992, 83(3): 431-447.

[2] MARKOU M, SINGH S. Novelty detection: a review:part 1: statistical approaches. Signal Processing, 2003(2): 2481-2497.

[3] ESCOFET J, NAVARRO R, PLADELLORENS J. Detection of local defects in textile webs using Gabor fil-ters[J]. Optical Engineering, 1998, 37(8): 2297-2307.[4] MAK K L, PENG P. An automated inspection system for textile fabrics based on Gabor filters[J]. Robotics and Computer-Integrated Manufacturing, 2008, 24(3): 359-369.

[5] BISSI L, BARUFFA G, PLACIDI P, et al. Automated defect detection in uniform and structured fabrics using Gabor filters and PCA[J]. Journal of Visual Communication and Image Representation, 2013, 24(7): 838-845.

[6] NGAN H Y, PANG G K, YUNG S P, et al. Wavelet based methods on patterned fabric defect detection[J]. Pattern Recognition, 2005, 38(4): 559-76.

[7] TSAI D M, HSIAO B. Automatic surface inspection using wavelet reconstruction[J]. Pattern Recognition, 34(6), 2001, 1285-1305.

[9] 劉洲峰, 趙全軍, 李春雷, 等. 基于局部統(tǒng)計與整體顯著性的織物疵點檢測算法[J]. 紡織學報, 2014, 35(11): 62-67. LIU Zhoufeng, ZHAO Quanjun, LI Chunlei, et al. Fabric defect detection algorithm using local statistic features and global saliency analysis [J]. Journal of Textile Research, 2014, 35(11): 62-67.

[10] 管聲啟, 師紅宇, 趙霆. 應用目標稀少特征的織物疵點圖像分割[J]. 紡織學報, 2015, 36(11): 45-50. GUAN Shengqi, SHI Hongyu, ZHAO Ting, et al. Image segmentation of fabric defect based on object rarity feature [J]. Journal of Textile Research, 2015, 36(11): 45-50.

[11] OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution grayscale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[12] LIU L, FIEGUTH P. Texture classification from random features [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(3): 574-586.

Unsupervised fabric defect segmentation using local texture feature

ZHOU Jian1,2, WANG Jing′an1, GAO Weidong1,2

(1.CollegeofTextileandClothing,JiangnanUniversity,Wuxi,Jiangsu214122,China; 2.KeyLaboratoryofEco-Textiles(JiangnanUniversity),MinistryofEducation,Wuxi,Jiangsu214122,China)

Aiming at the poor versatility of existing methods in various fabric defect types especially for warp and weft direction defects, this work presents unsupervised fabric defect segmentation using local texture feature. The proposed algorithm adopts unsupervised scheme, without need of any reference samples. For detection, the rarity of fabric defects is used to obtain local binary pattern (LBP) histogram features that can represent the local fabric texture from the entire image. Then, benefiting from the characteristics of woven fabrics′ interlacing structure, and the one-dimension vectors obtained by projecting fabric image into warp and weft directions are extracted to represent local texture. Lastly, the anomaly maps of defect are computed from the extracted features, which are fused to segment defect with weight factors used. The experimental results show that the proposed projection feature along warp and weft directions can well represent local fabric texture, which can achieve satisfied results in identifying defects by combining with LBP features.

fabric defect; local texture representation; warp and weft projection; anomaly detection

10.13475/j.fzxb.20160305506

2016-03-28

2016-08-31

國家自然科學基金項目 (61501209)；江蘇高校優(yōu)勢學科建設工程資助項目(蘇政辦發(fā)2011-137號)；江蘇省博士后科研資助計劃項目(1601017A)

周建(1985—)，男，講師。主要研究方向為數字化紡織。E-mail：jzhou@jiangnan.edu.cn。

TS 101.9

A