基于圖元分割與Gabor濾波的織物瑕疵檢測方法

狄 嵐， 楊 達， 梁久禎， 馬明寅

(1. 江南大學(xué) 人工智能與計算機學(xué)院， 江蘇 無錫 214122； 2. 道路交通安全公安部重點實驗室， 江蘇 無錫 214151；3. 常州大學(xué) 信息科學(xué)與工程學(xué)院， 江蘇 常州 213164)

織物圖案和瑕疵的多樣性是瑕疵檢測中的關(guān)鍵難題。紡織品瑕疵檢測的方法主要分為3類:統(tǒng)計的方法、光譜和模型的方法。統(tǒng)計法使用像素點的統(tǒng)計特征來對比圖像灰度完成疵點檢測。統(tǒng)計法包括分形法[1-2]、共生矩陣法[3-5]、形態(tài)學(xué)法[6-7]。該方法雖然簡便快速，但易受到噪聲的影響，對于不規(guī)則紋理的織物檢測率較低。其中應(yīng)用最廣泛的是光譜的方法，所用到的方法主要包括小波變換[8-10]、傅里葉變換[11]、Gabor濾波變換[12-14]。光譜法的核心作用是將在空間域中很難分離的織物紋理轉(zhuǎn)為變換域進行濾波，或以無瑕圖像為樣本使用最優(yōu)化理論完成對瑕疵圖像的重建。織物紋理通常由隨機和規(guī)則紋理組合而成，織物紋理的結(jié)構(gòu)與分布特性可以使用建模的方法進行表現(xiàn)。一般假設(shè)某種模型可以表現(xiàn)該紋理的特點，模型法通過對無瑕圖像訓(xùn)練得出該模型的參數(shù)值，根據(jù)計算得到的模型檢查待檢測織物圖像是否符合計算得到的模型，若不符合則其為瑕疵圖像。模型法主要包括自回歸模型[15-17]、Markov隨機場模型[18-19]等。

針對含有較復(fù)雜圖案的織物，紀旋等人提出了基于模板校正與低秩分解的紡織品瑕疵檢測方法[20]。Ngan等提出了小波預(yù)處理黃金圖像相減的方法(WGIS)[21]。而布林帶法(BB)[22],正則帶法(RB)[23],圖像分解(ID)[24]，棋盤法(ER)[25]等方法都是手工提取子圖像模板，但由于瑕疵類型的多樣性，使得手工確定的模板檢測的準確率難以預(yù)測。WGIS、ER等方法對面積較小的紡織品瑕疵檢測效果不佳，ID方法的查全率較低。

本文使用了一種自適應(yīng)模板提取方法[26]，避免了手動提取模板造成的影響，提出了基于自適應(yīng)分割與Gabor濾波的織物瑕疵檢測方法。首先將具有周期性質(zhì)的織物圖像自適應(yīng)分割成單元格，并使用圖元分割獲取圖像單元晶格，通過Gabor濾波器獲取每個晶格的特征，完成疵點的檢測操作。根據(jù)每個濾波器獲取到特征信息的Manhattan距離，建立理想晶格，當(dāng)做晶格相似關(guān)系對比的參考。將織物疵點檢測問題轉(zhuǎn)化為基于參考晶格的曼哈頓距離表示的格子相似性估計問題。

針對傳統(tǒng)算法通過多個濾波器構(gòu)成的Gabor濾波器組的局限性，本文采用了只有4個濾波器的小型Gabor濾波器組進行特征提取，并提出了降低尺寸與增強濾波器特征信息的方法。把瑕疵檢測問題轉(zhuǎn)變成晶格間相似性的對比，提出一種閾值分割方法。根據(jù)圖元分割方法，確定單位格子，提升單位格的相關(guān)性，解決星形圖和盒形圖瑕疵問題時，體現(xiàn)出優(yōu)異的檢測結(jié)果，提高了檢測的精度。

1 圖元分割與Gabor濾波瑕疵檢測

1.1 單位周期模板確定

由于晶格間鄰域信息的相關(guān)性很高，如果可以確定織物圖案的周期，即可利用其鄰域相關(guān)性對織物進行檢測。對于具有周期性質(zhì)的有圖案織物圖像I，通過使用損失函數(shù)f來獲取理想晶格圖案尺寸。

(r*,c*)=Argminf(r,c)

(1)

從圖像中選取一個模板尺寸為r×c的晶格，當(dāng)所有晶格與灰度均值矩陣中相應(yīng)的像素的灰度值標準差之和最小時，求取理想的晶格圖案尺寸(r*,c*)。f(r,c)定義為

(2)

其中S2(i,j)為晶格內(nèi)方差，定義為

(3)

(4)

晶格高度標準差取極小值為21,42,63，晶格寬度標準差取極小值為16,33,49。由于圖案具有周期性質(zhì)，當(dāng)所求晶格標準差達到最小時，得到理想晶格尺寸為21像素×16像素，如圖1所示。

圖1 獲得圖像單位模板大小Fig.1 Get image unit template size.(a)Sample image; (b)Split image

1.2 圖元分割

紡織品圖案的基本組成單位是lattice。圖2示出星狀圖的圖元分割。如果檢測單元是lattice,塊級算法則會判定全部圖像晶格均是瑕疵，顯然圖2(c)的右半部分和圖2(d)的下半部分是沒有瑕疵的。

針對以上問題，提出了圖形元素進行分割的算法，把m×n大小的lattice分割為4個圖像基礎(chǔ)單元，I定義為

(5)

圖2 星狀圖的圖元分割Fig.2 Segmentation of star images. (a)Upper left primitive;(b)Upper right primitive; (c)Lower left primitive;(d)Lower right primitive

所有單元晶格可分為4個圖元，圖元仍是具有周期性的圖像。

1.3 Gabor濾波器組進行特征提取

圖3 Gabor 濾波器卷積投影Fig.3 Gabor filter convolution project

通過Gabor濾波器的虛部使每個圖元晶格進行卷積，虛部定義為

(6)

(7)

式中：k為Gabor的尺寸,像素；g為g(m,n|s,θ)；mθ與nθ取值均為45°；Gi,j|s,θ=⊕xGi,j(x|s,θ),其中?表示向量進行串聯(lián)操作，例如：t1=[3,5],t2=[7,9],t1?t2=[3,5,7,9]。針對特征Gi,j(x|s,θ)量化晶格特征信息間差異的局限性，提出一種基于能量Ei,j和幅值A(chǔ)i,j的特征向量νi,j。定義如下：

(8)

1.4 用于表示晶格相似性的特征向量距離

圖4 全部晶格卷積后的特征向量Fig.4 Characteristic vector after different latiice convolution

根據(jù)一行中的每個晶格，求出其和所在行中剩余晶格的曼哈頓距離來研究Gi,j|s,θ的差異，存儲在距離矩陣Di|s,θ

(9)

式中，M(Gi,j,Gi,j+1)表示Gi,j與Gi,j+1的曼哈頓距離，i,s和θ都是常數(shù)

(10)

(11)

i=1,2,…|Sh|}

μd和σd分別表示d的平均值和標準差。

(12)

最終求得所有νi,j與ν*的曼哈頓距離,并將其排列為矩陣D中索引為i和j的元素如下所示

Di,j=M(νi,j,ν*)

(13)

1.5 基于晶格特征向量距離的相似度分析

D中距離的信息反應(yīng)了晶格的相似度，對于無瑕圖像，D是稀疏的，因此D的極大值d*可用作判定瑕疵晶格的閾值上限。當(dāng)d*

(14)

D的特征如大于閾值t1或t2，則標記為瑕疵晶格，如果均大于二個閾值，t1作為評估指標，因為t1可以客觀的反映出紋理之間的不同。

1.6 算法描述

本文算法步驟描述如下：

步驟1:對無瑕圖像進行自動分割，并對其進行圖元分割，得到n個圖元Bi(i=1,2,…,n)。

步驟2:將不同尺度和方向的Gabor濾波器和圖元晶格卷積，降維映射為G。

步驟3:基于G的能量和幅值，如式(8)所示,計算晶格的特征向量v。

步驟4:針對每一個晶格中的特征向量，如式(9)所示,求出每行不同格子間的曼哈頓距離，用距離矩陣D來存放，并找到每一行的理想?yún)⒖季Ц瘛?/p>

步驟5:求出每行中所有晶格與理想?yún)⒖季Ц耖g特征向量的曼哈頓距離，并用特征矩陣D來表示,如式(13)所示。

步驟6:求出特征矩陣D的直方特征圖，由直方特征圖求得t1和t2。

步驟7:特征矩陣D中Di,j>t的晶格判定為瑕疵晶格。

2 實驗結(jié)果及其分析

本文實驗使用由香港電氣與電子工程系工業(yè)自動化研究實驗室提供的數(shù)據(jù)庫。該數(shù)據(jù)庫共包含106幅為256像素×256像素的24位的紡織品圖像和106幅手工標定的瑕疵基準圖。數(shù)據(jù)庫含有箱形和星形2種類型的織物圖像，箱形圖織物數(shù)據(jù)庫包含26幅瑕疵圖和30幅無瑕疵圖像。星形圖織物數(shù)據(jù)庫包含20幅瑕疵圖和20幅無瑕疵圖像。每種圖案包含4種瑕疵類型：斷端、破洞、細條紋、粗條紋。其中斷端疵由于經(jīng)紗斷裂造成紡織品寬度上缺少經(jīng)紗，細條紋疵表現(xiàn)為細小帶狀疵點，粗條紋疵表現(xiàn)為寬大帶狀疵點。將本文算法與WGIS(黃金圖像相減法),RB(規(guī)則帶法),ER(Elo評分方法),BB(布林帶法)進行對比。定義MTPR為查全率評價指標，表示瑕疵基準圖中的瑕疵像素點被正確識別的比例。MFPR為誤檢率，表示瑕疵基準圖中的瑕疵像素點被錯誤識別的比例。MPPV為查準率，表示算法識別的瑕疵在瑕疵基準圖中所占比例。MNPV為陰性預(yù)測指標，表示算法識別的背景在瑕疵基準圖中所占的比例。定義f值為檢測結(jié)果分析的參考指標。計算方式如下：

(15)

(16)

(17)

(18)

(19)

式中：MTP為手工標記的瑕疵與檢測結(jié)果瑕疵相同的部分；MFP為手工標記的瑕疵而漏檢的部分；MTN表示手工標記的無瑕區(qū)域與檢測結(jié)果的無瑕區(qū)域相同的部分；MFN表示手工標記的無瑕而漏檢的部分；f值表示查準率與查全率的幾何加權(quán)平均值；α值為1，表示手工標記為無瑕區(qū)域卻被誤檢的部分增加時其檢測結(jié)果不同，f值會減少。

2.1 星狀圖不同算法對比

本文算法和BB,RB,WGIS,ER 5種算法對星狀圖中的斷端型、破洞型、細條紋型、粗條紋型共4種不同類型的瑕疵進行了對比實驗，實驗檢測結(jié)果數(shù)據(jù)如表1所示。

表1 不同算法對星狀圖織物瑕疵檢測結(jié)果Tab.1 Different algorithms for detection of star-shaped

圖5示出5種方法的誤檢率-查全率(MFPR-MTPR)的散點圖。圖中不同位置同種類型紡織品的散點分別表示不同的瑕疵種類。在MFPR-MTPR的散點圖中，MTPR值與檢測結(jié)果精度成正比，MFPR值與檢測結(jié)果精度成反比，所以在散點圖中，越靠近左上角的散點，檢測效果精度越高。本文方法的MTPR值均分布在80%左右，且MFPR值分布在0%附近。

圖5 5種方法對星狀圖檢測的MFPR-MTPR圖Fig.5 MFPR-MTPR figures of star-shaped by 5 detection methods

實驗結(jié)果檢測圖如圖6所示。對于星狀類型的紡織品來說，本文算法實驗結(jié)果在4種類型的星狀圖案紡織品瑕疵數(shù)據(jù)圖中優(yōu)于其他4種算法。相比BB、RB、WGIS、ER方法，對于星狀類型的織物本文方法可以準確檢測出瑕疵的具體位置。且誤檢部分較少，說明本文方法對星狀圖的織物具有一定的適應(yīng)性。

圖6 不同算法的檢測結(jié)果Fig.6 Fabric detection results using different algorithms. (a) Original image; (b) Ground-truth； (c)Algorithm of this paper; (d) BB; (e) RB; (f) WGIS; (g) ER

表1列出了星狀圖的檢測結(jié)果，RB方法在細條紋型瑕疵圖中MPPV值達到最優(yōu)值，WGIS方法在粗條紋型瑕疵圖中MTPR值達到最優(yōu)值，但MFPR值較高。本文算法在斷端型、破洞型、細條紋型瑕疵圖中的MTPR值優(yōu)于其他4種算法，MTPR值平均在80%以上。在破洞型、斷端型、粗條紋型瑕疵圖中的MPPV值均優(yōu)于其他4種算法，MPPV值平均在30%左右。ER方法在細條紋型瑕疵中f值達到最優(yōu)值。本文算法在斷端型、破洞型、粗條紋型瑕疵圖中f值均優(yōu)于其他4種算法，且在所有類型的檢測結(jié)果中MFPR的值都較低。

2.2 盒狀圖不同算法對比

本文算法與BB,RB,WGIS,ER 5種算法對盒狀圖中的斷端型、破洞型、細條紋型、粗條紋型共4種不同類型的瑕疵進行了對比實驗，實驗檢測結(jié)果數(shù)據(jù)如表2所示。可知，BB方法針對盒狀圖的瑕疵圖檢測中檢測效果不佳，僅在細條紋和粗條紋檢測中瑕疵區(qū)域可以模糊分辨出，但誤檢部分較在星狀圖類型檢測上有明顯提升。RB方法在BB方法基礎(chǔ)上顯著增強了識別精度。WGIS方法對盒狀圖斷端、細條紋、粗條紋上檢測效果比較突出，可以檢測出大部分瑕疵區(qū)域的輪廓部分，但依然存在較大面積的誤檢部分。本文方法對盒狀圖斷端、破洞、網(wǎng)紋、細條紋、粗條紋5種類型的缺陷圖查全率結(jié)果為最佳，在所有類型的檢測上均表現(xiàn)較好。查全率在星狀圖斷端、破洞、網(wǎng)紋、粗條紋4種類型瑕疵圖檢測中為最優(yōu)值。

表2 不同算法對盒狀圖織物瑕疵檢測結(jié)果Tab.2 Different algorithms for detection of box-shaped

由圖6可知，對于box類型的紡織品來說，本文算法的檢測結(jié)果在4種類型的盒狀紡織品瑕疵數(shù)據(jù)圖中均優(yōu)于其他算法。相比BB、RB、WGIS、ER方法，對于box類型的織物本文方法可以準確檢測出瑕疵的具體位置。本文算法在保持較高MTPR值的同時保持著較低的MFPR，說明本文方法對于盒狀圖織物的檢測具有一定的適應(yīng)性。

圖7為5種方法對盒狀圖的誤檢率-查全率(MFPR-MTPR)散點圖，圖中不同位置的同種類型的紡織品的散點分別表示不同的瑕疵種類。在MFPR-MTPR的散點圖中，MTPR的值與檢測結(jié)果精度成正比，MFPR的值與檢測結(jié)果的精度成反比，所以在散點圖中，越靠近左上角的散點，檢測效果精度越高。本文方法的MTPR值均分布在80%左右，且MFPR值分布在0%附近。

圖7 5種方法對盒狀圖檢測的MFPR-MTPR圖Fig.7 MFPR-MTPR figures of box-shaped by 5 detection methods

由表2可知盒狀圖的檢測結(jié)果，WGIS方法在粗條紋類型紡織品數(shù)據(jù)中的MTPR值為最優(yōu)值，RB方法在4種類型的瑕疵圖數(shù)據(jù)中MPPV值達到最優(yōu)。本文算法在斷端型、破洞型、細條紋型瑕疵數(shù)據(jù)中MTPR值達到最優(yōu)值，MTPR值平均在75%以上，MPPV值平均在30%左右。在斷端型、破洞型、粗條紋型瑕疵圖中f值達到最優(yōu)值。在斷端型、破洞型、粗條紋型的瑕疵數(shù)據(jù)圖中MFPR值達到最低。

3 結(jié) 論

本文提出了一種基于圖元分割與Gabor濾波的織物瑕疵檢測算法。針對具有復(fù)雜周期圖案的紡織品瑕疵檢測問題，將圖像按周期完成分割，然后用Gabor濾波器卷積分割后的每個晶格，為了增強卷積處理的特征，將二維卷積結(jié)果映射到一維投影，增強了Gabor濾波器的方向特征。基于投影的比較，找到每行的無瑕疵理想晶格。根據(jù)它們的投影能量和幅值來生成理想晶格的特征。這些特征信息的平均值作為評估晶格相似度的對比模板。然后通過分析其特征信息Manhattan距離表示的晶格的差別得到瑕疵晶格。數(shù)據(jù)和圖像實驗結(jié)果表明，本文方法對于含有圖案的織物瑕疵檢測具有最佳的準確率和誤檢率。對于其他樣本，具有先驗知識的RB方法檢測效果較好。實際工作中還要繼續(xù)研究優(yōu)異的特征提取方法。