董 蓉,李 勃
(1.南通大學 電子信息學院,江蘇 南通226019;2.南京大學 電子科學與工程學院,江蘇 南京210093)
通過人工視覺來對完成對織物瑕疵檢測的方法存著工作量大、漏檢率高、誤檢率高、受主觀感覺影響等多種問題,基于機器視覺的織物瑕疵自動檢測能有效解決這一問題。為區分瑕疵和非瑕疵區域,對織物圖像采用合適的特征描述是關鍵問題[1]。從頻域提取織物圖像特征的方法如小波 變 換[2-4]、傅 里 葉 變 換[5]、Gabor濾 波[6-9]等,先 將 圖像分解到所定義的各個頻域子帶,通過子帶系數的差異區分瑕疵區域。從空域提取特征的方法如局部二值模式 (local binary pattern,LBP)[10,11]、鄰 域 統 計 特 征 (均 值、方差、熵)[12]、鄰 域 灰 度 排 列[13]、紋 理 圖 案 規 則 性 特 征[14]等,直接利用待檢像素鄰域的灰度統計特征構成特征向量,利用相似性距離度量或者分類器定位瑕疵區域。以上方法在檢測之后往往還需要通過形態學濾波輔助去除噪聲斑點來進一步準確定位瑕疵區域。不管哪種特征描述方法,最重要的是將瑕疵和非瑕疵圖像轉換到該特征空間后,能夠保證二者的特征分布區分度足夠明顯,才能達到準確定位瑕疵區域的目的。
本文提出采用一種非線性GLCM 特征描述織物紋理的方法以充分利用特征空間,有效提取圖像特征。所提瑕疵檢測包括最優尺度方向學習和瑕疵檢測兩個階段。在學習階段,計算無瑕疵圖像在不同方向尺度參數下的非線性GLCM 特征向量相似性距離分布圖,通過最小方差原則選擇最優尺度和方向參數并獲得參考非線性GLCM 特征向量和自適應的二值化閾值;在檢測階段,采用最優尺度方向參數進行非線性GLCM 特征提取,并與參考特征向量匹配來定位瑕疵。由于采用了非線性GLCM 算法并學習了最優尺度和方向,算法能夠最大程度凸顯瑕疵區域和非瑕疵區域的特征差別,同時得益于GLCM 本身對噪聲的抗干擾能力以及自適應的二值化閾值,在未進行形態學濾波去噪的情況下,算法也能獲得十分準確的瑕疵區域定位結果。
GLCM 通過統計圖像灰度的空間相關性來描述紋理。對輸入圖像A,將其灰度量化為N 級 (N 小于圖像A 的灰度級數目),創建N*N 的GLCM 矩陣G,G 矩陣中 (i,j)處的數值為A 圖像中空間相對位置為P = [Dx,Dy]且量化灰度為 (i,j)的像素對的數目,即

由于對圖像A 的灰度先進行了N 級量化,GLCM 可大大抵抗噪聲干擾。由于不同圖像大小不一,為保證所獲得的GLCM 矩陣具有統一可比性,需將其歸一化

Gn中每個元素實際上代表了圖像A 中量化灰度對 (i,j)出現的概率。一般情況下,獲得GLCM 矩陣后,再通過求取GLCM 矩陣的能量、對比度、熵、自相關等特征值來組成特征向量以描述圖像A,然而,不管哪種特征值,都是對GLCM 矩陣再次統計的結果,僅能描述圖像A 紋理特征的某一片面方面,且求取過程都將耗時。為保持圖像特征描述的完整性,文章將GLCM 矩陣元素序列作為圖像A 的特征向量,當量化級數為N=8時,該特征向量維度為64。
一般GLCM 特征提取算法在進行灰度量化時均采用線性量化,即將當前圖像的灰度范圍 [gmin,gmax]等份劃分為N 個區間,將A 圖像轉變為只有N 級灰度的圖像。線性量化操作簡單,但對于織物圖像,灰度往往集中分布于某一區間,而非均勻分布于整個灰度空間,圖1 (b)顯示了織物圖像圖1 (a)的灰度分布,由圖可見,灰度集中于中低亮度區域,對此圖像如果采用線性量化,則大批量化值沒有或者很少被使用,導致生成的GLCM 矩陣十分稀疏,不能充分體現圖像紋理特征。為此,文章提出非線性GLCM 特征提取,基本思想是根據灰度出現概率進行量化,高概率灰度區間細量化,低概率灰度區間粗量化,如此可以有效提取圖像特征。實際操作時,這一思想可以轉變為先對圖像灰度值進行非線性映射,再進行均勻量化。考慮到直方圖均衡化可以有效實現集中分布灰度區間向平均分布灰度區間的轉化,因此可以利用直方圖均衡化獲得非線性映射函數,如圖1 (c)所示為圖1 (a)的非線性映射函數。圖2分別顯示了線性和非線性GLCM 特征提取的結果,相比可見線性GLCM 矩陣十分稀疏,未能充分利用特征空間。

圖1 非線性GLCM 構建
當選擇不同的空間相對位置參數P 時,GLCM 將獲得不同尺度和方向下的圖像紋理特征。如,P= [0,δ]、P= [-δ,δ]、P= [-δ,0]、P= [-δ,-δ]分別可獲得0°、45°、90°、135°方向的紋理特征,而P= [0,δ]、P= [0,2*δ]、P= [0,3*δ]又將獲得同一方向不同尺度下的紋理特征。一般算法將各個方向各個尺度的GLCM特征向量全部組合起來形成總的特征向量描述,如果選擇量化級數為8、方向數為4、尺度數為5,則最終的特征向量維度為64×4×5=1280。這種方式的缺陷在于所形成的特征向量維數高、計算耗時,且對同一類紋理,其特征往往在某一尺度和方向中凸顯,引入其它不必要的尺度方向紋理特征反而容易在特征向量相似性度量階段引起額外干擾。為此,文章提出學習最優非線性GLCM 尺度和方向參數并以此參數進行瑕疵檢測。具體學習過程如下。

圖2 線性與非線性GLCM 特征提取結果對比
(1)選取無瑕疵圖像A (大小為W*H),設定用于計算非線性GLCM 特征的圖像塊大小為dw*dh,dw、dh 最好與圖像紋理周期符合。設定尺度和方向數目分別為S、D;
(2)對圖像A 中每一像素 (x,y),以 (x,y)為中心,提取大小為dw*dh的圖像塊,計算其在參數(1≤s≤S,1≤d≤D)下的非線性GLCM 矩陣并形成特征向量(x,y);
(4)對無瑕疵織物圖像來說,各處紋理特征具有周期重復性,距離(x,y)應當不受 (x,y)位置變化的影響,因此采用(x,y)的均方差作為最優尺度方向參數的評價標準

圖3顯示了4 種無瑕疵的紋理織物,圖4 顯示了圖3中紋理織物相應的各自最優尺度及方向學習的結果。由圖可見,固定方向時,隨尺度變化;固定尺度時,不同的方向下亦不同。統計所有尺度方向,總存在一個最小,此時的尺度和方向參數即為所需尋找的最優參數。

圖3 4種紋理織物圖像

圖4 最優尺度及方向參數學習
如第2節所述,在學習最優尺度方向參數時,同時也可獲得最優尺度方向參數下的參考特征向量。瑕疵檢測階段轉變為對待檢測圖像提取非線性GLCM 特征并與參考特征向量匹配的過程,具體流程為:①對待檢測圖像的每個像素 (i,j)構建非線性GLCM 特征向量,具體方式為:首先利用無瑕疵圖像的非線性映射函數對當前圖像進行灰度映射,然后選擇以該像素為中心的dw*dh 的窗口,計算其在最優參數下的非線性GLCM 矩陣并形成特征向量V(x,y)。②計算V(x,y)與之間的特征向量距離,獲得相似性分布圖。③設定閾值THD對相似性分布圖二值化,定位瑕疵區域。
實驗在Matlab7.0上進行仿真實驗,按照所提方法進行織物瑕疵檢測并與其它算法對比。
待檢測織物圖像如圖6所示。

圖5 所提算法流程

圖6 待檢測織物圖像
圖7 (a)、(b)、(c)、(d)分別是圖6 (a)、(b)、(c)、(d)的非線性GLCM 特征向量相似性距離分布圖。由圖可見,采用所提算法,瑕疵區域的特征向量相似性距離明顯高于非瑕疵區域,說明所采用的特征提取方法能夠有效識別瑕疵。按照第3節所述閾值THD對特征向量相似性距離分布圖進行二值化即可定位瑕疵區域,結果如圖8所示。

圖8 所提算法檢測結果
為進一步驗證算法有效性,將文章所提算法檢測結果與基于小波變換特征的檢測結果以及基于LBP特征的檢測結果進行對比。小波變換特征向量由小波分解的水平、垂直、對角分量的方差組成,LBP 特征向量采用8鄰域均勻LBP (uniform LBP)直方圖。小波變換特征距離和LBP特征距離的二值化閾值均調整到最優狀態。圖8是對圖6所示瑕疵織物圖像利用所提算法檢測的結果,圖9是基于小波變換特征的檢測結果,圖10 是基于LBP 特征的檢測結果。所有檢測結果都是二值化之后的直接結果,未進行任何形態學濾波去噪。由圖可見,所提算法對瑕疵定位準確,基本不受噪聲干擾,而基于小波特征和LBP特征的方法易受噪聲干擾且定位不夠準確。

圖9 基于小波變換特征的檢測結果

圖10 基于LBP特征的檢測結果
文章提出一種基于最優尺度方向參數非線性GLCM 的織物瑕疵檢測算法,包括最優尺度方向參數學習和瑕疵檢測兩個階段。通過采用所提非線性GLCM 特征提取方法以及進行最優尺度方向參數的學習,算法能夠最大程度凸顯瑕疵區域和非瑕疵區域,而算法中自適應的二值化閾值,更是十分有利于實際生產過程中的自動化檢測。實驗結果表明,相比于基于小波變換特征或者LBP特征的瑕疵檢測算法,所提算法能夠更好定位織物瑕疵區域并且不易受到噪聲干擾。算法對圖像中每個像素均取其鄰域計算非線性GLCM 特征,實際生產應用中可通過下采樣或并行計算等方式進一步降低計算量以達到實時檢測的目的。
[1]Ngan H Y T,Pang G K H,Yung N H C.Automated fabric defect detection—A review [J].Image and Vision Computing,2011,29 (7):442-458.
[2]CUI Lingling,LU Chaoyang,LI Jing,et al.Defect detection based on wavelet multi-scale products and morphology [J].Opto-Electronic Engineering,2011,38 (8):90-95 (in Chinese). [崔玲玲,盧朝陽,李靜,等.基于小波多尺度積與形態學的瑕疵檢測算法[J].光電工程,2011,38 (8):90-95.]
[3]HAN Lei,LI Chong,JIN Yao,et al.Quick defect detection based on structure character of woven fabric image and wavelet transform [J].Computer Engineering and Design,2009,30(10):2510-2512 (in Chinese). [韓磊,李重,金耀,等.基于織物結構特征和小波變換的快速疵點檢測 [J].計算機工程與設計,2009,30 (10):2510-2512.]
[4]JIANG Lei,YIN Ye’an.Research on the automatic detection method for fabric flaws based on wavelet analysis[J].Computer Engineering & Science,2009,31 (5):49-52 (in Chinese).[蔣蕾,尹業安.基于小波分析的織物疵點自動檢測方法研究 [J].計算機工程與科學,2009,31 (5):49-52.]
[5]GUAN Shengqi,SHI Xiuhua.Fabric defects detection based on frequency domain filtering [J].Computer Applications,2008,28(10):2673-2675(in Chinese).[管聲啟,石秀華.基于頻域濾波的織物疵點檢測[J].計算機應用,2008,28(10):2673-2675.]
[6]YANG Xiaobo.Detection of fabric defects based on Gabor filter[J].Journal of Textile Research,2010,31 (4):55-59 (in Chinese).[楊曉波.基于Gabor濾波器的織物疵點檢測 [J].紡織學報,2010,31 (4):55-59.]
[7]CHEN Lin,WANG Jun,LI Liqing,et al.Nonwoven fabric defects detection based on 2DGabor filter[J].Journal of Donghua University (Natural Science),2012,38 (6):695-699(in Chinese).[陳琳,汪軍,李立輕,等.基于二維Gabor濾波器的非織造布疵點檢測 [J].東華大學學報 (自然科學版),2012,38 (6):695-699.]
[8]Mak K L,Peng P,Yiu K F C.Fabric defect detection using morphological filters[J].Image and Vision Computing,2009,27 (10):1585-1592.
[9]JING Junfeng,ZHANG Huanhuan,LI Pengfei.Fabric image defect detection based on method library [J].Journal of Donghua University(Natural Science),2013,39 (5):650-655 (in Chinese).[景軍鋒,張緩緩,李鵬飛.基于方法庫的織物圖像疵點檢測 [J].東華大學學報 (自然科學版),2013,39 (5):650-655.]
[10]FU Rong,SHI Meihong.Fabric defect detection based on adaptive LBP and SVM [J].Journal of Computer Applications,2010,30 (6):1597-1601 (in Chinese).[付蓉,石美紅.基于自適應LBP 和SVM 的織物疵點檢測算法 [J].計算機應用,2010,30 (6):1597-1601.]
[11]LIN Sishui,ZHENG Lixin.A multi-resolution fabric defects detection based on LBP and SOM [J].Microcomputer &Its Applications,2012,31 (23):45-54 (in Chinese). [林 似水,鄭力新.聯合LBP 與SOM 的多分辨率織物疵點檢測[J].微型機與應用,2012,31 (23):45-54.]
[12]LI Pengfei,YANG Ning,JING Junfeng.Fabric defect classification based on radial basis function neural network [J].Computer Measurement & Control,2012,20 (10):2751-2759 (in Chinese).[李鵬飛,楊寧,景軍鋒.基于徑向基函數神經網絡的織物疵點分類 [J].計算機測量與控制,2012,20 (10):2751-2759.]
[13]Zhang Y,Lu Z,Li J.Fabric defect classification using radial basis function network [J].Pattern Recognition Letters,2010,31 (13):2033-2042.
[14]Ngan H Y T,Pang G K H.Regularity analysis for patterned texture inspection [J].IEEE Transactions on Automatic Science and Engineering,2009,6 (1):131-144.