應用視覺顯著性的小提花織物疵點檢測

李 敏， 崔樹芹， 陳 佳

(武漢紡織大學 數學與計算機學院, 湖北 武漢 430072)

應用視覺顯著性的小提花織物疵點檢測

李 敏， 崔樹芹， 陳 佳

(武漢紡織大學 數學與計算機學院, 湖北 武漢 430072)

為實現小提花織物的疵點檢測，提出了一種基于視覺顯著性的疵點定位與分割方法。針對小提花織物的花型具有周期性的特點，通過對織物圖像進行快速傅里葉變換和形態濾波來抑制正常花紋的顯著性，突出疵點區域的顯著性，以獲取圖像的全局顯著圖；然后使用基于圖論的視覺顯著模型來計算圖像的局部顯著圖，并對全局和局部顯著圖進行合并生成綜合顯著圖；最后使用最大熵法對綜合顯著圖進行分割，以得到疵點目標。實驗結果表明，在對橫襠、破洞、斷頭、打結和跳花等5種瑕疵進行測試時，該方法的正確率高達93.5%，非常適合于對小提花織物進行疵點檢測。

小提花織物; 疵點檢測; 視覺顯著性; 最大熵法

提花織物疵點檢測是織物疵點自動檢測的難點[1-2]。與素織物不同，提花織物有花紋圖案，這些圖案會對檢測過程造成干擾，故檢測難度較大。

目前國內外對提花織物疵點檢測方面的研究比較少[3-5]，其中，文獻[3]提出的方法效果最好。該方法先對提花織物進行Motif分割，然后提取每個Motif的運動能量和能量方差來形成一個決策區域，最后通過判斷待測圖像每個Motif的運動能量和能量方差是否在決策區域內來確定該Motif是否具有瑕疵。該方法的準確率為93.32%，但是該方法只能判斷織物是否含有疵點，不能定位疵點的具體位置。

視覺注意機制是人類視覺感知系統的重要內容，可使人類在面臨復雜場景時能夠迅速將注意力集中在一些顯著目標上，從而對這些目標進行優先處理。近年來，視覺注意機制已經在圖像檢索、場景分析、目標檢測與識別等方面取得了很多有價值的研究成果。不僅如此，視覺注意機制還成功解決了鋼鐵企業中銅帶表面缺陷檢測問題[6]。

由于疵點在顏色、亮度、紋理或者方向上與其周圍正常織物組織的特征不一致，管聲啟等[7-8]對平紋織物中的疵點進行檢測時指出，與傳統方法相比較，基于視覺注意機制的疵點檢測方法可取得理想的結果；在使用視覺注意機制對織物進行疵點檢測時，僅僅計算了圖像的局部顯著性，沒有考慮圖像的全局顯著性，因此不能很好地解決提花織物花紋圖案對疵點檢測的干擾問題。

盡管小提花織物圖像背景復雜，但其花紋是有規律地在進行排列，具體有3種：具有花型周期；花型周期采用四方循環的結合方式排列組成；花型在任何地方均有大致相同的結構尺寸。基于這一特點，本文提出了一種結合全局和局部顯著性的織物疵點檢測方法，該方法以獲取小提花織物圖像的顯著圖為切入點，引進最大熵法實現疵點的定位和分割。實驗結果表明，使用本文提出的疵點檢測方法，可得到比較高的檢測正確率。

1 相關背景

1.1 Itti模型

目前計算機視覺領域中應用最廣泛的視覺顯著性模型是Itti模型[9]。Itti模型通過計算對象的區域及鄰域等局部信息來獲得顯著圖。圖1示出對含有跳花疵點的小提花織物圖像，使用Itti模型進行顯著性計算所得到的顯著圖。

從圖1(b)可看出，Itti模型能突出大部分比較明顯的疵點，但無法解決花紋圖案對疵點檢測的干擾，將很多非疵點區域也當成了顯著區域。造成這種現象的主要原因在于，Itti計算的是像素與其周圍像素的對比度，屬于局部顯著性。由于提花織物的花紋跟周圍像素相比，顯著性較高，易被誤判為疵點，故還需考慮像素的全局顯著性，即像素對于整幅圖像的顯著性。

1.2 譜殘差模型

譜殘差(spectral residual, SR)模型是一種基于傅里葉變換的視覺顯著性計算模型[10]，通過計算圖像的全局特征來獲取圖像中的顯著區域。圖2示出使用SR模型對圖1中的織物圖像進行顯著性計算所得到的結果。

從圖2可看出，SR模型依然無法完全排除花紋圖案的干擾，其主要原因在于SR模型先計算譜殘差，然后使用譜殘差做傅里葉逆變換來計算顯著圖。計算譜殘差時使用了減法操作，不僅去掉了花紋圖案信息，還將很多疵點信息也去除(見圖2(a))，盡管通過高斯平滑濾波可善顯著圖的效果，但是，平滑濾波后所得到的顯著圖依然不是很準確。

2 本文提出的算法

因為小提花織物的花型具有周期性。如果將單幅小提花織物圖像的信息(H)看成由2部分構成：

H=H1+H2

其中：H1為圖像中的正常信息；H2為異常信息，即疵點部位信息。若將H1視為噪聲信號，H2視為有效信號，如果能夠在濾除前者的同時保留后者，則可確保H2部分的顯著性遠遠大于H1的顯著性。

2.1 理論分析

周期信號的頻譜是離散的，由一系列沖擊信號組成。圖3示出在(0,30π)的范圍內，正弦信號sin(t)的波形圖和對數幅度譜圖。從圖3(b)可看出，周期信號的對數幅度譜存在很明顯的尖峰。

經實驗分析發現，不管周期信號中出現幾次異常信號，其對數幅度譜中的尖峰總存在，且對數幅度譜總保持大致不變的形狀，結果如圖4所示。

借鑒電力系統中局部放電窄帶周期性干擾研究的成果[11]，對含有異常信號的周期信號，使用形態濾波器來濾除信號中的周期信號，然后再進行傅里葉逆變換，即可突出異常信號，結果見圖5所示。

比較圖5和圖4(a)可看出，通過對含有異常信號的周期信號的對數幅度譜進行濾波，可在抑制周期信號的同時保留異常信號。

2.2 全局顯著性算法實現

基于2.1節對周期信號對數幅度譜分析的結果，本文提出的全局顯著性計算過程如下。

1)對圖像I(x)進行傅里葉變換,得到幅度譜A(f)和相位譜P(f)，計算對數幅度譜ln(A(f))。

2)對ln(A(f))進行形態濾波，得到R(f)。

3)利用R(f) 和P(f)信息進行傅里葉逆變換，得到輸入圖像的視覺顯著圖S(x)。

4)對S(x)進行高斯平滑濾波。

圖6示出使用本文提出的全局顯著性算法，對圖1中的織物圖像進行顯著性計算所得到的結果。 從圖6可看出，使用本文所提的方法計算所得的顯著圖，比使用SR模型所得到的顯著圖更能夠完整突出疵點區域的顯著性。

2.3 局部顯著性算法實現

通過對多種視覺顯著性模型進行測試，從顯著圖的準確性和速度等方面綜合考慮，本文選擇使用基于圖論的視覺顯著性模型(graph-based visual saliency, GBVS)[12]來提取小提花織物圖像的局部顯著性。

為降低算法的時間復雜度，本文研究只提取圖像的亮度特征來生成顯著圖。圖7示出使用GBVS模型，對圖1中織物圖像進行顯著性計算所得到的局部顯著圖。

2.4 疵點定位和分割

得到全局和局部顯著圖后，先對2幅顯著圖進行合并生成綜合顯著圖；然后使用最大熵法來對其進行顯著區分割，并使用形態學對分割所得的二值圖像進行操作，以去除孤立的非連續區域；最后將二值圖像與原始圖像進行疊加，即可得到疵點區域。結果如圖8所示。

3 實驗結果及分析

為驗證本文所提方法的有效性，進行了一系列的實驗。實驗機器配置為Genuine Intel 1.83 GHz CPU和1.24 GB內存，操作系統為Windows XP，軟件編譯環境為Matlab 2009。在實驗過程中一共使用了200幅小提花織物圖像，其中，含有橫襠疵的圖像60幅，含有破洞、斷頭、打結、跳花4類疵點的圖像各30幅，無瑕疵的織物圖像20幅。圖像的大小為256像素×256像素。

實驗時使用4種不同方法計算小提花織物圖像的顯著圖，即GBVS模型(方法1)，SR模型(方法2)，CA(context-aware，CA)模型[13](方法3)和本文提出的方法(方法4)。其中，GBVS是計算局部顯著性的模型，SR是計算全局顯著性的模型，CA是綜合考慮局部和全局顯著性的模型。

在測試的過程中，首先使用不同顯著性模型來計算顯著圖，然后使用最大熵法對顯著圖進行分割得到二值圖像，最后基于二值圖像得到疵點區域信息，并將分割所得到的疵點信息進行對比。

圖9示出對1幅含有斷頭疵的小提花織物圖像使用不同方法獲得的顯著圖。圖10示出疵點檢測結果。從圖10中可看出，使用不同顯著性模型進行疵點檢測，都能取得一定的準確性，這說明使用視覺顯著性模型進行小提花織物的疵點檢測是可行的。同時也可看到，跟其他幾種方法相比較，本文所提方法缺陷定位準確率更高，所分割出的疵點區域更完整、更精確。

使用不同方法對200幅圖像進行測試，所得準確率如表1所示，平均準確率和時間如表2所示。

表l 對不同類型疵點圖像進行檢測所得準確率Tab.1 Accuracy rate obtained by four different methods %

表2 使用不同方法進行疵點檢測所的結果比較Tab.2 Comparison of results by four different methods

從表1可看出，本文所提方法的準確率遠遠高于方法1和方法2。特別是對于破洞疵點，本文所提方法的正確率達到了93.3%，而方法1只有76.7%，造成這種現象主要是因為方法1通過計算像素與周圍像素的差異來生成顯著圖。當疵點面積比較小時，方法1所生成的顯著圖中疵點區域的顯著性不高，導致后面顯著區域分割出現誤差；對于橫襠和跳花疵點，本文所提方法的準確率分別達到了95%和96.7%，而方法2的準確率分別只有78.3%和76.7%。造成這種現象的原因是，橫襠和跳花疵點面積都比較大，SR在計算譜殘差時，將疵點區域的信息也去除了，因此方法2最終生成的顯著圖沒能包含完整的疵點區域信息。

從表2可看出，本文所提方法的平均準確率為93.5%，遠遠高于方法1和方法2；由于方法3綜合考慮了全局和局部顯著性，因此，其平均準確率高于方法1和方法2，比本文提到的方法只少1.5%。

從算法的執行速度來看，本文所提方法的平均速度為0.829 s，比方法1慢0.104 s，比方法2慢0.68 s，但是遠遠快于方法3的90.038 s。

需要指出的是，在使用本文提出的方法計算全局顯著性的過程中，為提高速度，將圖像縮小為128像素×128像素后再進行傅里葉變換；進行形態濾波時，使用的是半徑為2的圓形結構元素。

4 結 語

針對小提花織物圖像的特點，提出了一種結合全局和局部顯著性的小提花織物疵點檢測方法。該方法先計算圖像的全局顯著圖和局部顯著圖，并將全局顯著圖和局部顯著圖進行合并生成綜合顯著圖，接著對綜合顯著圖進行分割，所得到的顯著區域即為疵點可能出現的區域，最后分割所得的二值圖像與原始圖像進行疊加，即可得到疵點區域信息。實驗結果表明，本文提出的方法可有效檢測出橫襠、破洞、斷頭、打結和跳花等5種瑕疵。

在后續的研究中，將致力于提高算法的速度以達到在線檢測的目的。

FZXB

致謝 感謝香港大學的H.Y.T. Ngan和 G. K. H. Pang為本文研究所提供的織物圖像。

[1] NGAN Y T, PANG K H, YUNG H C. Automated fabric defect detection: a review[J]. Image and Vision Computing, 2011(29): 442-458.

[2] TAJERIPOUR F, KABIR E, SHEIKHIN A. Defect detection in patterned fabrics using modified local binary patterns[C]//International conference on computational intelligence and multimedia applications. Tamil Nadu: IEEE, 2007: 261 -267.

[3] NGAN Y T, PANG K H, YUNG H C. Motif-based defect detection for patterned fabric [J]. Pattern Recognition, 2008, 41: 1878-1894.

[4] LI M, DENG Z M, WANG L J. Defect detection of patterned fabric by spectral estimation technique and rough set classifier[C]//4thGlobal Congress on Intelligent Systems. Hong Kong: IEEE, 2013: 190-194.

[5] YU X B, HU J L, BACIU G. Defect detection of Jacquard fabrics using multiple color-channel analy-sis[J]. Journal of Textile Application, 2005, 1:21-29.

[6] 張學武,丁燕瓊,段敦勤，等. 基于視覺仿生機理的銅帶表面缺陷檢測[J].中國圖象圖形學報, 2011,16(4): 593-598. ZHANG Xuewu, DING Yanqiong, DUAN Dunqin, et al. Surface defects inspection of copper strips based on vision bionics [J]. Journal of Image and Graphics, 2011, 16(4): 593-598.

[7] 管聲啟,高照元,吳寧,等. 基于視覺顯著性的平紋織物疵點檢測[J].紡織學報,2014,35(4):56-61.

GUAN Shengqi, GAO Zhaoyuan, WU Ning, et al. Defect detection for fabrics based on visual saliency [J]. Journal of Textile Research, 2014, 35(4): 56-61.

[8] GUAN S Q, GAO Z Y. Fabric defect image segmentation based on the visual attention mechanism of the wavelet domain[J]. Textile Research Journal, 2014, 84(10): 1018-1033.

[9] ITTI L, KOCH C, NIEBUR E. A model of saliency- based visual attention for rapid scene analysis [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11):1254-1259.

[10] HOU X D, ZHANG L Q. Saliency detection: a spectral residual approach[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis: IEEE, 2007:1-8.

[11] 劉云鵬，律方成，李成榕，等. 基于數學形態濾波器抑制局部放電窄帶周期性干擾的研究[J].中國電機工程學報，2004, 24(3): 169-173. LIU Yunpeng, Lü Fangcheng, LI Chengrong, et al. Study of the mathematical morphological filter in suppressing periodic narrow bandwidth noise of PD [J]. Chinese Society for Electrical Engineering, 2004, 24(3): 169-173.

[12] HAREL J, KOCH C, PERONA P. Graph-based visual saliency[C]//Advances in Neural Information Processing Systems. Vancouver: NIPS, 2007: 545-552.

[13] GOFERMAN S, ZELNIK L, TAL A. Context-aware saliency detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 1915-1926.

Defect detection for mini-jacquard fabric based on visual saliency

LI Min, CUI Shuqin, CHEN Jia

(SchoolofMathematicsandComputerScience,WuhanTextileUniversity,Wuhan,Hubei430072,China)

This paper proposed a new defect detection method for mini-jacquard fabric based on visual saliency. This method firstly analyzed the characteristic of the mini-jacquard and proposed to apply fast Fourier transform and mathematical morphological filter on the original image to keep down the saliency of the normal area, pop out the saliency of the defect area and obtain the global saliency map; and then, the local saliency map was obtained by using the graph-based visual saliency model; after that, the saliency map could be generated by combining the global and local saliency map; and finally, a maximum entropy method was implemented on the saliency map to separate the defected area. Experimental results show that the proposed method can effectively detect multiple kinds of defects of barre, hole, broken end, knots and netting, and the average success rate is 93.5%. It is an effective defect detection method.

mini-jacquard fabric; defect detection; visual saliency; maximum entropy method

10.13475/j.fzxb.20151003406

2015-10-20

2016-07-21

湖北省教育廳科技項目(D20161605)

李敏(1978—)，女，副教授，博士。主要研究方向為圖像處理和模式識別。E-mail：reaphope@163.com。

TS 101.9

A