基于全局和局部顯著性的織物疵點檢測

姚明海,潘海飛,王憲保

(浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023)

基于全局和局部顯著性的織物疵點檢測

姚明海,潘海飛,王憲保

(浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023)

針對織物疵點檢測過程中疵點種類繁多、大小差異和受織物本身紋理干擾等特點，提出了一種全局顯著性和局部顯著性相結(jié)合的織物疵點檢測方法.首先對圖像進行稀疏表示，然后計算系數(shù)矩陣的增量編碼長度，根據(jù)增量編碼長度量得到局部顯著圖，再利用頻率調(diào)諧法計算全局顯著圖，接著將這兩類顯著圖相融合得到綜合顯著圖，最后，通過自適應(yīng)閾值分割法求得二值化圖像.實驗證明：該算法的檢測效率高，并具有較強的抗干擾能力.

疵點檢測；頻率調(diào)諧；顯著性；稀疏編碼

隨著面料的生產(chǎn)速度變得更快，快速缺陷檢測成為織物質(zhì)量控制系統(tǒng)的一個重要步驟.傳統(tǒng)的織物檢測主要是通過人工來實現(xiàn)，效率低且受主觀因素影響大，嚴重限制了高質(zhì)量的織物生產(chǎn)速度.因此，基于機器視覺的織物疵點檢測方法逐漸成為現(xiàn)在的研究熱點，現(xiàn)有的織物檢測方法主要有頻域法、統(tǒng)計法和模型法等.統(tǒng)計法[1]利用一定空間內(nèi)灰度值的統(tǒng)計特征來描述該紋理.頻域法[2]將織物圖像變換到頻域，頻域形式充分體現(xiàn)了紋理的周期性，檢測目標主要針對具有均勻紋理的織物圖像.模型法[3]假定紋理是某種模型下的一個樣本.這些方法雖然都可以檢測織物疵點，但是往往只針對于某幾種特定的缺陷，且背景比較簡單，紋理單一.由于不同紋理的織物在生產(chǎn)過程中出現(xiàn)的疵點特征復(fù)雜多變，這些方法使用時計算復(fù)雜，缺乏靈活性.

近年來，視覺注意機制引起了廣泛關(guān)注，在物體識別[4]、缺陷檢測[5]和目標跟蹤[6]領(lǐng)域都有相應(yīng)的應(yīng)用.顯著性是一種常用的視覺注意機制方法，已經(jīng)有很多顯著性檢測方法被提出，可以大致將其分為局部性模型和全局性模型.全局性模型，例如頻率調(diào)諧法[7]，對圖像的邊緣或噪聲等高頻部分表現(xiàn)敏感，使得目標邊界輪廓更好的凸顯，而目標內(nèi)部結(jié)構(gòu)往往被忽略.但全局顯著性往往對局部特征不明感.局部性模型，例如Itti模型，通過特征的稀有性[8]尋找顯著性區(qū)域.但局部顯著性往往忽略了全局關(guān)系及結(jié)構(gòu).因此筆者將全局顯著性和局部顯著性相結(jié)合，提出了一種將全局顯著性和局部顯著性相結(jié)合的織物疵點檢測新方法，全局顯著性部分，分別計算圖像整體均值分量和高斯平滑后的的均值分量，從兩者的差值得到全局顯著圖，計算速度快且能得到良好的邊界；局部顯著性部分，在圖像稀疏分解的基礎(chǔ)上，利用增量編碼長度來對圖像塊能量再分配，改變系數(shù)矩陣的權(quán)值，得到最優(yōu)的系數(shù)矩陣，進而求得局部顯著性.然后將二者融和成最終的顯著圖，通過自適應(yīng)閥值準確分割出疵點區(qū)域.

1 局部顯著性

采用Hou[9]提出的基于增量編碼長度的算法來計算織物圖像的顯著性.首先對圖像稀疏表示，利用系數(shù)矩陣的熵來計算增量編碼長度，然后利用增量編碼長度來對圖像塊能量再分配，改變系數(shù)矩陣的權(quán)值，得到最優(yōu)的系數(shù)矩陣，最后通過計算圖像塊和該周圍圖像塊相似程度來確定局部顯著性.具體操作如下.

1.1 詞典學(xué)習(xí)和稀疏表示

通過字典學(xué)習(xí)，可以對原始訓(xùn)練樣本更好的表示.給定一組樣本Y=(y1,y2,…),詞典學(xué)習(xí)計算式為

(1)

式中：‖‖0，‖‖2分別為0范數(shù)和2范數(shù)；λ為正則化參數(shù)；αi表示訓(xùn)練樣本yi在詞典D下的稀疏表示.字典學(xué)習(xí)常用的方法有線字典學(xué)習(xí)算法和K-SVD算法.

已知圖像的過完備詞典D，x∈Rm為圖像的向量，則對于x的稀疏表示w的求解式為

(2)

這是一個NP-Hard問題，不易求解.然而，根據(jù)最近的研究，當w足夠稀疏，上述問題就可以通過最小化l1范數(shù)來近似求解，即

(3)

式中λ為常系數(shù).這是一個線性退化Lasso問題，常用求解方法有正交匹配追蹤算法和匹配追蹤算法.

1.2 增量編碼長度

已經(jīng)有研究得到了視覺系統(tǒng)的編碼和表達來評估大腦皮層的能量變化情況.即用增量編碼長度來對編碼能量再分配，獲得更加有效的稀疏編碼，將增量編碼長度用于顯著性分類，可以更加有效的突出顯著性物體，得到更好的顯著圖.

活躍度反映采樣序列的響應(yīng)水平，記第i個特征的活躍度為pi，對于給定的圖像矩陣X=[x1,x2,…,xk,…]，xk代表向量化圖像塊，pi計算式為

(4)

(5)

活躍度的改變同時會引起熵的改變，即

(6)

則增量編碼長度為

(7)

1.3 能量再分配

(8)

令所有圖像塊的加權(quán)編碼稀疏T=[g1w1,g1w2,…,giwi,…]，ti=giwi.則局部像素塊的顯著度的計算式為

Slocal(i)=‖ti‖0‖xi-Dti‖1

(9)

式中Slocal(i)為像素塊i的顯著性.

2 全局顯著性

從頻率域的角度對圖像進行分析建模.設(shè)wlc為低頻切斷值，whc為高頻切斷值.為了使得顯著物體高亮顯示，wlc應(yīng)該盡量低一些，為了得到更好的顯著物體邊界，whc應(yīng)該盡量高一些.此外，為了消除噪聲，圖像紋理的干擾，圖像的最高頻率應(yīng)當舍棄掉.選取DoG濾波器為帶通濾波器，即

G(x,y,σ1)-G(x,y,σ2)

(10)

式中：σ1，σ2分別為高斯函數(shù)的標準偏差(σ1>σ2).

(11)

當N≥0，F(xiàn)N可以用兩個高斯函數(shù)的差來表示，K=ρN決定FN帶寬.K=ρN越大，包含更多的頻率信息.當N=∞時，G(x,y,ρNσ)相當于對整個圖像的平均.因此每個像素的顯著度計算式為

Sglobal(x,y)=‖Iμ-Iwhc(x,y)‖2

(12)

式中：Iwhc(x,y)為原圖高斯平滑后像素點在的圖像中的顏色特征；Iμ為圖像的平均顏色特征.

3 顯著性特征融合

得到了全局顯著圖Sglobal和局部顯著圖Slocal后，為了得到更有效的顯著圖，將將它們?nèi)诤蠟橐粋€顯著圖.首先，分別對其做歸一化處理：

N(S)=[S-min(S)]/[max(S)-min(S)]

(13)

式中：max(S)，min(S)分別為顯著圖中的最大值和最小值.

其次，為有效保留全局和局部顯著性兩種特征的缺陷目標，采用乘法融合顯著圖，得

S=N(Sglobal)×N(Slocal)

(14)

(15)

4 實驗及結(jié)果分析

實驗在IntelCorei7-3770M3.4GHz，內(nèi)存8GB的CPU平臺上，利用matlab軟件完成.織物樣本選自TILDA公共庫和生產(chǎn)線拍攝的圖片，隨機選擇200 張不同織物結(jié)構(gòu)的樣本圖像進行實驗，其中100 張無瑕疵，100 張有瑕疵，包含12 種瑕疵(抽絲、錯維、斷疵、經(jīng)縮、破洞、毛邊、毛球、邊撐疵、黑斑、條干、拖邊和油經(jīng)).圖1為部分織物疵點圖，圖1(a～e)分別為抽絲、黑斑、錯維、破洞和邊撐疵圖像.

圖1 織物疵點圖Fig.1 Fabric defect map

為了提高運算速度，首先將原織物圖像壓縮到原圖像的十分之一.在局部顯著性計算時，輸入圖像塊重疊率為50%，大小為8×8.詞典的學(xué)習(xí)用K-SVD算法，迭代次數(shù)為1 000，調(diào)和系數(shù)為0.15，詞典大小為400，參數(shù)λ取0.18，高斯平滑模板大小為3×3.

圖2分別為圖1各疵點圖像對應(yīng)的顯著圖，圖3分別為圖2閾值分割后的二值化圖像.可以看出筆者算法有效地實現(xiàn)了疵點和背景的分離.

圖2 織物疵點顯著性圖Fig.2 Fabric defect saliency map

圖3 織物疵點二值化圖Fig.3 Fabric defect bnarization map

圖4為織物疵點檢測二值化對比圖.其中圖4(a)為待檢測織物圖像，圖4(b)為用全局顯著性方法得到的檢測結(jié)果，圖像顯示，許多紋理當作缺陷被檢測出來；圖4(c)為用局部顯著性方法得到的檢測結(jié)果，有效的抑制了自身紋理的干擾，但是不能很好的檢測缺陷的外輪廓；圖4(d)為用全局和局部顯著性融合方法得到的檢測結(jié)果，可以看出綜合顯著圖有效的去除了自身紋理的干擾，更多的保留了缺陷的特征.

圖4 織物疵點檢測二值化對比圖Fig.4 Fabric defect Binarization contrast map

張洪濤和計時鳴提出了一種基于小波變換與局部熵相結(jié)合的織物疵點檢測方法.分別計算待測織物和正常織物圖像的熵，根據(jù)熵的差值的絕對值大小來判別該圖像是否存在疵點，該算法計算量小，但是在復(fù)雜的織物紋理背景下，檢測效果不佳.吳哲和劉孝星提出一種共生矩陣算法，共生矩陣屬于高階統(tǒng)計量，能刻畫不同紋理間的差別，從灰度共生矩陣中提出紋理特征，計算灰度共生矩陣中的熵、相關(guān)性、對比度、差異性和逆差矩，并據(jù)此判別是否存在缺陷.但共生矩陣維數(shù)大，計算時間長，且檢測率不高.對比實驗結(jié)果如表1所示.

表1 不同織物疵點檢測方法實驗結(jié)果對比

Table 1 Comparing the experimental results of different fabric defect detection method

檢測方法檢測時間/ms檢測率/%誤檢率/%筆者算法62．4945小波變換53．6888共生矩陣1442．7935

表1中，檢測時間是指疵點檢測算法的平均時間，檢測率是指準確檢出疵點的圖片數(shù)量與所有瑕疵圖片數(shù)量比例，誤檢率是指誤報有瑕疵的圖片的數(shù)量與所有檢測圖片數(shù)量的比例.筆者算法在檢測時間和檢測率都比共生矩陣法有優(yōu)勢，小波變換法雖然計算時間較快，但檢測率較低，誤檢率較高.

5 結(jié) 論

提出了一種將全局顯著性和局部顯著性相結(jié)合的織物疵點檢測新方法.局部顯著性部分，在圖像稀疏分解的基礎(chǔ)上，利用增量編碼長度來對圖像塊能量再分配，改變系數(shù)矩陣的權(quán)值，得到最優(yōu)的系數(shù)矩陣，進而求得局部顯著性.全局顯著性部分，分別計算圖像整體均值分量和高斯平滑后的的均值分量，從兩者的差值得到全局顯著圖，計算速度快且能得到良好的邊界.然后將二者融和成最終的顯著圖.與傳統(tǒng)算法相比，檢測效率和檢測精度均有一定改進，并具有較強的魯棒性.此外，該方法具有一定的通用性，對算法稍微改進，也可以用在其他缺陷檢測中.

[1] 吳哲，劉孝星，鄭力新，等.基于灰度共生矩陣特征圖像的織物疵點檢測方法[J].微型機與應(yīng)用，2015，34(21)：47-49.

[2] 顧菁，薛云燦，張龍，等.基于小波變換與局部熵的織物疵點檢測方法[J].微處理機，2015(5)：69-75.

[3] 朱俊嶺，汪軍，張孝南，等.基于AR模型的機織物線狀疵點研究[J].紡織學(xué)報，2012，33(8)：50-54.

[4] 鮑官軍，荀一，戚力勇，等.機器視覺在黃瓜采摘機器人中的應(yīng)用研究[J].浙江工業(yè)大學(xué)學(xué)報，2010，38(1)：114-118.

[5] 張洪濤，計時鳴.基于改進的BP神經(jīng)網(wǎng)絡(luò)鋼板表面缺陷分類算法研究[J].浙江工業(yè)大學(xué)學(xué)報，2010，38(4)：388-390.

[6] 滕游，董輝，俞立.基于DSP的運動目標檢測與跟蹤系統(tǒng)設(shè)計[J].浙江工業(yè)大學(xué)學(xué)報，2009，37(6)：607-609.

[7] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection[C]//Proceedings of 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshop.Miami：IEEE Computer Society，2009：1597-1604.

[8] 樊強，齊春.基于全局和局部短期稀疏表示的顯著性檢測[J].計算機科學(xué)，2014，41(10)：80-83.

[9] HOU X D, ZHANG L. Dynamic visual attention: searching for coding length increments[C]//Advances in Neural Information Processing Systems.Vancouver：MIT Press，2008：681-688.

Fabric defect detection based on local saliency and global saliency

YAO Minghai, PAN Haifei, WANG Xianbao

(College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China)

Aiming at the problems, such as a wide range of defects, different defect sizes and fabric texture interferences in the process of fabric defect detection, this paper proposes a new fabric defect detection method combining the local saliency and global saliency. Firstly, the image is represented as sparse matrix and the incremental encoding length of the coefficient matrix is computed. The local saliency can be measured by the Incremental Coding Length(ICL). Then the frequency tuning method is used to calculate the global saliency map. These two kinds of saliency maps are combined to obtain the final saliency map. Finally, the adaptive threshold segmentation method is used to achieve binary image. Experiment shows that the proposed algorithm can efficiently detect defects with shorter time and has strong anti-jamming ability.

defect detection; frequency tuned; saliency detection; sparse coding

(責(zé)任編輯：陳石平)

2016-03-05

姚明海(1963—)，男，浙江嘉善人，教授，研究方向為模式識別和智能控制，E-mail：ymh@zjut.edu.cn.

TP391.9

A

1006-4303(2017)01-0019-04