應用方向梯度直方圖和低秩分解的織物疵點檢測算法

李春雷， 高廣帥， 劉洲峰， 劉秋麗， 李文羽

(1. 中原工學院 電子信息學院， 河南 鄭州 451191; 2. 中原工學院 紡織學院， 河南 鄭州 451191)

應用方向梯度直方圖和低秩分解的織物疵點檢測算法

李春雷1， 高廣帥1， 劉洲峰1， 劉秋麗1， 李文羽2

(1. 中原工學院 電子信息學院， 河南 鄭州 451191; 2. 中原工學院 紡織學院， 河南 鄭州 451191)

織物疵點檢測是織物表面質量控制的關鍵環節。基于方向梯度直方圖(HOG)和低秩分解，提出一種有效的織物疵點檢測算法。首先，將織物圖像劃分為大小相同的圖像塊，提取每個圖像塊的HOG特征，并將圖像塊特征組成特征矩陣，針對特征矩陣構建有效的低秩分解模型，通過方向交替方法(ADM)優化求解，生成低秩陣和稀疏陣；最后采用改進最優閾值分割算法對由稀疏陣生成的顯著圖進行分割，從而定位出疵點區域。實驗結果表明，低秩分解能有效實現織物疵點的快速分離，與已有方法進行對比，本文方法能顯著提高復雜織物紋理圖像的疵點檢測性能。

方向梯度直方圖； 低秩分解； 織物圖像； 疵點檢測

織物疵點檢測是紡織品質量控制系統中的核心環節，直接影響著系統的性能。目前已有的織物疵點檢測算法主要分為4類：基于模型的方法；基于頻譜分析的方法；基于統計的方法；基于字典學習的方法。基于模型的方法通過對正常織物紋理進行建模、判別測試圖像是否符合該模型來進行疵點檢測，但其算法比較復雜，計算量大，并且在線學習比較困難，對面積較小的疵點檢測能力較差[1]；基于頻譜分析的方法首先將圖像變換到頻域，然后利用某種能量準則進行織物疵點檢測，但檢測效果依賴于濾波器組的選擇[2]；基于統計的方法通過計算正常織物與疵點區域紋理的統計特性進行疵點檢測，該類方法簡單易行，檢測結果受紋理模式和疵點形狀等的影響，對于小的疵點可能會產生漏檢的情況[3-4]；基于字典學習方法通過自身或訓練圖像學習出字典集，然后采用稀疏優化求解重構正常織物圖像，通過與測試圖像作差，突出疵點區域，或者通過構建字典集作為投影矩陣實現降維，再采用支持向量域描述算法判別或特征比對進行疵點檢測。該類方法如果通過自身訓練字典集，重構圖像仍存在部分疵點，檢測效果不理想；如果采用正常織物圖像進行字典學習，則降低了算法的自適應性[5]。

低秩分解可將矩陣分解為低秩陣(平滑的背景區域)和稀疏陣(前景目標區域)，被用于視覺顯著性和目標檢測中，取得了很好的效果。如利用低秩分解進行運動目標檢測[6]，將低秩分解應用到人臉檢測[7]中和復雜環境紅外弱小目標檢測[8]中。

織物圖像為人造紋理，雖然形態多樣，結構復雜，但大面積的正常圖像存在高度視覺冗余，而疵點屬于稀疏部分，因此織物疵點檢測相對自然圖像中的目標檢測，更好地符合了低秩分解模型。然而現有基于低秩分解的目標檢測等，主要針對自然場景圖像的目標檢測，在特征提取階段主要采用亮度、色差等信息。對于織物圖像，疵點往往表現為紋理的不一致，因此，需要提出有效的織物圖像表征方法，并針對提取特征，構造低秩分解模型并求解，實現疵點的有效分離。

本文提出了一種基于方向梯度直方圖(histogram of oriented gradient, HOG)和低秩分解的織物疵點檢測算法。首先對圖像進行均勻分塊，并提取每個圖像塊的HOG特征，實現對織物圖像的有效表征，然后將特征向量組合成特征矩陣。通過建立有效的低秩分解模型，并采用方向交替方法(alternating direction method，ADM)[9]進行優化求解，將特征矩陣分解為低秩陣與稀疏陣，最后采用改進最優閾值分割算法[10]對由稀疏矩陣生成的顯著圖進行分割，從而定位出疵點區域。

1 算法提出及應用方法

本文提出了一種基于HOG和低秩分解的織物疵點檢測算法，其構建過程如圖1所示。主要包括以下4步：預處理、特征提取、基于低秩分解的顯著圖生成以及顯著圖分割。

圖1 所提算法的構建過程Fig.1 Construction process of proposed algorithm

1.1 預處理

1)圖像分塊：將大小為M×N的織物測試圖像X等分為大小為m×m的圖像Xi，其中i=1,2,…，N(N為圖像塊數)。

2)為了去相關性，采用式(1)對圖像塊Xi進行變換：

(1)

式中：mean(Xi)表示取圖像塊Xi的平均值；norm(·)是向量的范數。

1.2 特征提取

HOG作為一種有效的紋理特征描述方法，廣泛應用于目標檢測與識別中[10]。該方法認為局部目標的表象和形狀可被梯度或邊緣的方向密度分布很好地描述，通過計算和統計圖像局部區域的梯度方向直方圖來構成特征，因此，本文對織物圖像塊提取HOG特征。具體實現過程如下。

1)Gamma校正。首先利用Gamma校正對圖像進行規范化，具體公式為

(2)

在本文中，取gamma為1/2。

2)計算圖像梯度。計算圖像像素點在橫軸和縱軸方向的梯度：

(3)

式中，Gx(x,y)、Gy(x,y)、H(x,y)分別表示輸入圖像中像素點(x,y)處的水平方向梯度、垂直方向梯度和像素值。像素點(x,y)處的梯度幅值和梯度方向分別為

(4)

3)構建梯度直方圖。將圖像分成若干個單元格cell，將cell中的每個像素的梯度方向在直方圖上進行加權投影，生成梯度直方圖。然后將cell單元組合成更大的塊(block)并歸一化塊內的梯度直方圖。將各個cell單元組合成大的、空間上聯通的區間(blocks)。這些區間互相重疊，即每個單元格的特征會以不同的結果多次出現在最后的特征向量中。

4)組裝HOG特征。組合圖像(檢測窗口)中所有重疊的塊的HOG特征，生成最終的特征向量。

最終，對每個圖像塊Xi(i=1,2,…，N), 采用上述步驟提取HOG特征，表示為fi。將所有圖像塊的特征fi組成特征矩陣F=[f1,f2,…，fN],F∈RD×N，用來表示整幅圖像，其中D為特征的維數。

1.3 基于低秩分解的顯著圖生成

針對生成的特征矩陣F，構建低秩分解模型如下：

(5)

式中：L為低秩陣，用來表示冗余織物背景；S為稀疏陣，即疵點信息。

因為上述問題屬于NP-hard問題，很難得到有效解，故采用如下凸優化方法來替代：

(6)

式中：‖L‖*為矩陣L的核范數；‖·‖1表示l1范數；λ為控制低秩度和稀疏度的平衡因子。

式(6)為凸優化模型，對于該模型的優化求解方法，其中頗具代表性的有增廣拉格朗日乘子法[11]、對偶法[12]、加速逼近梯度法[12]、ADM法[9]等。其中，ADM法具有迭代次數少、精確度高及計算速度快等優點，得到了廣泛的應用，因此，本文采用文獻[7]中介紹的ADM算法對提出的模型進行優化求解。

對低秩分解模型通過ADM優化求解，將織物圖像的特征矩陣F分離成對應于背景的低秩矩陣L和對應于疵點的稀疏矩陣S。其中S的每一列Si對應著一個圖像塊為疵點的可能性，本文采用Si的 l1范數來表示圖像塊i的顯著度(sal)，即為疵點的可能性大小：

(7)

‖Si‖1越大，則圖像塊Bi顯著度越大，即為疵點的可能性越大，所有圖像塊的顯著度組成相應的顯著圖SM。

1.4 顯著圖分割

1)對視覺顯著圖SM進行降噪得到

(8)

其中：g為圓形平滑濾波器；“°”為哈達瑪內積運算符；“*”為卷積運算符。

(9)

3)利用改進優化閾值分割算法[10]對G進行分割，從而定位出疵點區域。

2 實驗結果及分析

為驗證本文算法的有效性，從織物圖像庫中隨機挑選幾類常見的疵點圖像(包括錯緯、斷經、跳花、斷緯等)，圖片大小均為512像素×512像素，圖像塊大小選為16像素×16像素。本文的所有實驗均在Inter(R) Core(TM) i3-2120 3.3 GHz的CPU環境下，使用工具軟件MatLab 2011a完成。

首先考慮對于不同的梯度方向提取HOG特征，具體如圖2所示。由圖可看出：所選特征較少時，對于有些圖像疵點檢測不連續，如圖2(c)的B圖所示，如此這樣并不能很好地表示圖像；而若特征維數較多，又會增加計算量。所以綜合考慮，選擇特征維數為8。

注：A—原圖；B—提取6維HOG特征生成顯著圖；C—提取7維HOG特征生成顯著圖；D—提取8維HOG特征生成顯著圖； E—提取9維HOG特征生成顯著圖。圖2 織物疵點圖像和不同特征顯著性檢測結果Fig.2 Fabric defect image and saliency map corresponding to different features. (a) Filling mixed; (b) Skips; (c) Broken skip

注：A—原圖； B—λ=0.02； C—λ=0.04； D—λ=0.06； E—λ=0.08； F—λ=0.10。圖3 不同λ對應顯著性檢測結果Fig.3 Saliency map corresponding to different λ.(a) Filling mixed; (b) Skips; (c) Broken skip

接下來，考慮不同的平衡因子λ所對應的顯著圖，具體如圖3所示。平衡因子λ可控制低秩度和稀疏度之間的平衡。由圖3可見，當λ較小時，存在的噪聲較大，如圖3中B圖所示。當λ較大時，可能會產生漏檢的情況，如圖3中F圖所示，所以綜合考慮各種因素，本文選擇平衡因子λ為0.06。

通過上文分析，本文選擇特征維數為8，平衡因子λ為0.06的顯著圖作為最終的檢測結果。

圖4 基于上下文感知生成的顯著圖Fig.4 Saliency maps generated by context aware method.(a) Filling mixed; (b) Skips; (c) Broken skip

圖5 基于元胞自動機生成的顯著圖Fig.5 Saliency maps generated by cellular automaton method.(a) Filling mixed; (b) Skips; (c) Broken skip

圖6 基于低層特征小波變換生成的顯著圖Fig.6 Saliency maps generated by low-level features of wavelet transform method.(a) Filling mixed; (b) Skips; (c) Broken skip

圖7 采用本文方法生成的顯著圖Fig.7 Saliency maps generated by proposed method. (a) Filling mixed; (b) Skips; (c) Broken skip

圖8 最終分割結果Fig.8 Final segmentation results.(a) Filling mixed; (b) Skips; (c) Broken skip

將本文算法生成的顯著圖與其他視覺顯著模型生成的視覺顯著圖進行對比，最后再對顯著圖進行閾值分割，定位并凸顯出疵點區域，結果如圖4～8所示。由圖 可看到，基于上下文感知的視覺顯著圖[13]只考慮了圖像的亮度特征，而對于織物圖像更多的是紋理和方向特征，且大都為灰度圖像，所以該方法不太適合于織物的疵點檢測；基于元胞自動機[14]生成的視覺顯著圖只是將圖像分成大小不一的元胞，而忽略了織物圖像的整體信息，對織物疵點圖像的檢測效果都不是太理想；基于低層特征的小波變換[15]生成的視覺顯著圖，也是只考慮了圖像的亮度特征，對于疵點和背景紋理差別不大的圖片基本上就完全失效，如圖6(c)所示；而由本文方法結合HOG特征和低秩分解算法得到的顯著圖可有效地突出織物的疵點區域，如圖7所示。

最后，對于生成的視覺顯著圖，利用前述的改進最優閾值分割算法對顯著圖進行分割，從而定位出疵點區域，實驗結果如圖8所示。從最終的分割圖可看出，本文算法可很好地將疵點和背景分離開，且更加凸顯疵點區域，檢測正確。

3 結 論

本文提出一種基于HOG特征和低秩分解的織物疵點檢測算法。首先將疵點圖像均勻分塊，再提取HOG特征，取每塊的這些特征作為該塊的特征向量，將所有的特征向量組合成的特征矩陣進行低秩分解，得到一個對應于背景的低秩矩陣和對應于疵點的稀疏矩陣，通過稀疏矩陣生成顯著圖。最后通過迭代最優閾值分割算法對顯著圖進行分割，得到最終的檢測結果。實驗證明了本文算法可有效并正確地檢測出疵點區域。將本文算法生成的顯著圖與其他視覺顯著性模型生成的顯著圖進行對比認為，本文算法更具有較好的有效性和魯棒性。本文算法的提出，為進一步研究在復雜結構中的目標檢測提供了新的思路。

FZXB

[1] ALATA O, RAMANANJARASOA C. Unsupervised textured image segmentation using 2-D quarter plane autoregressive model with four prediction supports [J]. Pattern Recognition Letters, 2005, 26(8):1069-1081.

[2] YANG X, PANG G, YUNG N. Robust fabric defect detection and classification using multiple adaptive wavelets [J]. IEE Proceedings-Vision, Image and Signal Processing, 2005, 152(6):715-723.

[3] YING S. Fabric defects detection using adaptive wavelets [J]. International Journal of Clothing Science & Technology, 2014, 26(3):202-211.

[4] 劉洲峰,趙全軍,李春雷,等. 基于局部統計與整體顯著性的織物疵點檢測算法[J]. 紡織學報, 2014, 35(11):62-67. LIU Zhoufeng, ZHAO Quanjun, LI Chunlei, et al. Fabric defect detection algorithm using local statistic features and global saliency analysis [J]. Journal of Textile Research, 2014, 35(11):62-67.

[5] 劉洲峰,閆磊,李春雷,等. 基于稀疏優化的織物疵點檢測算法[J]. 紡織學報, 2016, 37(5):56-61. LIU Zhoufeng, YAN Lei, LI Chunlei, et al. Fabric defect detection algorithm based on sparse optimiz-ation [J]. Journal of Textile Research, 2016, 37(5):56-61.

[6] ZHOU Xiaowei, YANG Can, YU Weichuan. Moving

object detection by detecting contiguous outliers in the low-rank representation [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 35(3):597-610.

[7] ZHENG Z, YU M, JIA J, et al. Fisher discrimination based low rank matrix recovery for face recognition [J]. Pattern Recognition, 2014, 47(11):3502-3511.

[8] 趙愛罡, 王宏力, 楊小岡,等. 基于結構低秩編碼的復雜環境紅外弱小目標檢測算法 [J]. 中國慣性技術學報, 2015, 23(5):662-669. ZHAO Aigang，WANG Hongli, YANG Xiaogang, et al. Infrared dim small target detection algorithm based on structural low-rank coding under complex environment. Journal of Chinese Inertial Technology, 2015, 23(5):662-669.

[9] YUAN Xiaoming, YANG Junfeng. Sparse and low rank matrix decomposition via alternating direction method [J]. Pacific Journal of Optimization, 2009, 9(1)：1-16.

[10] 李春雷, 張兆翔, 劉洲峰,等. 基于紋理差異視覺顯著性的織物疵點檢測算法[J]. 山東大學學報(工學版), 2014，44(4):1-8. LI Chunlei, ZHANG Zhaoxiang, LIU Zhoufeng, et al. A novel fabric defect detection algorithm based on textural differential visual saliency model [J]. Journal of Shandong University, 2014, 44(4):1-8.

[11] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection [C]// IEEE Conference on Computer Vision and Pattern Recognition, CVPR Workshops 2005. San Diego: IEEE,2005： 886-893.

[12] CHEN Minming, GANESH A，LIN Z，et al. Fast convex optimization algorithms for exact recovery of a corrupted low-rank matrix [J]. Journal of the Marine Biological Association of the UK，2009，56(3):707-722.

[13] GOFERMAN S, ZELNIK-MANOR L, TAL A. Context-aware saliency detection [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2010, 34(10):1915-1926.

[14] QIN Yao, LU Huchuan, XU Yiqun, et al. Saliency detection via cellular automata [C]// IEEE Conference on Computer Vision and Pattern Recognition, Boston: IEEE, 2015:110-119.

[15] IMAMOGLU N, LIN W, FANG Y. A saliency detection model using low-level features based on wavelet transform [J]. Multimedia IEEE Transactions on, 2013, 15(1):96-105.

Fabric defect detection algorithm based on histogram of orientedgradient and low-rank decomposition

LI Chunlei1, GAO Guangshuai1, LIU Zhoufeng1， LIU Qiuli1， LI Wenyu2

(1.SchoolofElectricandInformationEngineering,ZhongyuanUniversityofTechnology,Zhengzhou,Henan451191,China; 2.SchoolofTextile,ZhongyuanUniversityofTechnology,Zhengzhou,Henan451191,China)

Fabric defect detection plays an important role in controlling the quality of fabric surface. An effective fabric detection algorithm based on histogram of oriented gradient (HOG) and low-rank decomposition was proposed. Firstly, the test fabric image was divided into image blocks with the same size. A feature matrix was generated by extracting the HOG feature of each block. Secondly, an efficient low-rank decomposition model was constructed, and alternating direction method (ADM) was adopted to decompose the feature matrix into a low-rank matrix and a sparse matrix. Finally, the saliency map generated by sparse matrix was segmented via an improved optimal threshold algorithm to localize the defect. The experimental results show that the proposed method can sufficiently improve the defect detection performance of complicated textile texture patterns.

histogram of oriented gradient; low-rank decomposition; fabric image; defect detection

2016-03-22

2016-12-13

國家自然科學基金資助項目(61379113；61202499)；河南省高校科技創新人才項目(17HASTIT019);鄭州市科技領軍人才項目(131PLJRC643)

李春雷(1979—)，男，副教授，博士。主要研究方向為圖像處理與目標識別。E-mail: lichunlei1979@sina.com。

10.13475/j.fzxb.20160304106

TP 391.9； TS 736.2

A