基于光照預處理與特征提取的紡織品瑕疵檢測方法

狄嵐，趙樹志，何銳波

（江南大學 數字媒體學院，江蘇 無錫 214000）

目前針對紡織品瑕疵檢測問題的研究方法主要有3類：統計學方法、光譜和基于模型的方法。近幾年，Ngan等提出了基于小波預處理的黃金圖像相減方法(WGIS)[1]、布林線指標方法(BB)[2]、正則帶方法 (RB)[3]、Elo 評分方法 (ER)[4]。其對于紡織品瑕疵檢測的研究代表了目前該領域的較高水平。Ngan提出的方法大多都是基于手工模板提取的，然而手工確定模板在實際運用中還有一定的局限性。Jia等[5]提出了一種基于Garbor濾波的自動模板提取瑕疵檢測方法(LSG)，有效地解決了手工確定模板帶來的局限性。但是在光照變化條件下的瑕疵檢測還沒有很好的效果。實驗表明，關照問題是影響紡織品瑕疵檢測的重要因素，光照作為外在因素在檢測過程中是不受人為控制的，在光照條件不同時，會有不同的二維圖像產生，然而對任意光照下的二維圖像識別是有一定難度的，因此光照預處理在紡織品瑕疵檢測中是關鍵一步。

目前光照預處理[6-8]方法大致可分為以下幾類：基于小波變換的預處理方法[9]、自商圖像方法[10]、Retinex 方法[11]、各向異性非均質光滑處理[12]、對比度增強[13]等。這些方法中的基于直方圖均衡化的增強方法因其實用性和簡潔性而受到廣泛關注[14]，基礎理論是根據輸入圖像的灰度概率分布函數來確定其對應的輸出灰度值，通過擴展圖像的灰度、動態范圍達到提升圖像對比度的目的。直方圖均衡化分為全局和局部兩種，與全局方法相比，局部直方圖均衡化可以更好地增強圖像的局部信息。本文采用基于完整局部二值模式(CLBP)[15]的特征提取方法，但是傳統CLBP算法在提取全面信息的同時增加了時間復雜度，且在圖像小部分區域變化幅度劇烈或變化幅度平緩時識別率較低。因此本文提出了一種改進的完整局部二值模式，在一定程度上解決了CLBP存在的局限性。并結合光照預處理解決了受光照影響的紡織品瑕疵檢測的問題，在經典紡織品瑕疵檢測數據庫進行實驗，取得較好的檢測效果。因此本文針對上述問題所做的工作是：

1)使用局部對比度增強算法處理受光照影響紡織品圖像并與一種改進CLBP算子結合，將光滑部分紋理信息考慮進去，提高了紋理識別精細度，解決了受光照影響紡織品瑕疵檢測的問題；

2)將上述算法與一種自動格分割方法結合，減少了算法的人工干預，針對本文使用的數據庫有出色的檢測效果。

1 光照預處理與特征提取

1.1 光照預處理：局部對比度增強(LCE)

基于整幅圖像的均衡化處理[14]會限制對比拉伸的比率，基于局部的對比增強可以有效地改善細節特征的可視化。局部對比增強變換的公

式為：

式中：L(m, n)表示像素(m, n)處的灰度值，

其中，θ為預定義的閾值，Ω是像素(m, n)的鄰域。實驗采用的5×5鄰域，是所選鄰域的像素的總和。由于式(2)得到的局部值可正可負，所以有必要進行數據歸一化：

1.2 格分割

首先由形態學成分分析(MCA)[16]得到圖像的卡通層和紋理層，卡通層主要是強調圖像邊緣和光滑平緩區域，而紋理層主要保留了像素值的細微變化。除去由紋理層中細微變化所帶來的干擾，卡通層使背景像素的集中程度更加明顯。由于我們的假設條件保證了較高的對比度，紡織品圖案的卡通層更加容易區分。如果卡通層是由一個閾值進行二值化處理，那么所得到的結果就能代表紡織品圖案，在任意維度上的背景像素總是集中在紡織品圖案上。

本文中使用的格分割方法[5]在一定程度上克服了Ngan等方法的缺點，屬于一種自動提取模板的格分割方法，在一定程度上減少了人工參與帶來的局限性。

1.3 完整局部二值模式CLBP

完整局部二值模式提出了3種局部紋理描述算子[17]：窗口灰度差異描述算子S, 梯度窗口差異描述算子M以及中心像素點描述算子C。這3種算子的計算方法為：

其中：式中：p為鄰域數目；s(x)表示算子S, M, C的符號；gc為窗口中心像素點灰度值；gp為中心P鄰域各點灰度值；gn為每一個窗口內灰度值均值,N為圖像劃分子窗口個數。

從上述公式可以看出，S即為傳統意義的LBP，M算子是對兩像素點的灰度差異幅值與全局灰度差異幅值均值比較，作為S的互補信息，C反映中心像素點的灰度信息。這3種算子構成的聯合算子對紋理描述更加精細，大大提高了紋理的識別率。

1.4 KLD散度計算

由上述特征提取方法得到的特征值實際上是由直方圖的形式呈現的。在這個直方圖中，橫坐標表示每一類特征，縱坐標表示每一類特征出現的頻率。KLD散度又稱Kullbac-Leibler_divergence[18]，是一種用來衡量兩個概率分布距離的方法。傳統的KLD計算方法為：

式中P(xi)和Q(xi)分別代表兩種概率分布。

2 瑕疵檢測算法實現

2.1 算法描述

本文算法分為訓練和測試兩部分實現。

訓練部分：

1)用MCA算法得到所有無光照影響無瑕疵圖的卡通層與紋理層，且只保留卡通層部分；

2)針對上述卡通層進行分塊，并求每一塊的特征值與所有塊的平均特征值；

3)求每一塊的特征值與平均值的KLD散度值并得到閾值T；

測試部分：

4)用LCE算法對所受光照影響有瑕疵圖做預處理；

5)用MCA得到上述預處理后圖像的卡通層與紋理層，且只保留卡通層部分；

6)計算所有瑕疵圖卡通層中每一塊特征值并與上述平均值求KLD散度值；

7)將得到的KLD散度值與閾值T比較，并將大于閾值T的部分標記為瑕疵區域。

整體算法流程圖如圖1所示。

圖 1 算法流程圖Fig. 1 Overall block diagram of the proposed algorithm

2.2 特征提取：改進CLBP

傳統CLBP算法中的M算子僅包含了局部窗口的灰度差異特征[19]，若待處理的圖像由于基于某種原因導致灰度不平均，則會遺漏掉一部分光滑紋理信息。因此，針對這一問題，改進CLBP的M算子使得其通過對比兩像素點的灰度差異幅值與窗口灰度差異幅值的均值大小描述局部窗口內灰度梯度差異特征，改進的M算子可以表示為

其中，

其余兩個算子與傳統CLBP相同。格分割與特征提取流程如圖2所示。

圖 2 預處理與特征提取Fig. 2 Preprocessing and Feature extraction

2.3 閾值選取

在閾值選取上，通過計算訓練部分中無瑕圖的每一塊特征值與平均特征值的KLD散度，然后通過這些KLD值進行閾值的篩選，其方法是：

式中：Tk為所有樣本中第k個格子計算得到的散度值。

3 實驗結果與分析

為了驗證本文的可行性與正確性，本文在PC機上進行多次仿真實驗，處理器為i7-4710HQ，主頻為2.5 GHz，內存為8 GB，用MATLAB R2016b軟件進行實驗。

本文實驗的數據庫由香港大學電氣實驗室提供，數據集包含2種類型的紡織品圖像且均為彩色圖像。在實驗中，彩色圖像均被轉換成灰度圖像再進行處理。這2種類型的紡織品圖像分別為星形紡織品圖像和箱形紡織品圖像。其中星形紡織品圖像又包含3種瑕疵類型，分別為斷端瑕疵類型、網紋瑕疵類型和細條紋瑕疵類型。箱形紡織品瑕疵類型與星形相同。每一種瑕疵圖像都有與其對應的Ground-Truth圖像，其中1代表瑕疵，0代表背景。本實驗采用的評價指標有4種，分別為TPR、FPR、PPV和NPV。其中TPR[19]表示瑕疵處被標記為瑕疵的比例，FPR表示背景處被錯誤標記為瑕疵的比例，PPV表示輸出圖像瑕疵區域所占比例，NPV表示輸出圖像背景所占的比例。

3.1 不同光照預處理方法實驗結果分析

不同的光照預處理方法對紡織品圖像的預處理效果是不同的，本文針對這一問題進行了對比實驗，并選擇最優預處理算法進行下一步的瑕疵檢測，實驗結果如圖3、圖4所示。

圖 3 不同光照預處理算法對星形瑕疵類型瑕疵圖處理結果Fig. 3 Star defect image and preprocessing results with different preprocessing algorithm

圖 4 不同光照預處理算法對箱形瑕疵類型瑕疵圖處理結果Fig. 4 Box defect image and preprocessing results with different preprocessing algorithm

分析圖3、圖4的實驗結果，局部對比度增強算法針對紡織品圖像的預處理效果較其他算法最為出色，LCE可以有效地改善細節特征的可視化。Retinex與同態濾波算法雖然也能還原原圖的基本特征，但是仍然有部分區域過暗，無法有效提取細節特征。自商圖像處理后的圖像亮度過高，影響了局部特征的提取，降低了瑕疵區域與無瑕區域的對比度。下面將對所有算法處理后的紡織品圖像進行瑕疵檢測。

表 1 不同預處理算法對星形圖案的檢測效果影響Table 1 The effect of different pre-algorithm on star pattern %

3.2 不同預處理方法對瑕疵檢測結果影響

本文使用上述4種光照預處理算法在星形圖與箱形圖數據集中進行瑕疵檢測對比實驗，實驗結果如表1、表2、圖5～10所示。

表 2 不同預處理算法對箱形圖案的檢測效果影響Table 2 The effect of different pre-algorithm on box pattern %

圖 5 不同光照預處理算法對星形斷端瑕疵類型瑕疵圖檢測結果Fig. 5 Star broken end defect image and fabric detection results with different preprocessing algorithm

圖 6 不同光照預處理算法對星形網紋瑕疵類型瑕疵圖檢測結果Fig. 6 Star netting multiple defect image and fabric detection results with different preprocessing algorithm

圖 7 不同光照預處理算法對星形細條紋瑕疵類型瑕疵圖檢測結果Fig. 7 Star thin bar defect image and fabric detection results with different preprocessing algorithm

圖 8 不同光照預處理算法對箱形斷端瑕疵類型瑕疵圖檢測結果Fig. 8 Box broken end defect image and fabric detection results with different preprocessing algorithm

圖 9 不同光照預處理算法對箱形網紋瑕疵類型瑕疵圖檢測結果Fig. 9 Box netting multiple defect image and fabric detection results with different preprocessing algorithm

圖 10 不同光照預處理算法對箱形細條紋瑕疵類型瑕疵圖檢測結果Fig. 10 Box thin bar defect image and fabric detection results with different preprocessing algorithm

分析表1和圖 5～7檢測實驗結果，基于LCE預處理算法的疵點檢測效果最為出色，針對3種瑕疵類型的TPR值均達到0.99，且不存在誤檢情況。Retinex算法針對斷端和細條紋瑕疵類型的檢測結果TPR值雖然達到0.99但是其檢測結果存在大面積誤檢，針對網紋瑕疵類型的檢測結果TPR值僅有0.11，且也有大范圍的誤檢。同態濾波算法針對網紋、細條紋和斷端瑕疵類型的檢測結果TPR值分別為0.91、0.86和0.56且檢測結果存在大面積的誤檢。自商圖像算法針對3種瑕疵類型的檢測結果TPR值均低于0.3且依然存在大面積的誤檢。

分析表2、圖8～10檢測實驗結果，基于LCE預處理算法的疵點檢測效果最為出色，針對網紋和細條紋瑕疵類型的TPR值均達到0.99，針對網紋類型檢測結果存在小范圍誤檢情況。Retinex算法針對斷端的TPR值為0.01幾乎無法檢測出瑕疵區域，針對網紋與細條紋瑕疵類型的檢測結果TPR值在0.5左右，但是其檢測結果存在大面積誤檢。同態濾波算法針對網紋、細條紋和斷端瑕疵類型的檢測結果TPR值分別為0.60、0.56和0.45且檢測結果存在大面積的誤檢。自商圖像算法針對3種瑕疵類型的檢測結果TPR值均低于0.3且依然存在大面積的誤檢。

綜上所述，Retinex算法僅針對星形數據集的實驗結果查全率TPR與LCE算法接近，但是前者檢測結果誤檢面積較大，其他兩種算法都與LCE算法差距較大，故選擇LCE算法作為最優光照預處理算法，并結合本文提出的特征提取算法進行瑕疵檢測。

3.3 本文算法與其他算法對比

在星形圖與箱形圖數據集中，本文算法與其他經典算法LSG、WGIS、BB和RB結合LCE光照預處理算法進行對比實驗。實驗結果如表3、表 4、圖 11～16所示。

分析表3、圖11～13檢測實驗結果，本文算法在所有3種瑕疵類型中的檢測結果均為最優。且本方法在所有3種類型的瑕疵中TPR值均達到最優，FPR值保持穩定。

分析表4，圖14～16檢測實驗結果，在3種瑕疵類型的檢測結果中本文算法均優于其他3種算法且本方法在所有3種類型的瑕疵中TPR值均達到最優，FPR值保持穩定。

表 3 不同算法對星形圖案的檢測效果影響Table 3 The effect of different algorithm on star pattern%

表 4 不同算法對箱形圖案的檢測效果影響Table 4 The effect of different algorithm on box pattern%

圖 11 不同算法對星形圖斷端疵點圖像的檢測結果Fig. 11 Star broken end defect image and fabric detection results with different algorithms

圖 12 不同算法對星形圖網紋疵點圖像的檢測結果Fig. 12 Star netting multiple defect image and fabric detection results with different algorithms

圖 13 不同算法對星形圖細條紋疵點圖像的檢測結果Fig. 13 Star thin bar defect image and fabric detection results with different algorithms

圖 14 不同算法對箱形圖斷端疵點圖像的檢測結果Fig. 14 Box broken end defect image and fabric detection results with different algorithms

圖 15 不同算法對箱形圖網紋疵點圖像的檢測結果Fig. 15 Box netting multiple defect image and fabric detection results with different algorithms

圖 16 不同算法箱形圖細條紋疵點圖像的檢測結果Fig. 16 Box thin bar defect image and fabric detection results with different algorithms

4 結束語

本文提出了一種基于LCE光照預處理算法的改進CLBP紡織品瑕疵檢測方法。使用的LCE光照預處理算法可以有效地改善細節特征的可視化，并將LCE光照預處理算法與改進CLBP算法相結合，在一定程度上解決了受光照影響的紡織品瑕疵檢測的問題。由實驗結果可知，本文算法針對數據集中3種瑕疵類型的紡織品均有不錯的檢測效果，部分檢測結果的TPR可以達到0.99左右。本文方法的局限性在于光照預處理算法仍需要進一步的優化，從而保留更多的圖像細節特征，且受限于分塊方法的局限性，本算法無法對點形圖進行檢測。因此克服上述問題是進一步的研究方向。