改進頻率調諧顯著算法在疵點圖像分割中的應用

徐啟永， 胡 峰， 王傳桐， 吳雨川

(1. 武漢紡織大學 機械工程與自動化學院， 湖北 武漢 430074; 2. 武漢紡織大學 湖北省數字化紡織裝備重點實驗室， 湖北 武漢 430074)

疵點圖像分割精度對織物等級自動評定的準確性具有重要意義[1]。圖像分割方法主要有閾值分割法[2]、區域分割法[3]和邊緣分割法[4]等。閾值分割方法計算簡單，運算效率高，被廣泛應用。最大類間方差法(OTSU)是典型閾值分割法，該方法依據背景和目標區域間最大類間方差來獲取門限值，將圖像背景和目標區域分離。為使織物圖像的疵點和背景區域間的類間方差增大，需對織物圖像進行顯著處理，提高織物疵點和背景區域的對比度。

常用的圖像顯著性區域提取方法有：譜殘差(SR)方法[5-6]、基于圖論的視覺顯著性(GBVS)方法[7]、基于全局對比度的顯著(LC)方法[8]和基于局部統計和整體顯著的方法[9]等。SR方法首先根據圖像對數幅值譜得到殘余譜，再利用殘余譜進行傅里葉逆變換，得到顯著圖。雖然該方法可抑制織物背景紋理，但是在計算對數幅值譜過程中使用了減法操作，在抑制背景信息的同時也抑制了疵點信息，不利于疵點準確分割。GBVS方法通過馬爾科夫隨機場構建圖像的馬爾可夫鏈，根據像素點與其周圍點的平衡分布情況獲得顯著圖，存在不能正確凸顯細小疵點的問題。LC方法通過計算每個像素點與整幅圖像中其他像素點間的歐式距離和，獲得顯著圖。雖然該方法計算簡單，但在計算顯著值的過程中容易使頻數小的像素點獲得較大的顯著值，導致噪聲和疵點一起被顯著，使得疵點圖像分割精度下降。局部統計和整體顯著方法是在分塊圖像中，通過測試圖像與隨機選取圖像塊間的局部二進制模式統計特征和灰度統計特征的對比度，來完成基于上下文的整體顯著性分析，生成顯著圖。當背景區域基元與疵點區域基元相差不大時，該方法顯著效果不佳。相較于上述方法，頻率調諧顯著(FT)法不僅計算量小，而且具有顯著圖與原圖分辨率相同的優點[10]，可保持目標區域的整體性，有利于疵點分割精度的提高；但是，該方法要求疵點與背景區域有一定的對比度，并存在高斯濾波器平滑能力弱和降噪能力差的缺點。

針對FT算法存在的問題，本文采用非局部均值濾波器(NLM)[11]替代FT算法中的高斯濾波器，增強背景紋理的平滑能力和噪聲的抑制能力，并且針對NLM濾波器中參數h對疵點分割精度影響較大的問題，提出了基于平均最大類間方差的參數優化方法。將改進FT算法和OTSU算法一起用于疵點圖像分割，以期能達到提高疵點分割精度的目的。

1 基于改進FT的疵點分割算法

基于改進FT的疵點分割算法主要分為3個步驟,圖1示出其圖像分割步驟流程。

圖1 基于改進FT算法的疵點圖像分割步驟流程圖Fig.1 Flow chart of improved FT algorithm for fabric defect segmentation

步驟1：使用最優NLM濾波器替代FT方法中的高斯濾波器[10]對織物圖像進行濾波。

設織物圖像f={f(i)|i∈I}，i和I分別為像素點和搜索窗。根據式(1)和式(2)[11]計算像素點i經過NLM濾波后的灰度值fN(i)：

(1)

(2)

濾波參數h通過影響權重ω(i,j)的大小來決定濾波程度。如果取值太小，則噪聲濾除不徹底；反之，會導致圖像過度平滑，不利于疵點分割精度的提高[12]。OTSU方法根據背景和目標間最大方差來選取門限值，進行圖像分割[2]。如果疵點和背景區域的類間方差越大，則OTSU方法的分割精度越高。因此，采用平均最大類間方差作為濾波參數h的優化準則，如式(3)所示：

(3)

式中:n為疵點圖像的張數；pi1和pi2分別為第i幅圖像疵點和背景區域的概率；ui為第i幅圖像的平均灰度值；ui1和ui2分別為第i幅圖像疵點和背景區域的平均灰度值。

濾波參數h的優化方法如下：首先，在同種織物中隨機選取若干張疵點圖像組成訓練樣本集；然后，分別令濾波參數h為m,m+1,m+2,…,n。通常情況下m≥5,n≤25,m≠n；然后，通過式(1)、(2)對訓練樣本進行NLM濾波。其次，根據式(3)計算不同h值對應的平均最大類間方差；最后，δ(h)最大值所對應的h的值即為所求。

圖2示出使用推薦方法對竹節疵點進行顯著分割所得到的各步驟結果。可知：竹節疵點圖像經過NLM濾波器濾波處理后(見圖2(b))，織物背景紋理被有效模糊。

圖2 推薦方法對竹節圖像處理的3個步驟結果圖Fig.2 3 Steps result maps of slab yarn by using recommended method. (a)Slab yarn; (b)Map result of step 1; (c) Map result of step 2;(d) Map result of step 3

步驟2：計算濾波后的織物顯著圖。

1) 將NLM濾波后的圖像轉換到Lab顏色空間，計算其顯著值，如式(4)所示：

S=‖Iu-INLM‖

(4)

式中：Iu為疵點圖像在 Lab顏色空間的像素算術平均值；INLM為NLM濾波后的圖像；║║為歐式距離。

2) 對顯著值S進行歸一化處理，如式(5)所示：

(5)

由圖2(b)經過顯著值計算和歸一化處理后，得到圖2(c)。從圖2(c)中可以看出疵點區域對比度被顯著增強。

步驟3：利用OTSU方法對顯著圖G進行分割，其分割結果如圖2(d)所示。從圖中可以看出疵點區域位置和大小被準確確定。

2 實驗研究

2.1 數據來源

本文研究數據來源于2種不同紋理的疵點數據庫D1和D2。其中：D1數據庫(平紋組織；緯密為30 根/cm；經密為32 根/cm；線密度為18.23 tex；采集分辨率為0.089 mm/像素)和D2數據庫(平紋組織；緯密為37.5 根/cm；經密為41 根/cm；線密度為36.34 tex；采集分辨率為0.089 mm/像素)。2個數據庫中包含粗經、竹節、結頭、斷緯、油污和破洞等常見疵點和正常織物圖像，圖像大小為512像素×512像素。

2.2 織物反射和透射圖像對比

為提高疵點區域與背景區域的對比度。圖像采集過程中，將光源和相機分別置于織物兩側進行圖像采集。利用疵點和背景區域透射率的不同，提高疵點區域對比度[13]。分別利用光的反射(相機和光源在織物同側)和透射(相機和光源在織物兩側)2種方式采集不同紋理的織物疵點圖像，其疵點圖像如圖3所示。由圖3(a)、(c)可看出織物圖像的對比度極低，疵點區域難以分辨。由圖3(b)、(d)可看出織物透射圖像中疵點與背景區域的對比度被顯著增強，因此，利用織物透射率差異可提高疵點區域對比度，可滿足FT算法對疵點與背景區域的對比度要求[9]。

圖3 不同采集方式下的疵點圖像Fig.3 Fabric defect images by different acquiring methods.(a) Coarse pick of reflection; (b) Coarse pick of transmission;(c) Missed warp of reflection; (d)Missed warp of transmission

2.3 h與平均最大類間方差的關系

分別從D1和D2數據庫中隨機選取40張圖像作為訓練樣本集，計算不同h值對應的平均最大類間方差。圖4示出D1和D2數據庫中疵點圖像濾波參數h與平均最大類間方差值的關系。可看出平均最大類間方差所對應的參數h值具有唯一性，D1數據庫的最優濾波參數h為13，D2數據庫的最優濾波參數h為16。

圖4 濾波參數h與平均最大類間方差的關系曲線Fig.4 Change curves of filter parameter h and maximum variance between clusters. (a) Relation curve of database D1;(b) Relation curve of database D2

D1和D2數據庫的h值不同，原因可能是h值會影響式(2)的計算結果，而權重值ω(i,j)主要受噪聲水平和圖像內容影響。首先，D1和D2數據庫的織物組織和結構不同，即圖像內容不同；其次，受實驗條件限制，疵點圖像在采集過程中的噪聲水平可能不一致，因此，2個數據庫優化得到的濾波參數h不同。

2.4 實驗過程

為驗證改進FT算法的合理性和有效性，使用D1和D2數據庫織物圖像進行驗證性實驗。首先，利用式(1)、(2)分別對疵點圖像進行濾波，式(1)中搜索窗I取值為21像素×21像素，式(2)中相似窗N取值為5像素×5像素[14-15]，D1和D2數據庫的濾波參數h分別取13和16；然后，將濾波后的圖像轉換到Lab顏色空間；利用式(4)、(5)計算濾波后的織物顯著圖；最后，使用OTSU算法對顯著圖進行分割。

2.5 結果與分析

將改進FT算法的分割結果與OTSU算法、最大熵方法、FT與OTSU算法、NLM濾波器與OTSU算法的分割結果進行實驗對比，結果如圖5～12所示。

由圖5～12中的(b)圖可看出，OTSU算法的分割結果中含有大量織物紋理信息，說明OTSU算法不能正確區分疵點和背景區域。原因是：疵點圖像未經過預處理，其灰度直方圖呈現較弱的單峰性，OTSU算法不能通過最大類間方差找到合適的閾值。

由圖5～12中的(c)圖可看出，最大熵分割方法對破洞、斷緯和線頭等疵點圖像的分割結果較好，而對其他疵點圖像的分割效果較差。原因是:最大熵的計算準確度易受織物組織和結構復雜程度的影響，由此說明數據庫D1和D2中疵點圖像不經預處理，直接采用閾值方法進行分割，不能將疵點和背景區域分離。

由圖5～12中的(d)圖可看出，FT算法(高斯濾波器模板尺寸為5像素×5像素[10]，樣顯著值歸一化后應用于OTSU算法分割)的分割結果中，破洞分割效果最好，斷緯和線頭的二值圖中存在少量偽疵點，而其他疵點的二值圖中出現大量背景紋理，沒能實現疵點的精確分割。說明部分疵點圖像直接使用FT算法進行預處理，不能提高OTSU算法的分割精度。原因是：破洞與背景區域在顏色和亮度上差異明顯，使用FT算法顯著后，灰度直方圖呈現明顯的二峰性，使OTSU算法可通過最大類間方差找到合適的閾值；其他疵點與背景區域在顏色和亮度上差異比較小(如油污和結頭)，顯著后的灰度直方圖二峰性不明顯；OTSU算法不能通過最大類間方差找到合適的閾值；FT算法中高斯濾波器平滑和去噪能力較弱。

由圖5～12中的(e)圖可看出，使用NLM濾波器進行預處理，不能提高OTSU算法的分割精度，疵點圖像的分割結果不好。原因可能是：使用式(2)計算像素點相似窗的加權歐式距離時，可克服噪聲對加權歐式距離計算精度的影響，提高像素點相似度估計的準確性，但高斯核是各向同性的，圖像內不相似的像素點同樣參與了加權歐式距離的計算，會給像素點相似性估計造成誤差；因此，NLM濾波器對提高疵點區域對比度的作用有限。

圖5 不同分割方法對數據庫D1中粗經疵點檢測結果Fig.5 Detection results of coarse warp defects in database D1 with different segmentation methods.(a)Original；(b) OTSU algorithm；(c)Maximum entropy method；(d) FT algorithm；(e) NLM method；(f) Improved FT algorithm

圖6 不同分割方法對數據庫D1中竹節疵點檢測結果Fig.6 Detection results of slab yarn defects in database D1 with different segmentation methods.(a)Original；(b) OTSU algorithm；(c)Maximum entropy method；(d)FT algorithm；(e) NLM method；(f) Improved FT algorithm

圖7 不同分割方法對數據庫D1中吊經疵點檢測結果Fig.7 Detection results of warp suspends defects in database D1 with different segmentation methods.(a)Original；(b) OTSU algorithm；(c) Maximum entropy method；(d) FT algorithm；(e) NLM method；(f) Improved FT algorithm

圖8 不同分割方法對數據庫D1中結頭疵點檢測結果Fig.8 Detection results of knot defects in database D1 with different segmentation methods.(a)Original；(b) OTSU algorithm；(c) Maximum entropy method；(d) FT algorithm；(e) NLM method；(f) Improved FT algorithm

圖10 不同分割方法對數據庫D2中線頭疵點檢測結果Fig.10 Detection results of thrum defects in database D2 with different segmentation methods.(a)Original；(b) OTSU algorthim；(c) Maximum entropy method；(d) FT algorthim；(e) NLM method；(f) Improved FT algorthim

圖11 不同分割方法對數據庫D2中油污疵點檢測結果Fig.11 Detection results of oil stain defects in database D2 with different segmentation methods.(a)Original；(b) OTSU algorthim；(c) Maximum entropy method；(d) FT algorthim；(e) NLM method；(f) Improved FT algorthim

圖12 不同分割方法對數據庫D2中破洞疵點檢測結果Fig.12 Detection results of hole defects in database D2 with different segmentation methods.(a)Original；(b) OTSU algorthim；(c) Maximum entropy method；(d) FT algorthim；(e) NLM method；(f) Improved FT algorthim

由圖5～12中的(f)圖可看出，與原FT算法和NLM濾波方法相比使用改進FT法對疵點圖像進行預處理，可提高OTSU算法的分割精度，疵點二值圖中沒有出現背景紋理信息。原因可能是：使用NLM濾波器替代原FT算法中的高斯濾波器，提高了對背景紋理的平滑和降噪能力；使用平均最大類間方差作為優化準則，可得到較為理想的濾波參數h。

3 結 論

利用織物疵點和背景區域透光性的不同，使用透射方式獲取疵點圖像可提高疵點區域對比度，滿足FT算法的使用要求；利用NLM濾波器替代FT算法中的高斯濾波器，可提高疵點圖像的背景平滑和降噪能力；NLM濾波器參數h對疵點分割精度影響較大，將平均最大類間方差作為參數h的優化準則，能夠獲得最優參數；將改進FT算法應用于疵點圖像預處理，可提高OTSU算法的疵點分割精度。

參考文獻：

[1] 夏冬升, 汪軍. 基于小波變換和圖像分割的織物等級自動評定[J]. 東華大學學報(自然科學版), 2007, 33(2): 221-226.

XIA Dongsheng, WANG Jun. Automatic fabric grading based on wavelet transform and image segment-ation [J]. Journal of Donghua University (Natural Science Edition), 2007, 33 (2): 221-226.

[2] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man &.Cybernetics，1979，9(1)： 62-66.

[3] VINCENT L, SOILLE L. Watersheds in digital space: an efficient algorithm based on immersion simula-tions [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 13(6): 583-598.

[4] 朱桂英，張瑞林. Canny 算子在織物防水性能自動識別中的應用[J]. 紡織學報, 2008, 29 (3):122-125.

ZHU Guiying, ZHANG Ruilin.Application of Canny operator on automatic detection of fabric waterproof performance[J]. Journal of Textile Research, 2008, 29(3):122-125.

[5] HOU X D, ZHANG L Q. Saliency detection: a spectral residual approach [C]//Institute of Electrical and Electronics Engineers, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis：IEEE Compututer Society Press，2007：1-8.

[6] 李敏, 崔樹芹, 陳佳. 應用視覺顯著性的小提花織物疵點檢測[J]. 紡織學報, 2016, 37(2): 38-42.

LI Min, CUI Shuqin, CHEN Jia. Defection for mini-jacquard fabric based on visual saliency [J]. Journal of Textile Research, 2016, 37(2): 38-42.

[7] HAREL J, KOCH C, PERONA P. Graph-based visual saliency[C]//Conference and workshop on Neural Information Proccssing Systems Advances in Neural Information Processing Systems. Vancouver: NIPS, 2007: 545-552.

[8] ZHAI Y, SHAN M. Visual attention detection in video sequences using spatiotemporal cues[C]//Associaiton for Computing Machinery. The 14th Annual ACM International Conference on Multimedia. Santa Barbara, CA, USA, 2006: 815-824.

[9] 劉洲峰, 趙全軍, 李春雷, 等. 基于局部統計與整體顯著性的織物疵點檢測算法[J]. 紡織學報, 2014, 35(11): 62-67.

LIU Zhoufeng, ZHAO Quanjun, LI Chunlei, et al. Fabric defect detection algorithm using local statistic features and global saliency analysis [J]. Journal of Textile Research, 2014, 35(11): 62-67.

[10] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-turned salient region detection [C]//Institute of Electrical and Etectronics Engineers. Proceedings of 2009 IEEE Computer Society Conference on Computer Society Conference on Computer Vision and Pattern Recognition Workshop. Miami: IEEE Computer Society Press, 2009:1597-1604.

[11] BUADES A, COLL B, Morel J M. A non-local algorithm for image denoising [C]//Institute of Electrical and Etectronics Engineers. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego:IEEE Computer Society Press, 2005: 60-65.

[12] 張權, 羅立民, 桂志國, 等. 一種基于優化參數的非局部均值濾波算法[J]. 計算機應用與軟件, 2012, 29(3)： 78-81.

ZHANG Quan, LUO Limin, GUI Zhiguo, et al. A non-local mean filtering algorithm based on optimum parameter[J]. Computer Applications and software, 2012, 29(3); 78-81.

[13] 王傳桐, 胡峰, 徐啟永, 等. 改進頻率調諧顯著算法在疵點辨識中的應用[J]. 紡織學報，2018，39(3)：154-160.

WANG Chuantong，HU Feng，XU Qiyong，et al. Detection of fabric defect based on improved frequency-tuned salient region[J]. Journal of Textile Research，2018，39(3):154-160.

[14] 孫偉峰. 基于非局部信息的信號與圖像處算法及其應用研究[D]. 濟南: 山東大學, 2010:79-81.

SUN Weifeng. Research on signal and image processing algorithms based on non-local information and their applications[D]. Jinan: Shandong University, 2010:79-81.

[15] KERVRANN C, BOULANGER J. Optimal spatial adaptation for patch-based image denoising [J]. IEEE Transactions on Image Processing, 2006, 15(10): 2866-2878．