織物疵點自動檢測方法及應用進展

張 露,朱文俊,祝雙武

(西安工程大學 紡織科學與工程學院,陜西 西安710048)

紡織行業是我國國民經濟支柱產業之一,規模龐大,人民的生活與紡織行業的發展息息相關,因此,如何提升紡織行業的經濟效益、加強紡織企業的生命力,一直以來都是頗受關注的問題。在紡紗、織前準備、織造、染色、印花、后整理這一系列復雜有序的紡織制造過程中,會產生很多影響織物品質的因素,因而每一個環節的質量和穩定性把控都相當重要[1]。在這些環節中,各個階段都有可能會在布面產生疵點,調查顯示,疵點的存在會使紡織品的價格下降45%～65%,織物疵點無疑是一個影響織物品質的重要因素,織物疵點的多少關系著紡織企業的收益,也是公司生產管理水平的象征[2-3]。為了盡量減少織物疵點帶來的損失,企業一方面著力提升織造質量,減少疵點的產生,另一方面重點進行織物疵點的檢測,盡可能早地發現疵點,進行處理和修復,降低疵點帶來的影響。在疵點檢測方面,由于織物復雜多樣、疵點種類繁雜,人工檢測又存在速度慢、工費高、主觀性強等問題[4-5],利用機器視覺對織物疵點進行自動檢測成為研究的熱點話題,以“織物疵點檢測”為主題進行中英文文獻的檢索,可查找到相關文獻約3 000篇,且論文發表數量仍呈逐年上升趨勢。對織物疵點自動檢測系統現狀進行了簡要介紹,對系統開發所使用到的方法進行總結和分類,對相關論文進行了比較和歸納。

1 織物疵點自動檢測系統

國外從20世紀80年代就已經開始了對疵點檢測系統的研究,出現了許多知名的在線疵點檢測系統,如比利時BARCO公司的Cyclops織機疵點檢測系統、以色列EVS公司的IQ-TEX 4智能檢測系統、瑞士Uster公司的Fabriscan自動驗布系統及Q-Bar 2織物檢測儀、Cognex公司的MV-tec NI和Smart View自動驗布系統等[6-7]。近年來,隨著織物疵點檢測算法的成熟,國內也陸續開發出了一些織物疵點的自動檢測服務,如陜西長嶺紡織機電科技有限公司的FS220型光電自動驗布機、深圳靈圖慧視的LTAI系列智能驗布機、深圳新視智科技術有限公司的紡織全棧式機器視覺質量檢測解決方案等[8-9]。

由于技術方面仍待完善,特別是系統檢測速度和檢測精度的限制,現有的織物疵點自動檢測系統通常選擇在機下進行驗布,一般具有布面牽引系統、圖像采集系統、圖像識別系統、疵點標記系統和人機界面等配置[10]。

近年來,也出現了一些可解決實時性問題的疵點檢測系統,如瑞士Uster的Q-Bar 2織物檢測儀,可直接定位在經紗和緯紗的交織區域,在緯紗穿過前對經紗進行監控,同時也能夠監控引入緯紗的動作,實時進行織物疵點檢測,及時對布面瑕疵做出反應,但此系統主要針對機織物織造階段。江南大學開發了一款檢測裝置,可對經編織物織造過程中產生的疵點進行實時預警[11],但檢測的仍是平面織物。2018年,Takeuchi等通過使用捕獲的織物圖像中縱向連續像素(ABW)移動平均線的差值,對針織圓機上的織物進行了簡單的定量檢測,但只對垂直線性疵點有較好的效果[12],目前,對于曲面織物的實時檢測仍待進一步研究。

2 織物疵點檢測常用方法

從20世紀80年代開始,眾多學者研究并提出了許多不同種類的織物疵點檢測算法。東華大學的李立輕等在2002年按照圖像處理的方法,將研究的途徑分為空間域處理和頻域轉換處理兩種[13]。步紅剛、黃秀寶在2006年發表在東華大學學報上的文章中將織物疵點檢測方法按使用階段分為特征提取與選擇模塊、檢測模塊兩個部分[14]。Ajay Ku mar在2008年對大約160篇參考文獻中關于織物疵點檢測技術進行了綜述,基于來自織物表面特征的性質,把織物疵點檢測方法將分為統計方法、譜分析方法和基于模型的方法三類。徐偉峰等分別從圖像預處理、圖像分割、織物疵點特征提取三個方面介紹了織物疵點檢測系統中用到的算法[15]。還有一種比較常見的分類方式主要聚焦在特征提取和分類階段,按照圖像處理的原理不同,分成結構方法、統計學方法、頻譜分析方法、基于模型的方法、基于學習的方法以及混合的方法。其中結構法、統計法、頻譜分析法、模型法是傳統的數字圖像處理方法,基于學習的方法則涉及到了機器學習的概念,按照這種分類方式進行織物疵點檢測的方法介紹。

2.1 結構方法

結構方法(SA)是將圖像紋理看作紋理基元的組合,每種紋理都可根據特定的替換規則,由一個個基元復制[16],主要包括紋理元素的提取和替換規則的推斷兩個步驟。祝雙武等分析織物的紋理結構,利用自相關函數提取織物紋理的基元模板,通過紋理基元與模板間的差對疵點進行增強,再利用Otsu方法對計算出的局部不平整度進行閾值分割,檢測織物中的疵點[17]。這種方法存在一定的局限性,只有在織物圖像紋理非常規則的情況下表現比較良好,無法應對不規則織物,在進行疵點檢測時往往需要借助其他手段。

2.2 統計學方法

對于正常織物,其表面紋理比較規律,統計學特征較為穩定,而如若織物表面存在疵點,則會帶來突變,破壞這種穩定性,統計學方法通過研究圖像之間關系的統計特性,借助如一階、二階統計量,將這類紋理特征量化提取。常用的統計學方法主要包括直方圖特征、灰度共生矩陣、分形學[18]、自相關函數、數學形態學及一些特征濾波器。Che-Seung Cho等利用數學形態學的腐蝕操作進行噪聲的去除[19]。K.L.Mak等利用Gabor小波網絡提取出的紋理特征構建了幾個形態學濾波器,計算量不顯著,應用在自動檢測系統中,對機織物疵點檢測率可達97.4%[20]。

灰度共生矩陣法是統計學方法中使用較為頻繁的一種,原理是在多角度對一定距離下的兩個像素點構建灰度共生矩陣,通過計算矩陣的能量、熵、逆差矩、自相關和對比度等二階統計量來獲取織物的特征[21]。這種方法易于實現,且適應性強、魯棒性高,對結構型疵點和色彩型疵點都有較為直觀的描述效果[22],但存在計算量大的問題。

直方圖特征以像素種類為橫坐標,像素個數為縱坐標,主要反映圖像的像素分布情況,特征可取平均值、標準差、方差和中值等,常見的方法有方向梯度直方圖(HOG),提取較為穩定的邊緣特征,對局部形狀特征效果好,但生成描述子過程較為耗時,且對噪聲敏感。局部二值模式(LBP)也是一種常見的統計學方法,一般做法是對圖像進行LBP編碼,以編碼模式為像素種類進行直方圖統計,提取特征。這種方法計算量較低,對光照變化不敏感,普遍應用于人臉識別方向,Tajer pour等首次將LBP算子應用于織物疵點檢測研究中[23],之后,有許多研究人員對LBP算子進行了改進[24-28],試圖解決LBP算子特征模式多、像素相關性弱等問題。

2.3 頻譜分析方法

傳統的數字圖像處理方法主要分為空域分析和頻域分析兩種,前文提到的兩種方法都屬于空域分析,是對圖像矩陣進行分析處理。而頻譜分析法一般會通過傅里葉變換、Gabor變換、小波變換等方法將圖像信息從空域轉換到頻域,再進行分析處理,是織物疵點檢測中最常用到的方法,對結構型疵點表現良好,但是對于含有隨機紋理的織物效果不明顯。傅里葉變換是織物分析的經典方法,對織物圖像進行全局分析,現在通常與其他方法一起使用;小波變換能夠同時實現時間和頻率的局部化,這種方法在邊緣突出的疵點中表現良好,但在灰度差異較平滑的疵點中表現不佳;Gabor濾波器很好地模擬了人眼的視覺效果,織物紋理表征效果好,然而,由于Gabor濾波器需在多尺度和多方向上進行濾波,導致計算復雜度高,難以滿足實時要求,為了降低計算復雜度,往往要進行優化處理[29]。

2.4 基于模型的方法

圖像中的紋理也可以用預先設定的參數確定,然后形成一個確定的或隨機的模型,使用的模型參數在捕獲紋理細節方面非常重要。該方法的最大優點是可以產生用于匹配被觀察織物的織物紋理,對于背景花紋復雜及重復性差的織物也能有較好的檢測效果,但計算量大,對于小區域疵點檢測效果不佳。最常用的模型是自回歸[30]和高斯馬爾科夫隨機場模型[31],還有Gibbs隨機場模型法、Wor d模型、分形(Fractal)模型等[32]。CHUNLEI LI等通過模擬生物視覺感知機制,提出了一種基于生物視覺建模的織物疵點檢測算法,對于簡單紋理的平紋和斜紋織物以及復雜紋理的圖案化織物比其他現有方法更有效,魯棒性和適應性更強[33]。

2.5 基于學習的方法

基于學習的方法對不同疵點的適應性較強,進一步可分為機器學習和深度學習,機器學習中常用的算法包括支持向量機(SV M)、字典學習、K最近鄰法(KNN)、隨機森林等,其中SV M、KNN和神經網絡被廣泛應用于織物疵點檢測問題,消耗較短的訓練時間,能夠達到一定的分類精度。

深度學習作為一種重要的人工智能算法,近年來得到了飛速發展,并在某些實際應用領域取得了顯著的成果,目前循環神經網絡、卷積神經網絡、生成對抗網絡(GAN)等都是經典的深度學習算法模型。深度學習進行疵點分類時的準確率高,但學習過程耗時長,需要數據量大,因此對深度學習算法的優化是織物疵點自動檢測近期研究的方向,Xie H等提出了一種基于改進的RefineDet的織物疵點魯棒檢測方法,以Refine Det為基礎模型,設計基于全卷積通道注意(FCCA)塊和自下而上路徑增強傳遞連接塊(BA-TCB)的改進頭部結構來提高該方法的缺陷定位精度,應用了注意機制、DIo U非大極值抑制法、余弦退火調度等常用的優化方法,對于無圖案背景、規則圖案和不規則圖案的織物都能快速進行疵點檢測[34]。

深度學習的方法一般需要大量的疵點數據,但在實際生產過程中,疵點織物是占少數的,采集不便。Shuang Mei等提出了一種基于無監督學習的自動方法來檢測和定位織物疵點,無需任何人工干預,且可以用少量的無缺陷樣本進行訓練,可以處理多種類型的紡織品,在所有數據集上,總體檢查準確率達到80.0%以上,綜合性能好[35]。生成對抗網絡也是近幾年的熱門話題,LIU J等提出了一種基于生成對抗網絡的織物疵點檢測框架,嘗試訓練多階段GAN來合成新的無疵點樣品中的合理疵點,對在原始疵點數據集上訓練的預處理語義分割網絡進行微調,能夠很好地檢測簡單紋理和復雜紋理織物中不同尺度的疵點[36]。

3 織物疵點檢測方法應用現狀

研究的五類織物疵點檢測方法,在計算成本、織物適應性等方面各有優劣,在實際使用中,一般會采取混合的手段,對方法進行優化,盡量減少劣勢,將其優勢最大化。

Ngan等提出了一種小波預處理黃金圖像相減(WGIS)方法,結合了頻譜分析和結構法,用于檢測圖案織物或重復圖案紋理的疵點[37]。Soo Chang Ki m等利用頻譜分析法中的小波包分解提取特征,再利用高斯混合模型建模,在Br odatz紋理圖像分類中具有較高的識別精度[38]。Hong-gang Bu等根據計盒法的原理和存在的問題,結合機織物的固有特性,提取了多個分形特征,用支持向量數據描述(SVDD)來進行織物疵點檢測[39]。Guodong SUN等用灰度直方圖反投影算法去除紋理背景信息,結合自適應閾值分割方法快速提取織物圖像缺陷,再采用端到端的多層卷積神經網絡框架實現疵點分類,在5種不同缺陷的數據庫中平均檢測準確率高達96.12%,且單幅圖像檢測速度僅需0.72 s[40]。Gnanaprakash V等從復雜圖案織物中提取離散小波變換(DWT)和局部二值化(LBP)處理后的灰度共生矩陣WL-GLCM特征,改善現有的二進制粒子群優化算法(BPSO)在BP神經網絡中過早收斂的問題,在TILDA織物數據庫中的織物數據集上進行驗證,系統分類準確率由原先的77%提升到了99.75%[41]。

在現有文獻中,結構法常用于圖像預處理階段對規則織物進行圖片分割,頻譜分析法可增強圖像上的織物疵點,也可和統計學方法一起用于特征提取階段,減少學習分類的計算量,部分被用于圖像預處理,進行去噪等操作。基于模型的方法和基于學習的方法一般用于分類階段,可與其余3種方法搭配使用,或相互結合進行優化,一些研究結合了機器學習和深度學習,Wang J等將卷積神經網絡提取的全局深度特征與手工繪制的底層特征融合,并使用非凸總體變化正則化的非凸魯棒主成分分析(PCA)進行數據處理和降噪[42],HU G等提出了一種深度卷積生成對抗網絡[43],Wang J等在深度卷積生成對抗網絡中嵌入了一個名為局部差異分析(LDA)的子模塊,以消除誤報[44]。

在關于織物疵點檢測的文章中,出現頻次最高的檢測數據集是TILDA織物圖像數據集,包含8種不同的織物類型,每種類型又分7種疵點類別。此外,在研究中,一般通過對方案在數據集上驗證時的準確率、召回率、精度、真陽性率、假陽性率、真陰性率、假陰性率等指標進行評價,檢測所花費的時間也是重點考察因素。現有的公開數據集往往缺少無疵點織物圖像,不符合實際生產情況,且數據集中每類疵點圖像的數量也不能很好地滿足深度學習需求,因此,根據研究的需要,還有很大一部分選擇了自行采集或通過學習合成疵點。

未來在算法方面,研究認為主要有兩個發展方向:一是提升算法的速度,提高實時性,能夠將疵點檢測系統配置在織造階段,甚至于能夠進行疵點的預測,最大化降低疵點損失;二是提升算法的適應性,能夠很好地應對多尺寸疵點的復雜織物,對非平面狀態的、存在一定變形的織物圖像也能保持檢測的準確率。

4 結語

織物疵點檢測系統是一個統一整體,各個組成部分都會對檢測效果造成一定影響,需要根據實際情況,考慮到各方面的適配性,其中,疵點檢測算法是最重要的部分。根據圖像處理的原理,可將常用的疵點檢測方法分為結構方法、統計學方法、頻譜分析方法、基于模型的方法、基于學習的方法五類,分析相關文獻可得,在應用時,這五類方法相互結合,能得到更好的檢測效果。

如今國內市場上已經有了較為成熟的織物疵點自動檢測系統,但主要方式仍為機下檢測,需要進一步提高速度和精度。