梯度空間下的絲餅表面缺陷檢測

景軍鋒， 張君揚， 張緩緩， 蘇澤斌

(西安工程大學 電子信息學院， 陜西 西安 710048)

絲餅[1]是由化學纖維長絲在紙管上纏繞，按照一定規(guī)律層層疊加形成的餅狀體?；瘜W纖維具有強力大、彈性高、耐輻射、耐高溫、抗菌性能優(yōu)異和不易縮水變形的特點，近年來其應用領域已逐漸從傳統(tǒng)的紡織服裝向交通運輸、航空航天、醫(yī)療衛(wèi)生和安全防護等產業(yè)用領域擴展[2]。絲餅作為化學纖維運輸時的一種封裝狀態(tài)[3]，從纏繞到封裝過程中可能會由于誤操作、工藝流程、環(huán)境因素等影響，在其表面形成污漬、壓痕、起毛等多種類型的缺陷，這些缺陷將嚴重影響絲餅的外觀和使用價值，進而影響絲餅質量定級。為剔除不合格產品，保證絲餅質量，在絲餅封裝前需進行缺陷檢測。

目前，大多數(shù)化纖企業(yè)仍采用手持強光照射的人工目測法來檢測絲餅缺陷，該方法準確率低，漏檢率高，勞動強度大且損傷工人視力。隨著機器視覺技術和圖像處理技術的成熟使用[4]，從技術應用的角度看，不同物體的表面缺陷檢測方法之間存在相似性，有一定的借鑒意義。Movafeghi A等[5]提出采用基于概率解釋的稀疏編碼模型以改善氨管道射線圖像中的缺陷檢測，應用稀疏編碼(SC)算法增強圖像對比度，有效地保留了成像細節(jié)，消除噪聲的干擾，該方法可以準確檢測出氨管裂紋、腐蝕、膨脹等多種類型的缺陷；景軍鋒等[6]利用遺傳算法選擇Gabor濾波器的最優(yōu)參數(shù)組，用于過濾圖像噪聲，提出的最優(yōu)Gabor預處理的黃金圖像減法能實現(xiàn)紡織工業(yè)中織物疵點自動檢測，整體檢測成功率為95.62%；錢曉亮等[7]通過自學習特征提取模板計算太陽能電池板圖像的特征矩陣，根據(jù)非精確增廣拉格朗日乘子法(IALM)求解低秩矩陣和稀疏矩陣，得到圖像像素點的顯著值，初始定位出缺陷區(qū)域，利用簡單線性迭代聚類超像素算法實現(xiàn)缺陷區(qū)域的精確分割，具有較高的準確率。

為滿足工業(yè)生產中對絲餅質量控制的要求，本文提出了一種在梯度空間下根據(jù)圖像信息熵變化和能量分布的差異來檢測絲餅表面缺陷的方法。首先綜合考慮絲餅圖像在梯度空間[8]下的信息熵和能量特征，通過分析梯度空間下缺陷區(qū)域與正常區(qū)域圖像的信息熵和能量值的差異，構建一個組合的特征向量來表征絲餅缺陷，克服了利用單一特征描述絲餅表面各種缺陷的局限性；其次設置合適的臨界閾值用以區(qū)分缺陷區(qū)域與正常區(qū)域，利用閾值二值化、形態(tài)學處理分割出絲餅缺陷，得到最終的檢測結果，以期解決絲餅表面缺陷檢測的問題。

1 絲餅表面圖像采集裝置

絲餅在加工成型后經流水線運動至封裝區(qū)域進行包裝，為保證生產效率，絲餅的質量檢測需要在傳輸過程中完成。結合工業(yè)實際設計的絲餅表面圖像采集裝置如圖1所示。該裝置包括旋轉載物臺、工業(yè)相機、照明光源、光電傳感器、可編程邏輯控制器(PLC)、步進電動機和工控機等。可以看出，1號相機為工業(yè)面陣相機，用于采集絲餅上表面圖像；1號光源為LED環(huán)形光源，用于給上表面提供均勻的光照；2號相機為工業(yè)線陣相機，用于采集絲餅在旋轉過程中的側面圖像；2號光源為LED條形光源，用于給側面提供合適的亮度。絲餅圖像采集裝置工作方式如下。

圖1 絲餅圖像采集裝置Fig.1 Image acquisition device for DTY packages

1)絲餅在傳送滾筒上運動，光電傳感器檢測絲餅到達旋轉載物臺的中心位置后，PLC控制器 “點亮”1號LED環(huán)形光源，1號面陣相機觸發(fā)拍照一次，1號光源滅，此時1號相機拍攝的是整個絲餅上表面圖像。

2)同時PLC控制旋轉載物臺底部的電磁鐵通電，吸住絲餅的支撐底座，步進電動機帶動旋轉載物臺上升至指定位置后，旋轉載物臺開始轉動，2號LED條形光源亮，2號線陣相機觸發(fā)連續(xù)拍照；旋轉載物臺轉動一圈后停止，2號線陣相機停止拍照，2號光源滅，此時2號相機拍攝的是絲餅側面圖像。

3)旋轉載物臺下降到初始位置，電磁鐵斷電，絲餅繼續(xù)在傳送滾筒上運動，一次完整的圖像采集完畢。在絲餅圖像采集過程中，工業(yè)相機將采集到的絲餅圖像同步輸入到工控機中，并進行實時處理得到檢測結果。

2 絲餅表面缺陷檢測

絲餅在生產過程中形成的多種類型缺陷會隨機出現(xiàn)在絲餅表面的各個部位，通過使用單一特征無法完全表征所有缺陷類型，從而造成漏檢。因此需要分析絲餅圖像的顏色特征[9]、紋理特征[10]、形狀特征[11]等，找到一種組合的特征用來區(qū)分缺陷區(qū)域與正常區(qū)域[12]。

2.1 檢測流程

在絲餅表面缺陷檢測中，缺陷分析部分重點研究了梯度空間下絲餅圖像的信息熵和能量特征，文中以絲餅上表面的缺陷檢測為例介紹算法，側面檢測流程中除去絲餅感興趣區(qū)域(ROI)提取過程不需要極坐標變換展開圖像這一操作，其他步驟與之類似。絲餅表面缺陷檢測流程如圖2所示，主要分為以下步驟。

步驟1：采集絲餅表面原始圖像，同步輸入到計算機中實時處理，絲餅上表面圖像如圖3所示。

圖2 絲餅表面缺陷檢測流程圖Fig.2 Flow chart for surface defect detection of DTY packages

步驟2：采用SC算法對含有組合缺陷的絲餅圖像進行預處理，增強絲餅圖像細節(jié)同時去除CMOS相機采集圖像時受到的噪聲影響，增強后的絲餅上表面圖像如圖4所示。

步驟3：采用canny算子進行邊緣檢測，結果如圖5(a)所示，確定紗管半徑R1、絲餅半徑R2和中心點O的位置，提取絲餅圖像的感興趣區(qū)域，如圖5(b)所示，即以點O為中心，半徑為R2-R1的圓環(huán)區(qū)域，由于提取的絲餅感興趣區(qū)域呈圓環(huán)狀，不利于后續(xù)圖像的分塊處理。為解決圖像分塊不均的問題，通過極坐標變換將圖像從圓環(huán)區(qū)域展開為水平矩形區(qū)域，結果如圖5(c)所示，并轉換到梯度空間域進行后續(xù)操作，結果如圖5(d)所示。

圖3 絲餅上表面原始圖像Fig.3 Upper surface original images of DTY packages.(a)Normal DTY packages;(b)Combination of defects; (c)Stain;(d)Indentation;(e)Hairiness

圖4 圖像預處理后的效果Fig.4 Effect of image preprocessing

步驟4：分析梯度空間下的絲餅圖像信息熵變化和能量值差異，判斷有無缺陷，比較絲餅的正常區(qū)域與缺陷區(qū)域，設置臨界閾值分割出缺陷，形態(tài)學處理得到最終的檢測結果。

2.2 圖像信息熵

信息熵[13]是用來度量信息的不確定程度，給定事件S1,S2,…,Sn以概率p(S1),p(S2),…,p(Sn)出現(xiàn)，其信息熵表達式如式(1)所示。

(1)

本文將信息熵運用到絲餅表面缺陷檢測中，對于絲餅圖像，圖像信息熵[14]反映了絲餅圖像灰度的統(tǒng)計特性，正常的絲餅圖像表面紋理分布均勻，包含的信息量單一，圖像信息熵值較小，當絲餅表面出現(xiàn)缺陷時，圖像的不均勻程度增加，包含的信息量增多，圖像的熵值將變大。然而在計算絲餅整幅圖像的信息熵時發(fā)現(xiàn)，正常的絲餅與含有缺陷的絲餅圖像信息熵值差異較小，難以區(qū)分；根據(jù)圖像信息熵的可加性，整幅圖像的信息熵值等于各個子塊圖像信息熵的和，因此采取圖像分塊策略，通過比較子塊圖像的信息熵變化判斷缺陷是否存在。在絲餅圖像中，以點(x,y)為中心，寬為a，高為b的小鄰域Ωab的圖像信息熵表達式如式(2)所示。

圖5 絲餅圖像的處理效果Fig.5 Processing effect of DTY packages image.(a)Edge detection;(b)Region of interest extraction; (c) Expansion map of polar coordinate transformation; (d) Image in gradient space

(2)

式中，Pf,Ωab為絲餅小鄰域圖像Ωab中點(x,y)的灰度分布，其表達式如式(3)所示。

(3)

式中，f(x,y)為圖像鄰域中點(x,y)處的灰度值。

計算絲餅小鄰域內的圖像信息熵Hf，當檢測到其熵值變化超出一定范圍時，認為該絲餅處存在缺陷。采取圖像分塊策略不僅可以放大絲餅圖像信息熵值的差距，便于檢測出缺陷，同時也將缺陷范圍從整幅圖像縮小到圖像的小鄰域塊中，達到精確檢測的目的。綜合考慮算法的時間復雜度和空間復雜度，擬采用10×10的分塊策略，將圖像等分成100個子塊，從左往右，從上往下求出各子塊的熵值，依次排列成10行10列。圖5(d)中含有組合缺陷絲餅的熵值分布如表1所示，其中黑色加粗部分是鄰域內絲餅熵值變化范圍較大區(qū)域。

表1 絲餅的圖像信息熵分布Tab.1 Distribution of image information entropy of DTY packages

2.3 梯度能量

圖像梯度[15]是圖像中像素的灰度變化，本文在絲餅圖像檢測中采用多尺度形態(tài)學[16]計算梯度，其表達式如式(4)所示。

(4)

式中：g(x,y)為圖像中點(x,y)處的梯度值；n為尺度個數(shù)，文中選取n=3；⊕為膨脹符號；Θ為腐蝕符號；bi為半徑i的圓形結構元素。

梯度能量[17]反映圖像連通區(qū)域中像素點灰度與梯度差異的變化特性，圖像連通區(qū)域的能量表達式如式(5)所示。

(5)

式中，p和q為連通域大小。

當絲餅表面出現(xiàn)缺陷時，圖像梯度值會在缺陷邊緣處發(fā)生突變，圖像的梯度差異變大，在缺陷處形成梯度極小區(qū)域，其能量值Ef將減小且發(fā)生明顯突變。當檢測到圖像能量在某一梯度極小區(qū)域發(fā)生變化，Ef減小超出一定程度時表明該絲餅處有缺陷，梯度極小區(qū)域即為缺陷區(qū)域。圖5(d)中含有組合缺陷絲餅的能量圖如圖6所示。其中X軸表示絲餅極坐標展開圖的寬度，Y軸表示絲餅極坐標展開圖的高度，Z軸表示絲餅圖像的梯度能量，矩形框內是絲餅的梯度能量值下降范圍較大的區(qū)域。

綜合考慮絲餅圖像的信息熵和能量特征，將這2種特征進行組合，構建一個組合特征用來表征缺陷，其表達形式如式(6)所示。

(Hentropy,Eenergy)=[Hf,Ef]

(6)

用組合特征對絲餅圖像進行檢測，對2種特征檢測出來的區(qū)域取交集，分別計算圖像信息熵和能量各自在絲餅的正常區(qū)域和缺陷區(qū)域處的平均值。通過實驗發(fā)現(xiàn)，圖像缺陷區(qū)域的信息熵均值高于正常區(qū)域，能量均值低于正常區(qū)域。為得到準確的分割閾值，利用最大類間方差法對特征值進行計算，得到絲餅組合特征的臨界閾值[Hf-T，Ef-T]，使得正常區(qū)域的特征均值、缺陷區(qū)域的特征均值與整幅圖像的特征均值之間的差異最大；二值化分割出絲餅的缺陷區(qū)域，采用形態(tài)學處理方法得到最終的絲餅缺陷，含有組合缺陷的絲餅檢測結果如圖7所示。

圖6 絲餅的能量圖Fig.6 Energy diagram of DTY packages

圖7 絲餅缺陷檢測結果圖Fig.7 Detection result of DTY packages defects

3 實驗結果與分析

本文實驗是在處理器為Intel(R)Core(TM)i7-6 800 K CPU@3.40 GHz，操作系統(tǒng)為64 位Windows 10的工控機上進行的，算法運行環(huán)境為 Visual Studio 2015，編程語言為C++，采用開源的OpenCV視覺庫。為采集到高質量的絲餅圖像且避免出現(xiàn)運動模糊，選取相機時需要綜合考慮相機的分辨率和幀速率。文中選用的1號相機型號為Basler-acA3800-10gm，分辨率為3 840 像素×2 748像素，最大幀速率為10 fps；2號相機型號為Basler-raL4096-24gm，分辨率為4 000，最大行頻26 kHz；相機均采用千兆網口接口和CMOS感光芯片；鏡頭選用Basler C125-0618-5 M 6 mm 和Nikon AF-NIKKOR 28 mm 2種，其中6 mm鏡頭用于采集絲餅上表面圖像，28 mm鏡頭用于采集絲餅側面圖像。

為驗證文中提出的絲餅表面缺陷檢測方法的可行性和時效性，經多次測試，結合工業(yè)生產實際設計的絲餅圖像采集裝置，旋轉載物臺上升和下降時間各0.5 s，轉動1圈的時間為4 s；采集的絲餅上表面圖像大小為3 840 像素×2 748 像素，單張圖像的檢測時間約為87 ms，其中2.1節(jié)檢測流程中步驟1耗時2 ms，步驟2耗時15 ms，步驟3耗時 28 ms，步驟4耗時42 ms。從絲餅圖像采集到檢測結果輸出的整個過程中共計耗時約5.087 s，滿足工廠對單個絲餅檢測時間為5.2 s的要求。

在絲餅質量檢測中，為驗證算法性能的好壞，通常采取定性評估和精確評估2種客觀評估方式。

3.1 定性評估

定性評估是指只需要判斷輸入的產品中是否包含缺陷，若判斷出有缺陷，則此產品被視為不合格。定性評估主要包含以下評價指標[18]：產品的檢測準確率、誤檢率、漏檢率和檢測時間，其中檢測準確率為檢測結果正確的產品數(shù)量占所有待檢測產品數(shù)量的比例；檢測誤檢率為合格產品被檢測為不合格產品的數(shù)量占合格產品數(shù)量的比例；檢測漏檢率為不合格產品被檢測為合格產品的數(shù)量占不合格產品數(shù)量的比例。

在化纖絲餅生產中，工廠以絲餅缺陷的檢測準確率、漏檢率和檢測時間作為檢測指標，而不考慮絲餅的檢測誤檢率，主要原因是工廠會對檢測結果為有缺陷的絲餅進行人工復檢，剔除誤檢絲餅后，再對含有缺陷的絲餅進行二次加工。為提高工廠的經濟效益，減少客戶投訴，絲餅的檢測漏檢率應嚴格控制在3%以內。

選取正常無缺陷以及含有污漬、壓痕、起毛等異常有缺陷的絲餅樣品共2 000個進行測試，其中正常無缺陷的絲餅數(shù)量為300個，含有污漬、壓痕、起毛缺陷的絲餅數(shù)量各為500個，含有三類缺陷的組合絲餅數(shù)量為200個；按照絲餅檢測流程進行檢測，統(tǒng)計檢測結果如表2所示。

表2 絲餅缺陷檢測結果統(tǒng)計Tab.2 Statistics of defect detection results of DTY packages

從表2中的絲餅缺陷檢測結果可以看出，本文算法將300個正常無缺陷的絲餅全部檢測正確，對于1 700個異常有缺陷的絲餅，漏檢數(shù)量為23個，檢測準確率為98.85%，漏檢率為1.35%，單張圖像的檢測時間為87 ms；其中含有壓痕類缺陷的絲餅漏檢數(shù)量相對較多，達到13個，主要原因是絲餅上表面輕微的壓痕缺陷與其表面正常紋理類似，易在檢測過程中被判斷為正常紋理，造成漏檢；總體來說，該方法具有較高的準確率，漏檢率達到工廠要求低于3%的檢測指標，基本上實現(xiàn)零誤檢，同時也降低了后續(xù)人工復檢的難度。

利用文獻[6]的Gabor濾波法、文獻[7]的顯著性檢測法、遲滯閾值法[19]和自編碼器[20]對上述相同的絲餅樣本進行對比實驗，文獻[19]提出的遲滯閾值法是通過在垂直方向上進行投影確定出遲滯閾值，然后二值化分割出缺陷區(qū)域；文獻[20]是利用去噪卷積自編碼器建立織物圖像的去噪重構模型，通過殘差圖像分析自動識別缺陷。與本文提出的算法進行比較，實驗結果如表3所示。

從表3的對比結果可以看出，文獻[6]的Gabor濾波法檢測準確率為98.00%，漏檢率為2.18%，檢測效果略低于本文方法，但是單張圖像的檢測時間為1 036 ms，在利用遺傳算法選取最優(yōu)濾波器參數(shù)組耗時較長，約是本文算法檢測時間的12倍左右，不能滿足工廠對絲餅檢測時間的要求；文獻[7]顯著性檢測中自學習特征耗時太長，不能準確計算絲餅圖像像素點的顯著值，漏檢率較高；文獻[19]遲滯閾值法在垂直方向上投影效果較差，無法確定出最佳閾值；文獻[20]利用去噪卷積自編碼器構建的模型需要不斷補充新樣本，魯棒性較差，無法滿足工廠對絲餅檢測漏檢率和檢測時間的需求。綜合考慮，本文方法性能優(yōu)于對比方法，選取的圖像信息熵和能量的組合特征能夠完全表征絲餅所有的缺陷類型，檢測漏檢率低，速度快，可以應用到實際的絲餅缺陷檢測中。

表3 實驗結果對比Tab.3 Comparison of experimental results

3.2 精確評估

精確評估是指算法檢測出的缺陷區(qū)域和人工標注的缺陷區(qū)域的接近程度，該方法以人工標注的缺陷區(qū)域作為真實缺陷，計算算法檢測結果的精確率(P)、召回率(R)和調和平均數(shù)(F)。其中精確率是指算法檢測出的缺陷區(qū)域中真正屬于缺陷的部分占算法檢測出的全部缺陷區(qū)域的比例，用于評價算法檢測的精確程度；召回率是指算法檢測出的缺陷區(qū)域中真正屬于缺陷的部分占人工標注的缺陷區(qū)域的比例，用于評價算法查找缺陷的能力；調和平均數(shù)是精確率和召回率的綜合指標，用于評價算法的總體檢測效果。

P、R和F的計算公式如下：

(7)

式中：RD為算法檢測出來的缺陷區(qū)域；RT是人工標注的缺陷區(qū)域；RTD為RD與RT的交集。

由于絲餅的壓痕缺陷易出現(xiàn)漏檢，因此對檢測出的壓痕缺陷進行精確評估，用來評價算法的檢測效果，其結果將具有代表性，以圖3(d)中含有壓痕缺陷的絲餅檢測結果為例進行精確評估，計算絲餅表面缺陷檢測算法的精確率、召回率與調和平均數(shù)。人工標注的絲餅真實缺陷和本文算法檢測出絲餅缺陷的局部放大圖以及二者的對比結果如圖8所示。

圖8 絲餅缺陷的局部放大圖和對比結果Fig.8 Enlarged images and comparison of result of defective region for DTY packages.(a)Manual labeling image;(b)Detection result for proposed method;(c)Comparison of results;(d) Detection result for Gabor filter;(e)Comparison of results 1;(f) Detection result for saliency;(g)Comparison of results 2;(h)Detection result for hysteresis thresholding segmentation;(i)Comparison of results 3;(j)Detection result for autoencoder;(k)Comparison of results 4

其中人工標注的絲餅缺陷區(qū)域RT的面積為 57 311，算法檢測出缺陷區(qū)域RD的面積為 56 238，屬于絲餅真實缺陷區(qū)域RTD的面積為 55 362。與最優(yōu)Gabor濾波法、顯著性檢測法、遲滯閾值法和自編碼器檢測結果進行比較，檢測出的絲餅缺陷的局部放大圖和對比結果如圖8(d)～(k)所示，檢測精確評估對比結果如表4所示。

表4 精確評估結果對比Tab.4 Comparison of accurate evaluation results

從表4可以看出，本文算法的精確率為98.44%、召回率為96.60%，調和平均數(shù)為97.51%，均遠高于對比的方法，能夠準確地檢測出真實缺陷，對絲餅缺陷具有較好的檢測效果，實現(xiàn)絲餅表面缺陷的精準檢測。

4 結 論

結合工業(yè)實際，設計了一套絲餅圖像采集裝置，并提出了一種在梯度空間下的絲餅表面缺陷檢測方法，用來代替化纖生產中的人工檢測。首先在實時處理過程中，將采集的絲餅圖像轉換到梯度空間域；其次再計算絲餅圖像的信息熵和梯度能量，利用最大類間方差法確定閾值，分割出缺陷區(qū)域；最后形態(tài)學處理得到最終的絲餅表面缺陷的檢測結果。實驗結果表明，采用該方法對絲餅表面缺陷進行檢測，檢測準確率高達98.85%，漏檢率為1.35%，單個絲餅的檢測時間約為5.087 s，滿足工廠對絲餅檢測準確性和實時性的要求。本文方法不僅可以檢測出絲餅是否存在缺陷，降低漏檢率，而且可以較為精準地檢測出缺陷區(qū)域，便于后續(xù)的缺陷統(tǒng)計，對化纖企業(yè)具有較高的工業(yè)推廣價值。

FZXB