天然皮革缺陷在線檢測系統(tǒng)研制

藍(lán)嘉豪，馮 培,2*，張榮根，魏大順，楊崇倡,2

（1.東華大學(xué) 機(jī)械工程學(xué)院，上海 201620；2.東華大學(xué) 紡織裝備教育部工程研究中心，上海 201620）

0 引言

皮革制品是將動(dòng)物身上的皮經(jīng)過一系列復(fù)雜工序包括對動(dòng)物皮的物理加工以及化學(xué)處理最終形成皮革制品，使其成為一種堅(jiān)固、耐用且時(shí)尚的產(chǎn)品[1]。以皮衣的加工制作為例子，其關(guān)鍵工序是在天然皮革上避開缺陷以及劣質(zhì)紋理區(qū)域擺放服裝樣片進(jìn)行裁剪，以保證皮衣產(chǎn)品的質(zhì)量。由于皮革表面不可避免會(huì)出現(xiàn)痘疤、裂面?zhèn)⑸逞邸⑺勒邸⑵ざ础欛蕖⑵破さ热毕荩矣捎诘玫降钠じ锲涿繌埰じ锏男螤睢⒋笮∫约叭毕菸恢枚汲尸F(xiàn)隨機(jī)性，無法預(yù)知，不能使用常規(guī)特征提取方法及單一固定的標(biāo)準(zhǔn)對其進(jìn)行提取。當(dāng)皮革經(jīng)過物理加工以及化學(xué)處理后，會(huì)破壞皮革的伸縮性能使得皮革邊緣出現(xiàn)所謂的荷葉邊即在自然狀態(tài)下表面不平整，在邊緣處呈現(xiàn)凹凸不平的現(xiàn)象，這使得適用圖像處理對皮革數(shù)據(jù)進(jìn)行采集過程中會(huì)產(chǎn)生離焦區(qū)域，檢測結(jié)果造成誤檢或多檢問題。

范大煌[2]提出一種高清整張皮革表面缺陷自動(dòng)檢測方法，降低光照不均對圖像檢測的影響，但無法解決整張皮革邊緣荷葉邊問題，從而增加多檢率以及誤檢率。丁彩紅[3]利用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)對皮革缺陷檢測、定位，在一定程度上提高單張缺陷圖像的檢測效率，但針對整張大幅面皮革檢測效率優(yōu)化并未做出研究討論，難以應(yīng)用實(shí)際工業(yè)生產(chǎn)。劉飛飛[4]針對經(jīng)典的缺陷檢測算法無法解決紋理復(fù)雜、對比度低的皮革表面缺陷檢測的問題，提出一種基于Gabor濾波的重建圖像算法。該算法可解決宏觀上較明顯缺陷特征，但是針對微觀上細(xì)微缺陷易造成漏檢問題。然而目前皮裝企業(yè)生產(chǎn)中的檢測排版等工序還主要由人工來完成，而人工標(biāo)注缺陷效率較低，且沒有統(tǒng)一的缺陷檢測標(biāo)準(zhǔn)，受人工主觀性影響嚴(yán)重，難以保證皮革表面缺陷檢測的穩(wěn)定性、一致性，嚴(yán)重制約皮裝企業(yè)自動(dòng)化生產(chǎn)的發(fā)展。

通過設(shè)計(jì)皮革三維立體展平裝置，使皮革在檢測過程中展平，從而避免了皮革凹凸不平脫離的相機(jī)對焦區(qū)域以提高圖像采集質(zhì)量；針對整張皮革表面次要紋理區(qū)域常用于服裝次要部位特點(diǎn)，設(shè)計(jì)皮革先紋理后缺陷的綜合判斷方法，通過統(tǒng)計(jì)皮革缺陷顯著性特征，完成對整張皮革表面缺陷識(shí)別。

1 工作原理

本文結(jié)合皮裝生產(chǎn)中缺陷檢測的工藝，研制專門針對天然皮革缺陷的在線檢測設(shè)備。首先在皮革背面貼一張條形碼錄入到PC端，并將待檢測皮革由運(yùn)動(dòng)裝置傳送至檢測工位，當(dāng)皮革經(jīng)過檢測區(qū)域中三維立體展平裝置后展平，采集裝置開始采集圖像并實(shí)時(shí)傳輸?shù)絇C端進(jìn)行相應(yīng)圖像處理實(shí)現(xiàn)對缺陷進(jìn)行識(shí)別，檢測完成后傳感器觸發(fā)信號(hào)，CCD相機(jī)自動(dòng)停止圖像采集，運(yùn)動(dòng)裝置轉(zhuǎn)回到初始位置，此時(shí)皮革完成表面缺陷檢測，皮革圖像檢測報(bào)告上傳至數(shù)據(jù)庫。

2 系統(tǒng)硬件設(shè)計(jì)

天然皮革缺陷檢測系統(tǒng)硬件主要由工業(yè)計(jì)算機(jī)、控制裝置、圖像采集模塊、三維立體展平裝置、傳動(dòng)裝置等組成，如圖1所示。

圖1 皮革缺陷檢測平臺(tái)硬件構(gòu)成示意圖

由于一張皮革受檢面大，為保證實(shí)現(xiàn)連續(xù)、高效、在線的檢測目的。因此需要多組CCD同時(shí)采集并實(shí)現(xiàn)拼接，為了保證多組CCD的采集圖像光照一致，設(shè)計(jì)立體拱形光源，保證每組CCD下光照均勻，穩(wěn)定。為了減小荷葉邊皺褶對檢測皮革缺陷影響，設(shè)計(jì)三維立體展平等輔助裝置使皮革在圖像采集區(qū)域展平；為了保證高質(zhì)量的圖像拼接以及高精度的圖像要求，通過傳感器可判斷皮革是否進(jìn)入和離開圖像采集區(qū)域從而實(shí)現(xiàn)工業(yè)相機(jī)對皮革進(jìn)行準(zhǔn)確開始觸發(fā)和停止觸發(fā)操作，采用外部觸發(fā)方式以保證多相機(jī)信號(hào)同時(shí)觸發(fā)，并通過TCP/IP協(xié)議與上位機(jī)進(jìn)行交互，采用歐姆龍CP1H作為檢測系統(tǒng)的底層控制器，并基于NI OPC Server使得PLC與上位機(jī)進(jìn)行通訊，從而實(shí)現(xiàn)有效控制。

2.1 三維立體展平裝置

天然皮革在自然狀態(tài)表面呈現(xiàn)凸凹不平的彎曲狀態(tài)，展平指多向彎曲的曲面被展成與原曲面的形狀和大小相似平面的過程，通過外力作用對曲面的空間角進(jìn)行變化，實(shí)現(xiàn)曲面的展平功能[5]。為了避免外力對天然皮革伸縮性以及皮革性能破壞，且在夾子等外力作用下無法采集皮革完整圖像，因此設(shè)計(jì)皮革立體展平裝置，其展平運(yùn)動(dòng)簡圖如圖2所示。

圖2 在三維立體展平裝置上運(yùn)動(dòng)簡圖

為了實(shí)現(xiàn)皮革展平，需保證皮革與展平裝置產(chǎn)生相對運(yùn)動(dòng)，使展平裝置與傳動(dòng)裝置分離，本文通過導(dǎo)向皮能夠?qū)⑵じ镞\(yùn)輸?shù)秸蛊窖b置上，皮革經(jīng)過擴(kuò)幅輥產(chǎn)生擴(kuò)幅作用力，使其表面荷葉邊的空間角發(fā)生變化。為了保持皮革在檢測區(qū)域內(nèi)局部展平，因此在檢測區(qū)域前后設(shè)置壓皮輥，保證皮革經(jīng)過擴(kuò)幅輥后荷葉邊處的空間角保持不變，實(shí)現(xiàn)皮革在檢測區(qū)域局部展平功能。

通過安裝三維立體展平裝置實(shí)現(xiàn)對皮革表面在檢測區(qū)域內(nèi)展平，圖3是為皮革在自然狀態(tài)下與展平狀態(tài)下使用圖像采集獲取的圖像。從圖中可以看出皮革在未展平狀態(tài)下中間出現(xiàn)明顯 皺，皮革四周凹凸明顯，這種情況下使用圖像處理很難達(dá)到完美的效果，容易對皮革產(chǎn)生誤檢；而經(jīng)過三維立體展平裝置的皮革，不僅使皮革中間的褶皺進(jìn)行去除，且皮革四周的荷葉邊也幾乎都順利展平，只有少數(shù)死折無法進(jìn)行展平。因此通過三維立體展平裝置，可將褶皺的皮革進(jìn)行展平，降低了圖像缺陷檢測誤檢率，提高皮革可用區(qū)域利用率。

圖3 采集的皮革完整圖像

3 系統(tǒng)軟件設(shè)計(jì)

結(jié)合皮裝裁剪工藝特點(diǎn)發(fā)現(xiàn)，一件衣服上的次要部位樣片上可放置沙眼等缺陷，但如果皮革缺陷是皮洞或者破皮那么這片區(qū)域?qū)o法使用，不能用在任何地方，需要對其進(jìn)行裁剪，因此設(shè)計(jì)如圖4所示皮革缺陷檢測綜合判斷方法。為了提高皮革表面可用區(qū)域利用率，整張皮革表面次要紋理區(qū)域常用于服裝次要部位，因此對采集圖像先進(jìn)行紋理等級判別，再通過圖像分割算法對灰度特征明顯的缺陷特征例如皮洞、死折等缺陷進(jìn)行特征識(shí)別；對灰度特征變化不明顯，但是皮革表面紋理特征變化較大如痘疤等缺陷，通過圖像訓(xùn)練以及共生矩陣對痘疤等缺陷進(jìn)行識(shí)別，再利用顯著性特征對表面缺陷進(jìn)行綜合判別，最終完成整張皮革表面缺陷的識(shí)別，并將結(jié)果上傳至皮革數(shù)據(jù)庫。

圖4 皮革缺陷檢測綜合判斷方法

3.1 紋理等級判別

本文通過選取紋理中最基本的一個(gè)特征即粗糙度進(jìn)行紋理等級判別，利用圖像處理對采集的皮革進(jìn)行處理，提取皮革的密度大小作為粗糙度的計(jì)算，通過計(jì)算得到的粗糙度值來對皮革的紋理等級進(jìn)行劃分[6]。本文通過對灰度特征進(jìn)行一系列的后處理，采集的圖像中可以清晰的看到皮革呈現(xiàn)顆粒感，因此將圖像中皮革顆粒占皮革面積作為區(qū)分紋理等級的特征值，采用這種這種方法與人體感官類似；對于不同的皮革如果使用傳統(tǒng)紋理粗糙度的方式，會(huì)丟失大量的信息，對于皮革紋理的分類不準(zhǔn)確，為了能夠正確體現(xiàn)出采集的皮革圖像其顆粒度占比，采用直方圖的方式來表示皮革顆粒分布，通過直方圖便可計(jì)算得到平均顆粒面積，將這一數(shù)值作為衡量皮革粗糙度的標(biāo)準(zhǔn)，本文步驟如下所示。

步驟一：提取閾值分割后圖像的顆粒輪廓，計(jì)算紋理圖像中像素尺寸為2k×2k的區(qū)域中像素粒子輪廓面積，將其放入面積數(shù)組中：

式(1)中n代表二值化后圖像中顆粒的個(gè)數(shù)，a1代表第一個(gè)區(qū)域像素粒子輪廓面積；

步驟二：將面積數(shù)組轉(zhuǎn)為直方圖的形式，能夠更清晰的表達(dá)皮革顆粒的分布。將直方圖面積劃分為m個(gè)子區(qū)間bins，統(tǒng)計(jì)屬于每個(gè)子區(qū)間的面積個(gè)數(shù)，記為histR，以bins為橫坐標(biāo)，histR為縱坐標(biāo)，繪制條形圖成直方圖，如圖5所示。

圖5 皮革紋理面積直方圖

步驟三：從直方圖提取的紋理特征，計(jì)算直方圖中percintileHist80的紋理粒度面積記作該幅圖像的粗糙度，計(jì)算如式(2)所示：

3.2 缺陷檢測算法

由于受到工廠環(huán)境等其他外界因素干擾，采集到的皮革圖像上或多或少存在噪點(diǎn)，為了提高圖像質(zhì)量，采用高斯濾波平滑處理方法，以達(dá)到圖像去噪效果[7]。通過一系列的灰度變化函數(shù)將原圖像的直方圖進(jìn)行均衡化修正，使對比度較低的圖像達(dá)到增強(qiáng)圖像細(xì)節(jié)效果[8]。由于該皮革圖像背景具有多元化的特點(diǎn)，如若使用固定閾值對不同背景下的圖像進(jìn)行分割處理，效果不理想，沒有通用性。自適應(yīng)閾值分割原理是將原圖像進(jìn)一步細(xì)分為多個(gè)子圖像，然后在子圖像上使用不同的閾值進(jìn)行閾值分割[9]。為了避免二值化處理圖像時(shí)造成大量紋理信息遺失，需要保留紋理粒度，對缺陷準(zhǔn)確識(shí)別起著至關(guān)重要的作用。為了避免固定閾值帶來的缺陷，采用自動(dòng)閾值分割能夠自動(dòng)的根據(jù)圖像的變化更改閾值，自動(dòng)與之中比較經(jīng)典的算法為OTSU算法，其將一幅圖像分為前景色和背景色，依據(jù)最大類間方差作為求得一個(gè)合適的閾值，因此本文將采用OTSU算法皮革圖像進(jìn)行閾值分割，其缺陷檢測流程圖如圖6所示。

圖6 缺陷檢測圖像處理流程

依據(jù)缺陷檢測圖像處理流程，其檢測效果圖如圖所示，采用OTSU自動(dòng)閾值分割能夠明顯的識(shí)別出缺陷。

表1 圖像處理流程效果圖

針對灰度變化不明顯的缺陷，但是其表面紋理特征變化顯著的缺陷如痘疤，采用共生矩陣技術(shù)對皮革圖像紋理進(jìn)行數(shù)理統(tǒng)計(jì)[10]。首先利用Biorthogonal小波對圖像進(jìn)行處理如圖7所示，選用15×15窗口大小進(jìn)行共生矩陣計(jì)算，其次利用Haralick[11]提出的共生矩陣中的多個(gè)二階統(tǒng)計(jì)量計(jì)算紋理特征向量，并對大量無缺陷紋理圖像樣本進(jìn)行訓(xùn)練，最終實(shí)現(xiàn)對皮革表面痘疤等缺陷的檢測。

圖7 皮革圖像小波處理效果

3.3 顯著性特征分析

目標(biāo)圖像中顯著性特征可分為幾何特征以及灰度特征，其中幾何特征包括其基礎(chǔ)參數(shù)如目標(biāo)特征的面積、周長、位置等以及形狀參數(shù)如矩形度圓度等特征量。然而在服裝生產(chǎn)后道工序中可以通過熨平將褶皺去除，使得缺陷檢測出的皺褶不判別為缺陷，因此需要分析皺褶的顯著性特征。同時(shí)在整張皮革的次要紋理區(qū)域，沙眼缺陷不影響皮革的使用，為了提高皮革表面可用區(qū)域利用率，對沙眼缺陷顯著性特征進(jìn)行分析，在次要紋理區(qū)域不將其判別為缺陷。

延長因子（Elongation Factor，EF）是描述目標(biāo)區(qū)域粒子的細(xì)長程度，其計(jì)算方法如式(3)所示：

式(3)中L表示目標(biāo)區(qū)域中最長直徑；D表示目標(biāo)區(qū)域的等效矩形的短邊長。

對多組皮革進(jìn)行測試，分析顯著性特征，得到圖8所示結(jié)果，可看出，褶皺缺陷的延長性因子特征值明顯高于其他類缺陷，與實(shí)際皮革上褶皺為細(xì)長狀相吻合；沙眼的面積特征值最小，與人工對沙眼判別的直觀感受一致。因此選取面積特征值作為沙眼顯著性特征；延長因子作為皺的顯著性特征。

圖8 目標(biāo)缺陷顯著性分布

3.4 皮革數(shù)據(jù)庫系統(tǒng)

TCP/IP是基于IP的協(xié)議，從運(yùn)輸層實(shí)現(xiàn)支持面向連接的、可靠的、面向流的傳輸服務(wù)。在皮革服裝企業(yè)工廠應(yīng)用中，TCP/IP是應(yīng)用最廣的連接方式，在廠區(qū)各個(gè)服務(wù)器的連接均使用此協(xié)議連接。

本文研究基于LabVIEW的數(shù)據(jù)庫接入。通過LabVIEW軟件和SQL數(shù)據(jù)庫進(jìn)行連接開發(fā)皮革數(shù)據(jù)庫程序。

一臺(tái)計(jì)算機(jī)中可能有多個(gè)數(shù)據(jù)庫的存在。因此，需先找到MES系統(tǒng)數(shù)據(jù)庫才能正確接入MES系統(tǒng)。由于某工廠MES系統(tǒng)正在建設(shè)，因此，在本地計(jì)算機(jī)搭建數(shù)據(jù)庫并進(jìn)行連接。在連接時(shí)，需要獲取數(shù)據(jù)庫類型、其所在服務(wù)器IP、數(shù)據(jù)庫名及賬戶密碼和所要連接的數(shù)據(jù)庫名稱。具體連接程序如圖9所示。在進(jìn)行與數(shù)據(jù)庫建立連接后，通過LabVIEW拼接字符串生成執(zhí)行語句并調(diào)用軟件提供的數(shù)據(jù)庫查詢接口，本文將皮革ID信息、皮革等級、缺陷坐標(biāo)值、缺陷種類信息以及皮革輪廓信息進(jìn)行上傳至數(shù)據(jù)庫，方便下一工序從數(shù)據(jù)庫從調(diào)用當(dāng)前皮革信息。

圖9 數(shù)據(jù)庫連接

4 實(shí)驗(yàn)結(jié)果

為了實(shí)現(xiàn)皮革表面缺陷在線檢測系統(tǒng)的產(chǎn)業(yè)化應(yīng)用，本文搭建皮革缺陷在線檢測系統(tǒng)，如圖9所示。本文選用某皮裝生產(chǎn)的天然皮革為檢測對象，為了驗(yàn)證皮革缺陷在線檢測系統(tǒng)的穩(wěn)定性以及缺陷檢測準(zhǔn)確性，將該系統(tǒng)置于某皮裝生產(chǎn)線上進(jìn)行在線測試，共測試200張?zhí)烊黄じ铩?/p>

圖10 天然皮革缺陷檢測平臺(tái)

通過系統(tǒng)連續(xù)運(yùn)行檢測200張皮革，本文所述系統(tǒng)在檢測過程中沒有發(fā)現(xiàn)故障，其穩(wěn)定性可靠。由表2、表3可知，該系統(tǒng)缺陷檢測準(zhǔn)確率達(dá)到97.5%，滿足系統(tǒng)要求。

表2 機(jī)器檢測缺陷數(shù)據(jù)表

表3 機(jī)器檢測檢測率

5 結(jié)語

本文通過三維立體展平裝置將皮革展平，應(yīng)用面積直方圖、圖像分割算法以及共生矩陣等圖像處理方法，對缺陷顯著性特征進(jìn)行分析，實(shí)現(xiàn)對皮革紋理等級判斷、表面缺陷識(shí)別。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)可獲得高質(zhì)量的皮革圖像，降低了誤檢率，其缺陷檢測準(zhǔn)確率可達(dá)97.5%，有效提高整張皮革表面可用區(qū)域面積，對皮裝自動(dòng)化生產(chǎn)具有指導(dǎo)意義。