基于視覺特征強化的環錠紡細紗斷頭在線檢測方法

陳泰芳, 周亞勤, 汪俊亮, 徐楚橋, 李冬武

(1. 東華大學 機械工程學院, 上海 201620; 2. 東華大學 人工智能研究院, 上海 201620;3. 上海交通大學 機械與動力工程學院, 上海 200030)

目前,環錠紡紗在紡紗領域占生產總量80%以上,其生產品種廣,原料適應性強,紡紗質量好,在環錠紡紗的諸多過程中,細紗工序直接影響其生產效率和產品質量。在細紗工序中,斷紗現象時常發生且難以避免,直接導致細紗工序的中斷,進而影響紡紗的生產效率和產品質量,同時增加了工人的勞動強度。環錠紡細紗斷紗的自動化檢測能實時反饋細紗作業狀態[1-2],并根據斷頭信息,及時進行接頭處理提醒,進而可提高生產效率。目前現有自動化斷頭檢測主要以光電或磁電為核心的單錠式檢測法,準確率高,壽命長,但需要對細紗機進行改造,實施成本高,難度大。因此急需一種低成本、高準確率的斷頭檢測方法來解決問題[3]。

現有的機器視覺斷頭檢測方法主要分為3類:第1類方法為激光照射法,對線激光照射紗線形成的光點進行統計,計算紗線數量,并和事先預設的紗線數量進行對比分析,從而檢測紗線是否斷頭[4-5]。第2類方法為紗線圖像圖形學處理法,對獲取到的紗線圖像進行圖形學處理,實現紗線特征提取,通過判斷斷頭線間距離實現斷頭檢測。史鵬飛等利用基于機器視覺的方法進行整經機的斷頭檢測,將圖像轉化為一維數據,然而圖像中紗線的特征難以通過一維數據所包含的信息量進行分辨[6];姚俊紅基于紗線像素值較高的特點,采用閾值分割法進行紗線特征和背景特征的分離,但該方法要求圖像背景單調,檢測目標清晰[7];王雯雯等采用prewitt算子獲取圖像中所有邊緣,再通過霍夫變換(Hough transform)提取紗線特征,進行斷頭檢測[8];孟立凡等采用FPGA灰度投影法找尋投影中的波峰點間距來判別斷頭現象[9]。第3類為深度學習方法,通過神經網絡將圖像轉化為高維度信息識別斷頭現象。吳旭東等采用基于深度學習的方法,升維紗線圖像,并對高維信息進行解碼,進而判斷斷頭現象[10]。

現有研究主要針對視覺驅動的紗線斷頭檢測理論方法展開,在實際應用中仍存在以下難點[10-11]：1)紗線拖影下的弱特征。巡測過程中,拍攝的圖像會因為運動導致圖像模糊,同時環錠紡紗高速旋轉也會導致紗線拖影,因此難以直接提取到紗線目標;2)紗線小目標特征難以提取。在紗線圖像中紗線像素量占比在3.5%～5.5%之間,易受到光照變化和背景干擾,因此紗線特征難以自適應的提取。

針對以上難點,本文提出了基于視覺特征強化提取的細紗斷頭在線檢測方法。針對紗線拖影導致的紗線特征難以提取的問題,設計了鄰域梯度強化算子對紗線聚類,實現紗線特征強化。針對紗線目標小、易受環境干擾的問題,設計了一種啟發于谷底的Otsu小目標分割閾值搜索法,實現紗線與背景分割。

1 環錠紡紗斷頭檢測總體方案設計

本文環錠紡巡游檢測系統安裝在移動智能小車上,如圖1所示。該裝置由1臺寬為400 mm的阿克曼小車作為巡游裝置,其中圖像采集裝置安裝在鋁合金搭建的圖像采集平臺上,保證相機在合適的高度。小車自身搭載1臺工控機用于巡檢導航并對獲取的圖像進行斷頭判斷,同時與云端進行通信。

圖1 斷頭巡游檢測小車Fig. 1 Broken yarn patrol detection car

1.1 外部硬件

斷頭檢測采用英偉達Jetsonnano-4GB工控機,搭載ARM的CORTEX-A57處理器,美光LPDDR-4 GB 運行內存條和閃迪-32 G內存卡;采集相機使用威鑫200萬像素廣角攝像頭,采集紗線圖像為灰度圖;圖像采集裝置中配置了科麥視覺LEDBRD18030條型光源。小車外部硬件底層主控系統使用的是32F103RCT6,用于控制小車運動和信息的處理;巡檢導航使用的傳感器為思嵐RPLIDAR-A1激光雷達傳感器;車輪驅動裝置采用MD36 N-35W直流電動機;轉向使用HWZ020-20 kg 扭矩數字舵機,還搭載IMU、陀螺儀、OLED顯示屏等配件。

1.2 軟件配置

主控系統使用ubuntu18.04版本系統,小車巡檢導航使用的是ROSmelodic操作系統,底層主控使用FreeRTOS作為操作系統,斷頭檢測算法基于Python3.6進行編寫并搭載在主控系統中。

2 細紗斷頭特征提取方法

本文細紗斷頭檢測算法由4個步驟完成。首先對圖像進行平滑處理,平滑背景噪聲,再通過弱特征強化算子強化紗線特征,之后對特征強化后的圖片設計了啟發于谷底的Otsu小目標分割算法獲取紗線特征,最終對提取到的紗線特征計算歐拉距離,判斷是否發生斷頭現象,總體流程如圖2所示。

圖2 斷頭檢測流程圖Fig. 2 Flow chart of broken yarn detection

2.1 基于L0范數細紗圖像平滑

在環錠紡紗工廠中有大量電磁設備導致采集圖像出現噪點,同時背景存在的鐵銹油污都會干擾紗線提取。由于巡檢過程中紗線拖影特征弱,傳統圖像平滑方法易平滑紗線特征,為此需要在保留細紗特征的同時平滑背景噪聲。細紗圖像中,可利用紗線的梯度特征信息,在進行背景噪聲平滑的同時,最大程度保留紗線特征。為此,本文采用L0范數[12]的平滑方法平滑背景噪聲,同時保留細紗梯度信息。L0范數的平滑目標函數如式(1)、(2)所示:

(1)

C(S)=#{p‖?xSp|+|?ySp|}

(2)

(3)

C(μ,ω)=#{p‖μp|+|ωp|≠0}

(4)

式中,改進前的C(S)是對整張圖片進行判斷平滑,添加了(μ,ω)后可以通過對每個像素點進行梯度計算,表示|μp|+|ωp|梯度不為零的p的個數。β用于控制變量(μ,ω)和其對應梯度之差。最終采用交替最小化算法求解策略迭代優化到最優解。

在式中,λ權重越大圖像存在梯度數量越少,代表平滑效果越高,通過實驗觀察,紗線與背景的像素值相差在10左右,因此選擇λ權重為0.000 8;β選擇為默認數值2。

2.2 細紗圖像弱特征強化算子

在使用相機進行巡游檢測的過程中會導致圖像失真,同時紡紗過程中紗線高速旋轉會產生拖影,導致紗線特征難以提取,但是,可利用圖像中紗線的梯度信息從而解決以上難點,因此本文先對細紗圖像梯度進行分析。紡紗過程中,紗線為豎直條狀物,因此在豎直方向上梯度變化較小,只需關注橫向梯度信息,如圖3所示。

圖3(b)中橫坐標代表紗線圖像的橫向坐標軸,縱坐標為像素值大小,對圖像中的橫向梯度進行分析可發現,圖像背景中存在的噪聲(見圖3(a)中黑色方框)干擾了梯度信息,從而對紗線特征的判斷產生了干擾(見圖3(b)中灰色方框),導致紗線特征無法直接從梯度圖中獲取,但在紗線周邊,梯度存在著相似性。因此,本文通過加權鄰域梯度實現對紗線的增強,并采用中心差分梯度的思想來抑制特征相似的背景(見圖4)。

圖3 紗線圖像分析圖Fig. 3 Yarn image analysis diagram. (a) Yarn and background interference image; (b) Yarn image gradient diagram

圖4 鄰域梯度增強算法示意圖Fig. 4 Schematic diagram of neighborhood gradient enhancement algorithm

基于鄰域梯度強化的算子如式(5)所示:

Sxy=fxy·(G(x,y)+R(x,y))

(5)

式中:Sxy為經過基于鄰域梯度強化的算子處理后原圖像中(x,y)位置處的像素點;fxy為原圖像中(x,y)位置處的像素點;G(x,y)和R(x,y)為圖像增強和背景抑制算子,其設計如下。

1)圖像紗線增強算子。

G(x,y)=λf(x,y)+f(x-1,y+i)+

f(x+1,y+i)+2f(x,y+i)

(6)

式中:f(x,y)代表原圖像中像素點的像素值;λ代表強化系數,在后續3.1節中會對其進行討論。紗線圖像中,拖影紗線像素在橫向方向存在小梯度,因此,將拖影紗線周圍的像素進行加權相加,可增強紗線特征。式(6)中通過對目標像素特征進行加權相加,從而達到增強紗線特征的目的。

2)圖像背景特征抑制算子。

R(x,y)=-η(f(x+2,y+i)+f(x-2,y+i))

(7)

式中,η代表抑制系數。由于在算子設計中各權值之和應當大于0且小于1,避免對圖像過度增強或抑制,因此本文η取值設為2。當目標像素處于紗線區域時,其中加權相消的梯度處于非紗線區域,在紗線特征區域與背景特征區域存在著梯度差,通過加權紗線區域特征與非紗線區域的差來實現增強紗線特征的效果。當目標像素處于背景特征區域時,背景區域梯度變化較小,2區域梯度差值之和較小,最終實現對背景區域特征的削弱。

2.3 啟發于谷底的小目標Otsu分割方法

在環錠紡紗斷頭巡檢的過程中,增強后的紗線目標小,易受到光照變化影響,無法直接提取到紗線特征,如何從高頻特征中自適應獲取小目標特征有重要意義。

Otsu[13]是一種用于解決圖像自適應二分類方法,適用于本文自適應提取紗線的需求。因此在這一部分中,本文重點研究Otsu自適應閾值分割方法,其原理如下:

(8)

(9)

g=w0(u0-u2)2+w1(u1-u2)2

(10)

式(8)中:pi對應圖像中像素值i∈[0,255]在圖中所占比例;w0、w1表示閾值為k時,0～k之間像素值和k～255之間像素值分別占圖像的百分比。式(9) 中:u0為0～k之間像素值圖像的平均灰度值;u1為k～255之間像素值圖像的平均灰度值;u2代表整張圖像的平均總灰度值。式(10)中;利用類間方差g進行閾值評判,通過類間方差對比,確定閾值最優分割點,如式(11)所示:

(11)

式中:gk為像素值k所對應的類間方差;P為處理的目標圖像。

Otsu法適用于處理背景和目標均衡的圖像,在紗線在線檢測圖像中,由于紗線目標很小,Otsu法無法自適應提取紗線小目標特征。本文在此基礎上,設計一種啟發于谷點的小目標Otsu分割方法,以實現對紗線小目標特征的提取,具體改進如下所示:

(12)

圖5示出增強后的紗線圖像直方圖,閾值分割點依然處在波峰附近(見圖中圓圈),由于最佳分割點與波峰的類間方差相差很大,因此無法很好分割。為解決波峰附近占比權重小的問題,本文重新設計了權值,如式(13)所示:

圖5 增強后的紗線圖像直方圖Fig. 5 Feature category contained by the pixel changes

(13)

本文將圖像最大占比像素值設置為像素遍歷起點,以提高遍歷速度,如式(14)所示:

(14)

式(14)中,根據紗線圖像中背景占比大的特點,分割閾值搜索的起始點,從圖像像素值占比最大的區域開始,從而可減少15%～25%的運算時間。

高速紡紗過程中,由于紗線分段現象的存在,導致圖像中紗線區域包含少量的背景特征,如圖6所示。

圖6 紗線特征提取圖像Fig. 6 Yarn feature extraction image

采用輪廓篩選法進行非線段特征的去除,如式(15)所示。

(15)

2.4 基于歐拉距離識別斷頭

對于獲取到的紗線特征之間距離相等,當斷頭現象發生時,間距增大,可通過計算紗線之間的歐拉距離進行斷頭現象的識別。首先對圖像中識別出的紗線獲取重心位置,然后計算相鄰紗線的重心之間歐拉距離,按式(16)進行斷頭現象的識別:

(16)

式中:l為相鄰紗線重心的橫向坐標x之差;x為紗線重心的橫向坐標;x′為相鄰紗線間的正常距離,當l大于1.5x′時,判斷出現斷紗,否則,無斷紗。由圖7可看出,當有斷紗發生時,斷紗處的相鄰紗線間距遠遠大于正常紗線間距x′,因此,由式(16)可判定是否有斷紗現象。

圖7 基于歐拉距離斷頭識別方法Fig. 7 Identification method of broken yarn based on Euler distance

3 實驗與結果分析

本文實驗所使用的電腦處理器為英特爾11th Gen Intel(R) Core(TM) i7-11 800 H@2.30 GH,內存為美光-16 GB,同時搭載使用pthon3.6 IDE編寫器以及配置了pytorch1.6和OPENCV3.4.1進行實驗。本實驗通過搭載巡檢裝置在無錫某紡織廠進行數據采集與實驗,該廠主要生產純棉高支紗線,每車有400錠紗線。選取拍攝所得1 000張圖片,其中斷頭圖片占200張,未發生斷頭的圖片占800張。

3.1 細紗弱特征強化算子驗證與權重選擇

為驗證本文提出的細紗弱特征強化算子的優異性,本文與Retinex、同態濾波和直方圖均值化進行增強實驗對比。

圖9 不同權重下清晰圖像與模糊圖像增強效果圖Fig. 9 Distinct image(a) and dim image(b) enhancement renderings under different weight

通過實驗,Retinex是一種消除光照不均的影響,以改善圖像的視覺效果的算法,但在紗線圖像中紗線與背景像素接近,因此無法實現紗線特征增強和抑制背景特征(見圖8(b));同態濾波通過去除乘性噪聲,增加對比度實現特征增強目的,對比圖原始圖像見圖8(a),同態濾波(見圖8(c))中紗線部分得到了增強,背景得到了削弱;直方圖均值化可擴大像素值之間的距離,從而區分紗線與背景,直方圖均衡化中,與紗線同像素級的部分噪聲背景也得到了增強。本文算法利用圖像中紗線存在梯度特征,增強紗線特征的同時,也有效抑制了背景區域特征,本文算法如圖8(e)所示。

圖8 特征強化方法對比Fig. 8 Comparison of feature enhancement methods. (a) Original image; (b) Retinex; (c) Homomorphic filtering; (d) Histogram averaging; (e) Our algorithm

選擇不同的鄰域梯度強化算子權值,將會影響紗線特征與背景特征分離的效果。本文采用控制變量的方式進行最佳權值的選擇,對權值在2～3之間進行實驗對比,圖9示出不同權值下,清晰圖像與模糊圖像的增強效果圖,圖10示出不同權值下清晰圖像和模糊圖像的直方圖。

圖10 不同權重下清晰圖像與模糊圖像直方圖Fig. 10 Histograms of distinct image(a) and dim image(b) under different weight

當權值為2時,清晰圖像可分離出部分紗線的特征,但模糊圖像中,無法將紗線與背景噪聲進行很好的分離,二者直方圖背景區域都處于最小端,閾值篩選區域無法減少。當權值為2.4和2.7時,清晰圖像和模糊圖像均出現了明顯的波峰。背景噪聲區域隨著權值的增加而逐漸向紗線區域靠近,在清晰圖像中,部分紗線特征超過最大像素值時,無法對紗線進行進一步強化,能清晰地看到紗線,而在模糊圖像中,由于紗線特征弱,直方圖中只能明顯顯示背景特征;從圖9可以看出,當權值為3時,紗線區域和背景噪聲區域已重疊,此時紗線特征已最大強化,從而導致背景區域與紗線區域靠近。因此建議最佳權值選擇范圍為2.4～2.7之間,本文后續實驗選擇權值2.5。

3.2 啟發于谷點小目標閾值分割方法驗證

為驗證本文紗線特征提取閾值分割方法的有效性,分別對圖像進行Otsu、添加像素占比權重的Otsu和本文提出的啟發于谷點的Otsu閾值分割法處理,并對閾值結果和處理結果進行對比,最終實驗結果如圖11、12所示。

從圖12(a)可看出,圖像經Otsu處理后,閾值取在波峰附近,大量背景噪聲被歸類為紗線特征,因光照不均,圖中中間大量明亮部分背景被歸類為紗線部分,從而無法有效提取紗線特征;圖12(b)中,圖像經添加像素占比權重的Otsu處理后,閾值仍然處于波峰附近,有較多背景部分被歸類到紗線;圖11(d) 中,經本文算法處理的圖像,有效紗線特征及少部分同像素級別的背景部分取,圖12(c) 中,本文算法可以有效地搜尋到谷點閾值并實現紗線特征的提取,因此,本文算法明顯優于其它閾值分割算法。

圖11 不同閾值分割方法提取紗線特征的效果Fig. 11 Extraction effect of different threshold segmentation methods. (a)Original image; (b) Otsuthreshold segmentation; (c) Added pixel proportion weight OTSU; (d) Our algorithm

圖12 不同閾值分割方法分割所得閾值Fig. 12 Threshold of different threshold segmentation methods. (a) Otsu threshold segmentation; (b) Added pixel proportion weight Otsu; (c) Our algorithm

注:1～3列分別為模糊、正常、過曝的特征圖像及不同算法檢測結果。圖13 各算法實驗結果對比Fig. 13 Comparison of experimental results of each algorithm. (a) Original image; (b) Optimized Hough transform; (c) LSD line detection; (d) Robert-Otsu; (e) Sobel-Otsu; (f) Linknet algorithm; (g) Our algorithm

3.3 紗線特征提取效果對比

為驗證本文所提出的紗線特征提取算法的有效性,對多種特征提取算法的處理效果和檢測結果進行分析對比,用于對比的算法包括霍夫變換直線提取方法[8]、LSD直線檢測算法[14]、Robert,Sobel Otsu結合算法[15]、Linknet[16]算法和本文算法,實驗前,先對圖像進行L0范數平滑預處理。

優化霍夫變換法主要利用圖像中紗線的特殊性進行直線的提取,在參數平面a～b尋找直線y=ax+b,當在此直線上存在目標總長度大于ρ時,則判斷存在直線,否則,不存在直線。實驗中,ρ值取40,采用canny算子進行特征提取,并將閾值low和high分別設置為20和40。Robert算子和Sobel算子,對圖像進行閾值分割進而區分紗線和背景噪聲部分,因此本文采取Otsu自適應閾值分割法,進行紗線和背景部分的分割。Linknet通過反向傳播訓練模型,實現圖像的非線性處理識別,但在訓練模型中需對目標進行人工標注。

各算法對高噪聲,高干擾的圖像分析處理的結果如圖13所示。優化霍夫變換可識別線狀目標,以直線形式顯示,能夠有效過濾小噪聲,但是,會把連續的噪聲錯誤地判斷為紗線,如圖13(b)中灰色框選所示;圖13(c)中,LSD直線檢測法,以直線形式展現可能的線狀目標,但只適用于對邊界明顯的區域進行直線提取;Roberts和Sobel算子采用濾波器處理方法,但Roberts算子著重考慮邊角梯度,對橫向梯度的敏感度不高,因此,許多角點明顯特征被提取,而紗線特征難以提取,如圖13(d)所示;Sobel算子可對橫向梯度進行特征提取,但在高背景噪聲和弱特征情況下,無法正確進行紗線特征的提取,如圖13(e)所示,該方法難以在像素級上將紗線特征和背景噪聲進行區分;深度學習方法可有效提取紗線特征,但是需要進行人為標簽后再進行訓練,得到的結果與標簽更加貼合,如圖13(f) 所示;本文提出的算法能夠有效地進行紗線特征提取,并且得到的結果與原圖像更加擬合,如圖13(g) 所示。

3.4 斷頭檢測準確率與召回率

本文采用準確率AACU和召回率TTP作為斷頭檢測的評估指標,如式(17)、(18)所示。準確率為預測正確數量占總預測數量的比值。

(17)

(18)

式中:Tn代表負樣本的預測正確數量;Tp代表正樣本的預測正確數量;Fn代表正樣本被錯誤預測為負樣本的數量;Fp代表負樣本錯誤預測為正樣本的數量。本文紗線斷頭檢測中,正樣本為紗線斷頭圖像,負樣本為紗線未斷頭圖像。

各種算法斷頭檢測指標的實驗結果見表1。由表可看出,Robert和Sobel算子處理方法中,部分紗線沒有被提取,更易被判斷為斷頭情況,因此紗線斷頭檢測的準確率較低,但斷頭召回率較高。由于Hough變換和Canny算子對邊緣過于敏感,從而會將邊緣誤判為紗線,導致紗線斷頭檢測準確率較低,而對紗線未斷頭部分能夠進行正確的識別。Robert算子、Sobel算子和LSD直線檢測中,因紗線特征難以提取,導致誤判概率大,紗線斷頭判斷的準確率反而較高,而未斷頭部分判斷準確性低。Linknet算法檢測紗線斷頭的AACU和TTP均優于前面幾種算法,但計算時間比較長,難以滿足檢測的實時性要求,本文算法,AACU和召回率TTP均達到97%左右,接近深度學習算法,同時計算時間能夠滿足檢測實時性要求。

表1 各算法斷頭檢測結果Tab. 1 Detection result of broken head of each algorithm

4 結束語

本文算法將獲取紗線特征分解為強化和提取二部分,解決了在環錠紡斷頭視覺檢測動態環境中存在的紗線特征分散、特征弱、背景噪聲干擾強等問題。實驗證明,本文所提出的算法能夠滿足工廠檢測所需的實時性和準確率要求。

由于線性濾波器只考慮了形態特征,而沒有綜合考慮紗線顏色,因此,本文所提出的算法,目前還難以區分識別紗線特征和線性噪聲。紗線特征和線性噪聲的區分可利用神經網絡方法進行解決,未來,可通過神經網絡模型的優化精簡、配置更高性能的硬件設備,從而達到工業對紗線檢測實時性的要求。未來可進一步研究如何將紗線斷頭檢測的特點和深度學習方法結合起來,實現高精度、高魯棒性和高效率的紗線斷頭檢測。