基于機器視覺的毛桿缺陷檢測方法

劉 洪 江, 汪 仁 煌

( 廣東工業大學 自動化學院, 廣東 廣州 510090 )

0 引 言

羽毛球生產歷來采用人工方式。近年來由于人工成本的上升,全球除中國外都幾乎不生產羽毛球。而對中國的工廠,自動化生產也已成為一個急迫的任務。羽毛檢測是自動化生產的一部分,其中羽毛毛桿上的缺陷對羽毛球質量影響較大,必須在使用前檢測出。傳統檢測方法依靠人工,高強度、高時效的工作要求以及主觀因素容易產生誤判和漏判,給生產帶來損失。采用機器視覺來檢測毛桿上的缺陷是提高效率、降低成本的一種有效方法。

機器視覺檢測缺陷已在織品、木材、鋼板、陶片等領域得到廣泛研究與應用,基本采用濾波、統計、建立模型和形態學等方法[1-2]。有關羽毛圖像處理的相關文獻較少,僅2003年汕頭大學研究了羽毛片的自動分揀系統,提出用濾波的方法檢測毛桿缺陷[3],但對檢測中毛桿提取的關鍵技術介紹不詳,實驗應用效果不佳。本文提出一套毛桿缺陷在線檢測方案,包括預處理、毛桿分割和缺陷檢測,在分割時采用Snake模型獲得精確的毛桿圖像,用小波的方法檢測缺陷,該方案經過實驗驗證,更行之有效。

1 系統原理和處理流程

羽毛片自動化檢測過程是:羽毛由機械手送到指定的夾頭后工位后,計算機控制工業攝像頭采集圖像,并通過千兆網卡,傳送到計算機內存,計算機對采集圖像進行處理和分析、識別缺陷,羽毛片按識別結果通過傳送帶將羽毛投遞到對應位置的存儲箱中。

整個圖像處理過程分為3個步驟:(1)預處理,羽毛定位。主要是對圖像進行去噪和剪輯,降低后繼處理的復雜度；(2)毛桿分割,把圖像中的毛桿通過算法進行識別和分割,明確檢測對象；(3)缺陷檢測,結合缺陷特征,對毛桿圖像上的灰度統計分析判定缺陷。

2 預處理

羽毛片由機械手送到指定的夾頭,夾頭周圍有一些其他部件,使原始圖像除了羽毛片圖像外必然存在一些背景圖像,背景的存在影響圖像處理；羽毛片形狀不規則,不同羽毛之間存在差異,圖像采集窗口必須加倍大于實際羽毛的長寬,才能保證每片羽毛被完整采集。為此,要對圖像中羽毛片進行定位。

設計采集環境,使采集圖像中背景亮度小,羽毛亮度高,與背景在灰度上差別大,適合用閾值分割。閾值法優點在于速度快且算法不復雜,符合檢測速度要求。閾值法定義如下:

(1)

式(1)中,f為處理后圖像;I為原始圖像；R為閾值。

閾值的選取是式(1)的關鍵,本實驗閾值采用最大類間方差法(OSTU)來獲取,OSTU方法把圖像灰度統計信息看成函數,并用灰度閾值將統計函數劃分為前景和背景兩類,當被分開兩類的方差最大時為最佳閾值。

閾值法劃分后圖像上前景還包含部分非羽毛的區域,這些區域與羽毛區域空間上隔離,而且面積較小。保留面積最大連通域即可獲得干凈的羽毛二值圖像,然后剪切圖像至包含羽毛區域的最小矩形,剪切后圖像面積不到原始圖像的一半。如圖1圖像寬度為820像素,高度為300像素；而剪切后的圖像(見圖2)寬度為586像素,高度為171像素,縮小面積有助于提高后繼圖像處理速度。

圖1 羽毛原始圖像

圖2 剪切后的羽毛圖像

3 毛桿分割

羽毛片區域包含毛桿與毛葉,檢測需要將毛桿分割出來,本文采用邊緣法提取毛桿。邊緣法提取毛桿需要獲得一個環繞毛桿的閉合曲線,該曲線可通過圖像的灰度和梯度變化,以及曲線的連續性和可導性來獲取,這是Snake方法[4]。Snake模型是一條連續的彈性曲線在事先規定能量方程的約束下進行演化,隨著演化的進行總能量減小,當總能量達到極值時,曲線也由初始位置靠近圖像中的特征位置。用一組控制點V(s)=[X(s),Y(s)]表示模型曲線(其由3個部分組成：內部能量函數Eint,外部能量函數Eext和圖像能量Eimage),則Snake目標能量函數Esnake可用下式表示：

Eimage(V(s))ds

(2)

式(2)中,Eint代表內部能量,體現曲線的連續性和可導性,分別用α,β函數作為權重系數:

(3)

式(2)中,Eimage表示為圖像力,可劃分為線能量Eline、邊緣能量Eedge和端點能量Eterm。Eline可直接使用圖像灰度I(x,y)表示,把Snake曲線逼近圖像中的亮線或暗線。Eedge可用灰度圖像的梯度表示,把Snake曲線逼近圖像中灰度梯度較大的位置。Eterm由圖像梯度的單位法向量及其角度決定,將Snake曲線向圖像中的一些端點逼近。本研究只考慮Eedge能量,計算時用高斯函數進行濾波,用以消除局部極值影響,擴大邊緣力的作用范圍并加快收斂速度:

Eedge(V(s))=-[Gσ×▽2I(x,y)]2

(4)

式(4)中,▽為梯度算子,Gσ為方差為σ的高斯函數。

式(2)中Eext表示其他形式能量。本研究采用氣球力模型,基本原理是：對模型施加一個常力或自適應力,使在圖像能為零時仍能繼續驅動模型變化,強制驅使模型靠向目標[5]。氣球力能量Eballons定義由式(5)獲得：

Eballons=klN(s)

(5)

式(5)中,kl為氣球力大小,N(s)是曲線的單位法向量。設定毛桿的初始輪廓線在毛桿外面,疊加一個向內的壓力可使Snake曲線收縮到毛桿邊緣梯度最大位置,而不至于使曲線陷入到污漬、蟲蛀等邊緣位置。

綜合上幾式,得到毛桿邊緣曲線snake能量泛函:

[Gσ×▽2I(x,y)]2+klN(s)ds

(6)

αddsV'(s)-βd2ds2V″(s)-[Gσ×2I(x,y)]2+

klN(s)=0

(7)

曲線V(s)很難直接精確地求出,可對模型方程進行離散化求解,使用梯度下降法沿著梯度減少的方向變化直至收斂。梯度下降法所用迭代公式如下:

(8)

式(8)中,t表示迭代次數,fx(xt-1,yt-1),fy(xt-1,yt-1)分別表示函數[Gσ×▽2I(x,y)]2+klN(s)在點(xt-1,yt-1)處對x,y的偏導,γ可以理解為時間步長描述的阻尼系數,A是由α,β組成的五對角陣[5]。

Snake模型的求解與初始位置密切相關,氣球模型要求毛桿被包含在初始輪廓內。初始輪廓的定義方法與羽毛圖像的坐標相關(見圖3),羽毛前半部分的初始輪廓取毛桿尖端坐標與羽毛上下極點的中值的矩形區域,后半部分取毛片的輪廓線。55次迭代求解后曲線輪廓基本與毛桿邊緣一致(見圖4),達到分割效果。

圖3 Snake演化初始輪廓線

圖4α=1,β=30,Kl=0.6迭代55次后的輪廓線

Fig.4 The contour after 55 iterations usingα=1,β=30,Kl=0.6

4 缺陷檢測

折痕是羽毛片的主要缺陷,它影響羽毛球的耐打程度,是衡量羽毛球質量的重要指標。如細化毛桿和折痕為曲線,折痕大致垂直于毛桿。折痕屬于形狀缺陷,從毛桿縱截面上看呈V字形,V形缺陷兩斜面對側向入射光反射效果不同[6]。據光學的反射定律,折痕的背光面的入射角大,反射光區域遠離觀測點,觀測到的亮度小,而迎光面入射角小,觀測點位于反射光覆蓋范圍,觀測到光亮度大。從光照方向上看過去,在缺陷區域亮度有一個類似顛倒的正弦波的變化過程。如果在待測的毛桿上檢測到這種規律的亮度變化,可判定存在折痕缺陷。按列統計圖像中毛桿灰度平均值,獲得毛桿長度方向灰度變化近似曲線(見圖5)。這樣可將二維的面檢測簡化到一維曲線局部特征檢測,提高了檢測速度。用小波方法分析該曲線,檢測符合缺陷變化的特征[7]。

小波變換以小波函數ψ(t)為基底對信號f(t)進行分解:

(9)

式(9)中,ψa,b(t)是把小波基函數ψ(t)經過平移和縮放得到的一組函數,a為尺度參數,b為平移參數。信號分解后,得到各頻段的分解系數。無折痕時,毛桿的灰度均值曲線局部區域變化不大,可認為分解系數符合正態分布,有折痕時,折痕位置的分解系數偏離平均值較遠,常用3倍的統計方差作為特征判斷閾值。

小波基、分析方法和分解尺度等因素直接影響小波分析效果。小波基選擇與缺陷信號形狀相似的波形便于檢測,本研究選取bior1.5作為檢測基函數,分析方法可按變換參數連續性劃分,本研究要求分析方法需具備平移不變性,則采用連續小波變換方法。不同分解尺度檢測不同大小的特征,待測曲線中缺陷寬度一般在4～18像素之間,小波變化尺度宜選擇在3～20級。圖6是將圖5信號進行連續小波分解的實驗結果,圖6中由下到上分解級數逐漸增大。觀察分解結果可看到,在毛桿缺陷所在位置的小波分解系數出現了極值。極值反映了一種不連續狀態,與正常的分解系數相比,特征明顯。還觀察到圖像兩側也出現的極值,這是毛桿邊界的影響,在實際應用可把兩端連續出現的非正常值忽略后再進行統計,以獲得正確結果。

圖6 對圖5的信號進行連續小波分解

Fig.6 The continuous wavelet decomposition on the signal of figure 5

5 實驗分析

對6 079片羽毛用上述方案進行檢測,檢測結果見表1。

表1 檢測統計結果

由實驗結果可得出,本方案可以檢測出大部分有缺陷的羽毛,分析檢測不出缺陷的羽毛圖像,發現檢測錯誤原因有三點：(1)缺陷位置接近毛桿兩端,統計出的極值點被算法當作邊緣極值忽略；(2)圖像中羽毛桿過于彎曲,用近似方法獲得毛桿灰度平均曲線不準確,缺陷特征分散到較大區域,檢測不出極值存在,產生了漏判；(3)圖像上缺陷很小,只1～2像素寬,色差也不大,統計時特征不明顯,而且人眼也難識別。此外結果中還有部分無缺陷的毛桿被誤判為有缺陷,誤判是由污漬、波紋以及毛葉絲被扭轉蓋在毛桿上等原因造成。

檢測方案的平均運行時間2.3 s,其中缺陷檢測速度較快,約不到10 ms。而Snake算法速度較慢約2 s。但本研究算法能大幅提高毛桿提取準確率,基本避免了因毛桿提取不準確而影響到缺陷檢測結果的情況發生。

6 小 結

本文建立了羽毛桿缺陷在線檢測方案,重點介紹在圖像處理中快速有效地獲得檢測結果。預處理時截取原始圖像中羽毛片部分的圖像,來減少后繼圖像運算規模；用Snake方法分割毛桿,保證了輪廓線的完整和準確有效；缺陷檢測時,先計算水平方向上毛桿灰度平均值,簡化二維特征檢測為一維信號上奇異點檢測,加快了運算速度;在連續小波分解信號后,用統計方法來檢測小波系數中的極值。該缺陷檢測方法經驗證行之快速有效,符合工業生產需要。

[1] CHEN J, JAIN A. A structural approach to identify defects in textured images[J]. In IEEE International Conference on Systems, Man, and Cybernetics, 1988(1): 29-32.

[2] NISKANEN M, KAUPPINEN H, SILVLEN O. Real-time apects of SOM-based visual surface inspection[J]. In Machine Vision Applications in Industrial Inspection, 2002(1):123-134.

[3] 郭曉鋒,劉文田. 基于圖像處理的羽毛自動分揀系統[J]. 現代電子技術, 2004(3):30-31.

[4] KASS M, WITKIN A, TERZOPOULOS D. Snake:active contour models [J]. Journal of Computer Vision, 1988(1):321-331.

[5] COHEN L D. On active contour models and balloons[J]. Computer Vision and Graphic Imaging Process:Image Understanding, 1991, 53(2):211-218.

[6] 涂宏斌,周新建. 基于機器視覺的貨車滾動軸承外圈麻點缺陷檢測[J]. 鑄造技術, 2006, 27(9):978-980.

[7] 于海武,烏日圖. 基于小波分析的織物疵點視覺檢測方法[J]. 計量與測試技術, 2007, 34(10):40-42.