基于機(jī)器視覺(jué)的螺紋鋼表面缺陷檢測(cè)方法①

孫 鴿,張運(yùn)楚,2,趙月,萬(wàn)立志

1(山東建筑大學(xué) 信息與電氣工程學(xué)院,濟(jì)南 250101)

2(山東省智能建筑技術(shù)重點(diǎn)實(shí)驗(yàn)室,濟(jì)南 250101)

螺紋鋼作為一種現(xiàn)代化生產(chǎn)中非常重要的工業(yè)材料,在建筑、橋梁、交通、機(jī)械等行業(yè)中被廣泛應(yīng)用,是不可或缺的結(jié)構(gòu)材料[1].螺紋鋼的品質(zhì)問(wèn)題主要分為形狀尺寸缺陷問(wèn)題和表面缺陷問(wèn)題.對(duì)于尺寸缺陷問(wèn)題,如果其橫肋和縱肋的相關(guān)尺寸不符合國(guó)家的規(guī)定標(biāo)準(zhǔn),則認(rèn)為其是不合格的產(chǎn)品;對(duì)于表面缺陷問(wèn)題,主要包含凸包、凹坑、麻點(diǎn)等多種缺陷.在螺紋鋼軋制過(guò)程中,如果不能及時(shí)發(fā)現(xiàn)其尺寸和表面出現(xiàn)的缺陷,會(huì)生產(chǎn)出大量廢品,給企業(yè)帶來(lái)?yè)p失.因此,需要及時(shí)檢測(cè)出螺紋鋼存在的生產(chǎn)缺陷并報(bào)警,以便調(diào)整軋機(jī)壓力或更換軋制設(shè)備[2,3].

目前螺紋鋼缺陷多采用人工檢測(cè),存在工作量大、實(shí)時(shí)性差、誤檢率高等問(wèn)題,亟待提高檢測(cè)的自動(dòng)化水平.渦流檢測(cè)方法受檢測(cè)原理的限制,螺紋鋼缺陷檢測(cè)精度不高且可檢測(cè)缺陷的種類具有局限性.漏磁檢測(cè)裝置結(jié)構(gòu)復(fù)雜,難以維護(hù),且不能對(duì)螺紋鋼表面缺陷的類型進(jìn)行精準(zhǔn)的分類.紅外檢測(cè)法不僅對(duì)環(huán)境的要求比較高,而且也無(wú)法準(zhǔn)確分類螺紋鋼缺陷類型[4-7].在基于機(jī)器視覺(jué)的缺陷檢測(cè)算法研究過(guò)程中,2004年美國(guó)密歇根大學(xué)的Jia HB 等人提出了一種運(yùn)用支持向量機(jī)SVM 判別圓鋼表面有無(wú)缺陷的檢測(cè)系統(tǒng),系統(tǒng)實(shí)時(shí)性好,但僅對(duì)細(xì)長(zhǎng)的裂縫檢測(cè)率高,難以檢測(cè)出其它表面缺陷[8].2006年韓國(guó)浦項(xiàng)制鐵公司Yun 等人結(jié)合形態(tài)學(xué)運(yùn)算、邊緣檢測(cè)、支持向量機(jī)SVM 分類等方法所改進(jìn)的帶鋼表面缺陷檢測(cè)系統(tǒng)具有較大的應(yīng)用潛力[9].2010年臺(tái)灣國(guó)立大學(xué)的Liu 等人提出了新的檢測(cè)表面缺陷的視覺(jué)系統(tǒng),采用神經(jīng)網(wǎng)絡(luò)分類器和相關(guān)向量機(jī)兩類分類器聯(lián)合對(duì)裂痕、刮傷、疤痕、壓痕四種缺陷做判斷識(shí)別,正確率可達(dá)85%,但是檢測(cè)速度和準(zhǔn)確性效果偏低[10].2015年劉本迪等人針對(duì)螺栓表面的紋理缺陷,使用基于灰度共生矩陣(GLCM)的方法,依據(jù)統(tǒng)計(jì)的紋理特征參數(shù)來(lái)構(gòu)建標(biāo)準(zhǔn)螺栓數(shù)據(jù)庫(kù),然后進(jìn)行缺陷檢測(cè)實(shí)驗(yàn),此方法抗噪聲性能較差、對(duì)光照和環(huán)境要求高[11].由于螺紋鋼表面缺陷種類多樣、紋理復(fù)雜且形態(tài)多變,需進(jìn)一步提高螺紋鋼缺陷檢測(cè)算法的適用性和魯棒性.

本文采用Halcon 軟件設(shè)計(jì)了一種基于機(jī)器視覺(jué)的螺紋鋼表面缺陷檢測(cè)方法.先利用仿射變換對(duì)圖像中歪斜的螺紋鋼進(jìn)行校正,然后基于霍夫變換檢測(cè)縱肋邊緣直線位置從而對(duì)螺紋鋼正面、側(cè)面圖像進(jìn)行區(qū)分,最后針對(duì)正面、側(cè)面圖像分別進(jìn)行缺陷檢測(cè),快速準(zhǔn)確地判別表面是否存在缺陷.實(shí)驗(yàn)表明所設(shè)計(jì)的方法有效解決了生產(chǎn)現(xiàn)場(chǎng)環(huán)境惡劣、工人勞動(dòng)強(qiáng)度大、操作危險(xiǎn)以及時(shí)效性差等問(wèn)題,減少了漏檢率和廢品率.

1 總體方案設(shè)計(jì)

本文提出的螺紋鋼表面缺陷檢測(cè)方法使用德國(guó)MVtec 公司研發(fā)的Halcon 機(jī)器視覺(jué)軟件完成,利用其集成開(kāi)發(fā)環(huán)境、靈活的構(gòu)架、以及精度高且穩(wěn)定的特質(zhì)可大大縮短圖像處理開(kāi)發(fā)周期[12].

首先使用高速工業(yè)相機(jī)采集螺紋鋼圖像,對(duì)圖像中歪斜的螺紋鋼作旋轉(zhuǎn)校正,并提取出螺紋鋼所在區(qū)域,去除大量復(fù)雜背景的干擾.然后利用基于局部梯度方向的霍夫變換檢測(cè)直線的原理對(duì)縱肋邊緣直線進(jìn)行定位,從而辨別區(qū)分螺紋鋼的側(cè)面和正面圖像.對(duì)于正面圖像,采用分區(qū)思想,將圖像分為上、下縱肋、中間橫肋三部分分別進(jìn)行缺陷檢測(cè)判斷.對(duì)于橫肋部分,結(jié)合“模板匹配法+Blob 分析”對(duì)定位到的單個(gè)橫肋依次進(jìn)行缺陷判別;對(duì)于上下縱肋,采用Blob 分析快速準(zhǔn)確地判別圖像中是否存在缺陷.對(duì)于側(cè)面圖像,采用高斯差分的思想,將兩個(gè)標(biāo)準(zhǔn)差不同的高斯濾波器相減后構(gòu)造一個(gè)帶阻濾波器來(lái)增強(qiáng)待檢測(cè)表面中缺陷和背景的差異,傅里葉逆變換后得到重構(gòu)的缺陷圖像,通過(guò)閾值分割操作獲取缺陷的具體位置,并在原圖中進(jìn)行標(biāo)記.系統(tǒng)總體方案如圖1 所示.

圖1 螺紋鋼表面缺陷檢測(cè)流程圖

2 圖像預(yù)處理

2.1 圖像采集

使用高速工業(yè)相機(jī)對(duì)螺紋鋼原始圖像進(jìn)行采集,將螺紋鋼圖像由RGB 彩色圖像轉(zhuǎn)化為灰度圖像(如圖2).常用轉(zhuǎn)換公式如下:

其中,R(x,y)、G(x,y)、B(x,y)對(duì)應(yīng)于彩色圖像中各像素點(diǎn)紅、綠、藍(lán)3 通道的值.

圖2 螺紋鋼灰度圖像

2.2 圖像校正及ROI 區(qū)域提取

2.2.1 圖像濾波

螺紋鋼在傳送過(guò)程中常常受到外部環(huán)境或者生產(chǎn)運(yùn)輸系統(tǒng)自身帶來(lái)的隨機(jī)噪聲的影響,適當(dāng)?shù)臑V波可以有效地降低噪聲的影響.本文選用了基于均值運(yùn)算的線性濾波器.

其中,s 為濾波模板的大小,m 為濾波模板所含像素個(gè)數(shù),f(x,y)為原像素的灰度值,g(x,y)為目標(biāo)像素的灰度值.

2.2.2 圖像增強(qiáng)

受螺紋鋼金屬材質(zhì)的影響,螺紋鋼表面的灰度值分布比較均勻,其它背景區(qū)域的灰度值則彼此差異較大,圖像增強(qiáng)的目的是為了提高螺紋鋼的辨識(shí)度.根據(jù)獲得的灰度值(mean)和原始灰度值(orig)計(jì)算得到的灰度值(res),factor 用來(lái)衡量對(duì)比度的增加,公式如下:

2.2.3 圖像分割

經(jīng)過(guò)上述處理后,為了提取螺紋鋼所處區(qū)域,還需進(jìn)行閾值分割操作.

(1)基于邊緣的分割

圖像邊緣是圖像的基本特征,是圖像分割、區(qū)域識(shí)別的基礎(chǔ).邊緣是圖像周?chē)袼鼗叶劝l(fā)生突變的像素集合,通過(guò)求導(dǎo)的方式去檢測(cè)邊緣的不連續(xù)性,從而定位邊緣的位置.

常用的一階邊緣檢測(cè)算子有:Roberts算子、Prewitt算子、Sobel算子等.一階微分邊緣檢測(cè)是利用梯度來(lái)檢測(cè)局部特征的變換.對(duì)于連續(xù)函數(shù)f(x,y),其在點(diǎn)(x,y)處的梯度表示如下:

導(dǎo)數(shù)取最大值的方向?yàn)楹瘮?shù)的梯度方向,用θ(x,y)表示:

梯度的幅度為:

Canny算子是一個(gè)檢測(cè)性能較好的算子,屬于先平滑后求導(dǎo)的方法.

1)首先采用高斯濾波模板進(jìn)行卷積以平滑圖像:

2)利用微分算子,計(jì)算梯度的幅值和方向:

3)對(duì)梯度幅值進(jìn)行非極大值制;

4)使用雙閾值算法檢測(cè)和連接邊緣.

4 種常用邊緣檢測(cè)算子的特性如表1 所示.

表1 4 種邊緣檢測(cè)算子特性比較

本文采用不同的算子對(duì)螺紋鋼圖像進(jìn)行邊緣檢測(cè),實(shí)驗(yàn)結(jié)果如圖3 所示.4 種算子都可以檢測(cè)出圖像的邊緣,但是Canny算子檢測(cè)到的邊緣更加清晰,細(xì)節(jié)更多.

Halcon 中用于Canny 邊緣檢測(cè)的語(yǔ)句如下:

edges_image(Image:ImaAmp,ImaDir:Filter,Alpha,NMS,Low,High:)

Image 代表輸入圖像;ImaAmp 代表邊緣振幅圖像;ImaDir 代表圖像邊緣方向;Filter 代表要應(yīng)用的邊緣運(yùn)算符,如‘canny’,‘deriche1’等;Alpha 代表濾波參數(shù),數(shù)值越小,平滑效果越好,細(xì)節(jié)也越少(與“canny”相反).NMS 代表非最大抑制;Low 代表為滯后閾值操作的低閾值;High 代表滯后閾值操作的高閾值.

(2)基于閾值的分割

基于閾值的分割是依據(jù)圖像灰度的分布,選定閾值T,根據(jù)T 將圖像分割為前景、背景兩部分,若一個(gè)像素的灰度值大于該閾值T,則認(rèn)為這個(gè)像素為我們感興趣的目標(biāo),若小于該閾值,則認(rèn)為其屬于背景區(qū)域.該方法計(jì)算量較小、處理速度快.

其中,f(x,y)為原始圖像,g(x)為閾值分割后的二值圖像.1 表示目標(biāo)區(qū)域,0 表示背景區(qū)域.

圖3 邊緣檢測(cè)結(jié)果對(duì)比圖

Halcon 中常用于分割的語(yǔ)句如下:

1)auto_threshold (Image:Region:Sigma)

使用直方圖確定的閾值分割圖像.Image 表示輸入圖像,Region 表示閾值分割后的區(qū)域,Sigma 表示用于直方圖的高斯平滑.

2)threshold (Image:Region:MinGray,MaxGray)

使用全局閾值分割圖像,Image 表示輸入圖像,Region 表示閾值分割后的區(qū)域,MinGray,MaxGray 表示分割的最小、最大灰度值.

Halcon 提供灰度直方圖(如圖4),可以進(jìn)行直觀的閾值處理.操作灰度直方圖方法如下:

1)在”閾值”選項(xiàng)(如①所示)上打勾,開(kāi)啟使能輸出,可實(shí)現(xiàn)可視化操作.看左圖紅色部分,就是選擇閾值的結(jié)果.

2)綠色線(如②所示)為最低閾值,紅色線(如③所示)為最高閾值,通過(guò)拖動(dòng)這兩條線,可以看到左圖紅色部分的變化,從而獲得最佳閾值.

圖4 灰度直方圖

2.2.4 仿射變換

仿射變換包含平移、縮放、旋轉(zhuǎn)等幾何變換,Halcon 中一般先定義仿射變換單位矩陣,然后向單位變換矩陣中添加需要進(jìn)行的幾何變換的變換矩陣,最后再做仿射變換.仿射變換的一般表達(dá)式為:

式中,a11、a12、a21和a22表示線性部分,a13、a23表示平移部分.對(duì)于旋轉(zhuǎn)變換而言,a11、a22為cosθ,a12為-sinθ,a21為sinθ,a13、a23為0.

綜上所述,圖像預(yù)處理具體操作步驟如下:

(1)螺紋鋼圖像采集及圖像灰度化.

(2)以5×5 為模板的均值濾波對(duì)灰度圖像進(jìn)行平滑濾波,利用15×15 的低通掩模增強(qiáng)圖像的對(duì)比度.

(3)通過(guò)自動(dòng)閾值分割算子auto_threshold 分割出螺紋鋼整體所在區(qū)域.求取連通域,基于面積和位置信息,選出螺紋鋼所在區(qū)域.

(4)對(duì)上述區(qū)域作形態(tài)變換,得到其任意方向的最小外接矩形RegionTrans,并計(jì)算出RegionTrans 的中心點(diǎn)坐標(biāo)Row、Column 以及區(qū)域的方向Phi.

(5)使用vector_angle_to_rigid算子根據(jù)中心點(diǎn)坐標(biāo)Row、Column 和方向Phi 計(jì)算出一個(gè)仿射變換矩陣,用于旋轉(zhuǎn)變換.首先對(duì)原圖像進(jìn)行旋轉(zhuǎn)校正操作,然后對(duì)RegionTrans 進(jìn)行同樣的旋轉(zhuǎn)校正操作.變換前后原點(diǎn)的行、列坐標(biāo)都為最小外接矩形中心點(diǎn)的行列坐標(biāo)Row、Column.

(6)從校正后的原圖中裁剪出和RegionTrans 相似的區(qū)域,并進(jìn)行存儲(chǔ),作為預(yù)處理后的ROI 圖像.圖5是校正前后的對(duì)比圖.

圖5 校正前后對(duì)比圖

3 圖像正側(cè)面區(qū)分

在做缺陷檢測(cè)之前,要先對(duì)螺紋鋼的側(cè)面圖像和正面圖像作辨別,基于正側(cè)面圖像的差別設(shè)計(jì)適合的檢測(cè)方法.

3.1 霍夫變換基本原理

霍夫變換通過(guò)將圖像坐標(biāo)轉(zhuǎn)化到參數(shù)空間來(lái)實(shí)現(xiàn)直線和曲線的擬合,是檢測(cè)、定位曲線和直線的一種常用方法.

在圖像x-y 坐標(biāo)空間里,所有經(jīng)過(guò)點(diǎn)(xi,yi)的直線表示為:

a 為斜率,b 為截距.式(1)也可以表示為:

通過(guò)式(2)變換到參數(shù)平面a-b,這就是直角坐標(biāo)系中對(duì)于(xi,yi)的霍夫變換.在圖像坐標(biāo)空間中共線的點(diǎn),對(duì)應(yīng)于在參數(shù)空間里相交于同一點(diǎn)的直線,同樣,在參數(shù)空間中相交于同一點(diǎn)的直線,在圖像空間中都有與之相對(duì)應(yīng)的共線的點(diǎn),霍夫變換根據(jù)此關(guān)系將圖像空間里的檢測(cè)問(wèn)題轉(zhuǎn)換到參數(shù)空間里,在參數(shù)空間中作累加計(jì)算后進(jìn)行投票表決完成檢測(cè)任務(wù).

3.2 圖像正側(cè)面判別

通過(guò)Alpha 為1.3,低閾值為15,高閾值為 30 的Canny 濾波器求取ROI 圖像的邊緣,得到邊緣方向圖像ImaDir.然后使用局部梯度方向的霍夫變換hough_lines_dir算子檢測(cè)ImaDir 中的直線,并以正常形式返回直線的角度和方向,其中組成共線點(diǎn)的個(gè)數(shù)的閾值為67.

以螺紋鋼正面圖像和側(cè)面圖像中檢測(cè)到的縱肋上下邊緣共線直線位置的不同為依據(jù)對(duì)正面、側(cè)面圖像進(jìn)行區(qū)分.如圖6 和圖7.例如正面圖像中檢測(cè)到的直線,略靠近于圖像上下兩邊,而側(cè)面圖像中檢測(cè)到的直線則略靠近圖像中心部分.依次求得每條直線的中心點(diǎn)行列坐標(biāo),若其中心行坐標(biāo)位于0-30 和160-190 之間,則為橫肋朝前的正面圖像,若直線中心點(diǎn)的行坐標(biāo)位于50-145 之間,則為側(cè)肋朝前的側(cè)面圖像.

圖6 正面圖像

圖7 側(cè)面圖像

4 正面圖像缺陷檢測(cè)

正面圖像中存在的螺紋鋼缺陷主要分布在橫肋的角部及腿尖處,且螺紋鋼整體灰度值較為接近.因此本文采用分區(qū)檢測(cè)思想,對(duì)正面圖像的上、下側(cè)肋以及中間的橫肋部分均進(jìn)行缺陷判斷,避免遺漏缺陷.

4.1 圖像分區(qū)

圖像和區(qū)域是基于像素精度的數(shù)據(jù)結(jié)構(gòu),但在實(shí)際應(yīng)用中,有時(shí)需要更高級(jí)別的精度要求.采用亞像素檢測(cè)到的邊緣,平滑清晰,能實(shí)現(xiàn)邊緣的精準(zhǔn)定位.因?yàn)樵肼暬蛘呗菁y鋼自身原因,檢測(cè)到的單個(gè)縱肋的上下邊緣可能是斷開(kāi)的,還需通過(guò)union_collinear_contours_xld算子連接近似共線的輪廓線.圖像分區(qū)流程圖如圖8 所示.

首先提取出上縱肋圖像ImageA,對(duì)于下縱肋作同樣操作,得到圖像ImageB.通過(guò)differences算子,從原圖中提取除縱肋以外的橫肋圖像,利用crop_domain算子將其裁剪出來(lái),得到橫肋圖像ImageC.分區(qū)結(jié)果如圖9 所示.

4.2 橫肋圖像缺陷檢測(cè)

圖像匹配是橫肋圖像缺陷檢測(cè)過(guò)程中的主要環(huán)節(jié),將單個(gè)標(biāo)準(zhǔn)橫肋與未進(jìn)行識(shí)別定位的一幅橫肋圖像進(jìn)行匹配,通過(guò)單個(gè)標(biāo)準(zhǔn)橫肋與整幅橫肋圖像的匹配程度來(lái)對(duì)每個(gè)橫肋進(jìn)行定位.

圖8 分區(qū)流程圖

圖9 圖像分區(qū)結(jié)果示意圖

4.2.1 橫肋區(qū)域定位

圖像匹配大致分為兩類:基于灰度的匹配和基于特征的匹配.基于灰度值的匹配通過(guò)原圖像和模板圖像區(qū)域的灰度信息或頻域分析等屬性的比較來(lái)反映它們之間的相似性,此類方法的缺點(diǎn)是效率低、計(jì)算量大[13].而基于特征的模板匹配優(yōu)點(diǎn)是計(jì)算量較少、抗噪聲性能較好、匹配精度較高[14].

本文采用基于特征的模板匹配方法,以無(wú)缺陷的單個(gè)橫肋圖像作為模板,以模板的邊緣亞像素輪廓為特征,在待匹配圖像中尋找與標(biāo)準(zhǔn)圖像具有相似特征的匹配[15].模板匹配的一般流程圖如圖10 所示.

運(yùn)用所述模板匹配方法做實(shí)驗(yàn),在整幅橫肋圖像中尋找單個(gè)橫肋部分,結(jié)果如圖11 所示.通過(guò)set_shape_model_param算子可以確定要使用的形狀模型ModelID 是否可以跨越圖像邊界,”border_shape_models”的值可以是“true”、“false”或“system”.

圖10 模板匹配流程圖

圖11 橫肋圖像匹配結(jié)果

4.2.2 橫肋區(qū)域缺陷檢測(cè)

對(duì)于每一個(gè)匹配到的橫肋區(qū)域,先基于其中心點(diǎn)、方向值,生成一個(gè)長(zhǎng)軸、短軸(ra2、rb2)半徑略大于模板圖像(ra1、rb1)的橢圓區(qū)域,相鄰區(qū)域間可部分重疊,以防止遺漏掉存在缺陷的區(qū)域.以此橢圓區(qū)域?yàn)槟０鍖?duì)原圖中的橫肋區(qū)域進(jìn)行裁剪,然后對(duì)每個(gè)裁剪后的橫肋區(qū)域依次進(jìn)行缺陷檢測(cè).裁剪區(qū)域?yàn)閳D12 中紅色橢圓所包含的螺紋鋼區(qū)域.

圖12 單根橫肋裁剪示意圖

對(duì)于提取出來(lái)的單個(gè)橫肋區(qū)域,首先利用Alpha為1.5,低閾值為10,高閾值為30 的Canny 濾波器求取其邊緣,得到邊緣振幅(梯度大小)圖像ImaAmp1,對(duì)ImaAmp1 經(jīng)threshold算子分割出灰度值在0-150 之間的區(qū)域.提取連通域,基于面積和圓形度特征判斷圖像中是否存在缺陷.若存在缺陷,則在圖像中標(biāo)記出來(lái).檢測(cè)結(jié)果如圖13.

圖13 橫肋圖像檢測(cè)結(jié)果

4.3 縱肋缺陷檢測(cè)

對(duì)提取的上、下縱肋圖像ImageA、ImageB 先進(jìn)行圖像增強(qiáng)處理,而后經(jīng)threshold算子分割出灰度值在0-45 之間的區(qū)域,再利用半徑為1.5 的圓形結(jié)構(gòu)元素對(duì)分割后的區(qū)域作形態(tài)學(xué)開(kāi)操作.求取連通域,基于面積、周長(zhǎng)、凸度特征判斷邊緣圖像中是否存在缺陷.若存在缺陷,需要在圖像中標(biāo)記出來(lái).檢測(cè)結(jié)果如圖14.

圖14 縱肋圖像檢測(cè)結(jié)果

4.4 實(shí)驗(yàn)數(shù)據(jù)及分析

使用所述圖像分塊缺陷檢測(cè)方法對(duì)正面圖像作測(cè)試,一共30 張測(cè)試圖片,對(duì)于橫肋部分,共有338 根單個(gè)橫肋,缺陷識(shí)別率為94.1%;對(duì)于上下縱肋部分,共有60 根縱肋,缺陷識(shí)別率為83.3%.分析發(fā)現(xiàn)出現(xiàn)誤判的原因是圖像中存在反光的亮點(diǎn).誤判情況如圖15.

5 側(cè)面圖像缺陷檢測(cè)

對(duì)側(cè)面圖像直接作缺陷分割處理,效果通常不會(huì)很好,常常會(huì)出現(xiàn)誤判或漏判的情況,主要是因?yàn)閳D像灰階分布比較單一和局限,與周?chē)尘暗膶?duì)比度較低,提高了缺陷分割提取的難度.目前圖像增強(qiáng)分為在空間域或頻域?qū)D像進(jìn)行處理的兩類方法,空間域常用方法有直方圖均衡化、指數(shù)、對(duì)數(shù)拉伸、圖像濾波等方法,這些增強(qiáng)措施對(duì)直方圖分布比較廣泛的圖像來(lái)說(shuō)有較好的效果[16].頻域分析法主要包括傅里葉變換、Garbor 變換和小波變換法等.Garbor 濾波器對(duì)帶有方向性的紋理圖像有較好的濾波效果,但實(shí)現(xiàn)過(guò)程略微麻煩,算法效率不高[17].小波變換是一種時(shí)頻域分析方法,小波濾波函數(shù)具有變化性,可對(duì)圖像作多尺度的分析,提取圖像中的有用信息[18].傅里葉變換能夠反映出圖像的整體特征,對(duì)于圖像背景紋理的抑制有較好的效果,在對(duì)圖像進(jìn)行傅里葉變換將其變換到頻率域上進(jìn)行濾波操作后,其自身的缺陷信息所受的影響是非常小的,這對(duì)于后續(xù)的缺陷檢測(cè)的工作提供了比較有利的前提條件[16].

圖15 誤判情況示意圖

5.1 頻域預(yù)處理

5.1.1 頻域?yàn)V波

采用頻域?yàn)V波法濾去圖像的周期性紋理和噪聲的影響,突出圖像中的缺陷與背景間的差異性.頻域?yàn)V波的流程如圖16,其處理的一般步驟為:

(1)通過(guò)fft_generic算子(參數(shù)Direction=‘to_freq’)對(duì)圖像f(x,y)進(jìn)行快速傅里葉變換(FFT),得到頻域圖像F(u,v).

(2)構(gòu)建適合的頻率濾波器H(u,v),此步為頻域處理的重要步驟.

(3)對(duì)F(u,v)作濾波處理,即通過(guò)convol_fft算子將F(u,v)和H(u,v)進(jìn)行卷積,得到濾波后的圖像G(u,v).

(4)通過(guò)fft_generic算子(參數(shù)Direction=‘from_freq’)將濾波后的頻域圖像G(u,v)經(jīng)傅里葉逆變換(IFFT)轉(zhuǎn)換到空間域,得到其空間域圖像g(x,y).

通常會(huì)在濾波前后加上一些預(yù)處理(去噪等)和后處理(圖像增強(qiáng))等操作.

圖16 頻域?yàn)V波流程圖

5.1.2 濾波器設(shè)計(jì)

頻域?yàn)V波處理的難點(diǎn)和關(guān)鍵之處在于濾波器的選擇,適當(dāng)?shù)臑V波器能夠幫助濾去不需要的頻率信息,方便之后對(duì)圖像缺陷的特征分析.本文借用高斯差分算法(DOG)[19]對(duì)缺陷圖像進(jìn)行頻域?yàn)V波操作,從而加強(qiáng)缺陷與圖像背景的對(duì)比度.

高斯差分算法步驟如下:

(1)選擇標(biāo)準(zhǔn)差為σ1的二維高斯函數(shù)H1(u,v)與圖像F1(u,v)進(jìn)行卷積操作,得到平滑濾波后的圖像G1(u,v).其中G1(u,v)=F1(u,v)*H1(u,v).

(2)選擇相同尺寸、標(biāo)準(zhǔn)差為σ2的二維高斯函數(shù)H2(u,v)與圖像F2(u,v)進(jìn)行卷積操作,得到平滑圖像G2(u,v).其中G2(u,v)=F2(u,v)*H2(u,v).

(3)將步驟(1)和步驟(2)得到的圖像G1(u,v)、G2(u,v)相減,即得到差分DOG 函數(shù),其中DOG=G1(u,v)- G2(u,v).

實(shí)驗(yàn)證明通過(guò)DOG算法處理后的圖像(如圖17),螺紋鋼表面的缺陷表現(xiàn)為較暗的區(qū)域,灰度值要比鄰近區(qū)域低一些,缺陷與背景的對(duì)比度得到了較好的拉伸.

圖17 頻域?yàn)V波后圖像

5.2 缺陷識(shí)別

頻域?yàn)V波后,為了完整的分割出位于橫肋角部及腿尖的缺陷,并對(duì)各種圖像具有較好的適應(yīng)性,還需進(jìn)一步作后處理和閾值分割處理.

首先通過(guò)gray_range_rect算子計(jì)算頻域?yàn)V波后圖像的灰度值范圍,即以10×10 的矩形為模板,遍歷輸入圖像,在圖像的邊界處,灰度值被鏡像.將每個(gè)矩形模板內(nèi)圖像灰度值的最大值和最小值的差值賦值給中心點(diǎn),結(jié)果以圖像的形式返回,得到包含灰度值范圍的圖像Imageresult,以此增強(qiáng)圖像紋理之間的對(duì)比度,方便閾值分割.然后根據(jù)圖像Imageresult 的灰度直方圖,通過(guò)全局閾值分割算子threshold 確定分割的最小灰度值與最大灰度值,選擇圖像Imageresult 中灰度值在(33,255)之間的區(qū)域.提取連通域,基于面積和圓形度特征將缺陷區(qū)域提取并在圖像中標(biāo)記出來(lái).如圖18 和圖19.

圖18 圖像Imageresult

圖19 側(cè)面缺陷檢測(cè)結(jié)果

5.3 實(shí)驗(yàn)數(shù)據(jù)及分析

使用所述頻域缺陷檢測(cè)方法對(duì)側(cè)面圖像作測(cè)試,共37 張存在缺陷的測(cè)試圖片,缺陷識(shí)別率為89.2%.分析發(fā)現(xiàn)出現(xiàn)誤判的原因是當(dāng)缺陷出現(xiàn)在縱肋上時(shí),分割效果一般,誤將亮點(diǎn)識(shí)別為缺陷或未發(fā)現(xiàn)缺陷.如圖20.

圖20 誤判情況示意圖

6 總結(jié)

根據(jù)螺紋鋼表面缺陷檢測(cè)的需求提出了采用Halcon 軟件開(kāi)發(fā)的基于機(jī)器視覺(jué)的檢測(cè)方法.首先對(duì)歪斜的螺紋鋼圖像進(jìn)行旋轉(zhuǎn)校正,裁剪出螺紋鋼所在ROI 區(qū)域.然后基于螺紋鋼側(cè)面和正面圖像紋理形狀的差異性,設(shè)計(jì)了區(qū)分方法和不同的缺陷檢測(cè)方法.對(duì)于正面圖像,將其分為上、下縱肋和橫肋3 部分,采用分區(qū)思想進(jìn)行缺陷檢測(cè),有效避免了因螺紋鋼整體灰度值相近而帶來(lái)的缺陷分割困難的問(wèn)題.對(duì)于側(cè)面圖像,通過(guò)變換到頻域中作高斯差分濾波處理來(lái)拉伸缺陷與背景的對(duì)比度,再結(jié)合Blob 分析法進(jìn)行缺陷的精準(zhǔn)提取.實(shí)驗(yàn)證明本文設(shè)計(jì)的缺陷檢測(cè)方法能夠快速準(zhǔn)確地判別出缺陷所在處,提高了檢測(cè)的精度,也降低了漏檢率和廢品率.