基于相位偏折術(shù)和圖像處理的表面缺陷檢測

(河海大學(xué) 機(jī)電工程學(xué)院，常州 213022)

0 引言

在現(xiàn)代工業(yè)快速發(fā)展過程中，對(duì)于類鏡面的透明物體，如手機(jī)玻璃蓋板、鋼化膜、曲面玻璃等，檢測和測量精度已經(jīng)成為制約制造技術(shù)發(fā)展的主要因素之一[1]。目前，對(duì)于這類類鏡面物體表面質(zhì)量檢測方法主要分為兩類：接觸式和非接觸式[2]。接觸式常用的有接觸式三角坐標(biāo)儀，但三角坐標(biāo)儀測量時(shí)間相當(dāng)長[3](通常數(shù)小時(shí)以上)，不能滿足工業(yè)快速檢測要求，而且還可能破壞測量物體表面。非接觸式有干涉法和相位偏折法(PMD)。干涉法測量精度高，但設(shè)備昂貴，對(duì)環(huán)境光亮度變化敏感，不能用于自由曲面。PMD有檢測速度快、精度高，設(shè)備成本低等優(yōu)點(diǎn)[2,4-5]，但是相位偏折術(shù)也存在一些局限性，比如在檢測透明物體時(shí)會(huì)存在后表面反射干擾。

相位偏折術(shù)關(guān)鍵算法在于解相位和拆相位。目前，解相位計(jì)算方法主要有相移法、傅里葉變換輪廓術(shù)、小波變換輪廓術(shù)[6]等。相移法需要采集多張圖像進(jìn)行計(jì)算，可以獲得完整的相位信息，對(duì)于非線性誤差抑制效果好[7]；傅里葉變換輪廓術(shù)和小波變化輪廓術(shù)都是單幀測量，對(duì)于隨機(jī)噪聲抑制效果較好，但是傅里葉變換輪廓術(shù)在積分重建后會(huì)丟失部分細(xì)節(jié)；小波變換輪廓術(shù)雖然細(xì)節(jié)保存較好，但是處理速度慢。本文主要目的在于檢測缺陷，需要完整的相位信息，所以選用相移法。

拆相位通常分為空間相位展開法和時(shí)域相位展開法[8]?？臻g相位展開法與積分路徑選擇有關(guān)，如果在積分路徑上存在干擾，會(huì)影響到下一像素點(diǎn)及以后像素點(diǎn)，最終解得的全局絕對(duì)相位會(huì)存在“拉線”現(xiàn)象，這是需要避免的。針對(duì)這一問題，國內(nèi)外研究學(xué)者提出了一些解決方案，如枝切法[9]、基于統(tǒng)計(jì)濾波的解包法[10]、中心攝動(dòng)法[11]等。這些方法主要目的都是在于主動(dòng)選擇積分路徑，避開干擾點(diǎn)，實(shí)際應(yīng)用場景會(huì)受到限制。時(shí)域相位展開法利用輔助條紋圖得到折疊相位參考相位，以實(shí)現(xiàn)相位展開。常見的方法有線性遞增法、指數(shù)遞增法、三頻外差相位展開法[12]，利用時(shí)域展開法可以有效避免干擾，本文將采用時(shí)域展開法避開干擾。

傳統(tǒng)檢測類鏡面透明物體主要采用的是明場、暗場的方法[13]，這種方法成像質(zhì)量較差，且很難從獲取的圖像中分離出臟污和損傷性缺陷。

本文提出用相位偏折術(shù)方法檢測類鏡面透明物體表面缺陷。針對(duì)后表面反射干擾提出用圖像處理的方法過濾干擾。由于前后表面反射率不同，可以用動(dòng)態(tài)閾值分割結(jié)合形態(tài)學(xué)處理過濾掉后表面缺陷，僅保留前表面實(shí)際缺陷。整個(gè)檢測過程相對(duì)傳統(tǒng)PMD無需對(duì)硬件結(jié)構(gòu)作出調(diào)整，只需要增加圖像處理算法，即可過濾后表面反射干擾。本文所提方法經(jīng)過實(shí)驗(yàn)驗(yàn)證，可以打破PMD在檢測透明物體時(shí)的局限性，提高了PMD的應(yīng)用范圍和檢測準(zhǔn)確率。

1 PMD缺陷檢測基本原理

PMD缺陷檢測系統(tǒng)主要由顯示器、反光物體(被測物體表面)和相機(jī)組成，如圖1所示。系統(tǒng)采用鏡面反射的方法，顯示器投影結(jié)構(gòu)光，相機(jī)采集經(jīng)物體表面調(diào)制過的條紋光圖像，調(diào)制過的條紋光圖像包含了反射表面的三維信息，通過對(duì)鏡像圖像進(jìn)行相位提取、解相位、拆相位可以得出反射表面的梯度信息，缺陷處相位變化劇烈，可以根據(jù)梯度變化大小來確定是否為缺陷[14]。

圖1 PMD缺陷檢測系統(tǒng)

如圖2(a)所示，當(dāng)不存在后表面反射時(shí)，顯示器上某一點(diǎn)S被點(diǎn)亮，發(fā)出一條光線，經(jīng)過上表面的O點(diǎn)反射到相機(jī)上的A點(diǎn)，其中θ1和θ2是入射光線和反射光線與法線Z方向的夾角。通過反射定律可以逆向追蹤C(jī)CD每個(gè)像素點(diǎn)所對(duì)應(yīng)的顯示器上的像素點(diǎn)的坐標(biāo)。傳統(tǒng)PMD通常采用相移的正弦條紋光作為結(jié)構(gòu)光，CCD上的像素點(diǎn)A可以根據(jù)相移算法算出光源點(diǎn)S的位置。當(dāng)存在后表面反射時(shí)，前后表面反射的光線會(huì)產(chǎn)生非相干疊加，這樣提取出來的條紋相位就是一個(gè)疊加的條紋相位。

圖2 PMD測試系統(tǒng)示意圖

如圖2(b)所示，如果檢測表面不存在缺陷，此時(shí)光線全部平行射入、平行射出，CCD接收到的光強(qiáng)信號(hào)可以表示為：

Iaccept=Ifront+Irear(k)

(1)

式中，Iaccept表示CCD接收到的總光強(qiáng)，Ifront表示前表面反射光強(qiáng)，Irear表示后表面反射光強(qiáng)，k表示相移步數(shù)，所以每一點(diǎn)的亮度都是經(jīng)過疊加，那么解算出來的絕對(duì)相位信息不會(huì)發(fā)生突變。一旦出現(xiàn)缺陷時(shí)，前表面的缺陷會(huì)被映射到后表面，形成重影，此時(shí)解算出來的相位信息會(huì)在前表面處產(chǎn)生一次突變，在后表面處產(chǎn)生一次突變，最終會(huì)表現(xiàn)為兩個(gè)缺陷。因此，解算反射圖像的絕對(duì)相位是獲得缺陷圖像的重要前提，而解算絕對(duì)相位又分為解相位和拆相位兩個(gè)步驟。

1.1 解相位

相移法需要顯示器顯示多幅不同初始相位的圖像并由相機(jī)獲得，當(dāng)采用正弦條紋時(shí)，假設(shè)采用N步相移法，則相機(jī)接收到的光強(qiáng)表達(dá)式為：

In(x,y)=a(x,y)+b(x,y)cos(φ+2πn/N)

(2)

式中，In(x,y)為相移n步時(shí)圖像光強(qiáng)，是由相機(jī)獲得的已知量，a(x,y)表示背景光強(qiáng)分布，b(x,y)表示調(diào)制度分布[1]，相位φ是要求解的未知量，所以要求出φ至少需要三步相移，即N最小為3。用最小二乘法可以解出(2)式中的φ，結(jié)果為：

(3)

由于反正切函數(shù)值域在[-π，π]，所以φ(x,y)是絕對(duì)相位值被折疊在[-π，π]區(qū)間內(nèi)的包裹相位，如圖3(a)所示。折疊相位圖中存在多處灰度截?cái)?，截?cái)嗵幣c被測物和缺陷混疊，無法識(shí)別缺陷，所以要對(duì)獲得的包裹相位進(jìn)行展開，這一過程稱為相位展開。

1.2 相位展開

為了獲得連續(xù)的絕對(duì)相位值，必須確定相位截?cái)嗵幍闹芷诩?jí)數(shù)，通常用k表示。在折疊相位φ(x,y)的基礎(chǔ)上加上所在的周期級(jí)數(shù)2k(x,y)π即可得到連續(xù)的實(shí)際相位值。

圖3 相位解碼

本文采用時(shí)域相位展開法，輔助條紋圖選擇格雷碼圖。格雷碼相位展開按時(shí)間序列展開相位，不會(huì)造成誤差累計(jì)，而且結(jié)合相移碼后可以減少格雷碼的編碼位數(shù)，加快解碼速度。格雷碼條紋將圖像中的像素編碼，用于確定相位級(jí)數(shù)，相移正弦條紋圖用于確定包裹相位，如圖3(b)所示。

相移周期不能小于格雷碼周期的N倍，N為相移步數(shù)，這樣才能對(duì)所有像素點(diǎn)唯一編碼。將格雷碼確定的相位級(jí)數(shù)2k(x,y)π和相移法確定的包裹相位φ(x,y)結(jié)合，即可求得連續(xù)的絕對(duì)相位：

φ(x,y)=φ(x,y)+2k(x,y)π

(4)

根據(jù)相位與梯度的關(guān)系，可以得到被測物體表面x和y方向的梯度分布：

(5)

(6)

式中，gx、gy表示x和y方向的梯度，θx和θy分別表示被測物表面兩個(gè)方向的偏轉(zhuǎn)角，Δθx和Δθy表示兩個(gè)方向絕對(duì)相位與參考相位間的相位差，Px和Py表示兩個(gè)方向的條紋周期，Lx和Ly表示被測物與顯示屏間的高度。

解得的絕對(duì)相位與被測物體表面梯度成正相關(guān)，缺陷處梯度會(huì)產(chǎn)生突變，因此梯度可以用來表征缺陷[15]。由于被測物體表面近似平面，所以解得的梯度值大多近似為0，如圖4所示，缺陷處梯度會(huì)產(chǎn)生突變，此時(shí)梯度會(huì)大于1，局部缺陷較大處甚至?xí)^10。

圖4 梯度圖

由于人眼能夠識(shí)別的灰度值范圍在0～255，而當(dāng)灰度值小于10的時(shí)候很難分辨出來，所以不能對(duì)梯度圖直接進(jìn)行圖像處理，需要先將梯度圖拉伸至0～255范圍內(nèi)，如圖5表示從x、y方向相位圖轉(zhuǎn)換成缺陷圖的處理過程。

圖5 從相位圖到缺陷圖的變換過程

2 圖像處理算法

從梯度轉(zhuǎn)換的缺陷圖中，可以明顯看到前表面的劃痕在后表面也有相同形狀的成像。針對(duì)這一現(xiàn)象本文提出采用圖像處理的方法消除后表面成像干擾，主要處理方法包括：圖像重建、形態(tài)學(xué)處理、圖像分割等。首先用高斯濾波對(duì)圖像濾波，降低噪聲干擾，然后用動(dòng)態(tài)閾值分割獲取前表面二值化圖像區(qū)域，再對(duì)分割區(qū)域進(jìn)行膨脹、骨架提取等操作提取出前表面缺陷，然后求取缺陷處最小外接矩形對(duì)圖像進(jìn)行重建，重建過程中僅保留缺陷處像素灰度值，其余部分全部設(shè)為0，這樣就能得到僅含前表面缺陷的圖像，再對(duì)無后表面缺陷的圖像用全局閾值分割和閉運(yùn)算提取出缺陷區(qū)域，最后在缺陷處用最小外接矩框出，以便后續(xù)根據(jù)缺陷特征對(duì)缺陷分類。

2.1 圖像平滑處理

由于電子元器件內(nèi)部電子的隨機(jī)運(yùn)動(dòng)或者或者外部的天然電磁都會(huì)對(duì)圖像采集造成干擾[16]，其結(jié)果會(huì)造成成像質(zhì)量下降，影響后邊的缺陷提取。所以需要對(duì)圖像進(jìn)行濾波處理。常見的濾波方法有中值濾波、均值濾波、高斯濾波等。中值濾波和均值濾波對(duì)圖像平滑效果較好，但是對(duì)缺陷細(xì)節(jié)丟失比較明顯，而且圖像模糊，從圖6的三維灰度圖中可以看出高斯濾波在平滑圖像的同時(shí)能夠較好的保留缺陷的細(xì)節(jié)信息。

圖6 中值濾波、均值濾波和高斯濾波效果對(duì)比

本文采用高斯濾波對(duì)圖像進(jìn)行平滑處理，過濾噪聲。連續(xù)二維高斯函數(shù)如下：

(7)

式中，G(x,y)表示像素點(diǎn)(x,y)經(jīng)過高斯濾波后的結(jié)果，σ為標(biāo)準(zhǔn)差。

離散化后得：

(8)

通過式(8)可以得到高斯濾波模板為：(2k+1)×(2k+1)。

2.2 圖像分割

缺陷提取中最關(guān)鍵的一步就是圖像分割，只有準(zhǔn)確的分割出前表面缺陷區(qū)域才能過濾后表面缺陷，從而消除后表面反射干擾。圖像分割算法有多種，目前應(yīng)用最廣泛的主要有閾值分割法、全局閾值分割法、Otsu法、動(dòng)態(tài)閾值分割法等。本文先采用動(dòng)態(tài)閾值分割的方法粗略的分割出前表面缺陷，消除后表面缺陷后再用閾值分割法分割出缺陷。

閾值分割算法是最簡單的圖像分割技術(shù)，主要適用于前后背景差異較大，待分割區(qū)域比較明顯的情況。閾值分割的關(guān)鍵就在于選取合適的閾值T區(qū)分前景和后景。其表達(dá)式如下：

(9)

式中，f(x,y)表示輸入圖像像素點(diǎn)的灰度值，T表示用于分割前景和后景的閾值，g(x,y)表示輸出圖像。

動(dòng)態(tài)閾值分割法就是利用像素點(diǎn)的的灰度值與其所在背景周圍的平均閾值比較，大于(或小于)某個(gè)值時(shí)，設(shè)置為目標(biāo)物體，其分割原理如下[17]：

(10)

式中，f(x,y)為輸入的原始圖像，g(x,y)為平滑后的背景圖像，T為分割的閾值，T的實(shí)際值為指定閾值和改點(diǎn)平均灰度之和，B(x,y)為輸出的二值化圖像。動(dòng)態(tài)閾值分割適用于背景復(fù)雜或要區(qū)分的閾值差異不明顯的情況，而前后表面缺陷閾值差異不大，甚至還有重疊。由于動(dòng)態(tài)閾值分割法充分利用了像素點(diǎn)周圍的灰度值，所以分割時(shí)閾值一直是動(dòng)態(tài)變化的，可以區(qū)分出前后表面缺陷如圖7(a)所示。

2.3 形態(tài)學(xué)處理

通過圖像分割可以得到前表面缺陷區(qū)域的粗提取，從圖7(a)中可以看出提取出的區(qū)域不能覆蓋所有缺陷區(qū)域，而且還存在斷續(xù)現(xiàn)象，所以需要對(duì)分割的區(qū)域進(jìn)行形態(tài)學(xué)處理，以得到完整的缺陷區(qū)域。本文用到的形態(tài)學(xué)方法主要有膨脹、閉運(yùn)算、骨架提取等。

2.3.1 膨脹和腐蝕

膨脹是一種集合運(yùn)算，如果定義A和B兩個(gè)集合，則以B為結(jié)構(gòu)元對(duì)A集合進(jìn)行膨脹定義為:

(11)

式中，B為結(jié)構(gòu)元素，A為待膨脹區(qū)域，z為膨脹操作后的結(jié)果。膨脹是一種“粗化”操作，可以將指定區(qū)域邊緣處拓寬，拓展的寬度由所用的結(jié)構(gòu)元大小控制。如圖7(b)為分割的缺陷區(qū)域經(jīng)過膨脹操作的結(jié)果。

圖7 圖像分割后膨脹處理

腐蝕與膨脹相反，是一種“細(xì)化”操作，如果定義A和B兩個(gè)集合，則以B為結(jié)構(gòu)元對(duì)A集合進(jìn)行腐蝕定義為:

AΘB={z|(B)z?A}

(12)

式中，B為結(jié)構(gòu)元素，A為待腐蝕區(qū)域，z為腐蝕操作后的結(jié)果。

2.3.2 閉運(yùn)算

閉運(yùn)算操作是先對(duì)A區(qū)域膨脹，然后再用同樣的結(jié)構(gòu)元進(jìn)行腐蝕操作。使用結(jié)構(gòu)元B對(duì)A進(jìn)行閉運(yùn)算定義為[18]：

A·B=(A⊕B)ΘB

(13)

閉運(yùn)算可以連接區(qū)域中不連續(xù)的區(qū)域，包括區(qū)域內(nèi)的孔洞和細(xì)小的鴻溝，而目標(biāo)對(duì)象總的形狀和位置不發(fā)生改變[19]。如圖8(a)所示，通過閉運(yùn)算操作可以將斷續(xù)區(qū)域連接成一個(gè)區(qū)域。這樣方便后續(xù)對(duì)缺陷區(qū)域進(jìn)行骨架提取，保證提取出完整的缺陷區(qū)域。

2.3.3 骨架提取

膨脹可以連通斷續(xù)的區(qū)域，但是不能表征缺陷的形狀。為了表征缺陷的形狀可以用形態(tài)學(xué)中的骨架提取操作，區(qū)域A的骨架可以用腐蝕來表達(dá)[20]，即：

(14)

其中：

Sk(A)=(AΘkB)-(AΘkB)°B

(15)

式中，B是進(jìn)行操作的結(jié)構(gòu)元，A(AΘkB)表示對(duì)A連續(xù)k次腐蝕至被腐蝕為空集前停止。經(jīng)過骨架提取操作后的區(qū)域如圖8(b)所示。從圖中可以清楚地看到缺陷區(qū)域的形狀和延伸方向。而且骨架輪廓正好位于缺陷區(qū)域的中心。

圖8 閉運(yùn)算和骨架提取

如圖9所示，提取出骨架后將骨架膨脹至正好可以完整覆蓋缺陷區(qū)域的最小范圍，然后繪制缺陷區(qū)域最小外接矩形。此時(shí)矩形框內(nèi)為前表面缺陷，矩形框外為需要消除的干擾部分。所以直接對(duì)圖像重建，僅保留矩形框內(nèi)灰度值，其余部分全部以0填充，這樣就可以消除后表面缺陷成像，得到僅有前表面缺陷的圖像。

圖9 從骨架膨脹到重建圖像、提取缺陷過程

骨架提取后至消除后表面缺陷的過程如圖9所示。由于消除后表面缺陷的圖像中缺陷與背景差異較大，待分割區(qū)域明顯，所以采用最簡單、高效的閾值分割法提取缺陷，然后繪制最小矩形框，以便后續(xù)對(duì)缺陷特征數(shù)據(jù)分析。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文所提的方法，搭建檢測系統(tǒng)如圖10所示，對(duì)手機(jī)玻璃蓋板進(jìn)行缺陷檢測。實(shí)驗(yàn)系統(tǒng)包括被測物，相機(jī)(分辨率1 280*960，像素尺寸3.75 μm*3.75 μm)，顯示器(分辨率1 920*1 080，像素尺寸0.13 μm*0.13 μm)。

圖10 實(shí)驗(yàn)系統(tǒng)裝置圖

檢測時(shí)，先將被測物置于載物臺(tái)。然后設(shè)置光源(即顯示器)為白屏顯示，調(diào)節(jié)相機(jī)光圈，使成像近乎過曝(這樣可以抑制臟污)。調(diào)節(jié)好光圈后，順序投影條紋圖。先投影格雷碼再投影正弦條紋，各分為兩個(gè)方向，分別為x方向和y方向。

采用四步相移法，相移條紋共8張，x、y方向各4張。最小灰度差設(shè)為40，用于確定二值化圖像。拆相位時(shí)以二值化的反射格雷碼為依據(jù)，確定相位周期級(jí)數(shù)k。最終可得到檢測區(qū)內(nèi)絕對(duì)相位分布，結(jié)果如圖11(a)和11(b)所示。

圖11 x、y方向絕對(duì)相位圖

根據(jù)相位與梯度的關(guān)系，將相位轉(zhuǎn)換為梯度，然后將梯度值映射到0～255范圍內(nèi)可視化顯示，即可得到含有后表面反射的缺陷圖，如圖12(b)所示。

圖12 明場和相位偏折缺陷檢測效果對(duì)比

對(duì)解算出的缺陷圖進(jìn)行圖像處理，消除后表面反射干擾后得到最終結(jié)果如圖12(c)所示。

為了驗(yàn)證本文所提方法的可行性，將文中所提方法與傳統(tǒng)明場方法獲得的圖像和未消除后表面反射的圖像進(jìn)行比對(duì)。

從圖12(a)的明場成像圖中可以看出，手機(jī)玻璃蓋板表面存在指紋印等臟污以及凹坑、劃痕等損傷性缺陷。臟污可以在出廠前清洗掉，損傷性缺陷只能報(bào)廢掉。但是如果只從明場圖像中看，那些指紋印與表面擦傷極為相似，對(duì)于沒有經(jīng)驗(yàn)的工人來說很難區(qū)分出究竟是指紋印還是表面擦痕。

由于相位偏折術(shù)是基于反射條紋計(jì)算相位的，當(dāng)臟污的高度遠(yuǎn)小于被測面到顯示屏間的距離時(shí)，臟污并不會(huì)影響到反射條紋的相位，所以根據(jù)式(5)～(6)計(jì)算梯度時(shí)也不會(huì)造成梯度突變。這樣在灰度拉伸后的缺陷圖12(b)中就不存在臟污等非損傷性缺陷。但是在檢測手機(jī)玻璃蓋板等透明物體時(shí)，后表面存在反射干擾，這一干擾會(huì)直接影響到相位的提取，導(dǎo)致解算出的缺陷圖中也存在后表面缺陷，從圖像上直觀來看就好像存在四條劃痕，這樣不便于我們對(duì)缺陷進(jìn)行準(zhǔn)確的統(tǒng)計(jì)分析，所以根據(jù)前后表面反射率不同，成像不同的原理，結(jié)合圖像處理的方法消除后表面反射干擾，僅保留前表面缺陷，即如圖12(c)所示。

從圖12(c)中可以明顯看出這一樣品中存在兩個(gè)凹坑和兩條劃痕。通過將12(c)和12(a)對(duì)比可以驗(yàn)證本文所提的方法準(zhǔn)確有效地檢測出了缺陷，同時(shí)過濾掉了臟污。

4 結(jié)束語

研究了基于PMD檢測類鏡面透明物體表面缺陷的方法，首先從原理推導(dǎo)了該方法的可行性，然后通過格雷碼和相移碼的解碼方式，驗(yàn)證了理論推導(dǎo)的過程。提出采用圖像處理的方法消除后表面反射干擾，該方法能有效保留前表面缺陷，過濾后表面缺陷，避免了缺陷誤檢和過殺。通過與傳統(tǒng)明場檢測缺陷方法相比，驗(yàn)證了該方法對(duì)臟污的過濾能力和缺陷的檢測能力，提高了損傷性缺陷的檢測準(zhǔn)確率。