基于圖像傳感器的標(biāo)簽缺陷檢測(cè)方法

譚智仁，盧 軍

(陜西科技大學(xué) 機(jī)電工程學(xué)院，西安 710021)

0 引言

投影儀殼體在生產(chǎn)過(guò)程中需要貼上產(chǎn)品標(biāo)簽，由于這項(xiàng)工藝存在任務(wù)量大、勞動(dòng)密集，在粘貼的過(guò)程中很容易出現(xiàn)標(biāo)簽貼錯(cuò)、損壞等缺陷，因此在出廠之前必須要剔除。然而目前，國(guó)內(nèi)對(duì)于標(biāo)簽的這些缺陷檢測(cè)，主要還停留在人工目測(cè)的階段，效率低下，而且還很容易出現(xiàn)誤、漏檢。如何提高檢測(cè)準(zhǔn)確性和檢測(cè)效率是目前需要解決的問(wèn)題，而機(jī)器視覺(jué)技術(shù)憑借其速度快、精度高、非接觸式、永不疲勞等優(yōu)點(diǎn)［1］，逐漸在這個(gè)領(lǐng)域內(nèi)被越來(lái)越多的人們所重視。有很多的學(xué)者提出了不同類型的標(biāo)簽缺陷檢測(cè)的方法，這些方法根據(jù)它的檢測(cè)對(duì)象和工具大致可以分為三類:①遠(yuǎn)距離RFID射頻識(shí)別。它是一種非接觸式的自動(dòng)識(shí)別技術(shù)，通過(guò)射頻信號(hào)自動(dòng)識(shí)別目標(biāo)對(duì)象并獲取相關(guān)信息，無(wú)需人工干預(yù)，具有防水、防磁、耐高溫、讀取距離大、存儲(chǔ)信息更改自如、標(biāo)簽信息加密等優(yōu)點(diǎn);②基于聲表面波延遲線式的無(wú)線標(biāo)簽識(shí)別，它是以不同的無(wú)源編碼標(biāo)簽代表不同的對(duì)象，通過(guò)對(duì)標(biāo)簽的傳感達(dá)到目標(biāo)識(shí)別的目的，具有獲取信息快的特點(diǎn);③條碼標(biāo)簽識(shí)別，它是在計(jì)算機(jī)應(yīng)用和實(shí)踐中產(chǎn)生并發(fā)展起來(lái)的一種廣泛應(yīng)用于商業(yè)、郵政、圖書(shū)管理、倉(cāng)儲(chǔ)、工業(yè)生產(chǎn)過(guò)程控制、交通等領(lǐng)域的自動(dòng)識(shí)別技術(shù)，具有輸入速度快、準(zhǔn)確度高、采集信息量大、靈活實(shí)用等優(yōu)點(diǎn)，在當(dāng)今的標(biāo)簽自動(dòng)識(shí)別技術(shù)中占有重要的地位［2］。

在眾多的標(biāo)簽識(shí)別和檢測(cè)應(yīng)用研究中，單個(gè)信息識(shí)別都已經(jīng)不成問(wèn)題，有比較成熟的光學(xué)字符識(shí)別(OCR)軟件和條碼閱讀器就可以解決問(wèn)題，但是將這些信息的識(shí)別都采用視覺(jué)的方法在一個(gè)系統(tǒng)中實(shí)現(xiàn)就是一個(gè)全新的問(wèn)題。鑒于投影儀殼體標(biāo)簽可能出現(xiàn)的缺陷情況進(jìn)行分析，大致可能存在四種缺陷形式:檢測(cè)標(biāo)簽是否貼錯(cuò);檢測(cè)標(biāo)簽是否上下顛倒;檢測(cè)標(biāo)簽是否標(biāo)錯(cuò);檢測(cè)標(biāo)簽是否存在部分文字缺失。因此，本文闡述了一種利用特征匹配和模板匹配相結(jié)合的自動(dòng)檢測(cè)算法。單純的利用機(jī)器視覺(jué)技術(shù)提取面積、重心、方向這些關(guān)鍵特征進(jìn)行特征匹配，可以粗略的判別待檢測(cè)的標(biāo)簽是否符合出廠要求，實(shí)現(xiàn)簡(jiǎn)單的自動(dòng)化檢測(cè)。但是，對(duì)于檢測(cè)標(biāo)簽中某些字符是否標(biāo)錯(cuò)這種情況，僅僅只利用特征匹配的方法不能很好的達(dá)到檢測(cè)效果，因此，在檢測(cè)的過(guò)程中結(jié)合了模板匹配技術(shù)對(duì)字符容易識(shí)別的部分單獨(dú)進(jìn)行缺陷檢測(cè)。這就是本文提出的將所有可能出現(xiàn)的缺陷分為兩類進(jìn)行檢測(cè):字符區(qū)域標(biāo)簽缺陷檢測(cè)與非字符區(qū)域標(biāo)簽缺陷檢測(cè)。字符區(qū)域標(biāo)簽檢測(cè)采用模板匹配的方法進(jìn)行缺陷檢測(cè);而非字符區(qū)域標(biāo)簽檢測(cè)則通過(guò)提取標(biāo)簽區(qū)域的面積、重心、方向這些特征量進(jìn)行特征檢測(cè)。

1 圖像采集系統(tǒng)

圖像的采集系統(tǒng)如圖1 所示。由于對(duì)產(chǎn)品進(jìn)行在線檢測(cè)，因此系統(tǒng)選用具有異步復(fù)位功能的黑白CCD攝像機(jī)進(jìn)行拍攝。所得圖像通過(guò)圖像采集卡送入計(jì)算機(jī)中進(jìn)行圖像處理，同時(shí)在屏幕上顯示當(dāng)前進(jìn)行檢測(cè)的標(biāo)簽圖像，檢測(cè)人員可以進(jìn)行目測(cè)和人工判斷。

圖1 圖像采集系統(tǒng)結(jié)構(gòu)

光源的選取是影響標(biāo)簽缺陷檢測(cè)的重要因素，光源必須滿足亮度大、均勻性好、穩(wěn)定性高等要求，以抑制光線對(duì)圖像質(zhì)量產(chǎn)生的不良影響。系統(tǒng)的光源選用節(jié)能光管，它具有壽命長(zhǎng)、亮度高等特點(diǎn)［3］。

2 算法設(shè)計(jì)與實(shí)現(xiàn)

在本系統(tǒng)中，每個(gè)投影儀殼體產(chǎn)品在傳送帶上的運(yùn)行過(guò)程中位置是固定不變的，且粘有標(biāo)簽的檢測(cè)面與鏡頭正對(duì)，以保證在獲取的圖像中只有標(biāo)簽發(fā)生變化。

有些標(biāo)簽區(qū)域印有字符，而且在圖像中清晰可見(jiàn)，對(duì)于標(biāo)簽標(biāo)錯(cuò)的檢測(cè)，如果對(duì)整個(gè)標(biāo)簽進(jìn)行整體檢測(cè)效果往往不理想，本文所提的算法是將檢測(cè)標(biāo)簽內(nèi)字符是否清晰可見(jiàn)分為字符標(biāo)簽區(qū)域、非字符標(biāo)簽區(qū)域兩部分，兩部分是否存在缺陷分別進(jìn)行檢測(cè)。字符標(biāo)簽區(qū)域，通過(guò)Blob(斑點(diǎn))檢測(cè)分離標(biāo)簽上待檢測(cè)的字符，然后利用模板匹配的最小距離判別法進(jìn)行字符缺陷檢測(cè)。非字符標(biāo)簽區(qū)域，分別提取每個(gè)標(biāo)簽區(qū)域的面積、重心、方向三個(gè)特征量，分別與模板進(jìn)行特征匹配，判斷是否存在缺陷。具體檢測(cè)算法流程如圖2 所示。

圖2 檢測(cè)算法流程圖

2.1 圖像預(yù)處理

原始圖像或多或少存在噪聲，為了突出檢測(cè)目標(biāo)物，減少噪聲干擾，有必要對(duì)圖像進(jìn)行預(yù)處理，利用最大類間方差法(Otsu)閾值分割圖像。

(1)采用線性拉伸的方法對(duì)原圖灰度進(jìn)行變換，使原圖整體變亮，這樣可以突出要處理的標(biāo)簽區(qū)域亮度帶。r表示原始圖像中對(duì)應(yīng)點(diǎn)(x，y)的亮度，s表示變換后圖像中對(duì)應(yīng)點(diǎn)(x，y)的亮度，拉伸函數(shù)為:

(2)Otsu 的基本思想是選取最優(yōu)閾值使分割后的得到的前景與背景兩個(gè)大類的類間方差最大。對(duì)于圖像I(x，y)，前景和背景的分割閾值記為T(mén)，屬于前景的像素點(diǎn)占整幅圖像的比例記為ω0，其平均灰度為μ0;屬于背景的像素點(diǎn)占整幅圖像的比例記ω1，其平均灰度記為μ1;圖像的總平均灰度記為ū，類間方差記為δ。

求取δ 的最大值，對(duì)應(yīng)的閾值T就是要尋找的最優(yōu)閾值。利用這個(gè)閾值T可以對(duì)原始圖像進(jìn)行分割處理。預(yù)處理效果如圖3 所示。

圖3 投影儀殼體預(yù)處理前、后對(duì)比

2.2 字符標(biāo)簽區(qū)域缺陷判斷

字符標(biāo)簽區(qū)域標(biāo)錯(cuò)缺陷可以通過(guò)模板匹配來(lái)進(jìn)行缺陷判別。實(shí)現(xiàn)步驟如下所示:

(1)利用Blob 技術(shù)將字符標(biāo)簽圖像進(jìn)行分割。

Blob 算法:首先標(biāo)定每一個(gè)字符的連通域，然后通過(guò)連通域計(jì)算它的最小外接矩，以最小外接矩為單位，將每一個(gè)字符單獨(dú)分離。

(2)將待檢測(cè)的字符與訓(xùn)練模板集的字符一一進(jìn)行模板匹配，計(jì)算兩者之間匹配的距離，如果距離大于0.3，則判斷待檢測(cè)的字符與模板集對(duì)應(yīng)的字符不符，即為缺陷。

匹配距離算法:首先將單個(gè)字符的最小外接矩區(qū)域劃分成N×N個(gè)均勻等分;然后對(duì)每一個(gè)小區(qū)域的黑像素個(gè)數(shù)進(jìn)行統(tǒng)計(jì)，除以該小區(qū)域的面積總數(shù)，即作為特征值;最后將這些特征值構(gòu)成一個(gè)N×N矩陣。通過(guò)大量的實(shí)驗(yàn)證明，N通常取5，因?yàn)镹值太小，無(wú)法進(jìn)行正確的分類;如果N值太大，盡管區(qū)分能力更強(qiáng)，但是計(jì)算量增加，運(yùn)行時(shí)間更長(zhǎng)［4］。最后計(jì)算匹配距離:

xi與yi分別表示待檢測(cè)字符矩陣元素值和模板集字符矩陣元素值;d表示矩陣的元素個(gè)數(shù)。

2.3 非字符標(biāo)簽區(qū)域缺陷判斷

標(biāo)簽缺陷的判別依據(jù)是缺陷面積、大小和方向。標(biāo)簽若存在貼錯(cuò)、缺失、上下顛倒等情況，它的面積、重心以及方向都會(huì)發(fā)生明顯的變化。根據(jù)這種現(xiàn)象，可以通過(guò)計(jì)算標(biāo)簽的這些特征量來(lái)進(jìn)行特征匹配，判斷標(biāo)簽是否存在缺陷。

2.3.1 面積計(jì)算

通過(guò)逐行掃描，計(jì)算出標(biāo)簽像素點(diǎn)總數(shù)，即為標(biāo)簽面積A。計(jì)算由下式得出:

其中B［i，j］表示二值圖像。當(dāng)標(biāo)簽出現(xiàn)缺失、貼錯(cuò)、標(biāo)錯(cuò)等缺陷情況出現(xiàn)的時(shí)候，檢測(cè)出來(lái)的標(biāo)簽面積必然會(huì)發(fā)生變化，通過(guò)與標(biāo)準(zhǔn)合格產(chǎn)品對(duì)應(yīng)的標(biāo)簽區(qū)域的面積值進(jìn)行比較，當(dāng)超出設(shè)定的誤差范圍時(shí)，就可以判定該標(biāo)簽存在缺陷。

2.3.2 重心計(jì)算

重心是物體區(qū)域的中心值。重心(X0，Y0)的計(jì)算公式如下:

當(dāng)標(biāo)簽存在上述缺陷等情況，檢測(cè)出來(lái)的標(biāo)簽區(qū)域重心必然發(fā)生改變，通過(guò)與標(biāo)準(zhǔn)合格產(chǎn)品對(duì)應(yīng)的標(biāo)簽區(qū)域重心值進(jìn)行比較，當(dāng)超過(guò)設(shè)定的誤差范圍時(shí)，就可以判定該標(biāo)簽為不合格。

2.3.3 方向計(jì)算

物體方向的計(jì)算比較復(fù)雜，在1987 年Kass［5］等人提出了基于梯度的指紋紋線方向場(chǎng)計(jì)算方法，其計(jì)算簡(jiǎn)單有效，很快就被很多學(xué)者采用計(jì)算物體的方向場(chǎng)［6-7］。基于方向場(chǎng)的應(yīng)用，可以為物體定義方向，我們可以把每個(gè)物體看作橢圓，在笛卡爾坐標(biāo)平面上與最小慣量軸相同方向的最小二階矩軸定義為長(zhǎng)軸［8］。通過(guò)計(jì)算獲得物體的長(zhǎng)軸，并把長(zhǎng)軸方向定義為物體的方向。

圖像中物體的最小二階矩軸就是物體上所有的點(diǎn)到該線的距離的平方和最小。給出一幅二值圖像B［i，j］，物體所有的點(diǎn)到直線進(jìn)行最小二乘擬合，獲得物體的最小二階矩軸方程。

其中rij是物體上某點(diǎn)［i，j］到直線的距離，用極坐標(biāo)表示直線是:

θ 是直線與法線的夾角，ρ 是直線到原點(diǎn)的距離，由上面兩個(gè)公式可以得到

對(duì)上式求導(dǎo)，可以得到:

兩公式進(jìn)行整合，得到:

其中參數(shù):

這樣表達(dá)式可以重新寫(xiě)成:

對(duì)上式求微分，并置微分結(jié)果為0，求解θ

這樣我們就可以通過(guò)計(jì)算θ 來(lái)判斷標(biāo)簽是否發(fā)生旋轉(zhuǎn)以及旋轉(zhuǎn)的角度。θ 定義為長(zhǎng)軸與x軸的夾角，設(shè)定允許旋轉(zhuǎn)的變化量為±5°(即±0.087222)，將計(jì)算得到的待檢測(cè)標(biāo)簽θ 與標(biāo)準(zhǔn)模板相對(duì)應(yīng)的標(biāo)簽θ 進(jìn)行比較，如果超過(guò)了這個(gè)范圍，則可以判定其不合格，存在缺陷。

3 實(shí)驗(yàn)測(cè)試與分析

測(cè)試圖片共100 張，標(biāo)簽缺失缺陷20 張，標(biāo)簽上下顛倒缺陷20 張，標(biāo)簽貼錯(cuò)位置缺陷20 張，標(biāo)簽標(biāo)錯(cuò)缺陷20 張，合格產(chǎn)品20 張。針對(duì)標(biāo)簽的缺失、上下顛倒以及貼錯(cuò)位置這些缺陷可以進(jìn)行整體檢測(cè)，因此定義為非字符缺陷;而標(biāo)簽標(biāo)錯(cuò)是對(duì)具體的某個(gè)數(shù)字或字符進(jìn)行檢測(cè)，因此可以定義為字符缺陷。為了提高檢測(cè)的準(zhǔn)確性，將字符缺陷和非字符缺陷分開(kāi)檢測(cè)，互不干擾。

字符標(biāo)簽區(qū)域缺陷檢測(cè):

圖4 投影儀殼體字符標(biāo)簽區(qū)域缺陷檢測(cè)

分別檢測(cè)局部字符區(qū)域:DX140 與DX120，檢測(cè)結(jié)果分析如下:

表1 匹配距離值數(shù)據(jù)

根據(jù)公式(3)對(duì)待檢測(cè)標(biāo)簽區(qū)域每一個(gè)分割字符的匹配距離值進(jìn)行統(tǒng)計(jì)，如表1 所示。

對(duì)表1 中的數(shù)據(jù)進(jìn)行對(duì)比分析，正確的字符(如D、X、1、0)與標(biāo)準(zhǔn)模板集字符(如D、X、1、0)的匹配距離值都小于0.3，而標(biāo)錯(cuò)的字符(如2)與標(biāo)準(zhǔn)模板集字符(如4)的匹配距離值則遠(yuǎn)大于0.3，發(fā)生了很大的變化。因此通過(guò)OCR 識(shí)別將待檢測(cè)的字符與訓(xùn)練模板集的字符一一進(jìn)行模板匹配，計(jì)算兩者之間的匹配距離的方法可以實(shí)現(xiàn)對(duì)字符標(biāo)簽區(qū)域缺陷檢測(cè)。

非字符標(biāo)簽缺陷檢測(cè):

以圖5a 作為標(biāo)準(zhǔn)模板，分別對(duì)各類非字符標(biāo)簽缺陷和合格標(biāo)簽進(jìn)行檢測(cè)，實(shí)驗(yàn)測(cè)試結(jié)果分析如下。

圖5 投影儀殼體非字符標(biāo)簽區(qū)域缺陷檢測(cè)

圖5a 為標(biāo)準(zhǔn)標(biāo)簽?zāi)０澹瑘D5b、c、d 分別為上下顛倒、缺失以及標(biāo)簽貼錯(cuò)缺陷，檢測(cè)結(jié)果分析如下。

分別計(jì)算標(biāo)準(zhǔn)標(biāo)簽和待檢測(cè)標(biāo)簽的面積、重心與方向三個(gè)特征量，并對(duì)其結(jié)果進(jìn)行統(tǒng)計(jì)，數(shù)據(jù)如表2 所示。

表2 特征量計(jì)算數(shù)據(jù)

對(duì)表中的數(shù)據(jù)進(jìn)行分析比較，合格標(biāo)簽與標(biāo)準(zhǔn)標(biāo)簽三種特征值數(shù)據(jù)相差不大;而有缺陷的標(biāo)簽，三種特征值與標(biāo)準(zhǔn)模板相比都發(fā)生了很大變化，超過(guò)了給定的誤差范圍。因此以這三個(gè)特征值作為判斷依據(jù)，我們可以進(jìn)行非字符標(biāo)簽缺陷檢測(cè)。

本檢測(cè)算法正確率如表3 所示。

表3 算法檢測(cè)結(jié)果

4 結(jié)束語(yǔ)

本文針對(duì)投影儀殼體標(biāo)簽自身的特點(diǎn)提出了一種基于機(jī)器視覺(jué)的標(biāo)簽缺陷檢測(cè)方法，該方法結(jié)合了模板匹配技術(shù)和特征匹配技術(shù)。由于該方法對(duì)采集的圖像質(zhì)量要求比較高，因此設(shè)計(jì)了一套缺陷自動(dòng)檢測(cè)系統(tǒng)，保證采集到的圖片清晰、穩(wěn)定，便于進(jìn)行缺陷檢測(cè)。另外，該缺陷檢測(cè)方法針對(duì)字符標(biāo)簽區(qū)域和非字符標(biāo)簽區(qū)域缺陷各自的特點(diǎn)，分別利用了模板匹配和特征匹配，有效的提高了缺陷檢測(cè)的正確率和穩(wěn)定性。實(shí)驗(yàn)表明:該標(biāo)簽缺陷檢測(cè)算法正確率達(dá)到95%以上，雖未能徹底的檢測(cè)出所有的缺陷情況，但具有很高的實(shí)用價(jià)值，若用于實(shí)際生產(chǎn)，可以實(shí)現(xiàn)投影儀殼體標(biāo)簽缺陷的自動(dòng)檢測(cè)，具有廣闊的應(yīng)用前景。

［1］張揚(yáng). 基于圖像處理的軸承防塵蓋表面缺陷檢測(cè)研究［D］.杭州:浙江大學(xué)，2010.

［2］王增春.基于視覺(jué)的標(biāo)簽動(dòng)態(tài)檢測(cè)識(shí)別系統(tǒng)研究及應(yīng)用［D］.河北:河北工業(yè)大學(xué)，2006.

［3］張曉波，劉文耀，王兵振，等.汽車(chē)自動(dòng)閥內(nèi)地面質(zhì)量檢測(cè)儀的設(shè)計(jì)［J］. 計(jì)算機(jī)測(cè)量與控制，2005，13(6):1671 -4598.

［4］楊淑瀅.圖像模式識(shí)別-VC++技術(shù)實(shí)現(xiàn)［M］. 北京:北京交通大學(xué)出版社，2005.

［5］Kass M，Witkin A.Analyzing oriented patterns［J］.Computer vision，Graphics，and Image Processing，1987，37(3):362 -385.

［6］Jain A K，Hong L，Pankanti S，etal.An dentity-authentication system using fingerprints［C］. Proc. IEEE，1997，85(9):1365 -1388.

［7］GU Jin-wei，ZHOU Jie，David ZHANG.A combination model for orientation Field of Fingerprints［J］.Pattern Recognition，2004，37(3):542 -553.

［8］賈云德.機(jī)器視覺(jué)［M］.北京:科學(xué)出版社，2000.