藥用玻璃瓶印刷字缺陷檢測(cè)的算法研究

，，，

(1.河北科技大學(xué) 電氣工程學(xué)院，石家莊 050000； 2.河北省科學(xué)院 應(yīng)用數(shù)學(xué)研究所，石家莊 050000；3.河北省信息安全認(rèn)證工程技術(shù)研究中心，石家莊 050000)

藥用玻璃瓶印刷字缺陷檢測(cè)的算法研究

王星1，劉朝英1，宋雪玲1，郝存明2,3

(1.河北科技大學(xué)電氣工程學(xué)院，石家莊050000； 2.河北省科學(xué)院應(yīng)用數(shù)學(xué)研究所，石家莊050000；3.河北省信息安全認(rèn)證工程技術(shù)研究中心，石家莊050000)

藥用玻璃瓶在傳送的過程中可能會(huì)發(fā)生平移、旋轉(zhuǎn)或者受到噪聲的影響，目前藥瓶印刷字還沒有有效的方法來檢測(cè);為了準(zhǔn)確的檢測(cè)出印刷字的缺陷，比較了兩種檢測(cè)的方法：Harris與歸一化互相關(guān) (NCC)相結(jié)合的匹配方法、SIFT(scale invariant feature transform)與歐氏距離相結(jié)合的匹配方法；將這兩種方法應(yīng)用到藥瓶印刷字檢測(cè)系統(tǒng)中，選出最有效的方法。實(shí)驗(yàn)結(jié)果表明：與Harris相比，SIFT方法能夠更準(zhǔn)確地提取圖像的特征點(diǎn)，且與歐氏距離相匹配的正確匹配率高，可達(dá)到理想的實(shí)驗(yàn)效果。

SIFT算子；Harris算子；特征點(diǎn)提取；圖像配準(zhǔn)；藥用玻璃瓶印刷字缺陷檢測(cè)

0 引言

因?yàn)樗幱貌Ａ可a(chǎn)企業(yè)采用的印刷字設(shè)備后端沒有與其配套的印刷字檢測(cè)設(shè)備，所以印刷字出現(xiàn)不清楚或者內(nèi)容不全的情況時(shí)有發(fā)生，會(huì)嚴(yán)重影響產(chǎn)品的質(zhì)量。目前很多企業(yè)通過人工用肉眼或?qū)Ｓ玫臋z測(cè)工具對(duì)藥瓶印刷質(zhì)量進(jìn)行檢測(cè)，人工檢測(cè)的方法效率低、速度慢還會(huì)出現(xiàn)漏檢，因此很有必要開發(fā)一套藥瓶印刷字質(zhì)量檢測(cè)系統(tǒng)。該系統(tǒng)主要涉及的方法是圖像配準(zhǔn)，圖像配準(zhǔn)是一種將兩幅圖像經(jīng)過空間位置對(duì)齊，再進(jìn)行對(duì)比與分析的圖像處理技術(shù)。圖像配準(zhǔn)最早應(yīng)用在軍事上，隨著圖像處理技術(shù)的不斷進(jìn)步，圖像配準(zhǔn)技術(shù)也不斷的出現(xiàn)了很多新的算法，并且應(yīng)用領(lǐng)域也較廣泛，例如模式識(shí)別、遙感、定位導(dǎo)航等。因此圖像配準(zhǔn)的研究是大勢(shì)所趨，并且為藥用玻璃瓶印刷字的檢測(cè)提供了很好的平臺(tái)。

圖像配準(zhǔn)是計(jì)算機(jī)視覺和數(shù)字圖像處理的重要組成部分。本文選用了最常用的基于特征的圖像配準(zhǔn)方法，該方法計(jì)算簡(jiǎn)單、抗噪性好、穩(wěn)定性好、不受幾何形變的影響。基于特征提取是配準(zhǔn)的關(guān)鍵之處，一般選用的特征為角點(diǎn)、邊緣、交叉點(diǎn)、高曲率點(diǎn)、輪廓中心等。在特征點(diǎn)提取算子中，當(dāng)前比較流行的有：基于圖像灰度自相關(guān)的興趣點(diǎn)算子[1]、SUSAN算子[2]、Harris算子[3]、SIFT特征描述不變子[4]等。

針對(duì)藥用玻璃瓶印刷字的檢測(cè)，特征點(diǎn)提取采用了Harris角點(diǎn)檢測(cè)算子和SIFT特征點(diǎn)檢測(cè)算子[5]。1981年Moravec算子[6]被提出，1988年C.Harris和M.J.Stephens教授針對(duì)其不足，提出了Harris算子。 Harris算子計(jì)算效率高，時(shí)間復(fù)雜度低，受圖像的亮度變化影響小，對(duì)圖像的旋轉(zhuǎn)不敏感。SIFT(Scale Invariant Feature Transform)[7]算法是大衛(wèi).勞伊教授在1999年提出，并且于2004年對(duì)該算法進(jìn)行了歸納與優(yōu)化。圖像發(fā)生平移、旋轉(zhuǎn)等變化時(shí)不影響SIFT算法的穩(wěn)定性，該算法對(duì)噪音的干擾也有一定的抵抗性[8]，本文將這兩種方法應(yīng)用到藥用玻璃瓶印刷字檢測(cè)系統(tǒng)中，通過比較分析配準(zhǔn)的結(jié)果，選出正確匹配率較高的方法。

1 Harris角點(diǎn)檢測(cè)算子

圖像的亮度變化值E(u,v)表達(dá)式如下：

(1)

式中,[I(x+u,y+v)-I(x,y)]2為圖像亮度的梯度值，w(x,y)為高斯濾波器。圖像I(x,y)在坐標(biāo)點(diǎn)(x,y)處移動(dòng)(u,v)后的泰勒展開式：

(2)

由矩陣M，可得角點(diǎn)響應(yīng)函數(shù)R：

R=detM-k(traceM)2

(3)

式中，λ1、λ2是M的特征值；detM為矩陣M的行列式，detM=λ1λ2=AC-B2；K是一個(gè)正的經(jīng)驗(yàn)值，一般取值：0.04—0.2[9]；traceM為矩陣的跡，traceM=λ1+λ2=A+C。根據(jù)式(3)計(jì)算每個(gè)像素的R值，R取得局部極大值的點(diǎn)即為候選角點(diǎn)。

2 SIFT特征點(diǎn)檢測(cè)算子

2.1 尺度空間構(gòu)建

通過高斯核對(duì)原始圖形進(jìn)行尺度變換，得到多尺度下的表示序列。一幅圖像的尺度空間L(x,y,σ)可以由圖像和高斯核卷積得到：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(4)

高斯核[10]是唯一能產(chǎn)生多尺度空間的核，G(x,y,σ)表達(dá)式：

(5)

L為尺度空間因子，該值的大小代表了圖像被平滑的程度。

構(gòu)造高斯差分金字塔(DOG)可以通過對(duì)相鄰的兩尺度空間的函數(shù)作差并同圖像卷積得到差分尺度空間。D(x,y,σ)用來表示高斯差值方程：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=

L(x,y,kσ)-L(x,y,σ)

(6)

建好高斯金字塔后，需要找到DOG圖像的極值點(diǎn)。每一個(gè)采樣點(diǎn)需要同與其同層相鄰的8個(gè)像素點(diǎn)以及周圍上下兩層9×2=18個(gè)像素點(diǎn)總共8+18=26個(gè)像素點(diǎn)進(jìn)行對(duì)比，觀察選取的采樣點(diǎn)是否比它所在尺度域的相鄰點(diǎn)大或者小，假如找到的點(diǎn)大于(或小于)此26個(gè)點(diǎn)時(shí)，該采樣點(diǎn)才能被認(rèn)為極值點(diǎn)，并進(jìn)行下一步計(jì)算。

2.2 特征點(diǎn)位置的確定

在得到SIFT候選特征點(diǎn)集合后，需要把穩(wěn)定的特征點(diǎn)篩選出來，為后續(xù)的計(jì)算做準(zhǔn)備。剩下一些對(duì)比度低的點(diǎn)，這些點(diǎn)響應(yīng)值較小，容易受噪聲的影響，因此會(huì)影響SIFT特征點(diǎn)的抗噪能力。候選點(diǎn)中還留有一些邊緣上的點(diǎn)，這些點(diǎn)有較強(qiáng)的響應(yīng)值，一旦有特征點(diǎn)落在上面位置就很難確定，對(duì)SIFT特征點(diǎn)的穩(wěn)定性有影響。所以這兩種點(diǎn)必須剔除掉。

2.3 特征點(diǎn)主方向的生成

為了讓算子具備旋轉(zhuǎn)不變性，我們需要以極值點(diǎn)為中心，將其所在鄰域圖像梯度的方向和位置旋轉(zhuǎn)一個(gè)角度。

m(x,y)=

(7)

(8)

式(7)、(8)是對(duì)于每個(gè)高斯圖像，特征點(diǎn)的梯度值和梯度方向，在完成梯度計(jì)算后，需要用直方圖來統(tǒng)計(jì)每個(gè)特征點(diǎn)周圍像素點(diǎn)的梯度值和梯度方向。直方圖的橫軸代表梯度方向，縱軸代表每個(gè)特征點(diǎn)的梯度值的累加值。直方圖的峰值就是該特征點(diǎn)處領(lǐng)域內(nèi)圖像梯度的主方向。

2.4 SIFT特征向量的生成

將SIFT特征區(qū)域以特征點(diǎn)為中心劃分為2×2個(gè)鄰域窗口，計(jì)算每個(gè)窗口4×4個(gè)特征點(diǎn)的梯度方向，把這些梯度方向累加到8個(gè)方向上，這樣每個(gè)窗口可以形成一個(gè)8方向的種子點(diǎn)，一共有4個(gè)窗口，可形成2×2×8=32維的SIFT特征點(diǎn)。實(shí)際計(jì)算過程中，文獻(xiàn)[11]建議將特征區(qū)域劃分為4×4個(gè)方格，每個(gè)方格有一個(gè)8方向的種子點(diǎn)，所以此特征區(qū)域就有4×4×8=128個(gè)數(shù)據(jù)，形成128維的特征向量。此時(shí)的特征向量很穩(wěn)定，不受其它因素的影響，再繼續(xù)將特征向量的尺度歸一化，進(jìn)而能減少灰度差異帶來的影響。

3 圖像匹配

Harris算子提取出圖像的特征點(diǎn)后，利用經(jīng)典的統(tǒng)計(jì)匹配方法即歸一化互相關(guān)Normalized Cross Correlation method(NCC)[12]的方法進(jìn)行點(diǎn)對(duì)間的匹配運(yùn)算。

SIFT算子在特征向量生成后，需采用歐氏距離[13]的方法對(duì)兩幅圖像進(jìn)行初匹配，即在基準(zhǔn)圖像中選取一個(gè)特征點(diǎn)，然后在待配準(zhǔn)圖像中找到與其歐氏距離最短的兩個(gè)點(diǎn)，把最短距離除以第二短距離的比值作為匹配對(duì)的判別標(biāo)準(zhǔn)。如果比值在設(shè)定的閾值范圍內(nèi)，就認(rèn)為此匹配點(diǎn)對(duì)符合要求。

在圖像匹配部分，兩者都采用RANdom Sample Consensus(RANSAC[14])的去外點(diǎn)方法剔除誤匹配點(diǎn)。RANSAC是一種經(jīng)典的去外點(diǎn)方法，通過利用特征點(diǎn)集合中的內(nèi)在約束關(guān)系來剔除錯(cuò)誤的匹配。RANSAC算法穩(wěn)定、可靠、精度高，對(duì)噪聲和特征點(diǎn)的提取有很強(qiáng)的魯棒性，剔除誤匹配點(diǎn)的能力較好。

剔除誤匹配點(diǎn)之后，該進(jìn)行圖像配準(zhǔn)，圖像配準(zhǔn)的過程就是找到最優(yōu)匹配點(diǎn)對(duì)之間的關(guān)系參數(shù)，待配準(zhǔn)圖像根據(jù)這個(gè)關(guān)系參數(shù)進(jìn)行空間變換，變換到基準(zhǔn)圖像的坐標(biāo)系中。配準(zhǔn)圖像的空間坐標(biāo)與基準(zhǔn)圖像相同，在對(duì)應(yīng)的坐標(biāo)位置與待配準(zhǔn)圖像的像素值相同。一般最常見的空間變換關(guān)系包括平移、旋轉(zhuǎn)、縮放等。

4 實(shí)驗(yàn)與分析

4.1 藥用玻璃瓶在線檢測(cè)系統(tǒng)整體結(jié)構(gòu)設(shè)計(jì)

線陣相機(jī)主要應(yīng)用領(lǐng)域是連續(xù)的材料，被檢測(cè)物一般是勻速運(yùn)動(dòng)的，多用在滾筒檢測(cè)上。藥用玻璃瓶印刷字的檢測(cè)場(chǎng)合就是藥瓶在傳送鏈上進(jìn)行勻速移動(dòng)，并在相機(jī)拍攝范圍內(nèi)進(jìn)行勻速旋轉(zhuǎn)一圈，所以選擇線陣相機(jī)來進(jìn)行連續(xù)拍攝勻速旋轉(zhuǎn)的藥瓶，來完成對(duì)藥瓶表面印刷字的完整成像，圖1是形成的清晰完整的瓶身印字圖像，然后通過圖像處理的方式來對(duì)藥瓶表面的印刷字(藥物的名字、用量、有效期等)進(jìn)行在線實(shí)時(shí)檢測(cè)。當(dāng)上述檢測(cè)完成后，得出藥瓶的檢測(cè)結(jié)果，通過分析檢測(cè)結(jié)果，完成在線廢品剔除動(dòng)作，真正實(shí)現(xiàn)藥瓶在線檢測(cè)分揀流程。

圖1 藥瓶印字檢測(cè)設(shè)備最終成像圖像

藥用玻璃瓶的印刷字質(zhì)量檢測(cè)系統(tǒng)的總體結(jié)構(gòu)如圖2所示，按功能可以分為3部分：機(jī)械結(jié)構(gòu)單元(傳送鏈、伺服電機(jī)、步進(jìn)電機(jī)、氣缸、機(jī)械框架等)、圖像采集、處理單元(光源、線陣相機(jī)、PC機(jī))、控制單元(PLC、驅(qū)動(dòng)器)。

機(jī)械結(jié)構(gòu)單元用來傳送藥瓶到相機(jī)的視野中，伺服電機(jī)帶動(dòng)傳送鏈的轉(zhuǎn)動(dòng)，步進(jìn)電機(jī)以及氣缸影響藥瓶的旋轉(zhuǎn)，并且機(jī)械結(jié)構(gòu)單元給整體系統(tǒng)的相機(jī)、光源以及控制單元的安裝提供了機(jī)械框架。圖像采集、處理單元用來設(shè)置被檢測(cè)對(duì)象的光照和被檢測(cè)對(duì)象的表面成像采集，并且包括檢測(cè)目標(biāo)點(diǎn)的特征提取、特征匹配、模型判斷、優(yōu)化計(jì)算等，是藥瓶質(zhì)量檢測(cè)系統(tǒng)的穩(wěn)定性和準(zhǔn)確性的決定性部分。控制單元主要負(fù)責(zé)機(jī)械結(jié)構(gòu)的傳動(dòng)控制和相機(jī)采集的觸發(fā)判斷。圖像配準(zhǔn)算法在圖2中的圖像采集、處理單元實(shí)現(xiàn)，藥瓶印刷字圖像配準(zhǔn)算法的流程圖如圖3所示。

圖2 藥用玻璃瓶印刷字質(zhì)量檢測(cè)系統(tǒng)整體結(jié)構(gòu)

圖3 圖像配準(zhǔn)的流程圖

4.2 比較與分析

為了比較算法的優(yōu)劣性，下面進(jìn)行真實(shí)的藥用玻璃瓶印刷字的在線檢測(cè)實(shí)驗(yàn)。實(shí)驗(yàn)環(huán)境：雙核處理器(2.5 GHz，睿頻可達(dá)3.1 GHz)、1 GB獨(dú)立顯存、4GB DDR3內(nèi)存； MATLAB R2010a的仿真環(huán)境。基準(zhǔn)圖像和待配準(zhǔn)圖像的像素值為365×296。在線檢測(cè)的過程中，藥瓶在傳送鏈傳送時(shí)可能會(huì)發(fā)生平移、旋轉(zhuǎn)、即平移又旋轉(zhuǎn)、也可能會(huì)受噪聲的影響，所以本文將這兩種方法應(yīng)用到這些環(huán)境中來對(duì)結(jié)果進(jìn)行比對(duì)。基準(zhǔn)圖像是藥用玻璃瓶印刷字檢測(cè)設(shè)備的最終成像圖像，選取的待配準(zhǔn)圖像分別由基準(zhǔn)圖像經(jīng)過平移變化、旋轉(zhuǎn)變化、平移和旋轉(zhuǎn)、加入噪聲等條件得到。如圖4(a)、(b)、(c)、(d)所示。

圖4 待配準(zhǔn)圖像

Harris和SIFT特征點(diǎn)匹配情況分析：

藥用玻璃瓶在傳送帶上傳送的過程中會(huì)發(fā)生各種變化或受到影響，為了說明情況，本文選擇藥瓶在傳送過程中發(fā)生平移、旋轉(zhuǎn)變化為例。圖5是利用Harris算子匹配的圖像，圖6是利用SIFT算子匹配得到的圖像，通過圖5可以看出，大部分特征點(diǎn)對(duì)能被正確的匹配(如圖中平行的直線)，但還是有誤匹配的點(diǎn)對(duì)(如圖中的相交直線)[15]。圖6中全部的特征點(diǎn)對(duì)被正確匹配(如圖中平行的直線)，無相交的直線。由此可以看出SIFT比Harris的正確匹配率高。圖像平移、旋轉(zhuǎn)、平移和旋轉(zhuǎn)、加噪等變化后匹配性能比較如表1所示，表1中顯示了Harris算法與SIFT算法中分別提取基準(zhǔn)圖像的特征點(diǎn)數(shù)為203、651個(gè)，并且由表1可以看出，無論圖像怎么變化，SIFT算法都比Harris算法的正確匹配率高，能達(dá)到理想的效果。

圖5 圖像旋轉(zhuǎn)后Harris匹配圖像

圖6 圖像旋轉(zhuǎn)后SIFT匹配圖像

表1 Harris算法與SIFT算法的匹配性能比較

5 結(jié)論

本文介紹了Harris算法和SIFT算法的檢測(cè)原理，并詳細(xì)介紹了藥瓶印刷字缺陷檢測(cè)的整體構(gòu)架，將兩種算法在圖像處理單元進(jìn)行實(shí)現(xiàn)，SIFT算子使用了128維的特征向量，使圖像的特征點(diǎn)更加準(zhǔn)確和穩(wěn)定，通過比較與分析藥用玻璃瓶印刷字檢測(cè)的實(shí)驗(yàn)結(jié)果，可以看出SIFT算法比Harris算法的正確匹配率高，能夠達(dá)到理想的實(shí)驗(yàn)效果。

[1] Moravec H P. Towards automatic visual obstacle avoidance[A]. proceedings of the Fourth Alvey Vision Conference[C].1998:147-151.

[2] 王冠群.基于SUSAN算子的特征檢測(cè)方法研究[D].西安：陜西師范大學(xué)，2015.

[3] Harris C J, Stephens M. A combined Corner and Edge Detector[A]. Proceedings of the 5th International Joint Conference on Artificial Inteligence[C]. 1977.

[4] 牛海濤,趙勛杰,李成金等.基于改進(jìn)SIFT算法的建筑物圖像立體匹配[J].計(jì)算機(jī)工程, 2011,37(12):206-208.

[5] 敖麗霞.基于圖像處理的印刷品缺陷在線檢測(cè)系統(tǒng)研究[D].南昌：南昌大學(xué)，2014.

[6] 周龍萍.基于改進(jìn)的Harris算法檢測(cè)角點(diǎn)[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2013，23(2):11-14.

[7] 馮 嘉. SIFT算法的研究和改進(jìn)[D].吉林：吉林大學(xué)，2010.

[8] 趙亞萌.基于改進(jìn)SIFT的多波段遙感影像自動(dòng)快速配準(zhǔn)方法研究與應(yīng)用[D].開封：河南大學(xué)，2013.

[9] 汪淑夢(mèng).基于改進(jìn)的SIFT算法的圖像配準(zhǔn)技術(shù)的研究與實(shí)現(xiàn)[D].北京：中國地質(zhì)大學(xué)，2013.

[10] 羅文超,劉國棟,楊海燕.SIFT和改進(jìn)的RANSAC算法在圖像配準(zhǔn)中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用, 2013,49(15):147-156.

[11] Faugeras O, Robert L. What can two images tell us about the third one[A]. Proceedings of the Europe Conference on Computer Vision[C]. Sweden, 1994.

[12] 姚 宇.基于特征點(diǎn)提取的圖像配準(zhǔn)技術(shù)及應(yīng)用[D].長沙：國防科技大學(xué), 2010.

[13] 仲 明.基于特征點(diǎn)精確配準(zhǔn)的圖像拼接技術(shù)的研究[D].上海：華東師范大學(xué), 2015.

[14] 李柏林.基于特征點(diǎn)圖像拼接的配準(zhǔn)算法研究[D].天津:天津大學(xué)，2008.

[15] 仲 明.基于特征點(diǎn)精確配準(zhǔn)的圖像拼接技術(shù)的研究[D].上海:華東師范大學(xué)，2015.

AlgorithmResearchonMedicinalGlassBottlesDefectDetectionofPrintingWords

Wang Xing1, Liu Chaoying1, Song Xueling1, Hao Cunming2,3

(1.School of Electrical Engineering, Hebei University of Science and Technology, Shijiazhuang 050000, China; 2.Institute of Applied Mathematics, Hebei Academy of Sciences , Shijiazhuang 050000, China; 3.Hebei Authentication Technology Engineering Research Center, Shijiazhuang 050000,China)

In the process of transmission，medicinal glass bottle may occur translation, rotation or affected by noise. At present, printed words of bottle have no effective way to detect. In order to accurately detect the defects of printed words, two matching methods are compared, Harris combined with normalized cross correlation method (NCC) and SIFT combined with Euclidean distance method. Two methods are applied to the the defect detection system, the most effective method is chosen. The experiment results show that compared with Harris, SIFT method can more accurately extract the image feature points, and the correct matching rate with Euclidean distance is high, which can achieve the desired experimental result.

SIFT algorithm; Harris algorithm; feature point extraction; image registration; medicinal glass bottles printing word detection

2017-05-07；

2017-05-26。

河北省科學(xué)院科技計(jì)劃項(xiàng)目(17602)。

王 星(1991-)，女，河北石家莊人，研究生在讀，主要從事機(jī)器視覺方向的研究。

劉朝英(1958-)，女，江蘇徐州人，教授，碩士研究生導(dǎo)師，主要從事過程控制、智能控制方向的研究。

宋雪玲(1974-)，女，河北石家莊人，碩士，教授，主要從事工業(yè)過程智能控制方向的研究。

1671-4598(2017)11-0265-04

10.16526/j.cnki.11-4762/tp.2017.11.067

TP391.4

A