基于互信息和高斯金字塔的筆芯護(hù)套密封性檢測(cè)研究

李宏偉，李志偉,2*

（1.上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620；2.東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201620）

0 引言

圓珠筆筆芯護(hù)套由橡膠材料制作而成，安裝在筆芯前端用于保護(hù)筆頭免受損壞。筆芯護(hù)套不僅能夠保護(hù)筆頭免受外物碰撞而損傷，其良好的密封性也可使筆芯不易漏墨、溢墨。如果護(hù)套密封性不好，油墨會(huì)在筆芯離心過(guò)程中從筆頭溢出而污染護(hù)套，更嚴(yán)重的可能會(huì)導(dǎo)致護(hù)套脫落，油墨污染離心機(jī)。因此，護(hù)套密封性是否良好決定了筆芯在離心過(guò)程中的安全性與可靠性。然而，傳統(tǒng)的筆芯護(hù)套密封性檢測(cè)方法為人工肉眼檢測(cè)，不僅檢測(cè)速度慢，而且由于人眼的視覺(jué)疲勞，易導(dǎo)致錯(cuò)檢漏檢，傳統(tǒng)的人工檢測(cè)方法已不能滿(mǎn)足現(xiàn)代化生產(chǎn)對(duì)精度和效率的要求[1～3]。

機(jī)器視覺(jué)檢測(cè)技術(shù)具有效率高、系統(tǒng)穩(wěn)定性和連續(xù)性好、非接觸測(cè)量等優(yōu)點(diǎn)[4～7]，但在輕工制筆行業(yè)尚未得到良好應(yīng)用。在工業(yè)檢測(cè)領(lǐng)域，基于機(jī)器視覺(jué)的模板匹配技術(shù)、歸一化互信息和圖像金字塔算法得以廣泛應(yīng)用，并取得了較好的應(yīng)用效果[8～12]。互信息是信息論中一種有用的信息量，可用于配準(zhǔn)多模圖像，具有魯棒性強(qiáng)、自動(dòng)化程度高及無(wú)需圖像預(yù)處理等優(yōu)點(diǎn)，且歸一化互信可解決兩幅圖像之間重疊部分多的復(fù)雜圖像匹配問(wèn)題。Jin[13]等人通過(guò)梯度和歸一化互信息結(jié)合的方法進(jìn)行印刷圖像配準(zhǔn)，配準(zhǔn)誤差小、精度高；Chen[14]等人采用基于區(qū)域貢獻(xiàn)的歸一化互信息與多分辨率策略相結(jié)合的方法，實(shí)現(xiàn)了三維圖像和二維圖像的精確配準(zhǔn)。高斯金字塔是常見(jiàn)的一種圖像金字塔，高斯金字塔中包含了一系列低通濾波器，通過(guò)對(duì)原始圖像降采樣和低通濾波器處理得到分辨率從下到上逐層降低的多尺度圖列，能夠?qū)D像進(jìn)行多尺度描述。如，Ren[15]等人采用灰度值金字塔算法，對(duì)經(jīng)過(guò)灰度處理的原始圖像進(jìn)行高斯金字塔分解，實(shí)現(xiàn)了對(duì)各類(lèi)零件在旋轉(zhuǎn)、光照變化時(shí)的識(shí)別；Wu[16]等人將拉普拉斯金字塔和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，采用區(qū)域拉普拉斯金字塔保存圖像更多的細(xì)節(jié)并對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，實(shí)現(xiàn)了效果良好的融合人圖像。盡管歸一化互信息和圖像金字塔算法各有自己的優(yōu)點(diǎn)，然而尚未有將歸一化互信息和圖像金字塔相結(jié)合的方法應(yīng)用于工業(yè)檢測(cè)的報(bào)道，尤其是輕工制筆行業(yè)。

為滿(mǎn)足現(xiàn)代化精益生產(chǎn)需要，解決筆芯護(hù)套人工檢測(cè)效率低、易錯(cuò)檢漏檢等問(wèn)題，提出一種歸一化互信息與高斯金字塔相結(jié)合的方法，實(shí)現(xiàn)筆芯護(hù)套良好密封性的實(shí)時(shí)在線(xiàn)檢測(cè)。首先進(jìn)行需求分析，并設(shè)計(jì)筆芯護(hù)套密封性檢測(cè)系統(tǒng)的總體軟硬件框架；在灰度值匹配算法的基礎(chǔ)上，將歸一化互信息匹配與高斯金字塔分層處理有機(jī)結(jié)合，實(shí)現(xiàn)圖像匹配速度加快，同時(shí)圖像模糊不會(huì)引入其他噪聲，有效克服光照等外界因素的影響。實(shí)際場(chǎng)景應(yīng)用結(jié)果表明，所提方法具有檢測(cè)精度高、誤檢率低、檢測(cè)速度快等優(yōu)點(diǎn)。

1 筆芯護(hù)套密封性檢測(cè)需求及系統(tǒng)總體框架

圖1展示了三種待測(cè)筆芯樣品，其中圖1(a)為護(hù)套密封性良好筆芯，此時(shí)護(hù)套完全包裹筆頭且不易脫落；圖1(b)為筆芯護(hù)套漏裝或遺失，此時(shí)筆頭完全暴露在外；圖1(c)為護(hù)套密封不緊密筆芯，此時(shí)護(hù)套極易發(fā)生脫落，失去保護(hù)筆頭的作用。實(shí)際生產(chǎn)中，需要將圖1(b)和圖1(c)之類(lèi)的不符合生產(chǎn)要求的筆芯進(jìn)行檢測(cè)篩選并剔除。此外，依據(jù)實(shí)際生產(chǎn)需求，筆芯護(hù)套密封性檢測(cè)還需滿(mǎn)足如下要求：筆芯護(hù)套與筆芯前沿間隙（即密封間隙）不大于0.5mm；檢測(cè)精度不低于0.1mm；檢測(cè)速度每分鐘最快可達(dá)300支筆芯，能與筆芯裝配傳輸速率相匹配。

圖1 護(hù)套密封效果圖

依據(jù)檢測(cè)需求，所設(shè)計(jì)的筆芯護(hù)套密封性檢測(cè)系統(tǒng)硬件系統(tǒng)架構(gòu)圖如圖2(a)所示，硬件系統(tǒng)包括平板光源、工業(yè)相機(jī)、圖像采集卡、光源控制器、PLC控制器、工控機(jī)等。平板光源放置于待檢測(cè)區(qū)域正下方，用于對(duì)檢測(cè)區(qū)域提供強(qiáng)度可調(diào)的光照，發(fā)光區(qū)域長(zhǎng)寬為180mm×100mm，能同時(shí)滿(mǎn)足四支以上筆芯的檢測(cè)。工業(yè)相機(jī)用于采集筆芯護(hù)套間隙的圖像信息，本設(shè)計(jì)采用大恒MER-500-14GM工業(yè)CCD相機(jī)，該相機(jī)具有高分辨率、高清晰度、高精度、低噪聲等特點(diǎn)，支持連續(xù)采集、軟觸發(fā)采集以及外觸發(fā)采集三種工作方式，適合筆芯生產(chǎn)線(xiàn)的復(fù)雜環(huán)境。相機(jī)的分辨率為800×400，鏡頭的分辨率為0.1mm×0.1mm，能滿(mǎn)足檢測(cè)精度為0.1mm的檢測(cè)需求。工控機(jī)通過(guò)人機(jī)交互界面，實(shí)現(xiàn)對(duì)在線(xiàn)采集的圖像進(jìn)行識(shí)別處理，并輸出相應(yīng)的處理結(jié)果給執(zhí)行結(jié)構(gòu)單元，對(duì)不合格產(chǎn)品進(jìn)行剔除等操作。

圖2 檢測(cè)系統(tǒng)硬件架構(gòu)圖

圖3為檢測(cè)系統(tǒng)框架流程圖，包括圖像采集、圖像處理、結(jié)果輸出三個(gè)步驟。虛線(xiàn)框?yàn)閳D像采集模塊，包括平板光源，工業(yè)相機(jī)和圖像采集卡等，通過(guò)調(diào)節(jié)平板光源的光照強(qiáng)度可以得到不同光照下的實(shí)驗(yàn)結(jié)果；圖像采集完成后經(jīng)過(guò)工控機(jī)內(nèi)的圖像處理單元進(jìn)行匹配，并輸出檢測(cè)結(jié)果；最后輸出結(jié)果給PLC控制器完成筆芯的剔除等操作。

圖3 檢測(cè)系統(tǒng)框架流程圖

2 筆芯護(hù)套密封性檢測(cè)關(guān)鍵算法

由于安裝流水線(xiàn)機(jī)械振動(dòng)等原因會(huì)出現(xiàn)護(hù)套未安裝或安裝不緊密等缺陷。為檢測(cè)筆芯護(hù)套密封性是否良好，本文提出一種基于互信息和高斯金字塔的護(hù)套密封緊密性檢測(cè)方法，其關(guān)鍵算法流程如圖4所示。

圖4 關(guān)鍵算法流程圖

首先，在采集的特征圖像（Feature image）和目標(biāo)圖像（Target image）相似位置選取兩個(gè)大小相同的感興趣區(qū)域（Region of interest，ROI），ROI中包含匹配所需的灰度特征信息或梯度特征信息；其次，對(duì)選取的ROI進(jìn)行歸一化互信息匹配，對(duì)灰度值相似的特征進(jìn)行匹配，同時(shí)保證其他特征信息被均等處理；然后，對(duì)歸一化互信息處理后的特征區(qū)域進(jìn)行灰度級(jí)相似特征提取，盡可能保留灰度值相近的特征；最后，對(duì)特征區(qū)域進(jìn)行高斯金字塔分層處理，得到區(qū)域多尺度特征。經(jīng)過(guò)歸一化互信息和高斯金塔的結(jié)合處理后，得到灰度和梯度匹配的結(jié)果，設(shè)置相應(yīng)參數(shù)，即可完成結(jié)果的標(biāo)識(shí)和輸出。

2.1 灰度值匹配算法

灰度值匹配[17，18]算法是機(jī)器學(xué)習(xí)中常用的方法之一，它是一種基于圖像和模板之間灰度值相似度的匹配算法，適用于不模糊、不缺失、灰度值不變化的對(duì)象。規(guī)定模板圖像在區(qū)域R內(nèi)自由平移，當(dāng)模板移動(dòng)到某一位置時(shí)，其相似度量定義為S：

其中R為感興趣區(qū)域，t(u，v)為模板中某一個(gè)像素點(diǎn)的灰度值，f(m+u，n+v)為圖像移動(dòng)至模板區(qū)域內(nèi)的灰度值。為了將相似性度量具體化，引入模板灰度值與圖像灰度值之間差的絕對(duì)值的和SAD以及差值的平方和SSD：

其中n為模板感興趣區(qū)域像素點(diǎn)的總數(shù)量。相似性度量的值越大說(shuō)明與模板差別大。

基于灰度值的匹配方法是初步的最基本的匹配方法，匹配結(jié)果受外界干擾影響大，為了提高匹配的魯棒性，在此基礎(chǔ)上進(jìn)行相關(guān)性匹配能有效地提高匹配結(jié)果的穩(wěn)定性，采用歸一化互相關(guān)函數(shù)NCC來(lái)匹配圖像與模板，表達(dá)式為：

其中mt、為模板所有像素點(diǎn)灰度值的平均值和方差，uf(m，n)與(m，n)為平移到當(dāng)前位置圖像所有像素點(diǎn)灰度值的平均值和方差。

2.2 歸一化互信息匹配算法

互信息[19]是用來(lái)評(píng)價(jià)一個(gè)事件的出現(xiàn)對(duì)于另一個(gè)事件的出現(xiàn)所貢獻(xiàn)的信息量，在灰度圖像匹配中可以理解為一個(gè)圖像中的灰度信息對(duì)于另一個(gè)圖像灰度信息出現(xiàn)的貢獻(xiàn)。歸一化互信息是機(jī)器學(xué)習(xí)中度量?jī)蓮垐D片相似度的方法，對(duì)兩幅在灰度級(jí)數(shù)相似的圖片有很好的匹配精度和匹配可靠性。該算法通過(guò)計(jì)算目標(biāo)圖像和模板的信息熵，然后計(jì)算聯(lián)合的信息熵來(lái)表示目標(biāo)圖像和模板的匹配程度，聯(lián)合信息熵的值越大代表模板和目標(biāo)的相似性越高[20]。

模板圖像的信息熵為H(X)，目標(biāo)圖像的信息熵為H(Y)，聯(lián)合信息熵H(X，Y)，表達(dá)式分別為：

其中X，Y分別代表模板和目標(biāo)圖像中的所有灰度級(jí)，概率密度pX(x)代表模板中某個(gè)灰度級(jí)的概率，概率密度pY(y)代表目標(biāo)圖像中某個(gè)灰度級(jí)的概率，聯(lián)合概率密度pXY(x,y)代表模板圖像的灰度級(jí)x在模板的相同坐標(biāo)下在目標(biāo)圖像中灰度級(jí)為y的像素點(diǎn)個(gè)數(shù)與總像素點(diǎn)數(shù)的比值。然后計(jì)算歸一化聯(lián)合信息熵NMI(X，Y)，表達(dá)式為：

2.3 高斯金字塔算法

高斯金字塔[21，22]是通過(guò)連續(xù)高斯平滑和降采樣得到的一系列子圖像，底層為原始圖像，降采樣將圖像所有的偶數(shù)行和列去除得到上一層的圖像，這樣每層圖像的大小都為下面一層的四分之一。G0表示原始圖像，將G0作為金子塔的第零層，即最底層，構(gòu)造高斯金子塔的第k層圖像為：

式中：N為金字塔的層數(shù)；Rk和Ck分別表示高斯金字塔第k層圖像的行數(shù)和列數(shù)；w(m，n)是一個(gè)5×5的低通窗口函數(shù)，且滿(mǎn)足可分離性、歸一性、對(duì)稱(chēng)性和奇偶項(xiàng)等4個(gè)約束條件，式(10)為一種常用5×5窗口的歸一化低通掩模；

通過(guò)式(9)可依次得到G0，G1，…，GN。

圖5為護(hù)套密封處灰度圖像經(jīng)過(guò)三層高斯金字塔分層后所得到的各子圖像。其中0為原始圖像，即第零層圖像G0；1、2、3分別為分解的各層圖像G1，G2，G3。從圖中可以看出，隨著層數(shù)的增加，圖片的分辨率和大小逐層減小，形成了多尺度的護(hù)套圖像。選取特征區(qū)域后，會(huì)在各個(gè)尺度上相同的位置進(jìn)行匹配，增加了匹配的準(zhǔn)確性。

圖5 筆芯護(hù)套灰度圖高斯金字塔分層圖

3 實(shí)驗(yàn)結(jié)果及分析

所采用的檢測(cè)環(huán)境為：Windows7 X64系統(tǒng)，Inter Core i5主頻2.5GHz，8GB內(nèi)存。用VS2015編譯下的C++編程環(huán)境以及Qt5.11.0 MSVC2015和Halcon庫(kù)實(shí)現(xiàn)本文算法，所涉及圖像均在上海晨光文具股份有限公司筆芯裝配車(chē)間現(xiàn)場(chǎng)采集。圖6展示了待檢測(cè)筆芯及采用兩種不同特征模板的檢測(cè)效果圖。圖6(a)中紅色橢圓區(qū)域?yàn)榇龣z測(cè)密封間隙區(qū)域；圖6(b)為灰度特征模板，圖中ROI下方選取的區(qū)域綠點(diǎn)部分周?chē)忻黠@的灰度差異；圖6(c)為梯度特征模板，圖中ROI下方選取的區(qū)域中綠點(diǎn)部分具有明顯“凸”起的部分，梯度特征明顯。選取的兩種不同模板的ROI，通過(guò)將“小”的間隙轉(zhuǎn)換為“大”的特征點(diǎn)之間的距離，然后與測(cè)得的標(biāo)準(zhǔn)樣品特征點(diǎn)之間的距離進(jìn)行比較，進(jìn)而得到密封間隙的長(zhǎng)度。選取的特征區(qū)域經(jīng)過(guò)圖像金字塔處理會(huì)在分解的各層中進(jìn)行匹配，得到護(hù)套區(qū)域的多尺度特征匹配結(jié)果，圖中綠點(diǎn)代表匹配結(jié)果。實(shí)際測(cè)試場(chǎng)景中，采用梯度特征模板具有比采用灰度特征模板更高的精確度。

圖6 兩種模板

針對(duì)筆芯生產(chǎn)中的各類(lèi)情況，對(duì)300支筆芯進(jìn)行了模板學(xué)習(xí)和識(shí)別。首先對(duì)本文提出的方法在兩種不同模板條件下分別與灰度值匹配算法、高斯金字塔匹配算法進(jìn)行了比較，采用真正率（Pse）、真負(fù)率（Psp）和準(zhǔn)確率（Pac）作為評(píng)價(jià)標(biāo)準(zhǔn)，其定義為：

上式中，TP表示合格產(chǎn)品被識(shí)別為合格的數(shù)量，F(xiàn)P表示不合格產(chǎn)品被識(shí)別為合格的數(shù)量，F(xiàn)N表示合格產(chǎn)品被識(shí)別為不合格的數(shù)量，TN表示不合格產(chǎn)品被識(shí)別為不合格的數(shù)量。Pse代表真正率，表示合格產(chǎn)品被檢測(cè)為合格的比率；Psp代表真負(fù)率，表示不合格產(chǎn)品被檢測(cè)為不合格的比率；Pac代表準(zhǔn)確率，表示檢測(cè)總的準(zhǔn)確率。實(shí)驗(yàn)對(duì)10000支筆芯進(jìn)行在線(xiàn)檢測(cè)，不同算法處理結(jié)果如表1所示。

表1 實(shí)驗(yàn)測(cè)試結(jié)果（%）

從表1可以看出，選取模板b和模板的情況下，本文算法三項(xiàng)指標(biāo)均為最高。剔除率分別為98.67%和98.34%，漏檢率分別為1.33%和1.66%；準(zhǔn)確率分別為97.35%和97.18%，誤檢率分別為2.65%和2.82%。選取模板b時(shí)，灰度值匹配算法的剔除率和準(zhǔn)確率比高斯金字塔匹配算法更高，因?yàn)槟０錬下方選取的特征區(qū)域種灰度差異較大，提取灰度特征信息更有利。選取模板c時(shí)，高斯金字塔匹配算法比灰度值匹配算法的剔除率和準(zhǔn)確率高，因?yàn)槟０錭下方的特征區(qū)域包含更多的梯度信息，更適合使用金字塔算法來(lái)提取特征點(diǎn)。從本文算法的結(jié)果可以看出，選擇梯度模板的剔除率比灰度模板高0.33%，準(zhǔn)確率高了0.17%，主要是因?yàn)楦咚菇鹱炙诜纸鈭D像的高層提取圖像的準(zhǔn)確率更高。

光照是檢測(cè)過(guò)程中最重要的干擾因素，在照明條件變化時(shí)會(huì)對(duì)檢測(cè)結(jié)果造成不同程度的影響。選取檢測(cè)準(zhǔn)確度更高的模板c，分別對(duì)其在強(qiáng)光、正常光、弱光下進(jìn)行檢測(cè)，為了驗(yàn)證本文算法檢測(cè)的效果，將本文算法與歸一化互信息、高斯金字塔、變換域特征和SIFT特征算法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如圖7所示。實(shí)驗(yàn)圖像合格的標(biāo)準(zhǔn)距離范圍為375±10，單位為像素。圖中綠色數(shù)字代表檢測(cè)結(jié)果在誤差允許范圍內(nèi)，數(shù)值越接近375表示結(jié)果越精確；“-1”代表模板匹配失敗；紅色數(shù)字代表檢測(cè)結(jié)果在誤差允許范圍外。可以看出當(dāng)光照改變時(shí)，基于變換域的特征匹配算法和歸一化算法會(huì)出現(xiàn)匹配失敗或者匹配誤差較大的情況。當(dāng)檢測(cè)結(jié)果合格時(shí)，除本文算法外，其余算法特征區(qū)域匹配點(diǎn)會(huì)發(fā)生不同方向的偏移，導(dǎo)致檢測(cè)結(jié)果不精確。

圖7 不同光照條件下各算法實(shí)驗(yàn)結(jié)果

為了進(jìn)一步展示本文算法的優(yōu)勢(shì)，我們進(jìn)行了定量分析，表2給出了本文算法與當(dāng)前各類(lèi)匹配算法在上述圖像下的定量結(jié)果檢測(cè)對(duì)比，還對(duì)各算法的運(yùn)行時(shí)間進(jìn)行了評(píng)估。為了保證定量分析的標(biāo)準(zhǔn)一致，統(tǒng)一選取特征點(diǎn)距離為375個(gè)像素長(zhǎng)度的圖像，錯(cuò)誤閾值為10個(gè)像素長(zhǎng)度，即算法檢測(cè)結(jié)果與標(biāo)準(zhǔn)距離相差10個(gè)像素以上即為誤點(diǎn)匹配。最后統(tǒng)計(jì)各算法在上述實(shí)驗(yàn)條件下檢測(cè)100次的平均誤差率以及平均的運(yùn)行時(shí)間。表2可以看出，不同光照條件下本文算法的匹配誤差率分別為1.34%、1.07%、1.15%，均優(yōu)于其他算法；隨著光照的改變各算法匹配誤差率都有不同程度的增加，光照因素對(duì)本文算法檢測(cè)和SIFT結(jié)果影響不大，但會(huì)使變換域匹配算法和歸一化互信息算法出現(xiàn)失配和匹配誤差大的情況；從運(yùn)行時(shí)間來(lái)看，本文所提算法平均運(yùn)行時(shí)間為0.82s，相較于歸一化互信息和高斯金字塔雖然有所增加，但在匹配精度上有了較大的改進(jìn)；本文所提算法與深度學(xué)習(xí)方法SIFT相比，在匹配精度差異不大的情況下，運(yùn)行時(shí)間明顯更短。實(shí)際上，本文所選的兩個(gè)特征區(qū)域較小，且特征區(qū)域中包含有明顯的灰度或梯度特征，再經(jīng)過(guò)歸一化互信處理后區(qū)域內(nèi)的特征也變少，此時(shí)高斯金字塔算法在進(jìn)行多尺度分層時(shí)所涉及的運(yùn)算量也較少，所以本算法相較于歸一化互信息和高斯金塔算法所增加的運(yùn)行時(shí)間也較少。

表2 實(shí)驗(yàn)測(cè)試結(jié)果對(duì)比（%）

綜合實(shí)驗(yàn)結(jié)果分析得出，實(shí)驗(yàn)中目標(biāo)的檢測(cè)距離單位為像素值，所用相機(jī)的分辨率實(shí)際距離間的轉(zhuǎn)換關(guān)系為1像素=0.8mm，檢測(cè)結(jié)果精確到小數(shù)點(diǎn)后三位，實(shí)際整體檢測(cè)精度高于0.1mm，能達(dá)到檢測(cè)精度需求。在實(shí)際檢測(cè)過(guò)程中，相機(jī)每次拍攝四支筆芯，以四支筆芯為一組進(jìn)行匹配，算法每次匹配的時(shí)間約為0.8s，其檢測(cè)速度最快約為300支/分鐘，能滿(mǎn)足檢測(cè)速度需求。

4 結(jié)語(yǔ)

基于歸一化互信息和高斯金字塔匹配算法，設(shè)計(jì)并實(shí)現(xiàn)一種筆芯護(hù)套密封性檢測(cè)方法。通過(guò)分析處理在線(xiàn)采集的護(hù)套圖像，準(zhǔn)確、高效地檢測(cè)出護(hù)套密封的缺陷。采用歸一化互信息和高斯金字塔結(jié)合的方法，有效地找出護(hù)套區(qū)域多尺度匹配特征，相比傳統(tǒng)的灰度值匹配和高斯金塔算法，該方法匹配準(zhǔn)確度更高，并且能有效地解決光照因素的影響。實(shí)驗(yàn)結(jié)果顯示，總體的檢測(cè)漏檢率和誤檢率僅為1.49%和2.73%，檢測(cè)誤差不超過(guò)0.1mm，檢測(cè)效率最高為300支/分鐘，能達(dá)到實(shí)際生產(chǎn)的檢測(cè)要求。